Image-based Geo-localization for Robotics: Are Black-box Vision-Language Models there yet?

Resumo Técnico: Geolocalização baseada em imagens para Robótica: Os Modelos de Visão-Linguagem Black-box já chegaram lá?

Definição do Problema
A geolocalização baseada em imagens — a tarefa de identificar coordenadas geográficas a partir de dados visuais isoladamente — é crítica para a relocalização global robótica, particularmente em cenários de "robô sequestrado" (kidnapped robot), onde um robô deve recuperar sua pose sem conhecimento prévio de localização. Embora os Modelos de Visão-Linguagem (VLMs) tenham mostrado promessa ao incorporar conhecimento semântico e contextual para esta tarefa, a maioria dos modelos de estado da arte (SOTA) são caixas-pretas proprietárias acessíveis apenas via APIs. Isso restringe o acesso a recursos internos, gradientes e dados de treinamento, impedindo o retreinamento ou ajuste fino (fine-tuning). Além disso, as avaliações existentes frequentemente dependem de conjuntos de dados públicos estreitos que podem sobrepor-se aos dados de treinamento do modelo, levantando preocupações sobre contaminação de dados e a generalização desses modelos para ambientes não vistos e do mundo real. O artigo aborda o potencial inexplorado e as limitações do uso de VLMs generativos SOTA como sistemas de geolocalização zero-shot autônomos sob restrições realistas de caixa-preta.

Metodologia
Os autores propõem um framework de avaliação sistemática para investigar VLMs SOTA através de três cenários distintos, utilizando uma estratégia de prompting "Least-to-Most" (LTM) e variações de frase única.

1. Modelos Avaliados: Três VLMs SOTA representando diferentes paradigmas foram testados:

   • GPT-4v (Código fechado, baseado em API).
   • IDEFICS-80b-Instruct (Pesos abertos).
   • LLaVA-1.5-13b (Código aberto).
   • Nota: Variantes menores (ex: IDEFICS-9b, LLaVA-7b) foram testadas preliminarmente, mas descartadas devido à performance insignificante (<1% de acurácia).

2. Conjuntos de Dados: Para garantir uma avaliação rigorosa além dos benchmarks padrão, o estudo utilizou:

   • Datasets Públicos: IM2GPS e Tokyo 24/7 (capturados durante o dia, pôr do sol e noite).
   • Datasets Não Públicos: CSN e LZR (capturados em cidades italianas sob variações de clima, iluminação e pontos de vista). Estes foram usados para testar a generalização para distribuições não vistas.

3. Cenários:

   • Cenário 1 (Generalização): Avaliando a performance através de diversos datasets usando um prompt LTM fixo.
   • Cenário 2 (Sensibilidade ao Prompt): Avaliando a estabilidade do modelo contra variações de prompts semanticamente equivalentes (formatos de frase única e LTM) mantendo as imagens fixas.
   • Cenário 3 (Robustez Ambiental): Avaliando a robustez contra mudanças ambientais (iluminação, clima, hora do dia) usando imagens de consulta semanticamente equivalentes com um prompt fixo.

4. Métricas:

   • Acurácia: Medida via distância de Haversine contra o ground truth em limiares padrão (1km, 25km, 200km, 750km, 2500km).
   • Consistência: Uma métrica inovadora introduzida para medir a estabilidade das saídas através de entradas semanticamente equivalentes, levando em conta a natureza autorregressiva e probabilística dos VLMs generativos.

Principais Contribuições

• Primeiro Estudo Sistemático de Caixa-Preta: Este trabalho fornece a primeira investigação abrangente de VLMs generativos SOTA como sistemas de geolocalização zero-shot autônomos em um cenário de caixa-preta.
• Benchmarking Abrangente: O estudo faz o benchmarking de modelos tanto em datasets públicos quanto em datasets não públicos para revelar a inflação de performance devido à sobreposição de dados de treinamento.
• Análise de Sensibilidade: O artigo quantifica sistematicamente a sensibilidade do modelo tanto à formulação do prompt quanto às variações ambientais, fatores frequentemente negligenciados em pesquisas anteriores de geolocalização.
• Nova Métrica: A introdução da "Consistência do Modelo" para avaliar a confiabilidade de saídas generativas além da simples acurácia.

Resultos

• Localização Coarse vs. Fine-Grained: Todos os modelos demonstraram forte performance em níveis espaciais grosseiros (coarse - escala de país ou região), aproveitando a compreensão de cena de alto nível. No entanto, a localização refinada (fine-grained - nível de rua/cidade) degradou significativamente, particularmente em datasets não públicos.
• Viés de Distribuição de Dados: Os modelos performaram significativamente melhor em datasets públicos (IM2GPS, Tokyo 24/7) do que em datasets não públicos (CSN, LZR). Por exemplo, o GPT-4v alcançou ~70% de acurácia ao nível de rua no Tokyo 24/7, mas quase zero de acurácia no CSN/LZR no mesmo limiar. Isso sugere inflação de performance devido à sobreposição de dados de treinamento com dados públicos raspados da web.
• Sensibilidade ao Prompt: Prompts estruturados LTM superaram consistentemente os prompts de frase única tanto em acurácia quanto em consistência. No entanto, mesmo com prompts LTM, os modelos exibiram sensibilidade a formulações semanticamente equivalentes. Notavelmente, alguns modelos (ex: LLaVA-13b) ocasionalmente replicaram coordenadas encontradas no prompt em vez de gerar predições independentes, inflando artificialmente os escores de consistência.
• Robustez Ambiental: A performance foi altamente sensível às condições de iluminação. Os modelos geralmente performaram pior em condições de baixa luminosidade (crepúsculo/noite) comparado a ambientes bem iluminados, com quedas de acurácia de até 50% em datasets não públicos. O dataset Tokyo 24/7 mostrou mais estabilidade, provavelmente devido a pistas textuais persistentes (placas, outdoors) que permaneceram legíveis através das horas do dia.
• Desacoplamento de Acurácia-Consistência: Alta acurácia nem sempre correlacionou com alta consistência. Por exemplo, o IDEFICS-80b-Instruct alcançou maior acurácia que o LLaVA-13b em muitos casos, mas exibiu uma consistência significativamente menor, indicando padrões de raciocínio instáveis.

Significância e Alegações
O artigo conclui que, embora os VLMs de caixa-preta possuam fortes priors de localização em nível grosseiro adequados para compreensão semântica de alto nível ou relocalização regional, eles ainda não são confiáveis como sistemas de geolocalização de nível fino e autônomos para navegação robótica robusta em mundo aberto.

Os autores enfatizam que:

1. Desafios de Confiabilidade: A localização de nível fino degrada significativamente sob variações realistas de prompts e condições ambientais, particularmente em ambientes não vistos.
2. Limitações de Métricas: Confiar apenas na acurácia superestima a confiabilidade; a consistência é uma métrica crítica, frequentemente negligenciada, para modelos generativos.
3. Adequação de Implementação: Os atuais VLMs de caixa-preta são mais adequados para fornecer priors de alto nível do que para recuperação precisa de pose, especialmente dadas as restrições de inferência em tempo real e limitações de computação embarcada.

O estudo serve como um benchmark de cautela, destacando que, antes de implantar VLMs em sistemas robóticos de missão crítica, mais pesquisas são necessárias para abordar lacunas de generalização, sensibilidade ao prompt e robustez ambiental.