GuideDog: A Real-World Egocentric Multimodal Dataset for Blind and Low-Vision Accessibility-Aware Guidance

1. Declaração do Problema

A navegação segura e independente é um desafio crítico para os estimados 2,2 bilhões de pessoas em todo o mundo afetadas pela cegueira e baixa visão (BLV). Embora os Modelos de Linguagem Multimodal Grandes (MLLMs) ofereçam potencial para navegação assistiva, seu desenvolvimento é impedido por uma escassez severa de conjuntos de dados conscientes da acessibilidade.

• Limitações dos Dados Existentes: Conjuntos de dados atuais (por exemplo, VizWiz, VIALM) são frequentemente de pequena escala, carecem de diversidade geográfica ou dependem de anotadores videntes que lutam para antecipar necessidades específicas de BLV (por exemplo, orientação espacial, proximidade de obstáculos).
• Gargalo de Anotação: A criação de dados de orientação de alta qualidade tradicionalmente requer anotação especializada intensiva em mão de obra, limitando a escalabilidade.
• Lacuna Técnica: Modelos existentes frequentemente falham em aderir aos padrões estabelecidos de orientação para BLV, particularmente na fornecimento de percepção de profundidade precisa e descrições espaciais estruturadas (por exemplo, direções no formato de relógio, contagem de passos).

2. Metodologia

Os autores introduzem o GUIDEDOG, um conjunto de dados de grande escala e um novo pipeline de construção projetado para superar gargalos de anotação, mantendo alta fidelidade às necessidades de BLV.

A. Os Padrões GUIDEDOG

Para garantir que os dados sejam acionáveis para usuários de BLV, os autores destilaram diretrizes de organizações especializadas (por exemplo, Vision Australia, Be My Eyes) em três padrões estruturados:

1. S1 (Circundantes): Descreva a localização atual e elementos ambientais chave para estabelecer a consciência espacial.
2. S2 (Obstáculos): Identifique perigos com localização específica (relógio: 10h–2h), tipo e proximidade (em passos).
3. S3 (Resumo e Direção): Forneça uma instrução de navegação concisa e intuitiva (por exemplo, "prossiga ligeiramente para a esquerda") em vez de medições métricas precisas.

B. Pipeline Humano-IA (Centrado na Verificação)

Em vez de gerar descrições do zero (o que é propenso a erros), os autores empregam um pipeline de geração para verificação:

1. Coleta de Dados: 269 "vídeos de caminhada" foram obtidos do YouTube (Creative Commons) em 46 países e 183 cidades. Filtrados para perspectivas de pedestres e removido conteúdo não relacionado a ruas.
2. Extração de Informações da Cena:
   • Global: Usado GPT-4o para extrair descrições de cena e validar a adequação da rua.
   • Local: Usados detectores de objetos de mundo aberto e modelos de estimativa de profundidade para identificar objetos e calcular distâncias relativas (convertidas em "passos").
3. Geração de Rótulos Prateados: Um MLLM combinou os dados extraídos com os padrões GUIDEDOG para gerar "rótulos prateados" iniciais.
4. Verificação de Rótulos Dourados: Anotadores humanos (especialistas videntes) verificaram e refinaram os rótulos prateados, filtrando imagens inadequadas e corrigindo imprecisões para produzir "rótulos dourados" de alta fidelidade.
5. Privacidade: Aplicado EgoBlur para mascarar automaticamente rostos e placas de veículos.

C. Benchmark: GUIDEDOGQA

Para avaliar a percepção visual de granularidade fina, os autores construíram o GUIDEDOGQA, um benchmark de 818 amostras apresentando:

• Reconhecimento de Objetos: Questões de múltipla escolha para verificar se objetos específicos estão presentes.
• Comparação de Profundidade Relativa: Questões perguntando qual de dois objetos está mais próximo/mais distante, testando o raciocínio espacial essencial para navegação.

3. Contribuições Principais

1. Conjunto de Dados GUIDEDOG: Um conjunto de dados escalável de 22.084 pares imagem-descrição (incluindo 2.106 rótulos dourados verificados por humanos) cobrindo 46 países. É o primeiro conjunto de dados a combinar diversidade geográfica com adesão estrita aos padrões de orientação BLV.
2. Pipeline Escalável: Um novo fluxo de trabalho humano-IA que desloca o ônus da anotação da geração para a verificação, permitindo coleta de dados em grande escala sem sacrificar a qualidade.
3. Benchmark GUIDEDOGQA: Uma suite de avaliação especializada para testar reconhecimento de objetos e percepção de profundidade em cenas egoicêntricas do mundo real.
4. Avaliação Abrangente: Experimentos extensivos demonstrando que os MLLMs atuais lutam com a compreensão espacial e a adesão a padrões, destacando a necessidade de treinamento especializado.

4. Resultados Experimentais

Os autores avaliaram vários modelos de código aberto (LLaVA, Qwen, Molmo), proprietários (GPT-4o, Gemini) e socráticos.

• Geração de Orientação:

  • Modelos Proprietários: O GPT-4o demonstrou as capacidades zero-shot mais fortes, superando modelos de código aberto.
  • Ajuste Fino: O ajuste fino de modelos de código aberto (Qwen-2.5-VL) nos rótulos prateados resultou em melhorias dramáticas de desempenho, superando muitos modelos proprietários zero-shot.
  • Aprendizado em Contexto: Exemplos few-shot aumentaram significativamente o desempenho para a maioria dos modelos, ajudando-os a adaptar-se aos padrões específicos do GUIDEDOG.
  • Modelos Socráticos: Modelos que dependem de raciocínio apenas em texto (após converter imagens em texto) performaram pior do que MLLMs diretos, confirmando que a percepção visual direta é crucial para orientação eficaz.

• Percepção Visual (GUIDEDOGQA):

  • Reconhecimento de Objetos: Modelos de código aberto performaram surpreendentemente bem, muitas vezes superando modelos proprietários.
  • Percepção de Profundidade: Isso permaneceu um desafio significativo. A maioria dos modelos de código aberto performou perto do acaso aleatório. Embora o ajuste fino tenha melhorado a percepção de profundidade, isso permanece um gargalo chave.
  • Estudo com Usuários: Avaliadores humanos classificaram o GPT-4o como o mais alto na adesão aos padrões. Os baixos scores para "Informação de Obstáculos" (S2) em todos os modelos correlacionaram-se com os resultados pobres de percepção de profundidade.

5. Significado e Impacto

• Ponte da Lacuna: O GUIDEDOG aborda a falta crítica de dados padronizados em grande escala para tecnologias assistivas de BLV, indo além de conjuntos de dados pequenos e de nicho.
• Padronização: Ao codificar a orientação BLV nos padrões S1-S3, o artigo fornece um quadro claro para avaliar e treinar futuras IAs assistivas.
• Aplicabilidade do Mundo Real: A diversidade geográfica do conjunto de dados garante que os modelos treinados nele sejam mais propensos a generalizar para cenários do mundo real em diferentes culturas e infraestruturas.
• Direções Futuras: Os resultados indicam que, embora os MLLMs estejam melhorando, a compreensão espacial e a percepção de profundidade são os principais obstáculos. O artigo pede pesquisas focadas nessas capacidades específicas para criar aids de navegação verdadeiramente seguros e independentes para pessoas com deficiência visual.

Limitações Notadas: O conjunto de dados usa imagens estáticas (isolando a qualidade da orientação de dinâmicas temporais) e depende de filmagens de passeios a pé feitos por videntes, o que pode diferir ligeiramente da perspectiva de câmera montada na cabeça de usuários reais de BLV (embora a análise de movimento sugira que a lacuna é gerenciável). Adicionalmente, variações cross-culturais na linguagem espacial não são totalmente modeladas.