Resumo Técnico: Robusto-2: Avaliando Humanos & VLMs para Condução Autônoma em Lima e Nova York

Definição do Problema

À medida que a tecnologia de veículos autônomos (SDC) evolui de heurísticas codificadas rigidamente para sistemas modulares alimentados por modelos de Visão-Linguagem-Ação (VLA) com Modelos de Visão-Linguagem (VLMs) como núcleos cognitivos, uma questão fundamental permanece aberta: quão bem esses sistemas se generalizam para novas geografias e cenários de casos extremos fora da distribuição (OOD)?

Os atuais modelos de fundação multimodais são predominantemente treinados em dados do Hemisfério Ocidental, especificamente dos Estados Unidos. Isso levanta preocupações de segurança quanto ao seu implantação em ambientes complexos e caóticos onde os dados de treinamento são escassos ou inexistentes. Embora cidades como San Francisco e Shenzhen possuam implantações ativas de SDC, locais como Lima, Peru, e Nova York, EUA, permanecem como ambientes desafiadores onde nenhuma frota de SDC opera atualmente. O artigo investiga a lacuna de generalização transcultural entre motoristas humanos e VLMs quando expostos a cenários de condução provenientes destas distintas geografias.

Metodologia

Os autores apresentam o Robusto-2, um estudo de benchmarking empregando um design fatorial completo ($2 \times 3$) envolvendo três populações:

1. Motoristas humanos de Lima, Peru.
2. Motoristas humanos de Nova York, EUA.
3. Dez VLMs distintos de diversas startups e organizações.

Coleta e Seleção de Dados

• Estímulos: O estudo utiliza filmagens de câmeras de painel (dashcam) gravadas com a mesma configuração de câmera tanto em Lima quanto em NYC. Das gravações brutas, foram extraídos 200 clipes de cinco segundos (100 por cidade).
• Pipeline de Seleção OOD: Para garantir a seleção de cenários desafiadores e fora da distribuição, os autores submeteram 200 clipes a múltiplos VLMs com 20 perguntas de VQA. Eles computaram os embeddings das respostas e selecionaram os 10 clipes de cada cidade que exibiram a maior variância nas respostas dos modelos. Esses clipes de alta dispersão foram interpretados como cenas OOD e utilizados como os estímulos finais para a pesquisa.
• Participantes: O estudo recrutou 10 participantes humanos de Lima e 10 de NYC. Todos os humanos foram estudantes universitários verificados (com idade entre 18 e 30 anos) com carteiras de habilitação válidas. Todos os 30 sistemas (20 humanos + 10 VLMs) foram instigados com as mesmas 20 perguntas em inglês.

Estrutura de Questionário de Visão-Linguagem (VQA)

A avaliação utilizou uma estrutura de quatro blocos de perguntas:

1. Factual (Q1–Q5): Perguntas sobre clima, horário, sinais de trânsito e fluxo (únicas por vídeo).
2. Avaliações (Q6–Q10): Avaliações quantitativas subjetivas (escala de 1 a 10) de desordem (clutter), perigo, probabilidade de encontrar cenários semelhantes e desempenho esperado de veículos autônomos vs. motoristas humanos.
3. Contrafactual e Hipotético (Q11–Q15): Perguntas criativas explorando cenários de colisão sem uma verdade fundamental (ground truth).
4. Raciocínio (Q16–Q20): Perguntas de raciocínio complexo sobre preferência de passagem (right-of-way) e segurança de pedestres, desenhadas para sondar capacidades de Cadeia de Pensamento (Chain-of-Thought).

Técnicas de Análise

• Análise de Embedding: As respostas foram projetadas em um espaço 2D usando Análise de Componentes Principais (PCA) e analisadas via Análise de Similaridade de Representação (RSA) para visualizar padrões de convergência/divergência.
• Análise de Viés Sistemático: O Escalonamento Multidimensional (MDS) foi aplicado às distâncias L1 das pontuações de avaliação. Os VLMs foram instigados 20 vezes por par vídeo-pergunta para construir gráficos de violino distributivos.
• Similaridade Semântica: Um framework de "LLM-como-Juiz" (usando Qwen3-4B em modo de pensamento) realizou comparações par a par de respostas, pontuando o alinhamento em uma escala de -2 (forte discordância) a 2 (forte concordância).

Resultados Principais

1. Geografia vs. Tipo de Pergunta

A análise revelou que os padrões de resposta foram modulados primariamente pelo tipo de pergunta feita (ex: Factual vs. Raciocínio) em vez da geografia dos dados de vídeo.

• Invariância Geográfica: Não houve diferença significativa nas respostas (tanto de Humanos quanto de VLMs) baseada se o vídeo era de Lima ou NYC. Os autores atribuem isso à natureza altamente OOD dos clipes selecionados, que provavelmente sobrepujou as nuances geográficas.
• Consistência Humana: Humanos de Lima e NYC demonstraram padrões de resposta muito semelhantes, independentemente da fonte do vídeo.

2. Divergência Humano vs. VLM

• Convergência/Divergência: Humanos e VLMs divergiram em suas respostas, mas essa divergência dependeu da categoria da pergunta.
• Modulação Geográfica da Divergência: Enquanto os padrões humanos foram consistentes entre as geografias, a lacuna entre Humanos e VLMs foi ligeiramente mais pronunciada no contexto de Lima em comparação a NYC. Especificamente, os VLMs pareceram estar mais distantes do agrupamento humano em Lima do que em NYC.
• Consistência dos VLMs: Diferentes VLMs compartilharam padrões de resposta semelhantes, independentemente de seus dados de treinamento ou procedimentos específicos, apoiando a "hipótese da representação platônica".

3. Achados Específicos sobre Avaliações

• Percepção de Perigo (Q8): Os VLMs mostraram alta similaridade na classificação de níveis de perigo em ambas as geografias.
• Autoconsciência (Q9): Ao serem questionados sobre o quão bem um veículo autônomo lidaria com a cena, os VLMs mostraram a maior distância (dissimilaridade) entre as geografias, sugerindo uma sensibilidade ao contexto geográfico ao avaliar capacidades de direção autônoma.

Principais Contribuições

1. Dataset Robusto-2: O lançamento de um dataset fatorial completo contendo filmagens de dashcam de Lima e NYC, anotado com respostas de VQA de 20 humanos e 10 VLMs.
2. Benchmark Transcultural: Um design de estudo inovador que controla a geografia ao incluir sujeitos humanos tanto da região de "treinamento" (EUA/NYC) quanto de uma região "não nativa" (Lima), abordando vieses presentes em estudos anteriores (ex: Robusto-1) que comparavam falantes não nativos a modelos treinados nos EUA.
3. Framework Metodológico: Um pipeline para seleção de clipes de vídeo OOD baseados na variância de discordância do modelo, garantindo que o benchmark foque em casos extremos em vez de cenários de condução médios.

Significância e Alegações

O artigo alega que, embora exista uma lacuna entre a cognição humana e a de máquina, não há uma lacuna significativa de generalização transcultural entre geografias (Lima vs. NYC) para humanos ou VLMs ao enfrentarem cenários de condução altamente caóticos e OOD.

Os autores enfatizam que seus achados sugerem que tanto humanos quanto VLMs navegam nesses ambientes caóticos de "maneiras similarmente caóticas". Isso implica que a falta de especificidade geográfica nas respostas dos modelos pode ser devida à dificuldade inerente dos cenários OOD, em vez de uma falha de adaptação cultural.

Limitações e Modéstia:
Os autores explicitamente notam a escala modesta do estudo (20 clipes, 20 perguntas, 30 sujeitos, totalizando ~12.000 pontos de dados). Eles reconhecem que, embora o volume de dados seja baixo comparado a estudos agregados de crowdsourcing, o design permite uma dissecação única das diferenças entre sistemas que é frequentemente obscurecida em datasets "Mega-Humanos". O principal gargalo identificado foi a coleta de dados humanos de alta qualidade, não a computação das respostas dos VLMs. Os autores planejam expandir este trabalho para incluir populações maiores e dados de cinco continentes em iterações futuras.