TraversalBench: Challenging Paths to Follow for Vision Language Models

Título: TraversalBench: Caminhos Desafiadores para Seguir em Modelos de Visão e Linguagem

1. Problema e Motivação

Os Modelos de Visão e Linguagem (VLMs) demonstraram alto desempenho em muitos benchmarks multimodais. No entanto, a capacidade de seguir caminhos visuais complexos de forma contínua e fiel permanece subtestada e é uma tarefa onde os modelos atuais falham de maneira surpreendentemente frágil, apesar de ser intuitiva para observadores humanos.

As avaliações existentes frequentemente confundem múltiplas fontes de dificuldade (como OCR, interpretação semântica de rótulos, conhecimento de domínio e planejamento de rotas), tornando difícil isolar a falha específica na "ancoragem visual" (visual grounding). O objetivo deste trabalho é investigar não apenas se os VLMs podem traçar caminhos, mas o que especificamente causa a falha nesses processos de raciocínio espacial sustentado.

2. Metodologia: O Benchmark TraversalBench

Os autores introduzem o TraversalBench, um benchmark controlado projetado para testar o raciocínio visual de trajetória exata, minimizando a dependência de conhecimento externo.

• Tarefa: O modelo deve receber uma imagem contendo uma única polilinha contínua, um marcador de início único e marcadores nos vértices do caminho. A tarefa é recuperar a sequência ordenada exata dos marcadores encontrados ao percorrer o caminho do início ao fim.
• Fatores de Complexidade Controlados: O dataset foi gerado para equilibrar sistematicamente quatro eixos de dificuldade interpretáveis:
  1. Auto-interseções (Self-intersections): O número de vezes que o caminho cruza a si mesmo.
  2. Tortuosidade (Tortuosity): A medida de quanto o caminho se curva ou serpenteia (discretizada em 6 faixas).
  3. Contagem de Vértices: O número de pontos no caminho.
  4. Linhas Confusas (Confounding Lines): Segmentos não-alvo próximos que atuam como distrações visuais sem alterar o caminho principal.
• Geração de Dados: As polilinhas são geradas algoritmicamente para atender a células específicas em uma grade conjunta de tortuosidade e auto-interseção, garantindo que a dificuldade seja impulsionada pela estrutura do caminho e não por artefatos de renderização.
• Análise Adicional: Um benchmark auxiliar testa o viés de ordem de leitura (ex: esquerda-direita vs. direita-esquerda) para descartar que os modelos apenas sigam padrões de layout familiares.

3. Principais Contribuições

1. Introdução do TraversalBench: Um benchmark controlado que exige atenção visual sustentada e raciocínio espacial fiel, sem depender de OCR ou conhecimento de mundo.
2. Isolamento de Fatores de Dificuldade: Capacidade de separar os efeitos de cruzamentos, sinuosidade, comprimento do caminho e distrações estruturais.
3. Diagnóstico de Falhas Localizadas: Demonstração de que as falhas não são uniformes, mas ocorrem em gargalos estruturais específicos.

4. Resultados Experimentais

Os autores avaliaram seis modelos VLMs (incluindo Gemini 3.1 Pro, GPT-5.4, Claude Opus 4.6 e Qwen3-VL 32B).

• Desempenho Geral: Mesmo os modelos mais fortes (como Gemini 3.1 Pro) têm desempenho longe de saturado em tarefas de travessia exata. Há uma grande lacuna entre a precisão de nível de token (onde o modelo acerta partes da sequência) e a precisão de correspondência exata (onde a sequência inteira deve estar correta).
• Auto-interseções como Fator Dominante:
  • As auto-interseções são a principal fonte de erro.
  • Análise de "Primeiro Cruzamento": O desempenho é relativamente estável imediatamente antes do primeiro cruzamento, mas cai abruptamente no momento em que o modelo deve escolher a continuação correta. Isso indica um gargalo local de continuação.
  • Modelos mais fortes conseguem manter o caminho por longos prefixos, mas falham catastróficamente no ponto de ambiguidade local.
• Linhas Confusas (Distrações):
  • Diferente das interseções (que causam uma queda aguda e localizada), as linhas confusas próximas induzem uma degradação persistente e cumulativa.
  • À medida que o modelo encontra mais distrações ao longo da sequência, a precisão diminui gradualmente, sugerindo um acúmulo de ruído na atenção visual.
• Orçamento de Raciocínio:
  • Aumentar o orçamento de raciocínio (ex: usando modos "Pro" ou "Auto" com mais tokens de pensamento) não garante uma melhoria linear.
  • Em alguns casos, modelos com mais raciocínio interno falham em emitir qualquer resposta (taxa de resposta mais baixa), embora, quando respondem, a precisão seja alta. Isso sugere que o raciocínio adicional sem uma reancoragem visual efetiva pode ser ineficiente ou contraproducente.
• Viés de Leitura: Os modelos mostram preferência por layouts compatíveis com a serialização da esquerda para a direita, mas isso não explica os efeitos principais da complexidade do caminho.

5. Significado e Conclusões

O TraversalBench revela que a falha dos VLMs em tarefas de rastreamento visual não é uma incapacidade total de seguir caminhos, mas sim uma instabilidade na ancoragem visual sustentada durante a geração sequencial.

• Mecanismo de Falha: Os modelos parecem perder a conexão com a imagem original quando enfrentam ambiguidades locais (cruzamentos) ou quando acumulam ruído de distrações, em vez de falhar desde o início.
• Implicações para Arquitetura e Treinamento: O aumento do tempo de raciocínio (inference-time reasoning) não é uma solução completa. Os autores sugerem que a solução pode exigir mais dados de treinamento específicos e procedimentos que encorajem a manutenção de estados ancorados na imagem ao longo da geração.
• Impacto: Este trabalho posiciona o TraversalBench como uma ferramenta diagnóstica crucial para entender as limitações do raciocínio espacial em ambientes ambíguos e com ruído, áreas críticas para aplicações do mundo real como navegação autônoma, leitura de mapas e diagramas técnicos.

Em resumo, o estudo demonstra que, embora os VLMs sejam poderosos, eles ainda carecem de mecanismos robustos para manter o foco visual sequencial em estruturas complexas e entrelaçadas, um desafio fundamental para o avanço da inteligência artificial multimodal.