Resumo Técnico: VLMs Rastreiam sem Rastrear: Diagnosticando Falhas no Seguimento de Caminhos Visuais

Declaração do Problema

Embora os Modelos Visuais-Linguísticos (VLMs) demonstrem forte desempenho em benchmarks multimodais abrangentes, eles frequentemente carecem de controle robusto sobre operações visuais básicas. Especificamente, este artigo investiga o rastreio de linhas: a capacidade de um modelo de seguir um caminho visual selecionado através de continuações locais sucessivas. Os autores argumentam que os VLMs atuais lutam para manter a identidade de um caminho selecionado quando há alternativas concorrentes próximas, mesmo em cenários desprovidos de características topológicas complexas, como cruzamentos ou ambiguidades semânticas. Essa falha é distinta de déficits gerais de raciocínio espacial; é uma incapacidade específica de sustentar a atenção em uma estrutura contínua contra distratores visuais locais.

Metodologia

O estudo emprega uma abordagem diagnóstica controlada para isolar o mecanismo de rastreio de fatores de confusão, como atalhos semânticos, dependências de longo alcance e topologia complexa.

1. Tarefas de Rastreio Controladas

Os autores projetaram duas tarefas principais para remover dificuldades externas:

• Tarefa de Conexão de Circuito Modificada: Baseada em trabalhos anteriores de busca visual suave, esta tarefa remove cruzamentos e sobreposições de fios. Os modelos devem rastrear um fio específico de uma porta inicial até um componente, relatando uma sequência de pontos coloridos colocados ao longo do fio. Isso isola a capacidade de seguir um único caminho em um ambiente multifio.
• Tarefa de Redemoinho (Swirl): Um conjunto de dados abstrato consistindo em um único caminho em espiral com oito pontos de cores únicas. A tarefa varia a densidade de rotação (Baixa, Moderada, Alta) para controlar a proximidade de voltas vizinhas. Isso elimina priores específicos de domínio (como portas de circuito) e foca puramente na dificuldade de distinguir a continuação local correta de uma volta adjacente visualmente similar.

2. Intervenções Diagnósticas

Para determinar o mecanismo da falha, os autores conduziram várias análises:

• Testes de Estresse de Similaridade Local: Na tarefa de Redemoinho, eles construíram condições onde distratores próximos variavam em similaridade estrutural com o caminho-alvo (por exemplo, "Segmento compartilhado" vs. "Diferente em tudo").
• Mascaramento Causal: Eles aplicaram máscaras de oclusão a regiões específicas (o distrator, o caminho-alvo ou patches aleatórios) para testar se a remoção do sinal concorrente restaura o desempenho.
• Análise de Representação Interna: Usando modelos de código aberto (Qwen3-VL e InternVL3.5), eles mediram:
  • Preferência de Atenção: Se a atenção do modelo a partir da posição atual favorece o próximo ponto verdadeiro em relação a um distrator.
  • Preferência Representacional: Se o estado oculto da posição atual é geometricamente mais próximo da continuação verdadeira ou do distrator no espaço de incorporação.
• Avaliação de Remédios: O artigo testou estratégias padrão de mitigação:
  • Escalonamento de Modelo: Avaliando modelos de tamanhos variados (2B a 235B parâmetros) dentro da família Qwen3-VL.
  • Raciocínio: Testando modelos habilitados para raciocínio para ver se a deliberação passo a passo melhora o rastreio.
  • Instruções Explícitas: Fornecendo prompts que explicitamente proíbem a seleção baseada em proximidade e exigem o seguimento da linha.

3. Testes de Generalização

Para verificar se as falhas não são artefatos de dados sintéticos, os autores avaliaram os modelos em:

• Conjunto de Dados HANDLOOM: Rastreando cabos emaranhados com auto-sobreposições e cruzamentos.
• Mapas de Metrô: Rastreando rotas em mapas de trânsito com rótulos densos e linhas intersecionadas.

Resultados Principais

1. Falhas Sistemáticas de Troca de Caminho

Mesmo os VLMs mais avançados (incluindo Claude Sonnet 4.5, GPT-5.4 e Gemini3-Flash) falham significativamente nessas tarefas.

• Tarefa de Circuito: O Claude Sonnet 4.5 alcançou apenas 6,2% de precisão. O modo de erro dominante (90–98% dos erros) foi um salto para fio adjacente, onde o modelo começa corretamente, mas muda para um fio próximo.
• Tarefa de Redemoinho: O desempenho degrada-se drasticamente com a densidade de rotação. Em alta densidade, o GPT-5.4 cai para ~20%, e o Claude Sonnet 4.5 e o Qwen3-VL-235B atingem 0%. O erro dominante é um salto para volta adjacente.

2. Mecanismo: Competição Local

As falhas são impulsionadas por competição visual local, não por ruído aleatório ou limites de raciocínio global.

• Sensibilidade à Similaridade: A precisão cai significativamente apenas quando o distrator compartilha estrutura local (por exemplo, um segmento paralelo) com o caminho-alvo. Quando a similaridade é removida, o desempenho se recupera.
• Evidência Causal: O mascaramento da região do distrator aumenta a precisão em ~13,5 pontos, enquanto o mascaramento do caminho-alvo destrói o desempenho. Isso confirma que o distrator atrai ativamente o modelo para fora do curso.
• Deriva do Estado Interno: Análises internas revelam que, à medida que a similaridade local aumenta, a atenção do modelo e as representações ocultas se deslocam da continuação verdadeira em direção ao distrator. Em condições de "Segmento compartilhado", o estado interno é frequentemente mais próximo do distrator do que do caminho verdadeiro.

3. Ineficácia de Remédios Padrão

• Escalonamento: Aumentar o tamanho do modelo (até 235B parâmetros) produz apenas ganhos marginais, que diminuem sob maior dificuldade.
• Raciocínio: Modelos habilitados para raciocínio não realizam rastreio visual genuíno. Em vez disso, eles dependem de substitutos heurísticos (por exemplo, "decomposição de anéis" ou "correspondência angular") para adivinhar a sequência. Embora isso às vezes melhore a precisão, isso ocorre a um custo massivo de tokens (milhares de tokens para um simples rastreio) e não elimina erros de salto adjacente (que permanecem 71–84% das falhas).
• Instruções: Instruir explicitamente os modelos a seguir a linha e ignorar a proximidade diminui a precisão em todos os modelos, sugerindo que as arquiteturas atuais não podem simplesmente ser instruídas a realizar rastreio confiável.

4. Persistência no Mundo Real

A mesma falha de troca de caminho persiste em cenários complexos e do mundo real, como cabos emaranhados e mapas de metrô. Os modelos frequentemente mudam para cabos ou estações próximos, e os rastros de raciocínio frequentemente mostram modelos reconstituindo rotas com base em pistas globais em vez de verificação local.

Significado e Alegações

O artigo afirma que o rastreio visual robusto sob competição local é um gargalo fundamental e não resolvido nas arquiteturas atuais de VLM.

• Valor Diagnóstico: Os autores propõem que o rastreio de linhas serve como um diagnóstico concreto e mensurável para a capacidade de manter a estrutura visual conectada.
• Limitação Arquitetural: A falha não é devido à falta de capacidade de raciocínio ou tamanho do conjunto de dados de treinamento, mas sim à falta de mecanismos dedicados para preservar a identidade do caminho contra distratores locais. Os modelos atuais parecem depender de priores linguísticos ou estatísticas grosseiras em vez de continuação visual genuína, passo a passo.
• Necessidade Prática: À medida que os VLMs são implantados em aplicações que exigem seguimento de caminho confiável (por exemplo, leitura de mapas de trânsito, rastreamento de objetos deformáveis, análise de fluxogramas), abordar esse modo de falha específico é uma necessidade prática, não apenas uma preocupação teórica.

Os autores concluem que pesquisas futuras devem focar no desenvolvimento de mecanismos que possam manter o caminho selecionado através de continuações sucessivas, pois as arquiteturas atuais falham em fazê-lo de forma confiável, mesmo quando a tarefa é despojada de todas as outras complexidades.