Semantic Richness or Geometric Reasoning? The Fragility of VLM's Visual Invariance

Título: Riqueza Semântica ou Raciocínio Geométrico? A Fragilidade da Invariância Visual dos VLMs

1. O Problema

O artigo investiga uma falha fundamental nos Modelos de Linguagem e Visão (VLMs) de última geração: a incapacidade de realizar raciocínio geométrico robusto quando desprovidos de pistas semânticas familiares.

Embora os VLMs modernos sejam excelentes em tarefas semânticas (como reconhecer objetos em fotos naturais ou descrever cenas complexas), eles falham sistematicamente em tarefas de invariância e equivalência geométrica básicas. O problema central é que esses modelos parecem depender de "âncoras semânticas" (familiaridade com dados de treinamento) em vez de compreender verdadeiramente a geometria subjacente das formas. Quando a riqueza semântica é reduzida (ex: desenhos esquemáticos, scripts desconhecidos), a capacidade de identificar que dois objetos são o mesmo, mesmo sob transformações como rotação, escala ou identidade, colapsa.

2. Metodologia

Os autores realizaram uma avaliação sistemática através de múltiplos domínios visuais e transformações geométricas para isolar o raciocínio geométrico da familiaridade semântica.

• Conjuntos de Dados (Granularidade Semântica Variável):
  • Omniglot: Caracteres manuscritos de 50 scripts diferentes (do Latim/Grego familiar ao Glagolítico/Braille desconhecido). Usado para testar se o modelo depende da familiaridade com o script.
  • Times New Roman & Handwritten English: Alfabetos em fontes padronizadas e manuscritas, servindo como linha de base familiar.
  • PACS: Imagens de objetos (cachorro, guitarra, etc.) em quatro domínios: Fotografia, Arte, Cartoon e Esboço (Sketch). Usado para testar a robustez em diferentes níveis de abstração visual.
• Transformações Testadas:
  1. Rotação: Identificar se uma imagem é uma versão rotacionada de outra.
  2. Escala: Identificar se duas imagens representam o mesmo objeto em diferentes tamanhos/resoluções.
  3. Identidade: Identificar se duas imagens são idênticas.
• Modelos Avaliados:
  • Fechados: Gemini-2.5-Pro e GPT-5.2.
  • Abertos: Família Qwen (Qwen2.5-VL e Qwen3-VL) em várias capacidades (7B, 32B, 8B, 30B).
• Métricas: Precisão (Accuracy), Sensibilidade/Recall (TPR) e Especificidade (TNR).
• Análise de Componentes:
  • Comparação de codificadores visuais (CLIP, DINOv2, SigLIP) isoladamente vs. o VLM completo.
  • Análise de "Thinking Traces" (rastros de pensamento) para entender o processo de raciocínio.
  • Testes de In-Context Learning (ICL) e Prompting estruturado (Grids de Rotação) para tentar mitigar as falhas.

3. Contribuições Principais

1. Desacoplamento de Semântica e Geometria: Demonstra que a alta performance dos VLMs em tarefas de invariância em fotos naturais é um subproduto da familiaridade com o conjunto de dados, e não de um raciocínio geométrico genuíno.
2. Identificação de "Falhas de Invariância": Revela que os modelos têm um viés extremo para prever "Não" em tarefas de rotação (baixo TPR) em dados esparsos, falhando em reconhecer que um objeto rotacionado é o mesmo objeto.
3. Análise de Arquitetura: Mostra que o codificador visual (backbone) muitas vezes mantém a similaridade de características sob rotação, mas o decodificador de linguagem falha ao interpretar essa similaridade para tarefas de raciocínio.
4. Limitação de Escala e Prompting: Demonstra que aumentar o tamanho do modelo (parâmetros) ou usar técnicas de few-shot learning não resolve o problema fundamental, apenas melhora marginalmente a performance em casos específicos, muitas vezes introduzindo novos vieses (como falsos positivos).

4. Resultados Chave

• Queda de Desempenho por Riqueza Semântica:
  • Em Fotografias (alta semântica), modelos como Gemini-2.5-Pro atingem ~92-99% de precisão em tarefas de rotação.
  • Em Esboços (Sketches) e Scripts Desconhecidos (baixa semântica), a precisão cai drasticamente. Por exemplo, no Omniglot, a precisão de rotação do Gemini-2.5-Pro cai para ~55%, e em scripts como Braille, a performance de muitos modelos é próxima do acaso (50%).
• Viés de "Não" (Falso Negativo):
  • Em tarefas de rotação com scripts desconhecidos, os modelos tendem a prever "Não" (os objetos são diferentes) com extrema confiança (TNR ~100%), falhando em identificar rotações válidas (TPR muito baixo, frequentemente <10% em modelos abertos menores).
• Dependência de Familiaridade:
  • Modelos performam muito melhor em scripts familiares (Latim, Grego) do que em scripts raros (Glagolítico, Braille), mesmo que a tarefa seja puramente geométrica.
  • Em tarefas de Identidade (mesma imagem), modelos falham em reconhecer caracteres idênticos em scripts desconhecidos, sugerindo que o sucesso em scripts familiares é baseado em memorização, não em comparação geométrica.
• Codificadores vs. VLMs:
  • Codificadores visuais puros (como SigLIP e Qwen2.5-VL encoder) mantêm alta similaridade de cosseno entre imagens rotacionadas.
  • No entanto, ao acoplar esses codificadores a um decodificador de linguagem, a capacidade de inferir a transformação desaparece, indicando que o "gap" está na integração linguagem-visão.
• Ineficácia de Mitigações:
  • Técnicas de In-Context Learning (ICL) e Rotational Grids aumentam o Recall (TPR), mas frequentemente às custas da Especificidade (TNR), fazendo os modelos "chutar" "Sim" excessivamente, o que não constitui um raciocínio robusto.

5. Significância e Implicações

O artigo conclui que os VLMs atuais carecem de uma compreensão fundamental e invariante da geometria. Eles operam como "reconhecedores de padrões semânticos" que usam a familiaridade dos dados como atalho (shortcut).

• Risco para Aplicações Críticas: Esta fragilidade representa um risco significativo para aplicações em robótica, navegação autônoma e sistemas de segurança, onde o modelo precisa interagir com objetos em orientações ou escalas não vistas durante o treinamento, sem depender de rótulos semânticos.
• Direção Futura: A pesquisa sugere que o avanço futuro não virá apenas de modelos maiores ou mais dados, mas de inovações arquiteturais que instilam raciocínio geométrico zero-shot e invariância real, desacoplando a identidade do objeto de sua orientação e contexto semântico.

Em resumo, o trabalho expõe que, embora os VLMs pareçam "ver" o mundo como humanos em fotos familiares, eles falham em realizar o raciocínio espacial básico necessário para entender a estrutura do mundo quando as pistas semânticas são removidas.