Why MLLMs Struggle to Determine Object Orientations

Resumo Técnico: Por que os MLLMs Têm Dificuldade em Determinar Orientações de Objetos

1. O Problema

Os Modelos de Linguagem Multimodal (MLLMs) demonstram consistentemente desempenho deficiente em tarefas que exigem raciocínio sobre a orientação 2D de objetos em imagens. Estudos anteriores indicam que os melhores sistemas acertam apenas cerca de 34% a 60% das perguntas sobre orientação e ângulos, muitas vezes performando abaixo do nível de acaso em benchmarks de inteligência visual-espacial.

A hipótese predominante na literatura (proposta por Tong et al. e Nichols et al.) sugere que essa falha origina-se nos codificadores visuais (como CLIP, SigLIP e ViT). A teoria defende que, como esses codificadores são pré-treinados para alinhamento semântico imagem-texto e não para raciocínio geométrico, eles não incorporam informações de orientação em suas representações internas (embeddings). Consequentemente, o MLLM não teria como recuperar essa informação.

2. Metodologia

Os autores propõem um protocolo empírico controlado para testar a hipótese de que a informação de orientação está ausente nos embeddings dos codificadores visuais.

• Modelos Analisados: Quatro sistemas de código aberto:
  • LLaVA-OneVision (usa codificador SigLIP).
  • Qwen2.5-VL-7B-Instruct (usa ViT nativo).
  • LLaVA-1.5 e LLaVA-1.6 (usam codificador CLIP).
• Construção do Conjunto de Dados:
  • Versão de Duas Imagens: Imagens inteiras rotacionadas e objetos rotacionados "in-place" (mantendo o fundo estático) para LLaVA-OneVision e Qwen.
  • Versão de Imagem Única: Para LLaVA-1.5 e 1.6, criaram-se imagens sintéticas onde um objeto de primeiro plano (foreground) é sobreposto a um fundo natural dentro de uma máscara circular. Isso permitiu rotacionar o objeto em incrementos de 1° sem introduzir artefatos nas bordas do patch.
• Protocolo Experimental:
  1. Extração dos vetores de embedding do codificador visual (antes da entrada no LLM) para imagens com diferentes rotações.
  2. Treinamento de regressores lineares (Ridge Regression) simples para prever o ângulo de rotação (seno e cosseno) diretamente a partir desses embeddings.
  3. Avaliação da capacidade de recuperação da informação de orientação: se um modelo linear simples consegue prever a rotação com precisão a partir do embedding, a informação está presente.
  4. Análise de Substituição de Recursos (Feature Substitution): Para entender como a informação está codificada, os autores substituíram incrementalmente características (features) de um embedding "âncora" (rotação conhecida) para um embedding "alvo", medindo quantas substituições são necessárias para enganar o preditor linear.

3. Principais Contribuições e Resultados

A. Refutação da Hipótese do Codificador Visual
O resultado mais impactante contradiz a hipótese estabelecida: a informação de orientação está, de fato, preservada nos embeddings dos codificadores visuais.

• Os regressores lineares conseguiram prever a orientação de imagens inteiras e objetos de primeiro plano com uma Erro Médio Absoluto (MAE) inferior a 3° (na maioria dos casos, < 2°).
• Isso foi consistente across diferentes arquiteturas (SigLIP, ViT, CLIP) e modelos (LLaVA, Qwen).
• Conclusão: O problema não é a falta de informação no codificador visual, mas sim a incapacidade do MLLM (a parte de linguagem e integração) de acessar e utilizar essa informação.

B. Natureza da Informação de Orientação
Embora a informação esteja presente, os autores descobriram propriedades que dificultam sua exploração pelo modelo:

1. Distribuição Difusa: A informação de orientação não está concentrada em poucos neurônios ou características específicas. A análise de substituição de recursos mostrou que é necessário substituir dezenas de milhares de características (ex: >128.000 no Qwen, >540.000 no LLaVA-OneVision) para alterar a previsão do modelo. Isso indica que a orientação é codificada de forma altamente distribuída e difusa no espaço vetorial.
2. Distribuição de Erros Gaussianos: Os erros de predição do regressor linear seguem uma distribuição aproximadamente Gaussiana (normal), indicando que a informação é robusta e estocástica, não aleatória.
3. Sensibilidade ao Fundo: A estimativa da orientação do objeto de primeiro plano depende criticamente de o fundo estar em sua orientação canônica. Quando o fundo também é rotacionado, a precisão da estimativa do objeto cai drasticamente (MAE > 80°), a menos que o modelo tenha sido treinado especificamente com fundos rotacionados.

C. Desempenho dos Modelos de Linguagem
Apesar de os embeddings conterem a informação precisa, os próprios MLLMs falham ao responder a perguntas de orientação.

• Em testes diretos, os modelos frequentemente respondem com ângulos padrão (ex: 90°) ou afirmam que é impossível determinar, ignorando a informação rica presente nos embeddings visuais que eles mesmos geraram.

4. Significado e Implicações

• Mudança de Paradigma: O trabalho desloca o foco da investigação de falhas em MLLMs para a orientação. Não se trata mais de "treinar melhor o codificador visual", mas de entender por que a arquitetura do LLM falha em decodificar informações geométricas que já existem em seu estado latente.
• Desafio de Arquitetura: A descoberta de que a informação é "difusa" sugere que os mecanismos de atenção ou as camadas de linguagem atuais dos MLLMs não são eficientes em agregar informações esparsas e distribuídas necessárias para o raciocínio espacial preciso.
• Dependência de Contexto: A sensibilidade à orientação do fundo revela que os modelos podem estar aprendendo correlações superficiais (ex: "objeto vertical em fundo horizontal") em vez de uma compreensão geométrica intrínseca e invariante.

Em resumo, o artigo demonstra que a "cegueira" dos MLLMs para orientação não é uma falha de percepção visual (o olho vê), mas uma falha de raciocínio e integração (o cérebro não processa corretamente o que o olho vê), devido à natureza difusa da codificação e à falta de módulos robustos de raciocínio espacial na arquitetura do modelo.