Same Content, Different Answers: Cross-Modal Inconsistency in MLLMs

1. O Problema: Inconsistência Cross-Modal

Os Modelos de Linguagem Multimodal (MLLMs) são treinados para representar visão e linguagem em um espaço compartilhado. No entanto, surge uma questão fundamental: essa representação conjunta permite um raciocínio consistente através das diferentes modalidades?

O artigo identifica e define o problema da inconsistência cross-modal: a capacidade de um modelo produzir respostas diferentes para o mesmo conteúdo semântico, dependendo apenas do formato de entrada (texto puro, imagem renderizada ou uma mistura de ambos).

• Hipótese Central: Mesmo quando o modelo consegue reconhecer o texto corretamente (OCR perfeito), ele pode falhar no raciocínio se o texto for apresentado como uma imagem, em vez de texto nativo.
• Causa Suspeita: A existência de um "gap de modalidade" (modality gap), onde os embeddings de texto e imagem ocupam regiões distintas no espaço vetorial compartilhado, levando a comportamentos de raciocínio divergentes.

2. Metodologia: Benchmarks REST e REST+

Para avaliar sistematicamente esse fenômeno, os autores introduzem dois novos benchmarks: REST (Render-Equivalence Stress Tests) e REST+.

Design dos Benchmarks

Cada amostra apresenta informações semanticamente idênticas em três formatos:

1. Apenas Texto: Pergunta em formato nativo de texto.
2. Apenas Imagem: A mesma pergunta renderizada como uma imagem (texto dentro de uma imagem).
3. Misto: Contexto em imagem e pergunta em texto (ou vice-versa).

Conjunto de Dados

• SOEBENCH: Um novo conjunto de tarefas gerado especificamente para este estudo, focado em resolver sistemas de equações lineares com variáveis simbólicas (letras A-E e números 0-9).
  • Objetivo: Garantir que os modelos não tenham visto os dados durante o pré-treinamento (zero contaminação de dados) e minimizar a complexidade de OCR.
• Benchmarks Existentes: MMLU, ARC e GSM-Symbolic, com texto renderizado como imagens.

Controles Experimentais

• Filtro de OCR: As análises são condicionadas ao modelo realizar a transcrição (OCR) corretamente. Isso isola o problema de raciocínio de problemas de reconhecimento.
• REST+: Estende o REST criando 10 permutações visuais para cada imagem, variando:
  • Resolução: 50, 100 e 200 DPI.
  • Fontes: DejaVu Sans, Courier New e Cursiva.
  • Cores: Texto colorido (vermelho, verde, azul, etc.) vs. preto.

Métricas de Avaliação

1. RER (Render-Equivalence Rate): A fração de perguntas onde o modelo dá a mesma resposta em todas as modalidades (1.0 = perfeitamente consistente).
2. CFR (Cross-Modality Failure Rate): A taxa de inconsistência em perguntas que o modelo consegue resolver em pelo menos uma modalidade, mas falha em outras.
3. MMC (Max Modal Coverage): A fração de perguntas resolvidas em pelo menos uma modalidade, indicando o potencial máximo do modelo se a modalidade ideal for usada.

3. Principais Contribuições

1. Introdução dos Benchmarks REST/REST+: Primeiros benchmarks que controlam rigorosamente a complexidade de OCR e utilizam dados não vistos anteriormente (SOEBENCH) para medir a consistência de raciocínio.
2. Evidência Empírica de Inconsistência: Demonstração de que 15 MLLMs de última geração (incluindo GPT-5-mini, Claude Haiku 4.5, Qwen, Gemini) exibem inconsistências significativas (variação de ~10% a ~90% de inconsistência), mesmo com OCR perfeito.
3. Análise Mecanística: Correlação entre a consistência do benchmark e a similaridade cosinosa entre as representações internas de texto e imagem no espaço de embeddings.

4. Resultados Chave

RQ1: Existe inconsistência cross-modal?

• Sim. Nenhum modelo é perfeitamente consistente.
• Ranking: Modelos fechados (GPT-5-mini e Claude Haiku 4.5) lideram com RER de ~90%, enquanto modelos menores ou menos otimizados (Phi-4, DeepSeek-Tiny) apresentam RER abaixo de 15-20%.
• Viés de Modalidade: Quase todos os modelos performam significativamente melhor na modalidade de texto do que na de imagem. O texto é a modalidade preferida e mais eficaz.

RQ2: A inconsistência é causada pelo OCR?

• Não. Mesmo filtrando apenas as perguntas onde o OCR foi perfeito, a inconsistência persiste.
• A estratégia de "OCR primeiro, depois resolver" (instructar o modelo a transcrever antes de responder) não resolve o problema e, em alguns casos, piora o desempenho.

RQ3: Características visuais influenciam?

• Resolução (RQ3a): Sim. Resoluções mais baixas (50 DPI) aumentam a inconsistência e reduzem a precisão do OCR, afetando o raciocínio subsequente. Modelos robustos mantêm a consistência em altas resoluções.
• Fonte (RQ3b): Não há impacto claro. Diferentes famílias de fontes (serifada, monoespaçada, cursiva) não alteram significativamente a consistência.
• Cor (RQ3b): Sim. Surpreendentemente, a maioria dos modelos performou melhor com texto colorido (vermelho, amarelo) do que com texto preto, sugerindo que características visuais podem ajudar na atenção do modelo.

RQ4: Correlação com Representações Internas?

• Existe uma correlação positiva entre a similaridade cosinosa das representações internas (texto vs. imagem) e a pontuação de consistência (RER).
• Interpretação: Modelos que mapeiam o mesmo conceito para regiões mais próximas no espaço vetorial compartilhado tendem a ser mais consistentes. A inconsistência surge quando as representações de texto e imagem ocupam regiões distintas, impedindo o raciocínio unificado.

Eficiência de Tokens

• Em geral, são necessários mais tokens de visão do que tokens de texto para atingir a mesma precisão.
• Exceção notável: O Qwen2.5-VL-32B demonstrou maior eficiência com tokens de visão, obtendo maior precisão com menos tokens de imagem do que com texto.

5. Significado e Conclusão

O trabalho revela uma falha fundamental nos MLLMs atuais: a capacidade de raciocínio não é invariante à modalidade de entrada.

• Implicação Prática: A performance de um modelo em tarefas multimodais pode ser subestimada ou superestimada dependendo de como os dados são apresentados. Um modelo pode "saber" a resposta se ler o texto, mas falhar se a mesma informação estiver em uma imagem.
• Causa Raiz: A inconsistência não é apenas um erro de leitura (OCR), mas um problema de alinhamento de representações no espaço latente do modelo.
• Futuro: Sugere-se que otimizar o alinhamento das representações de texto e imagem (reduzir o "gap de modalidade") é crucial para desenvolver MLLMs verdadeiramente robustos e confiáveis, independentemente do formato de entrada.

Em resumo, o artigo demonstra que, embora os MLLMs tenham avançado, eles ainda não integram visão e linguagem de forma perfeitamente coerente, tratando o mesmo conteúdo de maneiras radicalmente diferentes dependendo de como é apresentado.