Hidden Meanings in Plain Sight: RebusBench for Evaluating Cognitive Visual Reasoning

1. Problema Identificado

O artigo aborda uma lacuna cognitiva crítica nos atuais Modelos Visuais-Linguísticos de Grande Escala (LVLMs). Embora esses modelos tenham alcançado proficiência notável no reconhecimento visual explícito (descrever o que é visível diretamente na imagem), eles falham quando o input visual serve apenas como uma pista para uma resposta que não está explicitamente representada.

O problema central é a incapacidade dos modelos de realizar raciocínio cognitivo complexo e multi-etapas (o que os autores chamam de "Sistema 2"), onde é necessário:

• Extrair atributos visuais e textuais.
• Recuperar conhecimento linguístico prévio (como idioms e fonologia).
• Realizar mapeamento abstrato para sintetizar esses elementos em um significado que existe fora do espaço de pixels.

Atualmente, benchmarks existentes (como VQA v2, GQA, CLEVR) avaliam principalmente o "aterramento referencial" (mapear tokens linguísticos para características visuais explícitas), o que reflete um processamento perceptual rápido ("Sistema 1") e não testa a capacidade de raciocínio simbólico profundo ou a "emaranhamento" (entanglement) criativo entre modalidades.

2. Metodologia: RebusBench

Para preencher essa lacuna, os autores introduzem o RebusBench, um novo benchmark projetado especificamente para testar a integração neurosimbólica de percepção e conhecimento.

• Conjunto de Dados: O RebusBench consiste em 1.164 quebra-cabeças de rebus (charades visuais) coletados de fontes humanas autênticas, focadas em pensamento lateral e uso de idioms.
• Diversidade Cognitiva: Diferente de datasets sintéticos, o RebusBench abrange um espectro contínuo de raciocínio:
  • Dominância Visual: Onde a deformação geométrica do texto é a pista (ex: a palavra "CAKE" com um pedaço cortado visualmente).
  • Dominância Simbólica: Onde padrões lógicos e ausências são a chave (ex: a sequência "0, 2, 3..." junto com a palavra "BLAME", onde a ausência do "1" indica "No one").
• Tarefa Formalizada: É tratada como um problema de geração aberta. Dada uma imagem $I$, o modelo deve gerar o idiom alvo $T$. Isso exige suprimir a legenda literal (alta probabilidade) para inferir o significado abstrato.
• Avaliação:
  • Exact Match (EM): Correspondência exata após normalização.
  • Semantic Judge (GPT-4o): Um avaliador de linguagem natural que pontua a similaridade semântica de 0.0 a 1.0, permitindo variações linguísticas e sinônimos.
• Configuração Experimental: Foram testados modelos LVLMs de última geração (LLaVA, InternVL, Qwen) em diferentes escalas de parâmetros (de 3B a 32B) e estratégias de In-Context Learning (ICL) com 1-shot e 3-shot.

3. Contribuições Principais

1. Novo Benchmark (RebusBench): A criação de um dataset rigoroso de 1.164 quebra-cabeças que exige raciocínio cognitivo profundo, indo além da simples descrição de imagem.
2. Diagnóstico de Limitações: A demonstração empírica de que, mesmo com modelos massivos e técnicas avançadas, existe uma barreira fundamental na capacidade de raciocínio visual-linguístico abstrato.
3. Análise de Escalabilidade e ICL: A evidência de que aumentar o número de parâmetros (scaling) ou fornecer exemplos poucos (few-shot prompting) não resolve a deficiência de raciocínio nesses tipos de tarefas.

4. Resultados Experimentais

Os resultados revelam uma realidade alarmante para o estado da arte:

• Desempenho Global: Todos os modelos testados falharam drasticamente. A precisão de Exact Match (EM) saturou abaixo de 10% para todos os modelos, independentemente da arquitetura ou tamanho.
• Falha na Escala: Aumentar o tamanho do modelo não trouxe melhorias significativas.
  • Exemplo: O modelo InternVL 3.5 cresceu de 4B para 30B parâmetros, mas a EM no 1-shot subiu apenas de 4.73% para 5.15%.
  • O Qwen 2.5 32B atingiu apenas 7.39% (1-shot), pouco superior ao seu irmão menor de 7B (5.15%).
• Ineficácia do ICL: O In-Context Learning (fornecer exemplos resolvidos) não ajudou a superar a barreira. Em alguns casos, o desempenho até piorou com mais exemplos (ex: InternVL 3.5 4B caiu de 4.73% para 4.04% ao passar de 1-shot para 3-shot).
• Avaliação Semântica: Mesmo com um avaliador mais flexível (GPT-4o), a precisão semântica não ultrapassou 20% (o melhor foi 0.1704 com o Qwen 3 8B em 3-shot).

5. Significado e Conclusão

O artigo conclui que os LVLMs atuais, embora possuam os componentes visuais e linguísticos necessários, carecem da "cola" de raciocínio cognitivo necessária para conectá-los em tarefas que exigem abstração e pensamento lateral.

• Limitação Fundamental: A simples adição de capacidade computacional (mais parâmetros) ou dados de treinamento não é suficiente para emergir a capacidade de raciocínio "Sistema 2" necessária para decodificar significados ocultos em representações visuais.
• Implicação Futura: O campo precisa evoluir além da correspondência de padrões e do aterramento referencial. O RebusBench serve como um teste rigoroso para futuras arquiteturas que visam a inteligência humana real, destacando a necessidade de mecanismos que integrem percepção, conhecimento de mundo e raciocínio simbólico de forma nativa.

Em suma, o RebusBench expõe que, embora as máquinas sejam excelentes em "ver" e "ler", elas ainda lutam profundamente para "pensar" sobre o que veem e leem quando a resposta não é literal.