Resumo Técnico: MENTISOCULI: Revelando os Limites do Raciocínio com Imagética Mental

Declaração do Problema

Os atuais modelos multimodais de fronteira estão transitando de Grandes Modelos de Linguagem Multimodais (MLLMs), que tratam a visão como uma entrada passiva, para Modelos Multimodais Unificados (UMMs), capazes de geração nativa e intercalada de texto e imagem. Essa mudança despertou o interesse no uso de visualizações intermediárias como um auxílio ao raciocínio, analogamente à "imagética mental" humana. No entanto, permanece incerto se os modelos conseguem formar, manter e manipular representações visuais para resolver tarefas de raciocínio complexas, ou se tais pensamentos visuais realmente melhoram o desempenho em relação ao raciocínio apenas textual. Os benchmarks existentes frequentemente avaliam o raciocínio sobre informações visuais, em vez de raciocinar com imagética mental, ou carecem de rigor procedimental para distinguir erros de geração de déficits de raciocínio.

Metodologia

Para abordar essas lacunas, os autores introduzem o MENTISOCULI (do latim "olhos da mente"), um benchmark procedimental e estratificado projetado para desafiar a capacidade dos modelos de raciocinar com representações visuais.

Design do Benchmark

O MENTISOCULI consiste em cinco tarefas de raciocínio visual de múltiplamente etapas, cada uma gerada proceduralmente através de cinco níveis de dificuldade (Nível 1 a Nível 5). As tarefas são projetadas para serem difíceis de textualizar, mas intuitivas para humanos resolverem visualmente, aderindo a seis desideratos fundamentais:

1. Natureza Visual: As tarefas dependem de relações espaciais, restrições geométricas e transformações de objetos, em vez de conhecimento comum.
2. Alta Densidade de Informação: As tarefas evitam mundos de grade simples, utilizando formas complexas e transformações contínuas.
3. Manipulação Sequencial: As tarefas exigem atualizações repetidas de um estado mental, onde as ações dependem de resultados anteriores.
4. Procedural: As tarefas são geradas algoritmicamente com cadeias de pensamento (CoT) visuais de verdade fundamental (ground-truth) para análise.
5. Estratificado: A dificuldade é controlada pelo número de etapas ou objetos, permitindo a identificação dos pontos de ruptura dos modelos.
6. Viabilidade Generativa: As tarefas são limitadas a projeções 2D com detalhes legíveis em resoluções padrão.

As cinco tarefas são:

• Form Board (Tabuleiro de Formas): Selecionar um subconjunto de formas para preencher uma silhueta alvo sem lacunas ou sobreposições.
• Hinge Folding (Dobra de Dobradiça): Prever ângulos de rotação discretos para uma cadeia de polígonos para corresponder a uma silhueta alvo.
• Paper Fold (Dobra de Papel): Identificar o padrão correto de furos após uma sequência de dobras e um furo de perfuração.
• Rush Hour (Hora do Rush): Navegar com um veículo vermelho para fora de um lote lotado movendo veículos que bloqueiam o caminho (com posições contínuas e orientações não alinhadas aos eixos).
• Sliding Puzzle (Quebra-cabeça de Deslizamento): Restaurar uma imagem natural permutada movendo uma peça vazia.

Estrutura de Avaliação

Os autores avaliaram um espectro de famílias de modelos:

• MLLMs: Saídas apenas de texto (ex: Gemini 3, GPT-5.1, Qwen3-VL).
• Modelos de Raciocínio Latente: Modelos ajustados para gerar tokens latentes visuais intercalados (ex: Mirage, LatentSketchpad).
• Modelos Multimodais Unificados (UMMs): Modelos que geram explicitamente imagens intercaladas com texto (ex: Gemini 2.5-I, Gemini 3-I, Emu 3.5).
• Modelos de Vídeo: Rollouts puramente visuais condicionados por um prompt (ex: Veo 3.1, Wan 2.6).

A avaliação envolveu pontuação automatizada de saídas de texto (via simulação ou correspondência exata) e um avaliador de vídeo personalizado para modelos de vídeo. O estudo também incluiu um experimento psicofísico com participantes humanos (estudantes de doutorado) para estabelecer um teto de desempenho e analisar a alocação de esforço de raciocínio.

Principais Contribuições

1. Benchmark MENTISOCULI: Um benchmark procedimental rigoroso para raciocínio de múltiplas etapas com imagética mental, apresentando CoTs visuais de verdade fundamental e níveis de dificuldade estratificados.
2. Análise Abrangente: Uma avaliação de todo o espectro da imagética mental de máquina, desde tokens latentes implícitos até imagens geradas explícitas e vídeo.
3. Diagnóstico de Modos de Falha: Evidência de que as falhas dos UMMs derivam não apenas de erros de geração, mas também de uma incapacidade crítica de interpretar e utilizar auxílios visuais (mesmo aqueles de verdade fundamental) para a tomada de decisão.
4. Comparação Humano-Máquina: Dados destacando que os modelos falham em aumentar adaptativamente o esforço de raciocínio (uso de tokens) em resposta ao aumento da complexidade visual-espacial, ao contrário dos humanos.

Resultados

1. Ineficácia do Pensamento Visual Explícito

Em todas as tarefas e níveis de dificuldade, estratégias visuais explícitas (tokens latentes, imagens intercaladas ou vídeo) não melhoraram o desempenho em relação às linhas de base apenas de texto.

• MLLMs vs. UMMs: Os UMMs (ex: Gemini 3-I) frequentemente performaram pior do que seus equivalentes apenas de texto (ex: Gemini 3).
• Raciocínio Latente: Modelos de raciocínio latente ajustados mostraram ganhos marginais em níveis mais fáceis, mas colapsaram para um desempenho próximo ao acaso no Nível 5, não oferecendo vantagem consistente sobre o ajuste fino apenas de texto.
• Modelos de Vídeo: Modelos de vídeo (Veo 3.1, Wan 2.6) falharam em exceder o desempenho ao acaso, quebrando rapidamente conforme a dificuldade aumentava.

2. A Dupla Falha dos UMMs

A análise dos UMMs revelou dois problemas compostos:

• Erros de Geração: Os modelos frequentemente alucinam mudanças de estado, perdendo a identidade do objeto ou a geometria entre os quadros.
• Erros de Interpretação: Crucialmente, mesmo quando fornecidos com visualizações de oráculo (imagens intermediárias de verdade fundamental), os UMMs falharam em utilizá-las para melhorar o raciocínio. Em muitos casos, modelos com visuais de oráculo não performaram melhor do que aqueles gerando suas próprias imagens (falhas), indicando uma incapacidade de tratar estados visuais como evidências acionáveis para a tomada de decisão.

3. Desacoplamento de Modalidades

Nos UMMs, o canal de raciocínio de texto e o canal de geração de imagem são fracamente acoplados. Na tarefa Rush Hour, os dois canais frequentemente resolviam quebra-cabeças diferentes. À medida que a dificuldade aumentava, o canal de texto carregava o fardo do planejamento enquanto o canal de imagem falhava, porém o modelo não integrava os dois com sucesso.

4. Limites dos Aprimoramentos de Raciocínio

Técnicas padrão que melhoram o raciocínio baseado em linguagem — Aprendizado em Contexto (ICL), Otimização de Prompt, Aumento de Orçamento de Raciocínio e Uso de Ferramentas — não produziram ganhos sistemáticos para tarefas de raciocínio visual. O aumento do uso de tokens não correlacionou com a melhoria da precisão em níveis mais difíceis.

5. Esforço Humano vs. Máquina

Os humanos demonstraram raciocínio adaptativo, dedicando mais tempo (e, por extensão, esforço) a quebra-cabeças mais difíceis. Em contraste, modelos como o Gemini 3 não aumentaram o uso de tokens conforme a dificuldade da tarefa aumentava do Nível 3 para o Nível 5, sugerindo uma falta de profundidade de raciocínio adaptativo.

Significância e Alegações

O artigo conclui que, apesar do apelo intuitivo da "imagética mental", os modelos de fronteira atuais ainda não conseguem preencher a lacuna entre geração e raciocínio. Os autores afirmam que:

• Pensamentos visuais não beneficiam o raciocínio do modelo atualmente; na verdade, eles frequentemente introduzem erros compostos.
• A falha não é meramente uma falta de capacidade generativa, mas uma incapacidade fundamental de manter a consistência e utilizar informações visuais para o planejamento.
• O MENTISOCULI fornece a base necessária para isolar esses modos de falha e distinguir a capacidade de raciocínio do alinhamento representacional.

O trabalho sugere que alcançar uma imagética mental de máquina eficaz provavelmente exigirá dados de treinamento dedicados e uma mudança de foco por parte dos desenvolvedores de modelos para o raciocínio visual de múltiplas etapas, em vez de simplesmente escalar as arquiteturas atuais. O artigo mantém-se modesto, observando que, embora os auxílios visuais possam ser úteis em contextos específicos, sua eficácia não é uniforme nem confiável com a tecnologia atual.