Resumo Técnico: See2Think: Modelos Multimodais Realmente Utilizam Estados Visuais Intermediários?

1. Declaração do Problema

Modelos de Linguagem de Grande Escala Multimodais (MLLMs) estão adotando cada vez mais estratégias de "pensamento visual", como a geração de esboços, anotações, chamadas de ferramentas e imagens intermediárias para auxiliar o raciocínio. No entanto, permanece incerto se esses modelos realmente dependem desses estados visuais intermediários ou se tais estados são meramente decorativos. Os benchmarks existentes sofrem de duas limitações primárias:

1. Limitações de Dados: As coleções de tarefas carecem de diversidade visual ou contêm amostras que podem ser resolvidas apenas via texto (ex: vieses linguísticos ou legendas detalhadas), falhando em isolar a necessidade de evidência visual.
2. Limitações de Avaliação: As avaliações padrão focam na precisão da resposta final ou na qualidade agregada do processo. Elas raramente diagnosticam como os estados visuais intermediários são gerados, renderizados ou utilizados. Especificamente, elas não determinam conjuntamente se uma ação visual autogerada é relevante para a tarefa, se o estado renderizado realiza fielmente essa ação, ou se o raciocínio subsequente depende comportamentalmente da evidência visual retornada.

2. Metodologia: O Framework See2Think

Os autores introduzem o See2Think, um framework de avaliação unificado projetado para desmembrar a utilidade dos estados visuais da dependência comportamental. Ele compreende dois componentes principais:

2.1 See2ThinkBench (O Componente de Dados)

Um benchmark contendo 1.200 problemas de raciocínio de base visual aberta, organizados em 12 categorias de tarefas, divididas em três níveis de raciocínio visual:

• Raciocínio Estruturado 2D: Geometria, Quebra-cabeças Espaciais, Física, Química, QA Científica e Padrões Abstratos.
• Raciocínio de Cena 3D: Atributos de Objetos e Composição 3D.
• Raciocínio Visual do Mundo Real: Manipulação Robótica, Mudança de Estado de Robô, Senso Comum Visual e Física Intuitiva.

Princípios de Construção:

• Filtragem de Resolubilidade Baseada Apenas em Legenda: Para eliminar atalhos dominados por texto, as amostras são filtradas testando se um modelo multimodal forte pode responder à pergunta usando apenas uma legenda detalhada da imagem (sem a imagem original). Amostras resolvíveis em $\ge$3 tentativas são descartadas.
• Normalização do Formato de Resposta: Opções de múltipla escolha são removidas para forçar a geração de texto livre, exceto para um pequeno subconjunto (127 amostras) onde as opções são intrínsecas ao problema de raciocínio.
• Controle de Qualidade: Verificações automáticas e manuais garantem a unicidade da resposta, a consistência entre imagem-pergunta e a necessidade de raciocínio visual não trivial.

2.2 Visual Action-of-Thought (VAoT) (O Componente de Protocolo)

O VAoT é um protocolo de diagnóstico em tempo de inferência que registra uma sequência intercalada de pensamentos textuais, ações visuais estruturadas e estados visuais renderizados.

• Loop de Interação: Dada uma imagem $I$ e uma pergunta $q$, o modelo produz um pensamento textual $T_t$ e uma ação estruturada $A_t$ (ex: destacar, recortar, desenhar linha). Um renderizador externo executa $A_t$ no estado atual e retorna o estado visual atualizado $R_t$. O modelo então raciocina com base em $H_t = \{T_i, A_i, R_i\}$.
• Configurações de Inferência Controladas: O framework avalia modelos sob quatro condições para isolar modos de falha específicos:
  1. CoT: Raciocínio textual apenas sobre a imagem original.
  2. VAoT-NoRender: O modelo planeja ações visuais, mas elas não são executadas/renderizadas.
  3. VAoT (Padrão): As ações são executadas e o estado renderizado fiel é retornado.
  4. VAoT-WrongRender: As ações são executadas, mas o renderizador retorna um estado corrompido relevante para a tarefa (ex: um destaque errado ou um recorte distorcido) para sondar a dependência comportamental.

2.3 Métricas de Avaliação

O framework diagnostica o processo ao longo de três dimensões para uma etapa visual chave em cada trajetória:

1. Relevância da Ação: A operação solicitada visa evidências relevantes para a tarefa?
2. Fidelidade da Renderização: O estado renderizado realiza corretamente a ação solicitada?
3. Absorção de Feedback (Feedback Uptake): O raciocínio subsequente utiliza informações que estão realmente presentes no estado renderizado?

3. Principais Contribuições

1. Formulação do Uso de Estado Visual: O artigo define o "uso genuíno de estado visual" como um problema de diagnóstico controlado, distinguindo entre a utilidade de um estado e a dependência comportamental do modelo.
2. See2ThinkBench: Um benchmark curado de 1,2 mil amostras com filtragem rigorosa contra atalhos baseados apenas em texto, cobrindo 12 categorias de tarefas e três ambientes de raciocínio visual.
3. Protocolo VAoT: Um protocolo observável e intervencionável que permite o diagnóstico por etapas da seleção de ação, execução visual e uso do estado downstream.
4. Diagnósticos Abrangentes: O framework fornece um método unificado para avaliar se os modelos selecionam operações relevantes, as renderizam fielmente e se realmente utilizam a evidência resultante.

4. Resultados Experimentais

Os autores avaliaram quatro modelos representativos (GPT-5.5, GPT-o3, Gemini 3.5 Flash e Qwen3-VL-32B-Instruct) em todas as configurações.

4.1 Descobertas de Nível de Resultado

• Sem Estratégia Universal: Nenhuma configuração de inferência única domina em todas as tarefas.
  • GPT-5.5 e Qwen3-VL tiveram melhor desempenho com CoT padrão.
  • GPT-o3 mostrou uma leve preferência por VAoT (loop fechado).
  • Gemini 3.5 Flash teve melhor desempenho com VAoT-NoRender (planejamento sem renderização).
• Dependência de Tarefa:
  • Estruturado 2D: O raciocínio direto (CoT) frequentemente supera a intervenção visual.
  • Cenas 3D: O planejamento de ação (VAoT-NoRender) muitas vezes organiza o raciocínio melhor do que a percepção bruta.
  • Mundo Real: Nenhuma estratégia única mostra vantagem agregada clara.
• Manipulação Robótica: Precisão consistentemente baixa em todos os modelos, sugerindo que erros de ancoragem (grounding) são difíceis de compensar com ações visuais.

4.2 Diagnóstico de Nível de Processo

• Relevância da Ação: Os modelos selecionam consistentemente operações visuais relevantes (pontuações $\approx$ 0,95–0,99).
• Fidelidade da Renderização: Este é o principal gargalo. As pontuações são significativamente menores ($\approx$ 0,56–0,70) em todos os modelos, indicando que os modelos frequentemente falham em executar ou realizar seus planos visuais com precisão.
• Absorção de Feedback: Os modelos geralmente utilizam a informação visual retornada (pontuações $\approx$ 0,65–0,87), mas alta absorção não garante ganhos de precisão.
• Modos de Falha:
  • Em cenas 3D, a lacuna entre trajetórias corretas e incorretas é maior na Fidelidade da Renderização.
  • Em tarefas do Mundo Real, a lacuna é maior na Relevância da Ação.
  • Em tarefas 2D, todas as lacunas são pequenas, consistente com o fato de que as imagens originais já expõem as estruturas necessárias.

4.3 Dependência Comportamental (Feedback Corrompido)

• Utilidade vs. Dependência: A renderização correta nem sempre gera ganhos líquidos de precisão (ex: em tarefas 2D). No entanto, corromper o estado visual degrada consistentemente o desempenho, provando a dependência comportamental.
• Sensibilidade: A precisão cai significativamente quando o feedback é corrompido, particularmente em cenas 3D (quedas de até 15,5 pontos percentuais para alta absorção de feedback).
• Dano da Renderização: A renderização não fiel (baixa Fidelidade de Renderização) frequentemente causa "dano" (transição de correto para incorreto) em tarefas 2D e 3D, enquanto a renderização fiel apenas reduz a interrupção.

5. Significância e Alegações

O artigo afirma que o See2Think fornece o primeiro framework unificado para ir além de "rastros visuais" e precisão de resposta final para avaliar o mecanismo do raciocínio visual.

• Uso Genuíno: O estudo demonstra que, embora os modelos possam planejar ações visuais relevantes, o "uso genuíno" de estados intermediários é frequentemente dificultado por uma falha em renderizar fielmente essas ações, em vez de uma falha em planejá-las.
• Capacidade Condicional: O raciocínio visual não é um impulsionador universal de precisão; sua eficácia é altamente dependente da arquitetura específica do modelo e do ambiente visual (2D vs. 3D vs. Mundo Real).
• Conceitos Distintos: O framework consegue separar com sucesso a utilidade do estado visual (o estado ajuda?) da dependência comportamental (o modelo depende do estado?). Um modelo pode derivar pouco benefício de um estado correto, mas sofrer significativamente se esse estado for corrompido, indicando uma dependência que não necessariamente se traduz em melhoria na qualidade do raciocínio.

Os autores concluem que os modelos multimodais atuais exibem um "gap de planejamento-renderização", onde a capacidade de selecionar uma operação visual é alta, mas a capacidade de executar e integrar o resultado é o fator limitante. O framework oferece um ambiente controlado para diagnosticar esses estágios específicos de falha.