Resumo Técnico: CASHEW – Estabilizando o Raciocínio Multimodal via Agregação de Trajetórias Iterativa

1. Definição do Problema

Modelos de linguagem-visão (VLMs) alcançaram um sucesso significativo em tarefas de compreensão e raciocínio multimodal. No entanto, seus processos de raciocínio de múltiplas etapas permanecem frágeis e instáveis. Os principais problemas incluem:

• Instabilidade: Amostragens repetidas no mesmo input frequentemente resultam em trajetórias de raciocínio divergentes e previsões finais inconsistentes.
• Alucinações: Os modelos são propensos a alucinações visuais, onde os passos de raciocínio não estão fundamentados em evidências visuais reais.
• Limitações da Escala Atual no Tempo de Teste: As abordagens existentes geralmente seguem um paradigma de "amostragem e seleção", gerando múltiplas cadeias independentes e descartando insights parciais de trajetórias rejeitadas. Além disso, simplesmente aumentar a extensão do raciocínio ou a contagem de amostragem sem um embasamento explícito pode amplificar erros perceptivos precoces em vez de corrigi-los, levando os modelos a "pensar por mais tempo", mas não a "pensir melhor".

2. Metodologia

O artigo propõe duas abordagens complementares para enfrentar essas limitações: CASHEW (um framework de inferência) e CASHEW-RL (uma variante aprendida).

CASHEW: Framework de Agregação Iterativa

O CASHEW trata o raciocínio como um processo evolutivo onde uma população de trajetórias candidatas é sintetizada e refinada iterativamente. Ele opera em quatro estágios:

1. Inicialização da População: O VLM base gera uma população inicial de $N$ trajetórias de raciocínio candidatas.
2. Amostragem de Subconjuntos: Em cada iteração, um subconjunto aleatório de trajetórias pares é amostrado como candidatos de referência para introduzir diversidade e evitar o colapso em um único modo de raciocínio.
3. Verificação Visual: Antes da agregação, um módulo leve de fundamentação visual-textual (implementado usando Grounding DINO) verifica afirmações de nível de objeto e atributo contra o input visual. Apenas a evidência fundamentada é retida para guiar os passos subsequentes.
4. Agregação Fundamentada: O modelo sintetiza as trajetórias amostradas e suas evidências visuais verificadas para gerar uma trajetória de raciocínio atualizada e de maior qualidade. Este processo se repete por $T$ iterações, culminando em uma trajetória consolidada final.

CASHEW-RL: Agregação Aprendida via GSPO

O CASHEW-RL internaliza o comportamento de agregação em um único modelo através de um processo de pós-treinamento em duas etapas:

1. Ajuste Fino Supervisionado (SFT): O modelo é treinado em um formato de agregação estruturado contendo três componentes: um traço de raciocínio (<thought>), um conjunto de chaves visuais verificadas (<visual_keys>) e a resposta final (<answer>). Isso estabelece uma política de referência ($\pi_{ref}$) e ensina o modelo a articular evidências e formatar saídas.
2. Aprendizado por Reforço (RL) via Otimização de Política de Sequência de Grupo (GSPO): O modelo é otimizado usando uma função de recompensa composta que equilibra três objetivos:
   • Corretude da Resposta ($R_{acc}$): Correspondência exata com o ground truth.
   • Qualidade de Seleção de Evidência ($R_{key}$): Uma formulação equilibrada de precisão-recall que incentiva a seleção de chaves visuais relevantes, evitando a proliferação indiscriminada.
   • Penalidade de Comprimento Consciente da Dificuldade ($R_{len}$): Uma penalidade adaptativa que desencoraja a verbosidade excessiva em tarefas fáceis (onde altas taxas de resolução são observadas), enquanto permite flexibilidade para tarefas difíceis.

O treinamento utiliza um currículo baseado em uma mistura de trajetórias geradas por professores offline e trajetórias on-policy, aumentando gradualmente a proporção de dados autogerados para melhorar a robustez e reduzir o desvio de distribuição.

3. Principais Contribuições

• CASHEW: Um framework de tempo de inferência plug-and-play que estabiliza o raciocínio multimodal ao agregar iterativamente trajetórias candidatas com verificação visual explícita, filtrando efetivamente alucinações e fundamentando o raciocínio em evidências.
• CASHEW-RL: Uma variante aprendida que internaliza a agregação de trajetórias via GSPO e uma recompensa composta, permitindo que o modelo realize uma agregação robusta e visualmente fundamentada com controle adaptativo sobre o esforço de raciocínio.
• Validação Empírica: Experimentos extensos demonstrando melhorias consistentes de desempenho em diversos backbones de modelos e modalidades.

4. Resultados Experimentais

Os métodos foram avaliados em 13 benchmarks cobrindo compreensão de imagem, compreensão de vídeo e raciocínio de vídeo.

• Ganhos de Desempenho:
  • Benchmarks de Imagem: O CASHEW-RL alcançou melhorias significativas, incluindo +26,2 pontos percentuais no ScienceQA (Qwen3-VL-4B) e +9,1 pontos percentuais no EgoSchema (InternVL3.5-8B).
  • Benchmarks de Vídeo: Ganhos consistentes foram observados no Video-MME, LongVideoBench e MVBench. Por exemplo, o CASHEW-RL melhorou as pontuações do EgoSchema em +9,1 pontos para o InternVL3.5-8B.
• Comparação com SOTA: O CASHEW superou as linhas de base existentes de escala de tempo de teste (Self-Consistency, Self-Selector e Self-Synthesizer) em todas as métricas. Notavelmente, no benchmark MME, ele superou a linha de base mais forte (Self-Synthesizer) em +48,2 e +82,6 pontos em pontuações de percepção e cognição, respectivamente.
• Estudos de Ablação: A remoção do módulo de fundamentação visual (Grounding DINO) ainda produziu melhorias em relação ao VLM base, indicando que a agregação iterativa é o principal motor de desempenho, com a fundamentação visual aumentando ainda mais a confiabilidade.
• Eficiência: O CASHEW-RL alcançou desempenho comparável a configurações mais profundas do CASHEW com menos iterações de agregação, sugerindo uma melhor eficiência de agregação.

5. Significância e Alegações

O artigo afirma que o CASHEW e o CASHEW-RL oferecem uma solução robusta para a instabilidade do raciocínio multimodal. Ao mudar de um paradigma de "amostragem e seleção" para um paradigma de "agregação iterativa", os métodos garantem que o consenso de raciocínio esteja ancorado em evidências visuais. Os autores enfatizam que sua abordagem permite que os modelos "pensem juntos" em vez de apenas "pensem por mais tempo", mitigando efetivamente as alucinações e melhorando a consistência. A integração da verificação visual e do esforço de raciocínio adaptativo via GSPO permite que o modelo produza respostas que não são apenas corretas, mas também fundamentadas em evidências visuais mínimas porém suficientes.

6. Limitações

Os autores reconhecem que o trabalho atual utiliza um orçamento de agregação fixo para permitir comparações controladas, o que pode não ser ideal para aplicações com restrição de recursos onde exemplos fáceis podem não exigir uma agregação extensa. Embora o CASHEW-RL aborde isso parcialmente ao internalizar o comportamento de agregação, um estudo sistemático de alocação de orçamento adaptativo é identificado como trabalho futuro.