Improving Visual Reasoning with Iterative Evidence Refinement

Título: Improving Visual Reasoning with Iterative Evidence Refinement (SIEVE)

1. O Problema

Os Modelos de Linguagem e Visão (VLMs) atuais demonstram capacidades robustas de raciocínio multimodal, frequentemente utilizando cadeias de pensamento (Chain-of-Thought - CoT). No entanto, o pipeline de inferência padrão é predominantemente centrado no texto:

• A imagem é codificada uma única vez em um conjunto fixo de tokens visuais que atuam como contexto estático.
• À medida que o modelo gera texto, a atenção e a condicionamento deslocam-se gradualmente para o histórico de tokens gerados, reduzindo a influência das evidências visuais originais.
• Limitação das Abordagens Atuais: Métodos recentes tentam resolver isso usando ferramentas externas (como zoom, corte ou navegação) para re-acessar detalhes finos durante a inferência. Isso exige:
  1. Re-codificação da imagem (gasto computacional alto).
  2. Interrupção da cadeia de raciocínio (quebra de continuidade).
  3. Dependência de agentes externos complexos e grandes conjuntos de dados de treinamento.

O artigo questiona se é realmente necessário gerar novas visualizações de imagem via ferramentas externas, propondo que os embeddings visuais internos do modelo já contêm informações suficientes, mas o modelo falha em reutilizá-los seletivamente.

2. Metodologia: Framework SIEVE

Os autores propõem o SIEVE (Self-revisit framework for Iterative Evidence Refinement), um framework end-to-end que permite ao modelo reengajar evidências visuais através de representações internas, sem ferramentas externas ou re-codificação.

A. Hipótese Central

Os embeddings visuais originais contêm todas as informações necessárias para o raciocínio fundamentado. O gargalo não é a falta de dados visuais, mas a incapacidade do modelo de selecionar e reutilizar evidências visuais relevantes (regiões salientes) durante a geração de texto.

B. Pipeline de Treinamento e Inferência

O SIEVE opera em três etapas principais:

1. Descoberta de Evidência Visual Auto-Guiada (Self-Guided Evidence Discovery):

   • Âncoras Textuais: O modelo analisa seus próprios processos preditivos para identificar tokens textuais críticos (ancoragens) usando saliência de gradiente. Se um token é crucial para a próxima previsão, seu gradiente será alto.
   • Localização Visual: Esses tokens salientes são usados como consultas para encontrar regiões correspondentes na imagem. Calcula-se a similaridade cruzada (cosine similarity) entre as representações dos tokens textuais e os patches da imagem em camadas intermediárias do transformador (onde a semântica é mais rica).
   • Extração de Embeddings: Os patches mais similares são agrupados para formar regiões espaciais coerentes. Os embeddings dessas regiões são extraídos e armazenados como "evidências visuais" (snapshots) para cada amostra de treinamento.

2. Reforço Aprendizado (RL) com Base Visual:

   • O modelo é treinado com uma política de RL (usando GRPO) para aprender quando e qual evidência visual injetar na cadeia de raciocínio.
   • Durante a inferência (rollout), o modelo decide se precisa de mais informações visuais. Se sim, ele busca os embeddings cacheados das regiões relevantes e os insere diretamente no fluxo de geração de texto (como tokens latentes), sem chamar ferramentas externas.
   • Atualização Dinâmica: Se o modelo falhar apesar de usar as evidências, os embeddings são re-extrados com os parâmetros atualizados do modelo, permitindo que a evidência evolua junto com a política.

3. Função de Recompensa (Reward Function):
   O sistema utiliza uma recompensa composta por quatro componentes:

   • Recompensa de Resultado ($R_{res}$): Precisão da resposta final.
   • Recompensa de Formato ($R_{format}$): Estrutura correta da cadeia de pensamento.
   • Recompensa de Embedding ($R_{emb}$): Bônus se o modelo usar a injeção de evidência visual corretamente para resolver a tarefa.
   • Recompensa de Ação ($R_{act}$): Penaliza raciocínios muito curtos (que "hackeiam" a recompensa) e incentiva a tomada de decisão (inserir evidência ou responder).

3. Principais Contribuições

1. Framework SIEVE: Uma arquitetura que permite a VLMs revisitar evidências visuais finas recuperando e reinserindo embeddings de nível de região diretamente do codificador original, eliminando a necessidade de ferramentas de corte/zoom e re-codificação.
2. Mecanismo de Saliência: Um método automático para identificar e armazenar embeddings visuais críticos baseados na dinâmica interna do modelo (gradientes e similaridade cruzada), sem anotação manual.
3. Treinamento Eficiente: Demonstração de que um conjunto de dados pequeno (~1.5k amostras) é suficiente para ensinar o modelo a recuperar e usar evidências visuais de forma eficaz via RL.
4. Validação Empírica: Resultados consistentes em múltiplas escalas de modelos (4B e 8B) e benchmarks diversos, provando que a reutilização de embeddings internos é superior a métodos baseados em ferramentas externas.

4. Resultados Experimentais

O SIEVE foi avaliado em vários benchmarks, incluindo raciocínio de alta resolução (V*Bench, HR-Bench), percepção (MME-Real-Lite), raciocínio lógico/matemático e benchmarks de alucinação.

• Desempenho Geral: O SIEVE superou consistentemente os modelos vanilla e as abordagens baseadas em ferramentas (como ZoomEye, DyFo, Zoom-Refine).
• Ganhos Específicos:
  • V*Bench: Melhoria de 8% em média em vários benchmarks.
  • Qwen3-VL-4B: Ganho de 10.06% sobre o modelo vanilla no V*Bench.
  • MME-Real-Lite: Ganho de 17.58% (versão 4B) e 19.30% (versão 8B).
  • WeMath: Ganho de 20.65% na versão 8B.
• Eficiência: O método evita o custo computacional de re-codificar imagens, mantendo a inferência mais rápida e estável.
• Ablação: Estudos mostraram que a injeção de embeddings aleatórios degrada o desempenho, confirmando que a seleção baseada em saliência é crucial. Além disso, camadas intermediárias do transformador foram identificadas como as melhores para extração de características visuais.

5. Significado e Conclusão

O trabalho desafia o paradigma atual de que o "revisitar visual" exige ferramentas externas e re-processamento de imagem.

• Eficiência: O SIEVE demonstra que a maior parte do benefício atribuído à re-inspeção visual explícita pode ser alcançada através da recuperação inteligente de embeddings já existentes no espaço latente do modelo.
• Escalabilidade: Ao eliminar a dependência de agentes externos e re-codificação, o método é mais leve, escalável e integrado ao processo de raciocínio do modelo.
• Impacto: Sugere que os VLMs possuem sinais internos subutilizados para o raciocínio fundamentado, e que a otimização da política de recuperação desses sinais via RL é uma via superior para melhorar a precisão e reduzir alucinações em tarefas complexas de visão computacional.