Resumo Técnico: ReGround

Declaração do Problema

Modelos de Linguagem-Visão (VLMs) frequentemente sofrem de decaimento de ancoragem visual durante o raciocínio de múltiplos passos. À medida que as cadeias de raciocínio se alongam, a dependência dos modelos em relação aos vieses linguísticos (language priors) aumenta, enquanto sua atenção aos tokens de imagem diminui. Os autores identificam uma assinatura consistente dessa degradação: em 2.510 amostras reexaminadas, a entropia de atenção sobre os tokens de imagem tipicamente diminui significamente durante a primeira rodada de raciocínio (Rodada 1) e não consegue se recuperar sem intervenção.

Embora trabalhos anteriores tenham documentado esse decaimento, uma lacuna crítica permanece: simplesmente reinjetar evidências visuais não garante a correção. O artigo postula que a qualidade diagnóstica é o fator determinante. Sem um autodiagnóstico direcionado, o reexame visual pode levar ao "segundo erro prejudicial" (harmful second-guessing), onde o modelo substitui respostas corretas ou falha em se recuperar de erros. Por outro lado, um reexame eficaz requer tanto a reinjeção da imagem quanto uma pista diagnóstica significativa e direcionada.

Metodologia: O Framework ReGround

O ReGround é um framework de dois estágios, livre de ferramentas (tool-free), projetado para ensinar VLMs a diagnosticar autonomamente falhas de ancoragem e reexaminar seletivamente evidências visuais. Ele não requer modificações arquitetônicas ou ferramentas externas (como ferramentas de recorte ou zoom).

Estágio 1: Ajuste Fino Supervisionado de Partida a Frio (SFT)

O framework constrói um conjunto de dados de treinamento especializado usando um Gatilho de Reexame Sequencial e Autodiagnóstico Visual:

1. Política de Gatilho de Reexame: Nem todas as amostras exigem reexame. O sistema filtra as respostas iniciais através de três etapas:

   • Está Correto? Se a resposta estiver errada, o reexame é acionado incondicionalmente.
   • Está Ancorado? Se a resposta estiver correta, um modelo juiz (Qwen2.5-VL-72B) avalia se o raciocínio está verdadeiramente ancorado usando quatro critérios: cobertura de atributos visuais, eliminação de alternativas, ausência de hesitação e ancoragem visual. Respostas corretas, mas não ancoradas, disparam o reexame.
   • É Verificável? Um gatilho estocástico ($\epsilon$) é aplicado a respostas corretas e ancoradas para ensinar ao modelo que o reexame também pode servir como verificação.
   • No-ReGround: Amostras que passam em todos os testes sem um gatilho estocástico são mantidas como trajetórias de turno único para evitar o disparo excessivo.

2. Autodiagnóstico Visual e Reinjeção: Uma vez acionado, o sistema gera uma pista diagnóstica dentro de uma tag <reground>. Três modos de reinjeção de informação são usados:

   • Correção: Identifica pontos prováveis de percepção visual equivocada para redirecionar a atenção.
   • Ancoragem: Força o modelo a ancorar a linguagem especulativa a coordenadas espaciais ou elementos concretos sem revelar a resposta.
   • Verificação: Reinjeta a imagem de forma holística para conferir a cadeia lógica.

3. Bootstrapping de Capacidade: Durante a construção dos dados, uma variante mais forte do modelo (ex: 72B) gera as pistas diagnósticas. O modelo de política (ex: 7B) aprende a gerar essas pistas autonomamente durante o SFT. A variante mais forte é descartada após o treinamento.

4. Formatação de Trajetória: Os dados são formatados em um template de múltiplos turnos: Raciocínio Inicial $\rightarrow$ <reground> (Diagnóstico + Reinjeção) $\rightarrow$ Raciocínio Revisado $\rightarrow$ Resposta Final.

Estágio 2: Aprendizado por Reforço (GRPO)

A política é refinada usando Otimização de Política Relativa de Grupo (GRPO) com uma função de recompensa assimétrica para calibrar o comportamento de disparo:

• Recompensa de Reancoragem ($R_{reg}$): Recompensa a presença estrutural de um intervalo <reground> válido.
• Recompensa de Acurácia ($R_{acc}$): Recompensa respostas finais corretas, mas inclui um termo de interação negativa. Isso penaliza o benefício marginal da correção se o modelo disparou um reexame desnecessariamente, desencorajando o "chute cego".
• Penalidade de Formatação ($R_{form}$): Penaliza erros de sintaxe.

Este desenho de recompensa cria uma distribuição assimétrica: a maior recompensa vai para a recuperação bem-sucedida (reancoragem + correto), enquanto a "falha cega" (sem reancoragem + incorreto) é penalizada. Isso incentiva o modelo a aprender quando reexaminar e como usar o reexame de forma eficaz.

Principais Contribuições

1. Evidência Empírica de Decaimento e Recuperação: Os autores demonstram que a entropia de atenção estreita em 98,0% dos passos de raciocínio, mas se recupera após a reinjeção da imagem em 94,4% dos casos.
2. Qualidade Diagnóstica como o Gargalo: O artigo estabelece que o reexame genérico pode degradar o desempenho, enquanto o autodiagnóstico direcionado recupera 79–90% dos ganhos fornecidos por uma pista de um oráculo (modelo mais forte).
3. Análise da Política de Disparo: O estudo revela que o disparo excessivo prejudica as respostas corretas, enquanto o disparo conservador perde ganhos recuperáveis. Uma política equilibrada é essencial.
4. Um Framework Prático e Livre de Ferramentas: O ReGround melhora o desempenho em vários benchmarks sem ferramentas externas ou mudanças arquitetônicas, baseando-se apenas na reinjeção de imagem e autodiagnóstico.

Resultados Experimentais

Os experimentos foram conduzidos em oito benchmarks (incluindo MathVista, MathVision, MathVerse, HallusionBench, MMBench, etc.) usando dois backbones de VLM (Qwen2.5-VL-7B e Qwen3-VL-8B).

• Ganhos de Desempenho: No Qwen2.5-VL-7B, o ReGround alcançou o melhor desempenho em cinco de oito benchmarks, com melhorias significativas em tarefas de raciocínio matemático (ex: +3,8 no MathVista, +4,5 no MathVerse) e um ganho substancial de +6,8 no HallusionBench (focado em alucinação visual).
• Transferência entre Backbones: Aplicar a mesma receita de treinamento ao Qwen3-VL-8B resultou em ganhos consistentes em todos os oito benchmarks sem necessidade de reajuste de hiperparâmetros.
• Eficiência: O ReGround incorre em um overhead de inferência moderado (1,62× tokens totais, 1,76× latência) comparado ao baseline, mas supera os baselines aumentados por ferramentas como o Thyme tanto em velocidade quanto em acurácia.
• Estudos de Ablação:
  • Mecanismo: A reinjeção visual é essencial; o reflexo apenas textual produz ganhos negligenciáveis.
  • Composição de Dados: Remover as amostras "No-ReGround" faz com a taxa de disparo subir para ~85% e degrada a acurácia, confirmando a necessidade de exemplos negativos.
  • Qualidade da Pista: Pistas genéricas (ex: "olhe novamente") podem prejudicar o desempenho. O autodiagnóstico direcionado é a variável chave.

Significância e Alegações

O artigo alega que a qualidade diagnóstica, e não o mero ato de reexaminar evidências visuais, é o fator central para o sucesso da autocorreção visual. O ReGround demonstra que os VLMs podem aprender a identificar autonomamente quando perderam a ancoragem visual e quais evidências específicas devem revisitar, desde que sejam treinados com pistas diagnósticas de alta qualidade e uma política de disparo equilibrada.

Os autores posicionam o ReGround como um mecanismo complementar e livre de ferramentas que aborda o modo específico de falha de "deriva de ancoragem visual" no raciocínio de múltiplos passos. Ao isolar o impacto da orientação diagnóstica do formato de reexame, o trabalho sugere que futuros progressos no raciocínio ancorado devem focar em melhorar a capacidade do modelo de realizar autodiagnósticos e visar evidências visuais específicas, em vez de depender apenas de ferramentas externas ou escalas de modelos maiores.