Resumo Técnico: Pensamento Visual Iterativo (IVT)

Declaração do Problema

Os Modelos de Visão-Linguagem (VLMs) atualmente se destacam em tarefas de localização espacial de disparo único (single-shot), como a Compreensão de Expressão de Referência (REC), onde preveem coordenadas de caixas delimitadoras (bounding boxes) diretamente de descrições textuais. No entanto, esses modelos carecem de um mecanismo inerente para observar e corrigir suas próprias previsões. Enquanto os humanos resolvem tarefas espaciais através de um processo de ciclo fechado de formular hipóteses, verificar contra evidências visuais e refinar, os VLMs operam em um paradigma de "passagem única".

O artigo identifica uma crítica "lacuna de autocorreção": solicitar ingenuamente que um VLM itere sobre suas próprias previsões renderizadas leva ao fracasso catastrófico. Em experimentos, aplicar o pensamento visual iterativo sem treinamento específico causou o colapso da precisão em IoU ≥ 0,5 (Acc@0,5) de 79,6% para 48,7% (uma queda de 31 pontos percentuais). Isso revela que, embora os VLMs possuam fortes capacidades de localização, eles não conseguem interpretar nativamente visualizações de seus próprios erros para realizar a autocorreção.

Metodologia: Pensamento Visual Iterativo (IVT)

Os autores propõem o Pensamento Visual Iterativo (IVT), um framework de ciclo fechado onde o modelo prevê uma caixa delimitadora, observa a previsão renderizada como uma sobreposição colorida na imagem original e utiliza este feedback visual para refinar iterativamente sua saída.

O pipeline de treinamento emprega uma receita de duas fases para preencher a lacuna de autocorreção:

Fase 1: Aquecimento por SFT (Ajuste Fino Supervisionado)

O Aprendizado por Reforço (RL) direto falha inicialmente porque o modelo base não possui o conceito de autocorreção espacial e tende a produzir previsões degeneradas e idênticas em cada etapa. Para resolver isso, os autores introduzem uma estratégia de síntese de dados:

• Síntese Baseada na Previsão do Estudante: Em vez de usar caixas de verdade fundamental (ground-truth) artificialmente perturbadas, o pipeline utiliza as próprias previsões iniciais realistas do modelo estudante (Etapa 0) como ponto de partida para trajetórias de erro. Isso evita o "sandbagging da etapa-0", onde os modelos aprendem a produzir intencionalmente previsões ruins para imitar os dados de treinamento.
• Traços de Raciocínio do Professor: Um VLM professor gera traços de raciocínio corretivos. O professor observa a previsão inicial do estudante (ou a sobreposição renderizada de etapas anteriores) e escreve um traço de raciocínio identificando erros espaciais (ex: "deslocado", "muito grande") e explicando a correção necessária.
• Treinamento: O modelo estudante é ajustado finamente nessas trajetórias usando perda de entropia cruzada, aprendendo a estrutura do pensamento visual iterativo: interpretar sobreposições renderizadas, gerar raciocínio fundamentado e produzir caixas válidas.

Fase 2: Ajuste Fino por GRPO

Uma vez que o modelo compreende a estrutura do refinamento via SFT, o Group Relative Policy Optimization (GRPO) é aplicado para estabilizar o processo de múltiplas etapas.

• Função de Recompensa: Uma recompensa simples é utilizada: o Intersection over Union (IoU) da etapa final mais um pequeno bônus de formato para o processamento de caixas delimitadoras válidas. Essa simplicidade evita a instabilidade observada com funções de recompensa complexas e de múltiplos componentes.
• Objetivo: O GRPO otimiza os resultados ao nível da trajetória usando vantagens relativas ao grupo, incentivando o modelo a manter ou melhorar as previsões ao longo das etapas de refinamento em vez de degradá-las.

Principais Contribuições

1. O Framework IVT: Um sistema de raciocínio espacial de ciclo fechado onde os VLMs preveem, observam previsões renderizadas e se autocorrigem. O artigo demonstra que essa capacidade não é nativa; sem treinamento explícito, o refinamento iterativo causa uma severa degradação de desempenho.
2. Síntese de Dados Autorreferencial: Uma estratégia que explora as próprias previsões do modelo base como fontes realistas de erro para o treinamento de SFT, eliminando a necessidade de trajetórias de correção anotadas por humanos.
3. Treinamento Assimétrico de Duas Fases: O artigo estabelece que o SFT é o principal habilitador dos ganhos de precisão, ensinando ao modelo a estrutura do pensamento iterativo. O GRPO atua como um estabilizador, reduzindo a degradação de desempenho por etapa, mas não impulsionando o salto inicial de precisão.
4. Prova de Escalabilidade: Os autores demonstram que a autocorreção espacial pode ser instilada com um conjunto modesto de 2.400 amostras treinadas em uma única GPU, superando os baselines de disparo único.

Resultados Experimentais

Experimentos foram conduzidos em um benchmark misto de 505 amostras de teste de RefCOCOg, Ref-Adv-S e Ref-L4, utilizando o modelo Qwen3-VL-4B-Instruct.

• A Lacuna de Autocorreção: O modelo base com IVT não treinado caiu de 79,6% para 48,7% em Acc@0,5.
• Impacto do SFT: Após o aquecimento por SFT com IVT, o modelo superou o modelo base de disparo único em todas as métricas:
  • Acc@0,5: 82,0% (+2,4pp)
  • Acc@0,7: 74,1% (+3,2pp)
  • Acc@0,9: 48,3% (+2,8pp)
• Impacto do GRPO: Adicionar o GRPO ao SFT reduziu ligeiramente a precisão geral em comparação com o SFT+IVT isolado (Acc@0,5: 80,6% vs 82,0%), mas melhorou significativamente a estabilidade do refinamento.
  • A degradação média de IoU por etapa caiu de 0,140 (apenas SFT) para 0,029 (SFT+GRPO), uma redução de 5 vezes.
  • Sem o SFT, o GRPO sozinho resultou em "estagnação degenerada", onde o modelo simplesmente copiava sua primeira previsão em cada etapa.

Significância e Alegações

O artigo afirma que a autocorreção espacial é uma capacidade aprendível que deve ser explicitamente ensinada, pois não emerge naturalmente em VLMs base mesmo com feedback visual. O trabalho destaca uma distinção fundamental entre "capacidade de localização" (encontrar um objeto uma vez) e "capacidade de autocorreção" (corrigir iterativamente erros com base em feedback visual).

O loop proposto de prever-renderizar-refinar oferece um novo paradigma para o raciocínio espacial que espelha o ciclo "agir-observar-corrigir" de agentes incorporados (embodied agents). Além disso, o processo iterativo proporciona interpretabilidade, já que os traços de raciocínio e as sobreposições renderizadas em cada etapa tornam o processo de decisão espacial do modelo transparente, contrastando com a natureza de "caixa-preta" das previsões de disparo único. Os autores observam que, embora a implementação atual foque na localização de um único objeto, o framework é agnóstico à representação e estende-se naturalmente para segmentação, pontos de referência (keypoints) e raciocínio de múltiplos objetos.