Resumo Técnico: Aprendizado por Reforço Fundamentado para Raciocínio Visual (ViGoRL)

Declaração do Problema

Tarefas de raciocínio visual variam significativamente em estrutura, frequentemente exigindo que modelos direcionem a atenção visual, interpretem entradas perceptivas e fundamentem o raciocínio abstrato em evidências espaciais. Embora o Aprendizado por Reforço (RL) sobre cadeias de pensamento tenha avançado os modelos de linguagem em domínios baseados em texto (matemática, programação), sua aplicação a Modelos Visão-Linguagem (VLMs) enfrenta desafios únicos. Os autores identificam que VLMs padrão frequentemente operam de forma fim-a-fim, prevendo respostas em uma única passagem forward sem adaptar estratégias computacionais à cena de entrada.

Crucialmente, o artigo argumenta que aplicações ingênuas de RL a VLMs falham em induzir comportamentos cognitivos úteis. Em vez de aprender a explorar regiões sistematicamente, definir subobjetivos ou verificar hipóteses, a otimização padrão de RL em VLMs base tende a colapsar em "atalhos". Esses atalhos maximizam recompensas imediatas da tarefa produzindo raciocínio abstrato e não fundamentado, que trata a visão como contexto estático em vez de entrada ativamente referenciada. Consequentemente, os modelos falham em desenvolver os mecanismos de atenção espacial necessários para raciocínio visual complexo, como localizar objetos pequenos em ambientes desordenados ou navegar em interfaces web.

Metodologia: ViGoRL

Os autores propõem ViGoRL (Aprendizado por Reforço Fundamentado Visualmente), um framework projetado para ancorar explicitamente cada etapa de raciocínio a coordenadas visuais específicas. A hipótese central é que os modelos "veem melhor" e "pensam melhor" quando o raciocínio textual é acoplado à fundamentação espacial, mimetizando a tomada de decisão visual humana onde o olhar se desloca seletivamente para reunir informações relevantes para a tarefa.

A abordagem consiste em um pipeline de duas etapas seguido por uma extensão de múltiplas voltas:

1. Inicialização Quente via Busca em Árvore de Monte Carlo (MCTS)

Para superar a limitação de que VLMs base carecem de comportamentos inerentes de raciocínio visual (por exemplo, retrocesso, exploração de regiões), os autores utilizam MCTS para gerar traços de raciocínio fundamentados e de alta qualidade.

• Modelo Professor: Um modelo professor congelado de alta capacidade (Qwen2.5-VL-72B) é usado para expandir nós na árvore de busca.
• Nós Fundamentados: Cada etapa de raciocínio é definida como uma tupla $n_t = \langle s_t, (x_t, y_t) \rangle$, onde $s_t$ é um pensamento em linguagem natural e $(x_t, y_t)$ é uma coordenada que ancora o pensamento a uma região da imagem.
• Processo de Busca: O algoritmo MCTS (Seleção, Expansão, Simulação, Retropropagação) explora sistematicamente diversas regiões da imagem e caminhos de raciocínio. Ele incentiva explicitamente comportamentos como ampla exploração (ramificação para cobrir regiões diversas) e retrocesso (abandonar ramos falhos).
• Linearização: As árvores de busca resultantes são linearizadas em exemplos de treinamento, incluindo tanto cadeias diretas bem-sucedidas quanto "cadeias corrigidas" que demonstram retrocesso (por exemplo, "Espere, isso parece errado...").
• Ajuste Fino Supervisionado (SFT): O modelo base é ajustado finamente nesses traços gerados por MCTS para inicializar a capacidade de gerar raciocínio estruturado e fundamentado.

2. Aprendizado por Reforço com GRPO

Após o SFT, o modelo passa por Aprendizado por Reforço usando Otimização de Política Relativa por Grupo (GRPO).

• Design de Recompensa: A função de recompensa incentiva duas coisas: (1) a correção da resposta final ($r_{task}$) e (2) a validade do formato de saída, exigindo especificamente que todas as referências de coordenadas sejam válidas ($r_{fmt}$). Isso garante que o modelo aprenda a manter a fundamentação ao longo do processo de raciocínio.
• Objetivo: O processo de RL refina os comportamentos fundamentados aprendidos durante o SFT, reforçando sequências que levam a respostas corretas enquanto mantém a restrição de ancoragem espacial.

3. RL de Múltiplas Voltas com Feedback Visual

Para tarefas que exigem inspeção visual detalhada (por exemplo, pequenos elementos de GUI), os autores introduzem uma formulação de múltiplas voltas.

• Microscópio Interativo: Após prever uma coordenada, o modelo pode emitir uma chamada de ferramenta para solicitar um recorte de alta resolução dessa região.
• Loop de Feedback: O ambiente retorna a imagem recortada, que se torna a entrada para a próxima volta de raciocínio.
• Treinamento: O modelo é treinado em diálogos de múltiplas voltas onde aprende a ampliar iterativamente quando necessário. A recompensa inclui um bônus de diversidade para incentivar a exploração de coordenadas distintas em vez de repetir a mesma região.

Contribuições Principais

1. Identificação de Modos de Falha do RL: O artigo demonstra que o RL padrão em VLMs sem incentivos explícitos de fundamentação leva a raciocínio não fundamentado, falhando em induzir comportamentos como definição de subobjetivos visuais ou retrocesso.
2. Framework ViGoRL: Um pipeline novel combinando inicialização quente baseada em MCTS (para injetar priores de raciocínio fundamentado) e GRPO (para refinar esses comportamentos) que liga explicitamente etapas de raciocínio a coordenadas de imagem.
3. Feedback Visual de Múltiplas Voltas: Um mecanismo permitindo que modelos ampliem dinamicamente para regiões de imagem durante o raciocínio, melhorando significativamente o desempenho em tarefas detalhadas.
4. Análise Comportamental: Evidência empírica mostrando que o raciocínio fundamentado amplifica comportamentos cognitivos como exploração de regiões, verificação visual e retrocesso, que estão ausentes em bases padrão.

Resultados Experimentais

O ViGoRL foi avaliado em diversos benchmarks incluindo raciocínio espacial (SAT-2, BLINK, RoboSpatial), busca visual (V*Bench) e fundamentação web (ScreenSpot, VisualWebArena).

• Raciocínio Espacial: No SAT-2, o ViGoRL-3B alcançou 62,9% de precisão, uma melhoria de 12,9 pontos sobre o GRPO Vanilla e uma melhoria de 16,8 pontos sobre o modelo base. Ganhos semelhantes foram observados no BLINK e RoboSpatial.
• Fundamentação Web: No ScreenSpot-Pro (fundamentação de GUI de alta resolução), o ViGoRL-3B atingiu 31,1%, superando o modelo base em 21,8 pontos e o GRPO Vanilla em 2,1 pontos.
• Busca Visual: No V*Bench, o ViGoRL-7B de múltiplas voltas alcançou 86,4% de precisão, superando modelos proprietários como GPT-4o (66,0%) e pipelines avançados de uso de ferramentas como Sketchpad-GPT-4o (80,3%).
• Interação Web ao Vivo: No VisualWebArena (entrada apenas visual), o ViGoRL superou o estado da arte anterior (ICAL) para o mesmo tamanho de modelo, apesar da falta de acesso a texto HTML.
• Estudos de Ablação: Remover a fundamentação explícita ou a inicialização quente por MCTS degradou significativamente o desempenho, confirmando que tanto a inicialização de comportamentos fundamentados quanto o refinamento por RL são críticos.
• Avaliação Humana: Avaliadores humanos encontraram as previsões fundamentadas do modelo espacialmente precisas (72,8% de precisão) e úteis para entender as etapas de raciocínio, particularmente quando a previsão estava correta.

Significado e Alegações

Os autores afirmam que o RL fundamentado visualmente é um paradigma forte para dotar modelos de raciocínio visual de propósito geral. Eles argumentam que a fundamentação não é meramente uma ferramenta de visualização, mas um princípio arquitetônico e algorítmico central. Ao treinar modelos para raciocinar com referência dêitica (apontar, ampliar, verificar), a abordagem alinha o comportamento do modelo com estratégias cognitivas humanas (rotinas visuais, atenção espacial).

O artigo conclui que ancorar explicitamente etapas de raciocínio a coordenadas espaciais força os modelos a se engajarem em cognição estruturada e alinhada ao humano. Esse andaime permite que os modelos decomponham problemas complexos em etapas gerenciáveis e perceptualmente fundamentadas, levando a melhor generalização em configurações fora da distribuição e melhor interpretabilidade. O trabalho sugere que sistemas futuros devem tratar a fundamentação como um mecanismo central para o raciocínio, em vez de um sinal auxiliar.