Resumo Técnico: Perceive-to-Reason (P2R)

Definição do Problema

O raciocínio visual de grão fino continua sendo um gargalo significativo para Modelos de Visão-Linguagem (VLMs), particularmente quando as pistas visuais críticas são sutis e estão ocultas em imagens de alta resolução. As abordagens existentes geralmente dependem de "Pensar com Imagens" (intercalar a exploração de regiões com o raciocínio) ou "Busca Visual" (busca de regiões-chave em tempo de teste). No entanto, esses métodos frequentemente confundem percepção (localizar evidências) com raciocínio (responder à pergunta) ou dependem de pipelines externos complexos e de difícil otimização. Um estudo diagnóstico apresentado no artigo indica que uma causa primária de falha não é a falta de capacidade de raciocínio, mas a incapacidade de localizar corretamente a evidência visual relevante em primeiro lugar. Além disso, treinar estágios de percepção e raciocínio desacoplados é desafiador sob a supervisão padrão de apenas resposta, pois é difícil atribuir erros ao passo de localização ou ao passo de raciocínio.

Metodologia

Os autores propõem o Perceive-to-Reason (P2R), um framework unificado que desacopla explicitamente o raciocínio visual de grão fino em dois estágios distintos: Percepção e Raciocínio.

1. Pipeline de Inferência de Dois Estágios

O P2R utiliza um único VLM subjacente com parâmetros compartilhados, mas opera em dois papéis consecutivos:

• Estágio de Percepção (Perceiver): Dada uma imagem $I$ e uma pergunta $Q$, o modelo atua como um Perceiver para localizar explicitamente a evidência relevante para a pergunta. Ele gera caixas delimitadoras (bounding boxes) $B$ que representam regiões-chave. Essas caixas são usadas para gerar uma imagem anotada (com as caixas sobrepostas) e imagens de evidência recortadas.
• Estágio de Raciocínio (Reasoner): O modelo então atua como um Reasoner, tomando a pergunta original, a imagem anotada e as regiões recortadas como entrada para gerar a resposta final.

Esta formulação transforma o raciocínio de grão fino em um processo estruturado onde o modelo primeiro determina onde olhar e depois determina como raciocinar com base nessa evidência.

2. Alternating GRPO de Percepção-Raciocínio (PRA-GRPO)

Para treinar este framework desacoplado usando apenas a supervisão da resposta final (sem anotações de caixas delimitadoras de verdade fundamental/ground-truth), os autores introduzem o PRA-GRPO, uma estratégia de aprendizado por reforço consciente de papéis baseada em Group Relative Policy Optimization (GRPO).

• Otimização Alternada: O processo de treinamento alterna entre otimizar o Perceiver e o Reasoner. Na Fase de Percepção, o Perceiver é atualizado enquanto o Reasoner permanece congelado; a recompensa é derivada da correção da resposta final gerada pelo Reasoner congelado. Inversamente, na Fase de Raciocínio, o Reasoner é atualizado enquanto o Perceiver permanece congelado.
• Sinais Atribuíveis: Esta abordagem converte a recompensa binária da resposta final em um sinal de aprendizado específico para cada papel. Ela permite que o modelo aprenda a localização de evidências eficaz através dos resultados do raciocínio subsequente, resolvendo efetivamente o problema de atribuição de crédito em um pipeline desacoplado sem exigir supervisão densa.
• Parâmetros Compartilhados: Ambos os papéis compartilham os mesmos parâmetros do modelo $\theta$, permitos que as capacidades sejam integradas dentro de uma única instância do modelo.

Principais Contribuições

1. Framework P2R: Um framework unificado que formula o raciocínio visual de grã fina como um processo de dois estágios (perceive-to-reason), separando explicitamente a localização de evidências da geração de respostas.
2. PRA-GRPO: Uma estratégia de treinamento inovadora que alinha o aprendizado por reforço com a formulação desacoplada. Ela permite o aprendizado de capacidades de percepção usando apenas a supervisão da resposta final, eliminando a necessidade de anotações de caixas delimitadoras específicas para a tarefa.
3. Desempenho de Estado da Arte: O método demonstra melhorias consistentes em diversas escalas de modelos (2B, 4B, 8B) e benchmarks, alcançando novos resultados de estado da arte em tarefas de raciocínio visual de grão fino de alta resolução.

Resultados Experimentais

Os autores avaliaram o P2R em vários benchmarks, incluindo V-Star, HR-Bench-4K/8K e MME-RealWorld-Lite.

• Benchmarks de Alta Resolução: O P2R supera consistentemente seus modelos base (Qwen3-VL-Instruct) e métodos existentes de busca visual ou "Thinking with Images".
  • O P2R-4B alcançou 93,2% no V-Star, 81,9% no HR-Bench-4K e 80,5% no HR-Bench-8K.
  • Comparado ao backbone Qwen3-VL-Instruct-4B, o P2R-4B mostrou ganhos de +11,5% no V-Star, +8,1% no HR-Bench-4K e +13,5% no HR-Bench-8K.
• Generalização: Os benefícios do P2R estendem-se além das tarefas de alta resolução. No benchmark MME-RealWorld-Lite, o P2R melhorou o desempenho em diversas tarefas de raciocínio multimodal do mundo real (OCR, sensoriamento remoto, diagramas), sugerindo que a formulação perceive-to-reason auxilia na compreensão multimodal mais ampla.
• Estudos de Ablação:
  • Inferência: Substituir o Chain-of-Thought (CoT) direto pelo pipeline de inferência P2R melhorou significativamente o desempenho, mesmo nos modelos base.
  • Treinamento: Atualizações alternadas entre papéis (P $\to$ R) produziram melhores resultados do que treinar os papéis isoladamente ou em ordem inversa, validando a importância do cronograma de treinamento desacoplado.
  • Compartilhamento de Parâmetros: Experimentos mostraram que treinar um papel (ex: Perceiver) e reutilizar esses pesos para o outro papel (Reasoner) trouxe benefícios, embora o treinamento completo via PRA-GRPO alternado tenha produzido os melhores resultados.

Significância e Alegações

O artigo afirma que o desacoplamento explícito da percepção do raciocínio fornece um framework eficaz para o raciocínio visual de grão fino. Ao tratar a localização de evidências como um passo intermediário explícito, em vez de um subproduto implícito da geração de respostas, o P2R aborda o principal gargalo de encontrar a evidência visual correta.

A significância do PRA-GRPO reside em sua capacidade de treinar este processo desacoplado usando apenas a supervisão da resposta final. Isso remove a dependência de anotações de caixas delimitadoras caras e específicas para cada tarefa, permitindo ainda que o modelo aprenda a localização precisa. Os autores concluem que sua abordagem oferece uma solução escalável e eficaz para o raciocínio visual de alta resolução, alcançando ganhos substanciais sobre as linhas de base existentes e demonstrando que os benefícios desta formulação se estendem a cenários de raciocínio multimodal mais amplos.

Limitações Reconhecidas pelos Autores:

• O pipeline de dois estágios introduz latência de inferência adicional em comparação com o prompting direto.
• O comportamento de escala total do PRA-GRPO em escalas de treinamento maiores não foi explorado devido a restrições computacionais.
• A dependência da supervisão da resposta final fornece um sinal de aprendizado esparso.
• A avaliação está focada atualmente em raciocínio de grão fino e benchmarks relacionados, permanecendo a generalização para configurações interativas ou de longo horizonte como um trabalho futuro.