Resumo Técnico: H-GRPO para Raciocínio Visual Fundamentado

1. Declaração do Problema

Os Modelos de Visão-Linguagem (VLMs) enfrentam atualmente um descompasso crítico entre a alta precisão em benchmarks e o raciocínio visual fiel. Embora os modelos frequentemente alcancem um desempenho forte, eles frequentemente dependem de correlações superficiais, ignoram evidências visuais relevantes ou alucinam fatos intermediários. Este problema é exacerbado quando os VLMs são pós-treinados usando Aprendizado por Reforço (RL); otimizar apenas pela correção da resposta final pode amplificar o raciocínio de "atalho" em vez de incentivar a dedução fundamentada em evidências.

Métodos baseados em RL existentes (ex: R1-VL, Vision-R1) supervisionam primariamente o raciocínio textual ou os resultados finais sem fundamentar as etapas intermediárias em evidências visuais localizadas. Por outroras, métodos de fundamentação (ex: Visual-RFT, ViGoRL) tratam a localização como auxiliar, e não como integrante ao processo de raciocínio. Além disso, os conjuntos de dados atuais carecem de anotações em larga escala que capturem conjuntamente a estrutura de raciocínio, respostas intermediárias e evidência espacial específica. Um desafio fundamental no treinamento de tais modelos é que caminhos de raciocínio válidos não são únicos; diferentes modelos podem resolver a mesma questão visual usando diferentes etapas intermediárias ou ordens. A comparação padrão de nível de sequência penaliza o raciocínio correto simplesmente porque ele desvia de uma ordem de referência fixa.

2. Metodologia

2.1 Decomposição de Raciocínio Fundamentado

O framework proposto força o modelo a decompor uma consulta visual global em uma sequência de subtarefas atômicas e verificáveis. Em vez de uma inferência monolítica, o modelo gera uma saída estruturada $y$ consistindo de:

• Tripletos Intermediários ($\tau_i$): Uma sequência $\{ \tau_1, \dots, \tau_m \}$ onde cada triplet contém:
  • $q_i$: Uma subpergunta.
  • $a_i$: Uma resposta intermediária.
  • $b_i$: Uma caixa delimitadora de evidência espacial ($[x_{min}, y_{min}, x_{max}, y_{max}]$) localizando o suporte visual para a resposta.
• Caminho de Raciocínio ($r$): Uma síntese em linguagem natural dos tripletos.
• Resposta Final ($a_{final}$): A resposta concisa à pergunta original.

2.2 Síntese de Dados (GVRS)

Para enfrentar a falta de dados de treinamento, os autores construíram o conjunto de dados Grounded Visual Reasoning Synthesis (GVRS).

• Pipeline: Um conjunto de referência de alta qualidade com 40 exemplos foi elaborado pelo GPT-4o e refinado via verificação humano-no-loop. A precisão espacial foi aprimorada usando SAM3 para o refinamento das caixas.
• Escala: Usando um prompt de sistema otimizado selecionado via pontuação de recompensa, 10.000 amostras de treinamento foram geradas a partir de quatro fontes: Visual7W, Visual-CoT, A-OKVQA e ERQA.
• Validação: Um subconjunto foi validado manualmente por especialistas quanto à consistência lógica, correção semântica e precisão espacial.

2.3 H-GRPO: Hungarian Group Relative Policy Optimization

A inovação central é o H-GRPO, um framework de RL invariante à permutação projetado para lidar com caminhos de raciocínio não únicos.

• Correspondência Invariante à Permutação: Em vez de comparar cadeias de raciocínio geradas e de referência em uma ordem fixa, o H-GRPO formula a avaliação como um problema de correspondência bipartida entre o conjunto de tripletos previstos ($\hat{D}$) e os tripletos de referência ($D^*$).

• Métrica de Similaridade: Uma matriz de similaridade $S$ é construída onde cada entrada $S_{ij}$ combina:

  • Existência e compatibilidade de caixas delimitadoras.
  • Similaridade de cosseno Sentence-BERT para subperguntas ($sim_q$) e subrespostas ($sim_a$).
  • Interseção sobre União (IoU) para sobreposição espacial.

• Algoritmo de Hungarian: A atribuição ideal um-para-um é encontrada usando o algoritmo de Hungarian para maximizar a pontuação total de similaridade ($S_{HS}$).

• Função de Recompensa: A recompensa total $R$ é um composto de:

  1. Recompensa de Formato ($R_{format}$): Garante que a saída siga a estrutura de tripletos (subperguntas, respostas, caminho de raciocínio, resposta final).
  2. Recompensa de Raciocínio de Hungarian ($R_{HS}$): Uma recompensa densa de nível de processo derivada da pontuação de correspondência, com limiar para suprimir raciocínios fracos.
  3. Recompensa de Resposta Final ($R_{answer}$): Ativada apenas se o raciocínio for suficientemente fundamentado (ou seja, se $R_{HS}$ exceder um limiar).

  A fórmula é: $R = \alpha R_{format} + \beta R_{answer} \cdot R_{HS}$.

Esta formulação garante que o modelo receba recompensas fortes apenas quando a resposta final estiver correta e for derivada de etapas intermediárias semanticamente alinhadas e visualmente fundamentadas, independentemente da ordem em que essas etapas são geradas.

3. Principais Contribuições

1. Protocolo de Decomposição de Raciocínio Fundamentado: Uma representação novel de etapas de raciocínio como tripletos (subpergunta, subresposta, evidência espacial), forçando a exteriorização explícita da evidência visual.
2. Pipeline de Síntese de Dados Escalável: Um método para gerar traços de raciocínio fundamentados passo a passo sem necessidade de extensa anotação manual, criando o conjunto de dados GVRS.
3. Framework H-GRPO: Um algoritmo de RL invariante à permutação usando correspondência de Hungarian para alinhar etapas de raciocínio previstas e de referência, permitindo trajetórias de raciocínio flexíveis enquanto impõe consistência de evidência.
4. Protocolo de Avaliação Unificado: Um conjunto abrangente de métricas que mede correção de resposta, fidelidade de fundamentação, alinhamento passo a passo e dependência de evidência visual.

4. Resultados Experimentais

O método foi avaliado em backbones de VLM de código aberto (Qwen2.5-VL-3B e SmolVLM-2.2B) através de benchmarks in-domain e out-of-distribution (OOD).

• Desempenho In-Domain: O H-GRPO alcançou os melhores resultados no A-OKVQA e Visual7W para o backbone SmolVLM-2.2B (73,4% e 77,2%, respectivamente), superando o SFT padrão e o vanilla GRPO. Para o Qwen2.5-VL-3B, o H-GRPO igualou ou superou ligeiramente o desempenho de SFT/GRPO, particularmente no Visual7W.
• Generalização Out-of-Distribution: O H-GRPO demonstrou generalização superior em tarefas de raciocínio espacial e geométrico. Alcançou as pontuações mais altas no RealWorldQA, RoboSpatial (70,2%) e MMStar. A melhoria no MMMU foi moderada, sugerindo que o método é mais eficaz para tarefas visualmente fundamentadas do que para raciocínio puramente baseado em conhecimento.
• Interpretabilidade: Avaliado via LLM-as-a-Judge, as traças de raciocínio do H-GRPO pontuaram mais alto em todas as dimensões (Relevância, Coerência, Consistência, Clareza, Interpretabilidade), superando significativamente o R1-VL, ViGoRL e Reason-RFT.
• Análise Qualitativa: Exemplos mostraram o modelo fundamentando com sucesso o raciocínio de categoria, espacial e de ação em regiões específicas da imagem (ex: identificando um chef através de uma jaqueta branca e balcão de comida), reduzindo o risco de alucinações sem suporte.

5. Significância e Alegações

O artigo afirma que o H-GRPO aborda o equilíbrio entre precisão de raciocínio e fidelidade de fundamentação. Ao exigir que cada etapa lógica intermediária seja ancorada a uma região visual específica, o framework produz caminhos de raciocínio que são:

• Verificáveis: Humanos e funções de recompensa podem inspecionar a evidência visual para cada etapa.
• Fiéis: A resposta final emerge como uma consequência lógica de fatos visuais verificados, em vez de um palpite estatístico.
• Flexíveis: A recompensa invariante à permutação permite diversas ordens de raciocínio válidas, evitando a penalização de uma lógica correta que simplesmente segue uma sequência diferente da referência.

Os autores observam que, embora o H-GRPO melhore significativamente o desempenho em tarefas de localização intensa e raciocínio espacial, ele não compensa totalmente as lacunas de conhecimento de domínio necessárias para o raciocínio abstrato ou científico (ex: MMMU). Eles concluem que trabalhos futuros devem estender a supervisão fundamentada para o raciocínio multimodal simbólico, baseado em gráficos e de longo contexto para realizar plenamente o potencial da dedução visual baseada em evidências.