Resumo Técnico: Aprendizado por Reforço Multimodal com Verificador Adaptativo para Agentes de IA

Definição do Problema

Modelos de raciocínio agênticos treinados com Aprendizado por Reforço Multimodal (MMRL) têm demonstrado capacidades crescentes, mas são predominantemente otimizados usando recompensas esparsas e baseadas em resultados, derivadas exclusivamente de respostas finais. Essa abordagem oferece orientação limitada sobre a qualidade do processo de raciocínio intermediário e frequentemente leva a alucinações visuais, onde os modelos geram respostas fluentes, mas não fundamentadas, que carecem de consistência com as evidências visuais.

Embora métodos existentes tenham tentado abordar isso através da curadoria de anotações de Ajuste Fino Supervisionado (SFT) fundamentadas, observações empíricas indicam que o SFT sozinho é insuficiente. Durante o MMRL, os modelos tendem a colapsar em soluções não fundamentadas quando os sinais de fundamentação não são explicitamente verificados, particularmente sob regimes de recompensa esparsa. Além disso, computar recompensas mais ricas e detalhadas no MMRL é desafiador porque diferentes amostras podem exigir funções de pontuação distintas, e modelos professores costumam fornecer sinais de recompensa ruidosos.

Metodologia: O Framework Argos

Os autores introduzem o Argos (Adaptive Reward for Grounded & Objective Scoring), um framework de verificação principista projetado para treinar modelos de raciocínio multimodal para tarefas agênticas. O Argos reformula o MMRL como um problema de otimização multiobjetivo, selecionando dinamicamente de um conjunto de modelos professores e funções de pontuação baseadas em regras para avaliar cada amostra de treinamento.

1. Arquitetura do Verificador Adaptativo

O Argos opera como um agente LMM que analisa a resposta de um modelo (entrada visual $v$, pergunta $q$, traço de raciocínio $r$ e resposta prevista $\hat{y}$) e compõe adaptativamente um processo de recompensa multiobjetivo. Ele avalia três dimensões principais:

• Precisão da Resposta Final: Computada via correspondência exata de strings, precisão numérica relativa (com tolerância de 5%) ou equivalência semântica via um modelo de linguagem.
• Fundamentação Espaciotemporal:
  • Espacial: Para imagens, o sistema extrai pontos 2D mencionados no traço de raciocínio. Ele utiliza um modelo de detecção de objetos de vocabulário aberto (ex: DINO) para gerar caixas delimitadoras de pseudo ground-truth e um modelo de segmentação (ex: SAM-2) para refinar as máscaras. A pontuação é binária, verificando se o ponto previsto está dentro do objeto segmentado. Para conteúdo sintético (gráficos, mapas), um modelo de apontamento é utilizado.
  • Temporal: Para vídeos, o sistema extrai observações ao nível de frame e eventos ao nível de segmento. As pontuações de nível de frame são computadas de forma semelhante à fundamentação espacial. Eventos de nível de segmento são avaliados por um modelo de raciocínio professor poderoso para verificar a precisão visual-semântica contra o segmento de vídeo correspondente.
• Qualidade do Raciocínio: Um modelo professor maior computa a probabilidade condicional da resposta prevista dada a pergunta, o traço de raciocínio e a entrada visual, medindo a consistência lógica entre o raciocínio e a resposta final.

2. Agregação com Portão (Gated Aggregation)

Para evitar que recompensas intermediárias ruidosas enviesem o modelo para longe do resultado correto, o Argos emprega uma função de agregação com portão. Se a precisão do resultado ($R_{acc}$) estiver abaixo de um limiar $\tau$, a recompensa final é simplesmente $R_{acc}$. Se $R_{acc} \ge \tau$, a recompensa final é uma média ponderada das recompensas de resultado, fundamentação e qualidade de raciocínio:
$$R_{final} = \frac{w_A R_{acc} + w_G R_{spatial} + w_R R_{reasoning}}{w_A + w_G + w_R}$$

3. Pipeline de Curadoria de Dados

Os autores propõem um pipeline para gerar traços de raciocínio visualmente fundamentados para o cold-start de SFT:

1. Geração de Proposta: Usando um modelo professor (GLM-4.1V) e detecção de objetos (Molmo-7B), o sistema extrai pontos 2D e segmentos temporais das entradas visuais.
2. Geração de Traço: O modelo professor é estimulado com imagens sobrepostas (mostrando coordenadas) e timestamps para gerar traços de raciocínio que referenciam explicitamente esses pontos e segmentos temporais.
3. Verificação e Filtragem: O Argos pontua as execuções (rollouts) geradas. Amostras com gerações de baixa qualidade (ex: respostas corretas, mas com má fundamentação) são filtradas, garantindo que o conjunto de dados de SFT consista em exemplos de alta qualidade e fundamentados.

4. Treinamento

O modelo (baseado em Qwen2.5-VL 7B) passa por SFT no conjunto de dados curado, seguido por MMRL usando o algoritmo GRPO. A vantagem é computada com base nas recompensas agregadas do Argos.

Principais Contribuições

1. Framework Argos: O primeiro framework de verificação principista com seleção adaptativa de ferramentas para MMRL, capaz de rotear dinamicamente diferentes funções de pontuação (modelos professores e baseados em regras) por amostra para avaliar simultaneamente precisão, fundamentação e qualidade de raciocínio.
2. Curadoria de Dados Fundamentados: Um pipeline inovador para gerar traços de raciocínio visualmente fundamentados no espaço (pontos 2D) e no tempo (segmentos temporais), acoplado a um mecanismo de filtragem para remover rollouts de baixa qualidade.
3. Superioridade Empírica: Demonstração de que confiar apenas em SFT com anotações fundamentadas é insuficiente; a verificação adaptativa online durante o RL é crítica para prevenir o "reward hacking" e o colapso para soluções não fundamentadas.
4. Desempenho de Estado da Arte (SOTA): O método alcança resultados SOTA em diversos benchmarks agênticos, incluindo raciocínio espacial, redução de alucinação visual, planejamento de tarefas incorporadas e controle robótico.

Resultados Experimentais

O modelo foi avaliado em múltiplos benchmarks sob configurações zero-shot:

• Raciocínio Espacial: No BLINK, o Argos alcançou 56,0% de precisão, superando o baseline Qwen2.5-VL (54,4%) e o maior Video-R1 (49,0%). No MindCube-t e CV-Bench, também mostrou ganhos significativos, particularmente em compreensão 3D.
• Alucinação Visual: O Argos reduziu significativamente as alucinações, alcançando 85,3% no CounterCurate (vs. 61,4% do baseline) e 49,7% no HallusionBench. Notavelmente, superou o Video-R1, que teve desempenho inferior ao modelo base no HallusionBench.
• IA Incorporada (Embodied AI): No benchmark EB-Alfred, o Argos melhorou as taxas de sucesso de tarefas em mais de 25% em tarefas "complexas" comparado ao modelo base. No EB-Habitat, superou os baselines com prompting de CoT em cerca de 7% em tarefas visuais complexas.
• Robótica: No benchmark LIBERO para controle contínuo, o Argos alcançou uma média de sucesso de 84,2%, superando baselines incluindo o Video-R1 (83,5%), apesar de utilizar significativamente menos amostras de treinamento (85k vs. 270k).

Significância e Alegações

O artigo afirma que o Argos fornece uma solução robusta para os problemas de "reward hacking" e "raciocínio não fundamentado" prevalentes no MMRL atual. Ao tratar o MMRL como um problema de otimização multiobjetivo e usar um verificador adaptativo para agregar sinais ruidosos, o framework guia a política em direção a soluções $\delta$-Pareto-ótimas, equilibrando a precisão final com a qualidade do raciocínio intermediário e a fundamentação visual.

Os autores enfatizam que seu trabalho demonstra um insight crucial: curar dados de SFT fundamentados é necessário, mas insuficiente. Sem um mecanismo de verificação online como o Argos durante a etapa de RL, os agentes inevitavelmente revertem a soluções não fundamentadas. A composição adaptativa de funções de pontuação mostrou-se eficaz na redução de alucinações e na melhoria da generalização para tarefas agênticas complexas de longo horizonte, incluindo robótica e navegação incorporada. A natureza modular do Argos sugere que ele pode escalar com melhorias nos modelos professores específicos de tarefas para aumentar ainda mais os agentes multimodais.