CoFi-PGMA: Counterfactual Policy Gradients under Filtered Feedback for Multi-Agent LLMs

Resumo Técnico: CoFi-PGMA

1. O Problema: Feedback Filtrado em Sistemas Multiagente

O artigo aborda uma lacuna crítica no treinamento de Grandes Modelos de Linguagem (LLMs) via Aprendizado por Reforço com Feedback Humano (RLHF). Atualmente, muitos sistemas de LLM não são modelos únicos, mas arquiteturas multiagente que operam sob dois padrões principais:

• Roteamento Competitivo (Routing): Um controlador seleciona um entre vários especialistas. O problema é o feedback selecionado (selection-gated feedback): o sistema só observa a recompensa do agente escolhido, deixando os outros sem sinal de aprendizado, o que gera um viés estatístico.
• Geração Colaborativa (Collaboration): Vários agentes (ex: planejador, executor, revisor) trabalham juntos para uma resposta única. O problema é a atribuição de crédito (credit assignment): todos recebem a mesma recompensa final, o que mascara a contribuição individual de cada agente e introduz ruído de alta variância.

Os objetivos de RLHF padrão são projetados para políticas únicas e falham nesses cenários, tornando-se estatisticamente enviesados ou estrategicamente desalinhados.

2. Metodologia: O Framework CoFi-PGMA

Os autores introduzem o CoFi-PGMA (Counterfactual Policy Gradients under Filtered Feedback), um framework unificado que utiliza contribuição marginal contrafactual como o sinal de aprendizado correto.

A ideia central é treinar cada agente com base no quanto ele contribuiu para o resultado final em comparação ao que teria acontecido se ele não tivesse participado (ou se tivesse agido de forma diferente).

A abordagem divide-se em dois mecanismos de estimação:

• Para Roteamento (Estimador Doubly Robust - DR): Como não observamos as recompensas dos agentes não selecionados, o framework utiliza um estimador de "dupla robustez". Ele combina um modelo preditor de recompensa (para estimar o que os outros agentes teriam rendido) com uma correção de importância (para usar o dado real do agente selecionado). Isso corrige o viés de seleção.
• Para Colaboração (Estimador Leave-One-Out - LOO): Para resolver a atribuição de crédito, o framework utiliza uma construção contrafactual onde a contribuição de um agente é substituída por uma ação de referência (baseline). A diferença entre a recompensa real e a recompensa contrafactual (sem aquele agente) serve como o sinal de gradiente.

Fundamentação Matemática: O artigo prova (Teorema 1) que o gradiente da política baseado na contribuição marginal contrafactual é um estimador válido do gradiente do objetivo do sistema, mesmo em políticas autoregressivas onde um agente depende do output do anterior.

3. Principais Contribuições

1. Framework Unificado: Uma formulação matemática que trata tanto roteamento quanto colaboração sob o conceito de "feedback filtrado".
2. Correção de Viés e Variância: Demonstração de que o uso de sinais contrafactuais remove o ruído independente da ação (em colaboração) e restaura a imparcialidade estatística (em roteamento).
3. Algoritmos Práticos: Integração de estimadores contrafactuais com métodos de otimização modernos, como o GRPO (Group Relative Policy Optimization).

4. Resultados Experimentais

Os autores testaram o método no dataset de raciocínio matemático GSM8K, utilizando agentes baseados em Llama-3.2-3B com adaptadores LoRA especializados.

• Desempenho Superior: O método DR-GRPO (proposto) superou o baseline "Winner-take-all" (onde apenas o vencedor recebe recompensa). O DR-GRPO alcançou 41% de acurácia, contra 37% do baseline e 35,2% de um modelo único congelado.
• Melhoria na Especialização: O método proposto não apenas aumentou a acurácia, mas também melhorou a especialização dos agentes (os agentes aprenderam funções distintas) e a calibração do roteador (menor erro de predição de recompensa).
• Redução de Regret: O erro do roteador em relação a um "oráculo" (que escolheria sempre o melhor candidato disponível) foi significativamente menor com o CoFi-PGMA.

5. Significância e Impacto

Este trabalho é altamente significativo para o futuro do desenvolvimento de IA, pois a tendência industrial é mover-se de modelos monolíticos para sistemas de Mistura de Especialistas (MoE) e pipelines multiagente.

O CoFi-PGMA fornece a base teórica e prática para treinar esses sistemas de forma eficiente, garantindo que cada componente aprenda sua função específica, mesmo quando o feedback do mundo real é parcial ou compartilhado. Ele resolve o problema de "carona" (free-riding) em sistemas colaborativos e o problema de "cegueira de dados" em sistemas de roteamento.