Resumo Técnico: SHARP – Otimização Baseada em Crédito de Shapley para Sistemas Multiagentes

1. Definição do Problema

A integração de Grandes Modelos de Linguagem (LLMs) com ferramentas externas via Sistemas Multiagentes (MAS) oferece um paradigma promissor para resolver tarefas complexas de raciocínio e planejamento. No entanto, o treinamento desses sistemas é dificultado pelo desafio da atribuição de crédito. Em arquiteturas colaborativas de MAS (tipicamente envolvendo um planejador e agentes trabalhadores especializados), muitas vezes não está claro qual agente específico é responsável pelo sucesso ou falha de uma trajetória de decisão.

Os métodos existentes dependem predominantemente de recompensas globais de transmissão esparsa que tratam a equipe multiagente como uma entidade monolítica. Essa abordagem falha em capturar contribuições individuais, levando a atualizações de aprendizado por reforço (RL) ineficientes, onde ações individuais de alta qualidade são obscurecidas pelo desempenho geral da equipe. Além disso, os métodos atuais de otimização livres de valor (ex: DPO, GRPO) e os frameworks especializados de MARL frequentemente têm dificuldade em desvincular as contribuições marginais de cada agente dentro de um espaço de ação conjunta.

2. Metodologia: Framework SHARP

Para abordar essas limitações, os autores propõem o SHARP (Shapley-based Hierarchical Attribution for Reinforcement Policy), um framework projetado para estabilizar o treinamento multiagente através de uma atribuição de crédito precisa e detalhada.

2.1. Arquitetura do Sistema

O SHARP adota um paradigma de modelagem multiagente de auto-jogo (self-play) utilizando uma política compartilhada $\pi_\theta$.

• Papéis: Um único modelo instancia papéis heterogêneos (Planejador e Trabalhadores) via prompts de sistema específicos para cada papel.
• Execução: O planejador gera consultas de subtarefas de alto nível, que acionam agentes trabalhadores para interagir com ferramentas externas (ex: busca, calculadoras, interpretadores de código).
• Otimização: Todo o processo é otimizado de ponta a ponta como uma única trajetória sob uma política compartilhada, permitindo atualizações de parâmetros unificadas.

2.2. Mecanismo de Recompensa Tripartite Decomposta

A inovação central do SHARP é um princípio de decomposição de recompensa que vai além dos sinais de transmissão monolíticos. A recompensa substituta total $\bar{R}_{i,m}$ para o agente $m$ na trajetória $i$ é uma combinação ponderada de três componentes:

1. Recompensa de Precisão de Transmissão Global ($R^b$): Um sinal terminal binário ($0$ ou $1$) indicando se a resposta final está alinhada com a verdade fundamental (ground truth). Isso garante o alinhamento global da tarefa e é transmitido a todos os agentes na trajetória.
2. Recompensa de Crédito Marginal Baseada em Shapley ($R^{mc}$): Este componente quantifica a contribuição específica de cada agente usando valores de Shapley da teoria dos jogos cooperativos.
   • Mascaramento Contrafactual: O sistema isola o impacto causal de um agente medindo o delta de desempenho ($\Delta$) quando esse agente é ablacionado (mascarado) da trajetória de decisão, preservando o ambiente e os outros agentes.
   • Crédito do Planejador: O crédito do planejador é definido como a média das contribuições marginais positivas de seu conjunto de trabalhadores, alinhando o objetivo do planejador com a utilidade coletiva.
   • Crédito do Trabalhador: Calculado como a diferença entre o sucesso da tarefa na trajetória completa e a trajetória com o trabalhador específico removido.
3. Recompensa de Processo de Ferramenta ($R^{tool}$): Um sinal de nível de processo que avalia a validade e a executabilidade das invocações de ferramentas, garantindo que os agentes não apenas alucinem o uso de ferramentas, mas as executem corretamente.

2.3. Estratégia de Otimização

O SHARP utiliza uma abordagem de Otimização de Política Relativa de Grupo (GRPO) aprimorada.

• Normalização de Vantagem: As vantagens específicas de cada agente são normalizadas entre grupos de trajetórias, subtraindo a média e dividindo pelo desvio padrão das recompensas para aquele papel de agente específico.
• Objetivo Substituído com Clipping: O framework emprega uma função de objetivo com clipping para garantir atualizações de política estáveis, evitando grandes desvios que poderiam desestabilizar o processo de aprendizado colaborativo.

3. Principais Contribuições

O artigo descreve três contribuições primárias:

1. Framework SHARP: Um novo framework de RL que estabiliza o treinamento multiagente ao normalizar as vantagens específicas de cada agente e fornecer atribuição de crédito precisa, ofereando uma solução unificada para alinhar agentes heterogêneos.
2. Decomposição de Recompensa Flexível: A introdução de um mecanismo de recompensa tripartite (Alinhamento Global, Crédito Marginal baseado em Shapley e Validade de Processo) aplicável a vários tamanhos de LLM e estruturas multiagentes (cadeias sequenciais, grafos de comunicação e paradigmas hierárquicos de planejador-trabalhador).
3. Validação Empírica: Experimentos extensos demonstrando que o SHARP supera significativamente as linhas de base de estado da arte, incluindo RL de agente único e frameworks multiagentes existentes.

4. Resultados Experimentais

Os autores avaliaram o SHARP em cinco benchmarks do mundo real: MuSiQue, GAIA-text, WebWalkerQA, FRAMES e DocMath-Eval.

• Ganhos de Desempenho: Utilizando um backbone Qwen3-8B, o SHARP alcançou melhorias médias de correspondência (match) de 23,66% sobre abordagens de agente único e 14,05% sobre baselines multiagentes existentes.
• Estudos de Ablação: A remoção da atribuição de crédito baseada em Shapley resultou em quedas significativas de desempenho, confirmando que a modelagem de crédito marginal é um motor fundamental de sucesso, mais do que a complexidade arquitetônica por si só.
• Escalabilidade: O SHARP demonstrou leis de escala fortes, alcançando uma melhoria de 14,41 pontos sobre os baselines de agente único em um backbone de 8B. Os ganhos de desempenho ampliaram-se conforme o tamanho do modelo aumentava.
• Estabilidade: Ao contrário dos baselines que exibiram flutuações durante o treinamento, o SHARP mostrou uma melhoria monotônica na precisão ao longo de 180 passos de otimização, indicando redução na variância da recompensa.
• Análise de Coordenação: O SHARP remodelou as interações entre agentes ao aumentar a proporção de subagentes "úteis" e reduzir as chamadas de subagentes "prejudiciais" de 5,48% para 4,40%.

5. Significância e Alegações

O artigo afirma que o SHARP fornece uma fundamentação matematicamente fundamentada para abordar o gargalo da atribuição de crédito em sistemas multiagentes colaborativos. Ao desvincular explicitamente os impactos causais individuais dos resultados agregados, o SHARP permite:

• Otimização Conjunta Estável: Facilitando a coordenação coerente entre agentes heterogêneos.
• Interpretabilidade: Oferecendo insights sobre quais agentes contribuem positivamente ou negativamente para uma tarefa.
• Generalização: Demonstrando desempenho robusto através de diversas distribuições de tarefas e escalas de modelos.

Os autores posicionam o SHARP não apenas como um impulsionador de desempenho, mas como uma abordagem principista para a coordenação escalável e interpretável em MAS hierárquicos, sugerindo que a atribuição de crédito precisa é essencial para o treinamento eficaz de sistemas multiagentes aumentados por ferramentas.