Resumo Técnico: MASPRM (Multi-Agent System Process Reward Model)

Declaração do Problema

A busca em tempo de inferência sobre Sistemas Multiagentes (MAS) frequentemente desperdiça recursos computacionais porque os métodos existentes têm dificuldade em identificar qual mensagem intermediária de um agente específico avançou o progresso em direção a uma solução. Enquanto métodos de nível de resposta (ex: votação majoritária, reclassificação por verificador) podem selecionar entre soluções completas, eles falham em fornecer orientação ao nível de passo. Consequentemente, procedimentos de busca como Monte Carlo Tree Search (MCTS) ou Beam Search podem continuar a expandir prefixos que são prováveis sob a política, mas desalinhados com a correção eventual, levando a uma exploração improdutiva.

Estender Modelos de Recompensa de Processo (PRMs) de agente único para MAS é não trivial devido a quatro desafios específicos:

1. Granularidade de Pontuação: Um "passo" em MAS é uma ação de um agente (planejamento, roteamento, uso de ferramentas) em vez de um token, exigindo a pontuação de prefixos de transcrição roteados.
2. Cronograma e Grafo: O valor de uma transcrição depende da ordem específica das ações dos agentes e do roteamento de mensagens.
3. Heterogeneidade: Agentes possuem papéis, acesso a ferramentas e prompts distintos, o que significa que os prefixos intermediários originam-se de distribuições diferentes.
4. Observabilidade Parcial: Cada agente observa apenas sua visão local da transcrição global, embora um pontuador global seja necessário para uma orientação consistente.

Metodologia

Os autores propõem o MASPRM, um modelo de recompensa de processo projetado para pontuar prefixos de transcrição roteados e ações propostas por agentes, atuando como um controlador em tempo de inferência para Beam Search de nível de passo (SBS) e MCTS.

Arquitetura Central

• Representação de Estado: Um estado $s_t$ é definido como $(x, H_{t-1}, i_t)$, onde $x$ é a entrada, $H_{t-1}$ é o prefixo completo da transcrição roteada, e $i_t$ é o agente em ação.
• Observabilidade: Embora os agentes em ação gerem ações baseadas em suas visões locais ($H^{(i)}_{t-1}$), o pontuador MASPRM condiciona-se ao prefixo completo da transcrição roteada ($H_{t-1}$) e à identidade do agente em ação. Isso permite que o pontuador lide com heterogeneidade e cronograma implicitamente dentro da representação de entrada.
• Geração de Dados de Treinamento (MAS-MCTS): O modelo é treinado sem anotações humanas de nível de passo. Em vez disso, os autores utilizam rollouts de MAS-MCTS rotulados apenas com recompensas de resultado terminal ($R(s_T) \in \{+1, -1\}$).
  • As recompensas terminais são retropropagadas para as arestas para estimar os valores de ação $\hat{Q}(s, a)$.
  • Pares de preferência são construídos comparando estados sucessores irmãos (filhos do mesmo pai) onde um possui um valor retropropagado maior que o outro.
• Objetivo de Treinamento: O MASPRM é treinado usando uma perda de ranking Bradley-Terry nesses pares de preferência. Isso foi escolhido porque o papel principal do pontuador na inferência é classificar estados sucessores candidatos durante a busca, em vez de realizar regressão pontual.
• Orientação de Inferência:
  • MCTS: O MASPRM pontua novas arestas expandidas para inicializar visitas virtuais e guia a seleção de Upper Confidence Bound (UCT).
  • SBS: O MASPRM pontua todos os sucessores amostrados em cada profundidade de beam, permitendo que o algoritmo de poda ramos pouco promissores e retenha os principais candidatos.

Principais Contribuições

1. Formulação do MASPRM: Um modelo de recompensa de processo especificamente projetado para pontuar ações de agentes e prefixos de transcrição roteados em ambientes colaborativos multiagentes, permitindo atribuição de crédito consciente ao agente.
2. Supervisão MAS-MCTS: Um paradigma de treinamento que retropropaga recompensas terminais para valores de ação de agentes para treinar o modelo de processo sem a necessidade de anotações humanas de nível de passo.
3. Algoritmos de Busca Guiada: A introdução de SBS e MCTS guiados por MASPRM sobre rollouts de agentes, o que melhora a qualidade da decisão e efetivamente poda ramos improdutivos em configurações de MAS predefinidas.

Resultados Experimentais

Os autores avaliaram o MASPRM em quatro benchmarks: GSM8K e MATH (raciocínio matemático), e MMLU e LOGIQA (compreensão de conhecimento/leitura). Os experimentos utilizaram Qwen2.5-1.5B e Qwen2.5-7B como modelos base para agentes e pontuadores.

• Desempenho vs. Modelos de Recompensa de Resultado (ORM): Sob tamanhos de pontuador compatíveis e orçamentos de MCTS comparáveis, o MASPRM superou consistentemente os ORMs de tamanho equivalente.
  • Com tamanho de pontuador de 1.5B: O MASPRM excedeu o ORM em +2.0 a +3.0 pontos em todos os benchmarks.
  • Com tamanho de pontuador de 7B: O MASPRM excedeu o ORM em +4.1 a +14.5 pontos.
• Desempenho vs. Verossimilhança da Política (Policy Likelihood): O MASPRM melhorou significativamente o Hit@1 sobre a orientação por verossimilhança da política, particularmente em métodos de busca passo a passo.
  • Com um pontuador de 7B e agentes de 1.5B sob MCTS, o MASPRM alcançou um ganho médio de +13.4 pontos sobre a verossimilhança da política.
  • No GSM8K, a configuração 7B MASPRM + MCTS atingiu 82.9% de Hit@1, uma melhoria substancial sobre o baseline de passagem única (47.2%) e o 1.5B ORM (66.8%).
• Qualidade de Ranking: O MASPRM melhorou a qualidade das soluções classificadas, reduzindo a lacuna entre Hit@1 e Hit@5 em até 10.3 pontos, indicando uma melhor identificação de trajetórias corretas precocemente na busca.
• Generalização:
  • Cross-Dataset: O MASPRM treinado em um conjunto de dados (ex: GSM8K) transferiu zero-shot para conjuntos de dados relacionados (ex: MATH) com ganhos de +5.4 a +11.1 pontos sobre a verossimilhança da política, embora o treinamento in-domain tenha permanecido superior.
  • Cross-Agent: Um MASPRM treinado em rollouts do Qwen2.5-1.5B conseguiu guiar agentes Llama3.2 3B sem retreinamento, melhorando o Hit@1 em +8.7 a +13.0 pontos sobre a verossimilhança da política.

Significância e Alegações

O artigo afirma que a busca multiagente em tempo de inferência torna-se substancialmente mais confiável quando guiada por um modelo de valor de processo aprendido treinado exclusivamente a partir de recompensas terminais.

Principais alegações sobre a significância do trabalho incluem:

• Eficiência de Agentes Pequenos: A abordagem demonstra que LLMs menores (ex: 1.5B) podem alcançar alto desempenho em tarefas complexas de raciocínio quando pareados com um modelo de recompensa de processo aprendido e busca estruturada, ofereção uma alternativa de baixo custo para escalar parâmetros de modelo.
• Orientação de Nível de Passo: Os resultados sugerem que a orientação de processo é mais benéfica para algoritmos que tomam decisões intermediárias repetidas (como MCTS), em vez de apenas seleção de resposta final.
• Escalabilidade: O método escala efetivamente com o tamanho do pontuador; mover de um pontuador 1.5B para um 7B rendeu ganhos adicionais significativos, particularmente em configurações de MCTS.
• Limitações: Os autores observam modestamente que, embora o MASPRM complemente o escalonamento de grandes modelos, ele ainda não substitui isso nas tarefas de raciocínio mais difíceis (ex: LOGIQA, onde permaneceu abaixo do GPT-4o-mini e Mistral 24B). O escopo atual é limitado a configurações de MAS de pipeline de papéis predefinidos em tarefas de resposta terminal verificáveis.

O trabalho conclui que sinais de valor aprendidos no nível de processo, derivados sem anotações humanas de nível de passo, são componentes úteis e eficazes para guiar a busca multiagente.