Agent Q-Mix: Selecting the Right Action for LLM Multi-Agent Systems through Reinforcement Learning

Resumo Técnico: Agent Q-Mix

1. O Problema

Os Sistemas Multi-Agente (MAS) baseados em Grandes Modelos de Linguagem (LLMs) têm demonstrado desempenho superior em tarefas complexas que excedem a capacidade de um único modelo, como raciocínio matemático, geração de código e descoberta científica. No entanto, um desafio fundamental persiste: como selecionar e interconectar efetivamente esses agentes.

As abordagens existentes geralmente se dividem em duas categorias com limitações significativas:

• Métodos Estáticos: Utilizam topologias de comunicação fixas (ex: cadeia, estrela, totalmente conectada). Eles não se adaptam à dificuldade da tarefa, desperdiçando tokens em problemas fáceis ou falhando em colaborar o suficiente em problemas difíceis.
• Métodos Adaptativos (Centralizados): Tentam aprender topologias, mas frequentemente dependem de um gerador centralizado que define o grafo inteiro de uma vez. Isso cria um gargalo, impede que os agentes tomem decisões independentes durante a execução e não justifica a seleção de ações descentralizadas.

A questão central é como otimizar a topologia de comunicação de forma descentralizada, equilibrando precisão da tarefa, eficiência de tokens (custo) e robustez, permitindo que os agentes adaptem sua comunicação dinamicamente.

2. Metodologia: Agent Q-Mix

O artigo propõe o Agent Q-Mix, um framework que reformula o aprendizado de topologia de comunicação como um problema de Aprendizado por Reforço Multi-Agente Cooperativo (MARL), resolvido através da fatorização de valor QMIX.

Principais Componentes:

• Formulação do Problema (Networked MMDP):
  O sistema é modelado como um Processo de Decisão de Markov Multi-Agente em Rede. O objetivo é maximizar a recompensa da equipe, que é uma função que equilibra a precisão da tarefa e o custo de tokens.

  • Espaço de Ações Discretas: Cada agente escolhe entre 6 ações interpretáveis que definem a conectividade estrutural no grafo de comunicação, em vez de definir o conteúdo da mensagem. As ações incluem:
    1. Solo Process: Trabalhar independentemente (sem arestas de saída).
    2. Broadcast All: Conectar-se a todos os outros agentes.
    3. Selective Query: Enviar uma consulta direcionada a um vizinho específico.
    4. Aggregate Refine: Coletar informações de todos os outros (entradas).
    5. Execute Verify: Encaminhar saída para o próximo agente com verificação mínima.
    6. Debate Check: Troca mútua bidirecional com um parceiro.
  • O grafo de comunicação global é induzido pela combinação das ações locais de todos os agentes.

• Arquitetura da Rede (GNN-GRU-MLP):
  Cada agente possui sua própria rede Q (Q-head) composta por:

  1. Codificador GNN (Topology-Aware): Processa o grafo de comunicação atual para gerar embeddings que capturam o contexto estrutural e as observações dos vizinhos.
  2. Memória GRU: Mantém o estado temporal ao longo das rodadas de comunicação, permitindo que o agente adapte seu comportamento baseado no histórico.
  3. MLP (Perceptron Multicamada): Calcula os valores Q para cada uma das 6 ações possíveis.

• Treinamento Centralizado com Execução Descentralizada (CTDE):

  • Treinamento: Utiliza o algoritmo QMIX. Os valores Q individuais de cada agente são combinados por uma rede de mistura (mixing network) monotônica, que garante a propriedade Individual-Global-Max (IGM). Isso significa que maximizar o valor global da equipe é consistente com maximizar o valor individual de cada agente.
  • Execução: Durante a inferência (deploy), cada agente age de forma puramente descentralizada, escolhendo a ação que maximiza seu próprio valor Q local, sem necessidade de coordenação central em tempo real.

• Função de Recompensa:
  A recompensa $R$ é definida como:
  $$R = w_{acc} \cdot \text{acurácia} - w_{tok} \cdot \min\left(\frac{\text{tokens usados}}{\text{máx tokens}}, 1\right)$$
  Isso incentiva o agente a encontrar a solução correta com o menor custo de comunicação possível.

3. Contribuições Principais

1. Formulação: A primeira reformulação do aprendizado de topologia de comunicação em MAS como um Processo de Decisão de Markov Multi-Agente em Rede (Networked MMDP), com um espaço de ações discretas e interpretáveis que induz diretamente a estrutura do grafo.
2. Algoritmo: Design de uma rede Q-aware de topologia baseada em GNN-GRU-MLP, integrada ao QMIX para permitir seleção de ações de comunicação descentralizada sob o paradigma CTDE.
3. Avaliação Abrangente: Avaliação em 7 benchmarks principais (codificação, raciocínio e matemática) usando dois LLMs base diferentes (GPT-OSS:120B e Gemini-3.1-Flash-Lite), incluindo o desafio "Humanity's Last Exam" (HLE).

4. Resultados Experimentais

O Agent Q-Mix superou consistentemente os métodos existentes em precisão, eficiência e robustez:

• Desempenho Geral:

  • No modelo GPT-OSS:120B, alcançou 72,73% de precisão média em todos os benchmarks, superando o melhor método de topologia adaptativa (GTD) em +12,36 pontos e o framework comercial mais forte (AutoGen) em +4,13 pontos.
  • No modelo Gemini-3.1-Flash-Lite, obteve os melhores resultados reportados em matemática (ex: 60% no AIME26, 50% no HMMT).
  • No benchmark Humanity's Last Exam (HLE), alcançou 20,8% de precisão, superando o Microsoft Agent Framework e o LangGraph (ambos 19,2%).

• Eficiência de Tokens:

  • O método demonstrou uma eficiência de tokens superior. Em benchmarks como MMLU-Pro, usou apenas 112K tokens (apenas 15% acima da linha de base de agente único), enquanto outros métodos multi-agente usaram de 4x a 24x mais tokens para desempenho inferior ou similar. O agente aprende a usar comunicação densa apenas quando necessário (tarefas difíceis) e opera em modo "solo" para tarefas fáceis.

• Robustez:

  • Em testes de injeção de agentes adversariais (um agente fornecendo respostas erradas), o Agent Q-Mix foi o mais robusto, sofrendo apenas uma queda de 2,86% na precisão, comparado a quedas de 8-10% em outros métodos. O agente aprendeu a isolar o agente não confiável ajustando a topologia de comunicação.

5. Significado e Impacto

O trabalho do Agent Q-Mix representa um avanço significativo na arquitetura de sistemas multi-agente:

• Descentralização Real: Demonstra que a otimização de topologia não precisa ser um processo centralizado e rígido; pode emergir de decisões locais inteligentes aprendidas via RL.
• Adaptabilidade Dinâmica: O sistema não apenas "escolhe" uma topologia, mas adapta a comunicação rodada a rodada, evoluindo de exploração independente para verificação e agregação conforme a complexidade da tarefa exige.
• Eficiência de Recursos: Ao aprender a economizar tokens em tarefas simples, o framework torna os sistemas multi-agente economicamente viáveis para aplicações em escala, resolvendo um dos maiores obstáculos de custo atual.
• Generalização: A abordagem é agnóstica à tarefa e ao modelo base, funcionando bem tanto em modelos grandes quanto menores, e em domínios diversos (código, matemática, raciocínio lógico).

Em resumo, o Agent Q-Mix estabelece um novo padrão para a coordenação de agentes LLM, provando que a otimização aprendida e descentralizada da topologia de comunicação é fundamental para empurrar os limites do raciocínio multi-agente.