GraphPlanner: Graph Memory-Augmented Agentic Routing for Multi-Agent LLMs

Título: GraphPlanner: Roteamento Agente-Aumentado por Memória de Grafo para LLMs Multi-Agente

1. O Problema

O roteamento de Grandes Modelos de Linguagem (LLMs) tem sido fundamental para equilibrar eficiência e desempenho, selecionando o modelo mais adequado para uma determinada consulta. No entanto, as abordagens existentes enfrentam limitações críticas ao serem aplicadas em cenários reais e complexos:

• Roteadores de Rodada Única (Single-round): Fazem uma seleção estática baseada apenas no embedding da consulta. Falham em tarefas que exigem raciocínio multi-etapa, decomposição de tarefas ou coordenação entre modelos diferentes.
• Roteadores de Múltiplas Rodadas (Multi-round): Embora considerem o contexto histórico, tratam cada chamada como independente, sem modelar explicitamente a colaboração entre agentes. Isso leva a chamadas redundantes, conflitos de contexto e subutilização das capacidades complementares de diferentes modelos.
• Falta de Memória e Adaptação: Os sistemas atuais não utilizam sistematicamente o rico histórico de interações passadas (memória de colaboração, padrões de erro, divisão de trabalho) para melhorar o roteamento futuro. Além disso, não há uma distinção clara entre a seleção do modelo base (backbone) e a seleção do papel do agente (ex: Planejador, Executor).

O desafio central é: Como estender o roteamento para configurações de LLMs agentes, onde o planejamento de tarefas, a cooperação multi-rodada e o uso de memória são indispensáveis?

2. Metodologia: GraphPlanner

Os autores propõem o GraphPlanner, um roteador heterogêneo baseado em grafos que gera fluxos de trabalho (workflows) de roteamento para agentes multi-LLM.

A. Formulação como Processo de Decisão de Markov (MDP)

O processo de geração de fluxo de trabalho é formulado como um MDP $(S, A, T, r, \gamma)$:

• Estado ($S$): Representado pela consulta atual em resolução, enriquecido por memórias de fluxo de trabalho e históricas.
• Ação ($A$): Em cada passo, o roteador decide simultaneamente:
  1. Qual papel do agente ativar: Planner (decompor), Executor (gerar resposta) ou Summarizer (consolidar).
  2. Qual LLM backbone invocar (entre um conjunto de modelos heterogêneos).
• Transição ($T$): Atualiza o fluxo de trabalho. Se o papel é Planner, a consulta é dividida em sub-consultas; se Executor, gera uma resposta; se Summarizer, agrega resultados.
• Recompensa ($r$): Balanceia a utilidade da tarefa (ex: precisão) com o custo computacional (tokens/GPU), penalizando chamadas desnecessárias.

B. Arquitetura de Memória de Grafo Heterogêneo (GARNet)

O núcleo da inovação é o uso de um grafo heterogêneo chamado GARNet para capturar e integrar memórias:

• Grafo de Memória de Fluxo de Trabalho ($G_{workflow}$): Rastreia a estrutura atual da tarefa (consultas, respostas, papéis e custos) em tempo real.
• Grafo de Memória Histórica ($G_{history}$): Armazena interações passadas de consultas, agentes e respostas bem-sucedidas ou falhas.
• Nós Centrais de Papel (Role Hub Nodes): O GARNet utiliza nós de "hub" compartilhados para cada par (LLM, Papel). Isso permite que consultas e respostas de diferentes rodadas e momentos históricos se conectem aos mesmos nós de papel, facilitando a troca de informações sem criar redundância.
• Codificação Dupla: O sistema codifica primeiro o grafo histórico para atualizar os embeddings dos hubs de papel, que são então injetados no codificador do grafo de fluxo de trabalho atual. Isso cria representações de estado ricas que combinam contexto local e padrões históricos.

C. Treinamento por Aprendizado por Reforço (RL)

O roteador é otimizado usando Proximal Policy Optimization (PPO). O objetivo é aprender uma política que maximize a recompensa esperada descontada, equilibrando a precisão da resposta final com o custo computacional total do fluxo de trabalho.

3. Principais Contribuições

1. Roteamento Agente-Aumentado: Transição do roteamento de "escolha de modelo" para "geração de fluxo de trabalho colaborativo", decidindo dinamicamente papéis (Planner, Executor, Summarizer) e modelos.
2. Memória de Grafo Heterogêneo (GARNet): Uma arquitetura inovadora que integra memórias históricas e de fluxo de trabalho em uma única estrutura de grafo, permitindo inferência indutiva (para novos dados) e transdutiva (usando contexto histórico rico).
3. Otimização Conjunta: Uso de RL para otimizar simultaneamente a qualidade da tarefa e a eficiência computacional, evitando o custo excessivo de chamadas redundantes.
4. Generalização Robusta: Capacidade de lidar com tarefas não vistas e modelos LLM não vistos durante o treinamento (zero-shot).

4. Resultados Experimentais

O GraphPlanner foi avaliado em 14 tarefas abrangendo 6 domínios (Matemática, Código, Raciocínio Comum, Conhecimento Mundial, etc.) e comparado com roteadores de rodada única e múltiplas rodadas.

• Desempenho Superior:
  • No Fase 1 (otimização dentro de fluxos pré-definidos), superou os melhores baselines em precisão em +3.8%.
  • No Fase 2 (geração de fluxos de trabalho ótimos), alcançou um ganho de precisão de +9.3% sobre o melhor baseline.
  • Redução drástica de custos: O custo de GPU caiu de 186.26 GiB (para roteadores multi-rodada existentes) para 1.04 GiB com o GraphPlanner.
• Generalização Zero-Shot:
  • Em tarefas não vistas (LogicGrid, MGSM, CommonGen), alcançou 78% de precisão média, superando significativamente os roteadores anteriores (que variaram entre 38% e 58%).
  • Demonstrou forte adaptação a modelos LLM não vistos durante o treinamento (ex: Mistral-Nemo, Mixtral 8x22b) sem necessidade de ajuste fino (fine-tuning).
• Eficiência e Pareto Frontier:
  • O GraphPlanner formou consistentemente a fronteira de Pareto, oferecendo o melhor compromisso entre precisão e custo.
  • Reduziu o consumo de tokens de treinamento e o tempo total de treinamento em comparação com métodos baseados em RL anteriores.
• Inferência Indutiva vs. Transdutiva:
  • O modo Transdutiva (usando histórico completo) ofereceu o melhor desempenho absoluto.
  • O modo Indutivo (sem histórico de inferência) manteve alta eficiência e desempenho competitivo, sendo ideal para implantações com restrições de memória.

5. Significância e Impacto

O GraphPlanner representa um avanço significativo na área de sistemas multi-agente baseados em LLMs. Ao tratar o roteamento não apenas como uma classificação, mas como um processo de geração de fluxo de trabalho colaborativo apoiado por memória estruturada, o trabalho resolve gargalos de eficiência e coordenação.

• Escalabilidade: Permite que sistemas multi-agente operem de forma mais econômica, selecionando modelos menores para tarefas simples e escalando para modelos grandes apenas quando necessário, com planejamento estratégico.
• Adaptabilidade: A capacidade de aprender padrões de colaboração e generalizar para novos modelos e tarefas torna o sistema viável para aplicações do mundo real dinâmicas.
• Direção Futura: Abre caminho para a criação de ecossistemas de agentes heterogêneos onde a especialização e a cooperação são gerenciadas automaticamente, superando a necessidade de protocolos manuais rígidos.

Em resumo, o GraphPlanner demonstra que a integração de memória de grafos heterogêneos com aprendizado por reforço em fluxos de trabalho de agentes é a chave para desbloquear o potencial completo de sistemas multi-LLM complexos, oferecendo ganhos substanciais em precisão e eficiência.