GraphPlanner: Graph Memory-Augmented Agentic Routing for Multi-Agent LLMs

1. El Problema

El enrutamiento de Modelos de Lenguaje Grande (LLM) ha demostrado ser efectivo para equilibrar eficiencia y rendimiento seleccionando el modelo adecuado para una consulta específica. Sin embargo, los métodos existentes presentan limitaciones críticas en escenarios de agentes LLM (sistemas multi-agente):

• Enfoques de una sola ronda (Single-round): Asignan una consulta a un modelo de forma estática. Carecen de capacidad para descomponer tareas complejas, razonar en múltiples pasos o coordinar entre diferentes modelos.
• Enfoques de múltiples rondas (Multi-round): Mejoran la flexibilidad al considerar el contexto histórico, pero a menudo tratan cada llamada como independiente, sin modelar explícitamente la colaboración entre agentes. Esto genera llamadas redundantes, conflictos de contexto y un uso limitado de las fortalezas complementarias de los modelos.
• Falta de memoria y planificación: Los sistemas actuales no aprovechan sistemáticamente las memorias históricas de interacciones pasadas (patrones de colaboración exitosos, modos de error) ni gestionan dinámicamente roles de agentes heterogéneos (Planificador, Ejecutor, Resumen).

El objetivo es extender el enrutamiento a entornos de agentes heterogéneos donde el enrutador debe decidir no solo qué modelo LLM invocar, sino también qué rol de agente activar en cada paso de un flujo de trabajo dinámico.

2. Metodología: GraphPlanner

Los autores proponen GraphPlanner, un enrutador de agentes heterogéneo potenciado por memoria gráfica. La metodología se basa en los siguientes pilares:

A. Formulación como Proceso de Decisión de Markov (MDP)

La generación del flujo de trabajo de enrutamiento se formula como un MDP $(S, A, T, r, \gamma)$:

• Estado ($S$): La consulta actual en resolución.
• Acción ($A$): Un par $(\alpha_t, m_t)$ que selecciona simultáneamente un rol de agente (Planificador, Ejecutor, Resumen) y un modelo LLM base.
• Transición ($T$): Actualiza la memoria del flujo de trabajo. Los planificadores descomponen consultas, los ejecutores generan respuestas y los resumidores consolidan resultados.
• Recompensa ($r$): Equilibra la utilidad de la tarea (precisión, BLEU, etc.) y el costo computacional.

B. Memoria Gráfica Heterogénea (GARNet)

El núcleo de la innovación es GARNet (Heterogeneous Graph Memory-Augmented Router Network), una red neuronal de grafos heterogéneos que integra dos tipos de memoria:

1. Memoria del Flujo de Trabajo ($G_{workflow}$): Representa el estado actual de la tarea, conectando consultas, respuestas y roles de agentes en la sesión actual.
2. Memoria Histórica ($G_{history}$): Almacena interacciones pasadas exitosas y patrones de error de consultas anteriores.

Arquitectura del Grafo:

• Nodos: Consultas, Respuestas y Nodos "Hub" de Roles (que representan pares específicos de Modelo-Role, ej. LLaMA-3-Planner).
• Conexiones: Las consultas y respuestas se conectan a los nodos Hub de roles compartidos. Esto permite que la información histórica y la actual fluyan a través de los mismos nodos de anclaje, facilitando la transferencia de conocimiento sin crear nodos redundantes.
• Codificación: Utiliza un esquema de codificación de doble grafo (histórico y local) para generar representaciones de estado ricas que capturan tanto el contexto inmediato como patrones históricos de colaboración.

C. Optimización con Aprendizaje por Refuerzo

El agente de enrutamiento se entrena utilizando Proximal Policy Optimization (PPO). El algoritmo aprende una política que maximiza la recompensa acumulada (precisión menos costo), ajustando dinámicamente la selección de modelos y roles para cada consulta.

3. Contribuciones Clave

1. Enrutamiento Agente-Nativo: Es el primer marco que trata el enrutamiento como un problema de coordinación multi-agente, seleccionando simultáneamente roles y modelos dentro de un flujo de trabajo estructurado.
2. Memoria Gráfica Heterogénea (GARNet): Introduce un mecanismo novedoso para integrar memorias históricas y de flujo de trabajo en un solo grafo, permitiendo inferencia tanto inductiva (sin memoria histórica explícita en inferencia) como transductiva (usando memoria histórica para mejorar el contexto).
3. Eficiencia y Rendimiento: Logra un equilibrio superior entre precisión y costo computacional, superando a los enrutadores de una sola ronda y de múltiples rondas existentes.
4. Generalización Robusta: Demuestra capacidades zero-shot significativas en tareas no vistas y con modelos LLM que no participaron en el entrenamiento.

4. Resultados Experimentales

El sistema se evaluó en 14 tareas a través de 6 dominios (Matemáticas, Código, Razonamiento, Conocimiento Mundial, etc.), comparándolo con enrutadores de una sola ronda (RouterDC, GraphRouter) y múltiples rondas (Router-R1, R2-Reasoner).

• Rendimiento Superior:
  • En la Fase 2 (generación de flujos de trabajo óptimos), GraphPlanner mejoró la precisión promedio en un +9.3% respecto al mejor baseline.
  • Redujo drásticamente el costo de GPU: de 186.26 GiB (en métodos basados en RL como Router-R1) a solo 1.04 GiB.
• Generalización Zero-Shot:
  • Logró un 78% de precisión promedio en tareas no vistas (LogicGrid, MGSM, CommonGen), superando a los enrutadores existentes en un 20-40%.
  • Funcionó eficazmente con modelos LLM no vistos durante el entrenamiento (ej. Mistral-Nemo, Mixtral 8x22b) sin ajuste fino.
• Eficiencia de Entrenamiento:
  • Requiere menos tiempo de entrenamiento total (120 minutos vs. 300-360 minutos de otros métodos RL) y menor consumo de tokens.
• Análisis de Ablación:
  • La eliminación de la memoria histórica causó una caída significativa en el rendimiento, validando la importancia de GARNet.
  • El modo transductivo ofreció el mejor rendimiento, mientras que el modo inductivo ofreció la mejor eficiencia, demostrando flexibilidad.

5. Significado e Impacto

GraphPlanner representa un cambio de paradigma en la gestión de sistemas multi-agente LLM. Al pasar de una selección estática de modelos a una planificación dinámica de flujos de trabajo basada en memoria gráfica, el sistema:

• Desbloquea el potencial de la colaboración entre modelos heterogéneos (modelos pequeños y grandes trabajando juntos).
• Resuelve el problema de asignación de crédito a largo plazo en tareas complejas mediante RL.
• Proporciona un marco escalable y eficiente que puede adaptarse a nuevas tareas y modelos sin reentrenamiento completo.

Este trabajo sienta las bases para sistemas de agentes más inteligentes, cooperativos y eficientes, capaces de manejar tareas del mundo real que requieren descomposición, razonamiento profundo y gestión de memoria a largo plazo.