Resumen Técnico: GRADE – Enrutamiento con Puerta y Profundidad Adaptativa para un Razonamiento Multi-Agente Eficiente

Planteamiento del Problema

El artículo aborda los rendimientos decrecientes y los costos que aumentan linealmente asociados con el escalado de los Modelos de Lenguaje de Gran Escala (LLMs). Si bien la coordinación multi-agente ofrece un camino para superar a los modelos monolíticos con una fracción del presupuesto de parámetros activos, los enfoques existentes sufren tres limitaciones críticas:

1. Adaptabilidad de Profundidad Limitada: La mayoría de los sistemas enrutan cada consulta a través de todo el stack de agentes independientemente de la dificultad, fallando al no implementar computación adaptativa o salidas tempranas (early exits) a través de pools multi-agente heterogéneos.
2. Control de Comunicación Grueso: Los sistemas típicamente transmiten todos los mensajes o agregan sin filtrar. El control de comunicación inter-agente aprendido y selectivo (decidir cuándo y con quién comunicarse) dentro de un marco jerárquico entrenado conjuntamente permanece inexplorado.
3. Falta de Recalibración: Los sistemas previos carecen de mecanismos para recalibrar los umbrales de las puertas (gates) cuando se intercambian expertos en el momento de la inferencia. Reemplazar un experto silenciosamente invalida los umbrales ajustados a la distribución de salida del modelo original, lo que conduce al colapso del rendimiento.

Metodología: El Marco GRADE

Los autores proponen GRADE (Gated Routing and Adaptive Depth for Efficient Reasoning), un sistema multi-agente jerárquico que asigna dinámicamente la computación, selecciona agentes y gestiona la comunicación a través de cuatro puertas aprendidas.

Arquitectura

GRADE opera en una jerarquía de tres niveles:

• Nivel 0 (Orquestador): Un modelo ligero ($M_0$) que consume la representación codificada de la consulta y puede proporcionar una respuesta directa o enrutar a niveles más profundos.
• Nivel 1 (Gerentes): Dos módulos de gestión que proyectan la representación de la consulta y proporcionan señales de agrupación para sesgar la asignación de sub-agentes. No generan tokens, sino que facilitan el reclutamiento de especialistas relacionados.
• Nivel 2 (Sub-Agentes): Un pool de agentes expertos especializados extraídos de un Registro de Expertos (Expert Registry). Cada agente consiste en un backend de LLM congelado, un adaptador entrenable ligero, una cabeza de respuesta y un mapa de calibración.

Puertas de Coordinación

Cuatro puertas aprendidas (pequeños MLPs) gobiernan el comportamiento del sistema en un solo paso hacia adelante (forward pass):

1. Puerta de Asignación (Assignment Gate): Selecciona qué sub-agentes activar basándose en la afinidad consulta-agente y las señales de agrupación de los gerentes. Soporta topología dinámica (muestreo de Bernoulli) o top-$k$ fijo.
2. Puerta de Profundidad (Depth Gate): Determina el nivel jerárquico a recorrer (0: Solo Orquestador; 1: Gerentes; 2: Pool completo de sub-agentes), permitiendo la computación adaptativa.
3. Puerta de Lectura Cruzada (Cross-Read Gate): Un mecanismo de comunicación selectiva que determina qué pares de agentes intercambian información mediante una máscara binaria antes de la combinación.
4. Puerta de Poda (Prune Gate): Asigna una estimación de valor a las ramas activas, descartando las ramas de baja utilidad antes del costoso paso de combinación de atención cruzada.

Entrenamiento: CoGRPO

El sistema se entrena de extremo a extremo utilizando CoGRPO (Collaborative Group-Relative Policy Optimization), una adaptación sin crítico de la Optimización de Política Relativa de Grupo (GRPO).

• Política Conjunta: El sistema optimiza una política conjunta sobre la profundidad, la asignación de agentes, las máscaras de comunicación y las decisiones de poda.
• Asignación de Crédito: En lugar de un crítico aprendido, CoGRPO calcula una ventaja relativa de grupo compartida ($\hat{A}$) para cada puerta y agente que participa en un despliegue (rollout). Esta "asignación de crédito colaborativa" actualiza a todos los participantes con la misma señal de ventaja escalar.
• Función de Recompensa: La recompensa combina una señal de corrección terminal, un término de margen para la log-probabilidad, un término de alineación a nivel de agente y una penalización de costo para desalentar la computación innecesaria.

Expertos Intercambiables en Caliente (Hot-Swappable Experts)

Para permitir que los expertos sean reemplazados en el momento de la inferencia sin reentrenar las puertas, GRADE emplea mapas de calibración por agente ($\kappa_a$). Estos son normalizaciones afines aprendibles que alinean las distribuciones de los embeddings de los nuevos expertos con la distribución de entrenamiento utilizando solo 64 consultas de anclaje.

Contribuciones Clave

1. Arnés de Coordinación: Un marco unificado con cuatro puertas entrenadas conjuntamente que permite la asignación de computación por consulta, la comunicación selectiva y la poda de ramas.
2. CoGRPO: Una novedosa receta de entrenamiento sin crítico para jerarquías multi-agente que asigna ventajas compartidas a todos los componentes participantes, estabilizando el entrenamiento sin necesidad de una función de valor.
3. Registro de Expertos y Calibración: Un mecanismo para la sustitución segura de expertos en tiempo de ejecución que mantiene el rendimiento mediante la calibración por agente, sin requerir el reentrenamiento de la lógica de coordinación central.

Resultados Experimentales

GRADE fue evaluado en GSM8K, MMLUPro, GPQA y AIME-2025 utilizando un promedio de ~17B de parámetros activos (variando desde 0.5B para consultas fáciles hasta ~32B para las difíciles).

• Rendimiento: GRADE supera a todos los baselines en GSM8K (94.8%), MMLUPro (78.2%) y GPQA (57.4%). Notablemente, supera al baseline más fuerte (Puppeteer) por 4.8 puntos en MMLUPro y 3.3 puntos en GPQA mientras utiliza aproximadamente la mitad de la computación activa.
• Eficiencia: En MMLUPro, GRADE logra la mayor precisión con un rango de latencia de 3.1–11.4 segundos (dependiendo de la dificultad de la consulta) y 52GB de VRAM, comparado con la latencia fija de 13s y 56GB de VRAM de Puppeteer.
• AIME-2025: En este benchmark de matemáticas de nivel de olimpiada, Puppeteer retiene una ventaja de 1.9 puntos (27.2% vs 25.3%). Los autores atribuyen esto a la necesidad de cadenas de razonamiento secuenciales más profundas donde la capacidad individual de los sub-agentes más pequeños de GRADE (3B–7B) es insuficiente comparada con los modelos más grandes de Puppeteer.
• Ablaciones:
  • Jerarquía: Eliminar la Puerta de Profundidad y el nivel de gestión reduce la precisión en 7.2 puntos.
  • Comunicación: Deshabilitar la Lectura Cruzada reduce la precisión en 4.2 puntos, resaltando la importancia de la comunicación inter-agente selectiva.
  • Calibración: Eliminar la calibración causa una caída inmediata de 18 puntos en la precisión tras el intercambio de expertos, requiriendo 20+ consultas para recuperarse, mientras que los intercambios calibrados se recuperan en menos de 9 consultas.

Significancia y Afirmaciones

El artículo afirma que las ganancias en el razonamiento multi-agente provienen de la "contención, no de la capacidad añadida". El sistema logra resultados de vanguardia no añadiendo más computación, sino aprendiendo a retener la computación en consultas fáciles, podar ramas no informativas y comunicarse selectivamente.

Los autores enfatizan que:

• El enrutamiento dinámico es superior a los ensambles de $k$ fijo; el sobre-aprovisionamiento de agentes (por ejemplo, usar $k=5$ en lugar de $k=3$) inyecta ruido y degrada el rendimiento.
• La comunicación selectiva (Cross-Read) es crítica; forzar la comunicación total ($\rho=1.0$) perjudica el rendimiento al introducir ruido redundante.
• La calibración es un mecanismo de seguridad para la adaptabilidad en tiempo de ejecución, permitiendo intercambiar expertos sin reentrenar la lógica de coordinación central.

Este trabajo establece que los sistemas multi-agente jerárquicos entrenados con RL colaborativo pueden superar a los modelos monolíticos y a los ensambles planos con un presupuesto de parámetros activos significativamente menor, siempre que el sistema pueda adaptar su profundidad y estrategia de comunicación según la dificultad de la consulta.