Resumen Técnico: Enrutamiento de Agentes de Aprendizaje desde la Experiencia Temprana

Declaración del Problema

Los agentes de Modelos de Lenguaje Grande (LLM) demuestran capacidades sólidas en razonamiento complejo, planificación y uso de herramientas, pero incurren en altas latencias y costos computacionales. Por el contrario, la inferencia directa de LLM es rápida y rentable, pero a menudo poco fiable para tareas que exceden su límite de capacidad. El desafío central abordado en este trabajo es enrutar consultas entre la inferencia ligera de LLM y la ejecución completa del agente en configuraciones realistas de arranque en frío. En estos escenarios, las consultas entrantes carecen de datos de rendimiento previos o etiquetas de verdad fundamental, lo que hace que el entrenamiento supervisado estándar de un enrutador sea poco práctico. La investigación existente se centra en gran medida en el enrutamiento dentro de espacios homogéneos (por ejemplo, entre diferentes LLM o entre diferentes agentes), dejando el problema de enrutamiento híbrido entre LLM y agentes en gran parte inexplorado.

Metodología: BoundaryRouter

Los autores proponen BoundaryRouter, un marco de enrutamiento sin entrenamiento diseñado para tomar decisiones de enrutamiento sin supervisión de verdad fundamental. El sistema opera a través de tres mecanismos centrales:

1. Aprendizaje desde la Experiencia Temprana

Para superar el problema del arranque en frío, BoundaryRouter construye una memoria de experiencia temprana ($M$) compacta.

• Construcción: Un pequeño conjunto semilla de preguntas ($D_{seed}$) se ejecuta tanto en el LLM ligero como en el agente completo.
• Datos Registrados: Para cada consulta, el sistema registra la pregunta de entrada, las salidas de ambos solucionadores ($y_{LLM}, y_{Agent}$) y sus respectivas latencias ($t_{LLM}, t_{Agent}$).
• Restricción: Crucialmente, no se almacenan respuestas de verdad fundamental, etiquetas de corrección ni recompensas. La memoria captura diferencias conductuales sistemáticas (por ejemplo, patrones de respuesta y tiempo de ejecución) entre los dos sistemas.

2. Enrutamiento Aumentado por Recuperación

En el momento de la inferencia, para una nueva consulta $x$:

• El sistema recupera los registros $K$ más similares de la memoria de experiencia temprana utilizando un recuperador híbrido (que combina coincidencia léxica dispersa y similitud semántica densa).
• Estos casos recuperados sirven como evidencia, permitiendo que el enrutador compare la consulta actual con los comportamientos históricos de ambos solucionadores para inferir regularidades (por ejemplo, si una formulación similar condujo previamente a razonamiento multi-paso específico del agente o a picos de latencia).

3. Cadena de Pensamiento (CoT) Guiada por Rúbrica

Para asegurar que las decisiones se alineen con criterios conductuales específicos en lugar de un razonamiento abierto, el LLM de enrutamiento emplea CoT guiada por rúbrica.

• En lugar de razonamiento de forma libre, el enrutador sigue una rúbrica de decisión fija codificada en el prompt.
• Esta rúbrica dirige al modelo a evaluar explícitamente los casos recuperados basándose en dimensiones observables (características de la respuesta y tiempos de respuesta) para equilibrar la calidad esperada de la respuesta frente a la latencia.
• La salida es una decisión de enrutamiento binaria: $Route(x) \in \{LLM, Agente\}$.

Contribuciones Clave

1. El Marco BoundaryRouter

El artículo introduce un método de enrutamiento novedoso y sin entrenamiento que aprovecha la experiencia conductual temprana y el razonamiento estructurado. Permite un enrutamiento fiable en configuraciones de arranque en frío donde no están disponibles etiquetas de verdad fundamental, cerrando la brecha entre la inferencia rápida y de bajo costo de LLM y la ejecución robusta y de alto costo del agente.

2. Benchmark RouteBench

Para evaluar sistemáticamente este problema, los autores introducen RouteBench, un benchmark diseñado específicamente para el enrutamiento LLM-agente.

• Composición: Derivado de los conjuntos de datos GAIA y MMLU, incluye salidas emparejadas de solucionadores, datos de latencia y etiquetas de enrutamiento anotadas por humanos basadas en una regla determinista (prioridad de corrección, desempate por eficiencia y respaldo por fallo).
• Conjuntos de Evaluación: Evalúa la generalización en tres dimensiones:
  • Conjunto Base: Tareas dentro del dominio.
  • Conjunto Reformulado: Consultas perturbadas lingüísticamente para probar la robustez.
  • Conjunto Avanzado: Tareas fuera del dominio para probar el cambio de distribución.
• Métricas: Utiliza precisión a nivel de instancia, puntuaciones F1 a nivel de solucionador y una RouteBenchScore compuesta para medir la efectividad general del enrutamiento.

Resultados Experimentales

Los experimentos se realizaron en RouteBench utilizando 14 modelos contemporáneos (incluyendo GPT-5, Gemini-3-Pro y Claude Sonnet 4) como columna vertebral de enrutamiento.

• Compensación Rendimiento vs. Costo: BoundaryRouter redujo el tiempo de inferencia promedio en un 60.6% en comparación con el uso exclusivo del agente, mientras mejoró el rendimiento en un 28.6% sobre la inferencia directa de LLM.
• Comparación con Líneas Base:
  • En comparación con el enrutamiento basado en prompts (sin experiencia), BoundaryRouter mejoró la calidad del enrutamiento en un 37.9%.
  • En comparación con el enrutamiento solo por recuperación (sin razonamiento guiado por rúbrica), mejoró el rendimiento en un 8.2%.
• Generalización: El método mantuvo un rendimiento sólido en el conjunto Avanzado (fuera del dominio), demostrando que las señales conductuales tempranas combinadas con razonamiento restringido por rúbrica pueden generalizarse más allá de la distribución de entrenamiento.
• Estratificación de Modelos: Entre los modelos de vanguardia, GPT-5, Gemini-3-Pro-Preview y Gemini-2.5-Pro lograron el rendimiento de enrutamiento más fuerte, particularmente en el manejo de cambios fuera del dominio.

Significado y Afirmaciones

El artículo afirma que las señales conductuales tempranas, cuando se combinan con razonamiento guiado por rúbrica, pueden permitir un enrutamiento fiable entre LLM y agentes incluso en ausencia de etiquetas de verdad fundamental o supervisión de enrutamiento.

• Practicidad: El marco ofrece un camino práctico hacia la coordinación escalable en sistemas de razonamiento heterogéneos sin necesidad de datos de entrenamiento supervisado costosos.
• Perspectiva sobre la Dificultad de Enrutamiento: Los resultados destacan que el enrutamiento sigue siendo un problema desafiante incluso en configuraciones dentro del dominio, con un rendimiento que se degrada significativamente bajo cambios de distribución para modelos más débiles.
• Dirección Futura: Si bien el trabajo actual se centra en el enrutamiento binario entre un solo LLM y una sola tubería de agente, los autores sugieren que este enfoque sienta las bases para escenarios más complejos que involucran múltiples agentes o herramientas heterogéneas.

Los autores enfatizan que sus hallazgos demuestran la viabilidad de utilizar experiencia temprana auto-generada como una referencia ligera para guiar decisiones a nivel de sistema, cambiando el paradigma de la selección estática de modelos a una coordinación dinámica y basada en la experiencia.