🤖 AI

TRACE-ROUTER: Task-Consistent and Adaptive Online Routing for Agentic AI

TRACE-Router es un marco de enrutamiento a nivel de tarea que asigna flujos de trabajo agénticos a un único modelo de lenguaje de gran tamaño en la admisión y actualiza las políticas basándose en recompensas de nivel de tarea diferidas, superando así a los enrutadores por llamada existentes en las compensaciones entre precisión y latencia en múltiples evaluaciones.

Autores originales: Ritik Raj, Souvik Kundu, Sarbartha Banerjee, Dheemanth Joshi, Ishita Vohra, Tushar Krishna

Publicado 2026-07-27

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Ritik Raj, Souvik Kundu, Sarbartha Banerjee, Dheemanth Joshi, Ishita Vohra, Tushar Krishna

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que diriges un centro de llamadas masivo y de alta tecnología donde cada solicitud de cliente es una misión compleja. Tienes un equipo de trabajadores: algunos son increíblemente rápidos pero podrían pasar por alto detalles, mientras que otros son increíblemente minuciosos pero tardan más tiempo. En el mundo de la Inteligencia Artificial, estos trabajadores son Modelos de Lenguaje Extensos (LLM). El gran desafío para las empresas es decidir qué trabajador asignar a cada tarea. Si siempre eliges al experto lento y cuidadoso, desperdicias dinero y tiempo en tareas sencillas. Si siempre eliges al trabajador rápido, podrías obtener una respuesta incorrecta en un problema difícil.

Durante mucho tiempo, la forma estándar de resolver esto era mirar una sola pregunta y decidir: "Bien, esto parece fácil, envíalo al trabajador rápido", o "Esto parece difícil, envíalo al experto". Pero este enfoque tiene un fallo oculto cuando se trata de IA "agéntica". Un agente no solo responde una pregunta; está en un largo viaje. Puede hacer una pregunta, usar una herramienta, consultar un mapa y luego hacer otra pregunta, todo para resolver un gran problema. Si cambias de trabajador a mitad del viaje, el nuevo trabajador no sabe en qué estaba pensando el primero, y toda la misión puede colapsar. La verdadera pregunta es: ¿cómo elegimos al trabajador adecuado para todo el viaje y cómo aprendemos del resultado para mejorar la próxima vez?

Esto es exactamente lo que los investigadores detrás de TRACE-Router se propusieron resolver. Se dieron cuenta de que tratar cada pregunta como una decisión separada es como intentar navegar un viaje por carretera de larga distancia eligiendo un conductor nuevo por cada milla recorrida. En su lugar, proponen un sistema que elige un conductor para todo el viaje y se mantiene con él hasta que se alcanza el destino.

Así es como funciona su nuevo sistema, utilizando una analogía simple: Imagina un despachador inteligente en una estación de tren. En el sistema antiguo, el despachador miraría el billete de un pasajero y decidiría en qué tren ponerlo. Si el pasajero necesitaba cambiar de tren más tarde, el despachador tomaría una decisión nueva, olvidando a menudo el objetivo original del pasajero. TRACE-Router cambia las reglas. Cuando llega un pasajero (una tarea), el despachador mira el destino y lo asigna a un tren específico (un modelo de IA específico) inmediatamente. Una vez que el pasajero está en ese tren, permanece en él durante todo el viaje, sin importar cuántas paradas realice.

La magia ocurre después de que el viaje termina. El despachador espera a ver si el pasajero llegó a salvo y a tiempo. Si el viaje fue un éxito, el despachador da un "pulgar hacia arriba" a la decisión que tomó al principio. Si el viaje falló o tardó demasiado, recibe un "pulgar hacia abajo". Crucialmente, el despachador no culpa a las paradas individuales; culpa a la elección inicial del tren. Esto permite que el sistema aprenda de la experiencia completa en lugar de solo de momentos aislados.

El artículo introduce un método de aprendizaje ingenioso llamado "bandido contextual" (contextual bandit). Piensa en esto como un juego donde el despachador aprende qué tren funciona mejor para diferentes tipos de pasajeros. Agrupan a los pasajeros en categorías generales como "Fácil", "Medio" y "Difícil" basándose en una mirada rápida a su billete (sin necesidad de preguntarle nada a la IA primero). Para cada categoría, el sistema prueba diferentes trenes, aprende cuál realiza mejor el trabajo y, finalmente, se establece en la combinación perfecta. Es como un chef que prueba un plato y aprende que para la comida picante, siempre debe usar la estufa roja, pero para la comida dulce, la estufa azul es mejor.

Los resultados de este enfoque son bastante impresionantes. Los investigadores probaron su sistema en varios desafíos del mundo real, incluyendo problemas matemáticos complejos y tareas de programación. Encontraron que, al mantenerse con un solo modelo para toda la tarea, TRACE-Router consistentemente encontró un "punto ideal" entre velocidad y precisión que otros métodos pasaron por alto. En una prueba específica llamada τ 2-Bench, su sistema pudo resolver de 7 a 8 problemas más correctamente que otros métodos de enrutamiento inteligentes, incluso cuando esos métodos recibieron la misma cantidad de tiempo. En otra prueba, Terminal-Bench, logró un 7.1 por ciento de puntos más de precisión que el modelo único más fuerte disponible, siendo de hecho un 36% más rápido.

El artículo también probó algunas ideas diferentes para ver qué funcionaba mejor. Intentaron "pre-calentar" el sistema dándole algo de experiencia falsa antes de comenzar, con la esperanza de que aprendiera más rápido. Sin embargo, los resultados mostraron que esto en realidad hacía que el sistema fuera más lento y menos flexible, por lo que decidieron quedarse con el método de "arranque en frío" (cold start), donde el sistema aprende puramente de viajes reales. También compararon su algoritmo de aprendizaje con otros métodos populares y descubrieron que su elección era la más estable y confiable a través de diferentes tipos de tareas.

En resumen, TRACE-Router sugiere que la mejor manera de gestionar agentes de IA no es microgestionar cada paso, sino confiar en un único socio bien elegido para todo el viaje. Al esperar al resultado final para juzgar la decisión, el sistema aprende a tomar decisiones más inteligentes con el tiempo, equilibrando la necesidad de velocidad con la de precisión de una manera que los métodos anteriores no pudieron. Es un cambio de pensar en la IA como una serie de preguntas aisladas a verla como una misión cohesiva de larga distancia.

Resumen Técnico: TRACE-Router

Planteamiento del Problema

Los sistemas actuales de enrutamiento de Modelos de Lenguaje Extensos (LLM) operan predominantemente a nivel de petición (request level), tomando decisiones de enrutamiento independientes para cada prompt individual. Si bien esta granularidad es adecuada para la inferencia de un solo turno, no está alineada con las cargas de trabajo de agentes (agentic workloads), donde una tarea consiste en una ejecución de traza de largo horizonte y con estado, que involucra múltiples llamadas a LLM intercaladas con el uso de herramientas, recuperación de información y transiciones de entorno.

El desajuste central radica en la atribución de retroalimentación (feedback attribution):

Retroalimentación Retardada: En aplicaciones agénticas, el éxito o fracaso se determina solo mediante un resultado terminal a nivel de tarea (por ejemplo, pasar una suite de pruebas o alcanzar un objetivo), no por la calidad de los turnos intermedios individuales.
Fallo de Asignación de Crédito: Los enrutadores a nivel de petición no pueden atribuir correctamente esta recompensa de tarea retardada a decisiones de enrutamiento intermedias específicas. Una decisión local aparentemente óptima (por ejemplo, enrutar un paso intermedio a un modelo más pequeño y rápido) puede conducir a una suboptimidad global si provoca que el modelo pierda el estado acumulado o falle al completar la tarea compleja.
Políticas Estáticas: Los enrutadores existentes suelen depender de clasificadores entrenados fuera de línea (offline) que fijan las políticas de enrutamiento antes del despliegue, lo que impide la adaptación a cambios en la carga de trabajo o la corrección de asignaciones erróneas una vez que comienza una tarea.

Metodología: TRACE-Router

Los autores proponen TRACE-Router, un marco de trabajo que desplaza la unidad de enrutamiento y aprendizaje de la petición individual a la traza de tarea completa. El sistema opera bajo el principio de que la unidad de enrutamiento debe coincidir con la unidad de retroalimentación.

Mecanismos Centrales

Enrutamiento Consistente con la Tarea:
- Tras la admisión de la tarea, el enrutador selecciona un único modelo de backend para la traza de ejecución completa.
- Se adjunta un identificador de tarea persistente a cada petición dentro de la traza. Las peticiones subsiguientes reutilizan la asignación de backend almacenada, asegurando la consistencia del modelo y preservando el estado específico del modelo durante toda la ejecución.
- Esto crea un único objetivo de asignación de crédito: la recompensa final de la tarea se atribuye al único backend que sirvió toda la traza.
Aprendizaje en Línea Condicionado al Contexto:
- Para manejar diversos regímenes de carga de trabajo (por ejemplo, tareas donde la latencia es crítica frente a tareas donde la precisión es primordial), el sistema utiliza un enfoque de bandido contextual (contextual bandit).
- Las tareas se asignan a un contexto de enrutamiento grueso (por ejemplo, Fácil, Medio, Difícil) basado en características disponibles en la admisión (por ejemplo, clasificadores de complejidad basados en regex), sin requerir llamadas adicionales al LLM.
- El sistema mantiene políticas de bandido independientes ( $B_c$ ) para cada contexto, lo que permite al enrutador aprender distintos compromisos entre precisión y latencia específicos para diferentes tipos de tareas.
Política UCB de Inicio en Frío (Cold-Start):
- La política de enrutamiento utiliza un algoritmo de Límite de Banda Superior (Upper Confidence Bound - UCB) con una inicialización de inicio en frío (cold-start).
- Para abordar la dificultad estadística de la retroalimentación dispersa en cada contexto, el sistema realiza una exploración forzada de round-robin (k extracciones por brazo) antes de la transición a la regla de selección UCB.
- Los autores encontraron que el "inicio en caliente" (warm-starting) con priors no mejoró la precisión y a menudo sesgó el sistema hacia modelos más lentos; por lo tanto, el inicio en frío es el predeterminado.
Recompensa Retardada y Escalarización:
- La retroalimentación se observa solo después de la terminación de la tarea. El sistema combina la precisión graduada ( $a_{t,m}$ ) y la latencia de extremo a extremo ( $\ell_{t,m}$ ) en una recompensa escalar utilizando un parámetro de preferencia $\alpha$ :
  $r^{(\alpha)}_{t,m} = (1 - \alpha) a_{t,m} - \alpha \tilde{\ell}_{t,m}$
- Mediante el barrido de $\alpha$ , el sistema traza una familia de políticas de despliegue, permitiendo a los operadores ajustar el compromiso entre precisión y latencia.

Contribuciones Clave

Formulación de Enrutamiento a Nivel de Tarea: El artículo formula el enrutamiento de modelos como una selección de modelo en línea consistente con la tarea, alineando la decisión de enrutamiento con la unidad de retroalimentación (la traza de la tarea) para permitir una asignación de crédito fundamentada de recompensas retardadas.
Adaptación en Línea Consciente del Contexto: TRACE-Router introduce un enrutador basado en bandidos contextuales que aprende políticas específicas de contexto en línea, adaptándose a los regímenes de carga de trabajo sin necesidad de entrenamiento fuera de línea o estimación explícita de la complejidad de la tarea.
Mejores Fronteras de Pareto: El marco de trabajo ocupa consistentemente puntos de la frontera de Pareto empírica de precisión-latencia, superando tanto a los baselines heurísticos (por ejemplo, enrutadores de complejidad) como a los enrutadores de nivel de petición aprendidos.

Resultados Experimentales

Los autores evaluaron TRACE-Router en tres benchmarks agénticos: $\tau^2$ -Bench (dominios de retail y telecomunicaciones), LiveCodeBench y Terminal-Bench.

Dominio de la Frontera de Pareto: En todos los benchmarks, TRACE-Router alcanzó puntos no dominados de la frontera de Pareto. Superó consistentemente a la interpolación aleatoria de latencia igualada entre modelos.
- En $\tau^2$ -Bench, superó a la interpolación de latencia igualada por 7–8 puntos de precisión.
- En Terminal-Bench, logró 7.1 puntos de precisión más altos que el baseline de un solo modelo más fuerte, reduciendo la latencia en un 36%.
Condicionamiento de Contexto: Aunque la ganancia agregada del condicionamiento de contexto fue modesta, fue crítica para determinar los puntos operativos alcanzables. La variante condicionada al contexto mantuvo la frontera en valores específicos de $\alpha$ donde la variante sin contexto era dominada, particularmente en dominios con características de rendimiento de modelos divergentes (por ejemplo, telecomunicaciones).
Inicio en Frío vs. Inicio en Caliente: Los experimentos confirmaron que la inicialización de inicio en frío superó a las variantes de inicio en caliente, que tendían a reforzar los sesgos previos y seleccionar modelos más lentos.
Escalabilidad: En un estudio de ablación de cuatro modelos, TRACE-Router identificó y evitó con éxito modelos no fiables (por ejemplo, aquellos propensos a tiempos de espera agotados/timeouts) que los enrutadores heurísticos continuaban seleccionando, demostrando robustez a medida que aumentaba el tamaño del conjunto de candidatos.

Significado y Reivindicaciones

El artículo sostiene que el compromiso consistente con la tarea (task-consistent commitment) es una unidad práctica y superior para la selección de modelos en tiempo de despliegue en la IA agéntica. Al tratar los flujos de trabajo como objetos de programación de primera clase en lugar de colecciones de peticiones independientes, TRACE-Router resuelve el desajuste de asignación de crédito inherente a los enrutadores actuales de nivel de petición.

Los autores enfatizan que su enfoque no requiere la estimación explícita de la complejidad de la tarea ni el entrenamiento fuera de línea. En su lugar, aprovecha la retroalimentación retardada a nivel de tarea para aprender adaptativamente políticas de enrutamiento que equilibran la precisión y la latencia. Los resultados sugieren que el enrutamiento adaptativo a nivel de tarea produce significativamente mejor precisión que la mezcla probabilística de modelos con el mismo presupuesto de latencia, ofreciendo un camino hacia un despliegue de IA agéntica más eficiente y fiable.