Resumen Técnico: RouteJudge y ORBIT

1. Planteamiento del Problema

El enrutamiento de Modelos de Lenguaje de Gran Escala (LLM) busca seleccionar automáticamente el modelo más adecuado de un conjunto heterogéneo para cada consulta entrante, optimizando restricciones como el costo, la latencia y el rendimiento (throughput). Mientras que los protocolos de evaluación existentes dependen de benchmarks estáticos, respuestas "doradas" o métricas de puntuación automatizadas, estos enfoques sufren una limitación crítica: imponen una noción fija de calidad de respuesta. En las interacciones del mundo real, las preferencias de los usuarios son pluralistas y dependen del contexto. Para tareas como la escritura creativa, la traducción o la tutoría, múltiples salidas pueden ser fácticamente válidas, pero los usuarios pueden preferir diferentes respuestas basadas en el tono, el nivel de detalle o la sensibilidad al costo. En consecuencia, un enrutador que funciona bien bajo métricas alineadas con benchmarks offline puede fallar al seleccionar los modelos que los usuarios realmente prefieren en el despliegue. Este artículo identifica un "problema de alineación de preferencias pluralistas", donde los métodos de evaluación actuales no capturan adecuadamente si las decisiones de enrutamiento conducen a respuestas preferidas por el usuario bajo distribuciones de consultas realistas.

2. Metodología

El artículo introduce un ecosistema de dos partes diseñado para cerrar la brecha entre el benchmarking offline y la preferencia del usuario online: RouteJudge y ORBIT.

RouteJudge: Marco de Evaluación de Preferencias Online

RouteJudge es una plataforma online que evalúa estrategias de enrutamiento a través de preferencias de usuarios por pares anónimas, en lugar de respuestas de referencia fijas.

• Registro de Evaluación: A diferencia de las tablas de clasificación a nivel de modelo, RouteJudge almacena registros "centrados en el enrutamiento" ($Z$) que contienen la consulta del usuario, las restricciones de presupuesto, las decisiones de enrutamiento tomadas por múltiples estrategias, las respuestas de los modelos seleccionados, las etiquetas de preferencia del usuario, los costos de inferencia, las latencias y los metadatos de la tarea.
• Flujo de Trabajo:
  1. Envío: Un usuario envía una consulta y un presupuesto de costo.
  2. Recomendación del Enrutador: Múltiples estrategias de enrutamiento ($R$) seleccionan de forma independiente un modelo candidato del conjunto de modelos factibles según el presupuesto ($M_C$).
  3. Selección de Duelo: La plataforma agrega votos para seleccionar un "par de duelo" de modelos ($m_A, m_B$) con el mayor número de votos.
  4. Juicio Anónimo: Los usuarios comparan las respuestas de $m_A$ y $m_B$ en una interfaz ciega, eligiendo entre "A gana", "B gana", "Empate" o "Ambos malos".
  5. Atribución al Enrutador: La señal de preferencia se atribuye de vuelta a las estrategias de enrutamiento que seleccionaron los modelos ganadores (o perdedores). Un enrutador recibe una puntuación solo si su modelo seleccionado participó en el duelo juzgado; de lo contrario, se marca como no participante ($\emptyset$).
• Métricas: El sistema rastrea tasas de victoria a nivel de enrutador, clasificaciones Elo, tasas de participación y fronteras de Pareto de costo-calidad, permitiendo un análisis condicionado a la tarea y consciente del presupuesto.

ORBIT: Caja de Herramientas de Enrutamiento Óptimo e Inferencia Presupuestada

ORBIT es una caja de herramientas modular y extensible que estandariza el flujo de trabajo de extremo a extremo del enrutamiento de LLM para soportar la expansión continua de los métodos evaluados en RouteJudge.

• Estandarización: Proporciona interfaces unificadas para la carga de benchmarks, representación de consultas (vía diversas capas de embedding), implementación de enrutadores (basados en reglas, aprendidos, basados en recuperación, etc.) y evaluación consciente del presupuesto.
• Componibilidad: Los investigadores pueden intercambiar datasets, codificadores y enrutadores de forma independiente sin reescribir la lógica central.
• Capa de Integración: ORBIT sirve como la interfaz de envío para RouteJudge. Los investigadores implementan enrutadores dentro de ORBIT, los validan offline y envían enrutadores compatibles para la evaluación online.
• Pipeline de Evaluación de Dos Etapas:
  1. Replay Histórico: Los enrutadores enviados son evaluados contra registros históricos de RouteJudge para determinar si habrían seleccionado el modelo preferido por el usuario en comparaciones pasadas.
  2. Evaluación Online: Los enrutadores validados se despliegan en la plataforma en vivo, participando en comparaciones de pares anónimas en tiempo real y recibiendo atribución de preferencia.

3. Contribuciones Clave

1. Plataforma RouteJudge: El primer entorno abierto diseñado específicamente para evaluar sistemas de enrutamiento de LLM basados en preferencias de usuarios pluralistas mediante comparaciones por pares anónimas, desplazando el objetivo de evaluación de la calidad de respuesta a nivel de modelo hacia la calidad de decisión a nivel de enrutador.
2. Caja de Herramientas ORBIT: Una capa de desarrollo e integración estandarizada que permite el benchmarking offline reproducible y el envío fluido de métodos de enrutamiento a RouteJudge, abordando la fragmentación de ingeniería en la investigación actual de enrutamiento.
3. Protocolo de Evaluación: Un protocolo novedoso que atribuye las preferencias del usuario de vuelta a las estrategias de enrutamiento, teniendo en cuenta las restricciones de presupuesto, los tipos de tarea y las tasas de participación, en lugar de depender de supuestos estáticos de "mejor modelo".
4. Ecosistema Abierto: La combinación de RouteJudge y ORBIT crea un bucle cerrado donde los métodos pueden desarrollarse offline, validarse contra preferencias históricas y probarse en entornos reales de cara al usuario.

4. Resultados Preliminares

Los autores presentan hallazgos empíricos iniciales tanto del pipeline offline de ORBIT como de la plataforma online RouteJudge (a fecha de junio de 2026):

• Consistencia Offline: Utilizando el benchmark RouterEval, ORBIT demostró con éxito que diferentes métodos de enrutamiento (por ejemplo, EmbedLLM, Eagle, EquiRouter) pueden compararse bajo un protocolo unificado, revelando curvas de compromiso entre rendimiento y costo y métricas como nAUC y Peak Score.
• Diferenciación Online: En RouteJudge, con 109 comparaciones votadas por usuarios, la plataforma logró diferenciar exitosamente entre estrategias de enrutamiento. RouterLLM-MF alcanzó el puntaje Elo más alto (1278), mientras que NIRT-Router mostró la tasa de victoria observada más alta (80.00%).
• Divergencia de Métricas Offline: Los resultados indican que los diseños offline fuertes no siempre se traducen en éxito de preferencia online. Algunos enrutadores con mecanismos de puntuación aprendidos explícitos funcionaron peor en la preferencia del usuario que métodos más simples no paramétricos o basados en factorización de matrices.
• Compromiso Costo-Preferencia: El análisis de los datos a nivel de modelo mostró que la preferencia no está determinada únicamente por el costo; algunos modelos de bajo costo lograron tasas de victoria competitivas, lo que sugiere que el enrutamiento efectivo requiere adaptar la selección de modelos a los presupuestos y contextos de los usuarios en lugar de optar por defecto por los modelos más capaces.

5. Significación y Reivindicaciones

El artículo afirma que RouteJudge y ORBIT abordan colectivamente el "problema de alineación de preferencias pluralistas" en el enrutamiento de LLM. Al ir más allá de los benchmarks estáticos, el ecosistema permite a los investigadores evaluar si las decisiones de enrutamiento se alinean con las preferencias reales de los usuarios bajo restricciones realistas. Los autores posicionan este trabajo no como un ranking final de todos los métodos de enrutamiento, sino como un paso fundacional hacia un ecosistema de evaluación abierto. Argumentan que la investigación futura en enrutamiento debe considerar no solo la selección de modelos óptima para el benchmark, sino también comportamientos preferidos por el usuario, conscientes del costo y sensibles al despliegue. El sistema está diseñado para ser continuamente expansible, permitiendo a la comunidad contribuir con nuevos enrutadores y benchmarks manteniendo la reproducibilidad a través del estándar ORBIT.