Resumen Técnico: De resultados muestreados a distribuciones de capacidad: Replanteando la supervisión para el enrutamiento de LLM

1. Planteamiento del problema

Los métodos actuales de enrutamiento de Modelos de Lenguaje de Gran Tamaño (LLM) dependen típicamente de una supervisión de disparo único (single-shot), donde la capacidad de un modelo para una consulta específica se etiqueta basándose en una única respuesta generada y su correspondiente puntuación. Los autores argumentan que este enfoque es fundamentalmente erróneo porque la generación de los LLM es inherentemente estocástica. Un único resultado muestreado proporciona solo una observación ruidosa del comportamiento de un par consulta-modelo, en lugar de una estimación fiable de su verdadera capacidad.

Esta visión de "estimación puntual" introduce un ruido sistemático en la señal de supervisión del enrutamiento. Debido a que las salidas de los LLM varían por la aleatoriedad del muestreo (incertidumbre del lado de la salida) y la sensibilidad a la formulación del prompt (incertidumbre del lado de la entrada), una sola muestra puede conducir a una etiqueta inestable o engañosa sobre qué modelo es el más adecuado para una consulta. En consecuencia, los enrutadores entrenados con tales etiquetas ruidosas pueden aprender políticas que reflejan el ruido de generación incidental en lugar de diferencias estables en la capacidad del modelo, lo que conduce a una selección de modelos poco fiable en producción.

2. Metodología: DARS (Supervisión de Enrutamiento Consciente de la Distribución)

Para abordar estas limitaciones, los autores proponen DARS, un marco que construye la supervisión del enrutamiento desde una visión distributiva del comportamiento del modelo en lugar de muestras aisladas. DARS opera capturando la incertidumbre desde dos dimensiones distintas:

A. Construcción de datos

En lugar de generar una respuesta por par consulta-modelo, DARS construye un conjunto de observaciones repetidas:

1. Incertidumbre del lado de la entrada: La consulta original se reescribe múltiples veces utilizando un modelo de lenguaje fuerte para generar variaciones semánticamente equivalentes (preservando la respuesta de oro y la semántica de la tarea). Esto captura la sensibilidad a la formulación de la consulta.
2. Incertidumbre del lado de la salida: Para cada consulta reescrita, el modelo candidato realiza múltiples ejecuciones de decodificación estocástica independientes. Esto captura la variabilidad en los caminos de razonamiento, la veracidad y las respuestas finales.

Estos pasos resultan en una matriz de observación (por ejemplo, $N$ reescrituras $\times$ $M$ ejecuciones de decodificación) para cada par consulta-modelo, registrando tanto las puntuaciones de rendimiento como los costos de inferencia para cada observación.

B. Estimación de la capacidad basada en la distribución

A partir de estas observaciones repetidas, DARS resume tres señales clave de capacidad para cada par consulta-modelo $(x, m)$:

• Calidad esperada ($\mu_q$): La media de la puntuación de rendimiento a través de todas las observaciones.
• Costo esperado ($\mu_c$): El costo medio de inferencia a través de todas las observaciones.
• Riesgo de rendimiento ($\sigma_q$): La desviación estándar de las puntuaciones de rendimiento, que representa la variabilidad agregada causada tanto por la reescritura de la entrada como por la decodificación estocástica.

C. Supervisión consciente del riesgo

DARS construye una función de utilidad consciente del riesgo para servir como objetivo de supervisión:
$$U(x, m) = \mu_q(x, m) - \lambda \mu_c(x, m) - \beta \sigma_q(x, m)$$
Donde:

• $\lambda$ equilibra la calidad y el costo.
• $\beta$ penaliza el comportamiento inestable (alta varianza).

El modelo preferido para una consulta se define como $m^*(x) = \arg\max_{m \in \mathcal{M}} U(x, m)$. Esta utilidad puede utilizarse como una etiqueta dura, un objetivo suave (vía softmax) o un objetivo de regresión continua, lo que hace que DARS sea compatible con diversas arquitecturas de enrutador (regresión, clasificación, ranking, recuperación, etc.).

3. Contribuciones clave

1. Diagnóstico de las limitaciones del disparo único: Los autores analizan sistemáticamente el supuesto de la etiqueta de disparo único, demostrando mediante métricas diagnósticas (inestabilidad de resultados, tasa de cambio de ganador y desacuerdo con las etiquetas conscientes de la distribución) que la supervisión de disparo único es inestable y puede alterar directamente las decisiones de selección de modelos.
2. Marco DARS: La introducción de un marco de supervisión consciente de la distribución que tiene en cuenta las incertidumbres tanto del lado de la entrada (reescritura de prompts) como del lado de la salida (decodificación estocástica) para construir etiquetas de enrutamiento fiables.
3. Validación empírica: Experimentos extensos en diversas tareas (razonamiento científico, resolución de problemas matemáticos, comprensión lectora) y pools de modelos heterogéneos muestran que DARS produce etiquetas de enrutamiento más estables y mejora el rendimiento de las políticas de enrutamiento aprendidas en comparación con la supervisión de una sola respuesta.

4. Resultados experimentales

El artículo evalúa DARS en tres conjuntos de datos (GPQA, MATH-500, DROP-800) utilizando un pool de seis LLMs heterogéneos.

• Inestabilidad de las etiquetas de disparo único: El análisis diagnóstico revela una alta inestabilidad en la supervisión de disparo único. Por ejemplo, en GPQA, la "tasa de cambio de ganador" (la frecuencia con la que el mejor modelo cambia entre muestras) es de 0.970, lo que indica que una sola muestra es un mal predictor del modelo óptimo.
• Ganancias de rendimiento: DARS mejora el rendimiento del enrutamiento en casi todas las familias de enrutadores probadas (incluyendo MLP, kNN, EmbedLLM, GraphRouter, MIRT, etc.). Las ganancias son particularmente pronunciadas en tareas con alta incertidumbre del lado de la salida (por ejemplo, GPQA).
• Estudios de ablación:
  • Tanto las variantes de solo entrada como las de solo salida de DARS superan al baseline de disparo único, confirmando que ambas fuentes de incertidumbre son informativas.
  • El marco completo de DARS (combinando ambos) logra los mejores resultados, lo que sugiere que las dos fuentes son complementarias.
  • Incluir el término de riesgo ($\sigma_q$) mejora significativamente el rendimiento; eliminarlo conduce a puntuaciones promedio más bajas.
• Eficiencia de muestreo: El estudio encuentra que un número moderado de observaciones (por ejemplo, un protocolo de $3 \times 3$) es suficiente para alcanzar un rendimiento cercano al escenario completo de $5 \times 5$, lo que sugiere que DARS es práctico para el despliegue sin costos excesivos de muestreo.
• Compromiso Calidad-Costo: Los enrutadores entrenados con DARS logran una frontera de Pareto superior comparado con los enrutadores de disparo único y a menudo superan al mejor baseline de modelo fijo bajo diversas restricciones de costo.

5. Significado y afirmaciones

El artículo afirma que el enrutamiento fiable de LLM debe ir más allá de las observaciones de una sola respuesta. Al fundamentar la supervisión del enrutamiento en las distribuciones de capacidad del modelo a nivel de consulta, DARS proporciona una señal más robusta para el entrenamiento de enrutadores. Los autores enfatizan que este enfoque no requiere una nueva arquitectura de enrutador, sino más bien un replanteamiento de la señal de supervisión misma. Los resultados sugieren que tratar las etiquetas de enrutamiento como muestras estocásticas de una distribución de capacidad subyacente conduce a políticas de selección de modelos más estables, efectivas y costo-eficientes.