Resumen Técnico: LLM Router: Prefill is All You Need

1. El Problema

Los Grandes Modelos de Lenguaje (LLM) actuales suelen mostrar precisiones comparables en benchmarks generales, pero exhiben rendimientos complementarios en subconjuntos específicos de tareas. Esto sugiere que un "enrutador oráculo" (un selector teórico con visión perfecta) podría superar significativamente a cualquier modelo individual al dirigir las consultas al modelo más adecuado.

Sin embargo, los enfoques de enrutamiento actuales presentan dos fallas fundamentales:

1. Falta de interpretación mecánica: Los enrutadores tradicionales ignoran los límites generativos intrínsecos de los modelos.
2. Brecha semántica-complejidad: La similitud semántica de una consulta no se correlaciona necesariamente con su dificultad real. Los enrutadores basados en embeddings semánticos (como KNN o clasificadores de intención) a menudo fallan al capturar señales que indican el comportamiento real del modelo.

Además, las evaluaciones tradicionales suelen estar infladas por casos de "acuerdo" donde todos los modelos fallan o tienen éxito, ocultando la verdadera capacidad del enrutamiento para manejar la complejidad intrínseca bajo restricciones de costo.

2. Metodología Propuesta

Los autores proponen un cambio de paradigma: en lugar de analizar la semántica de la entrada, utilizan las activaciones internas durante la fase de "prefill" (antes de generar la salida) como señal predictiva.

A. Desacoplamiento Codificador-Objetivo (Encoder-Target Decoupling)

Esta es la innovación central. Se separa funcionalmente:

• El Codificador (Encoder): Un modelo (generalmente open-source y ligero) que procesa la entrada y extrae señales de sus estados ocultos.
• El Objetivo (Target): El modelo cuyo rendimiento se desea predecir (puede ser un modelo propietario o cerrado).
• Hallazgo clave: Se demuestra que un "codificador extranjero" (ej. Qwen) puede predecir el rendimiento de un "objetivo" (ej. Claude) mejor que el propio estado interno del objetivo. Esto permite estimar capacidades de modelos cerrados usando modelos abiertos.

B. Selección de Capas basada en Fisher

En lugar de asumir que la última capa es la más informativa, el método utiliza dos métricas matemáticas para identificar la capa óptima del transformador:

1. Dimensionalidad Efectiva ($d_{eff}$): Mide la distribución de la información en los eigenvalores de la covarianza.
2. Separabilidad de Fisher ($J$): Un criterio multivariado que cuantifica qué tan bien se separan las clases (respuesta correcta vs. incorrecta) en el espacio de características.

• Resultado: La selección de capas basada en $J$ identifica matemáticamente las señales más separables, superando a las selecciones arbitrarias.

C. Arquitectura SharedTrunkNet

Se propone una arquitectura de red neuronal multi-entrada/multi-salida:

• Entrada: Vectores de características extraídos de las capas seleccionadas de los codificadores.
• Procesamiento: Un "tronco compartido" (Shared Trunk) que aprende el contexto cruzado entre diferentes modelos objetivo simultáneamente.
• Salida: Estimaciones simultáneas de probabilidad de acierto ($P(correct)$) para todos los modelos candidatos.
• Ventaja: La optimización conjunta proporciona un contexto cruzado (evidencia complementaria sobre la dificultad de la consulta) y una calibración inherente, evitando la deriva de calibración entre modelos.

D. Función de Enrutamiento

El enrutador calcula una puntuación para cada modelo $k$ para una consulta $q$:
$$score_{k,q} = \lambda \cdot P(correct_k) - (1 - \lambda) \cdot cost_k$$
Donde $\lambda$ controla la compensación entre precisión y costo. El modelo seleccionado es el que maximiza esta puntuación.

3. Contribuciones Clave

1. Desacoplamiento Codificador-Objetivo: Demostración de que modelos open-source pequeños pueden predecir eficazmente el rendimiento de modelos propietarios cerrados, eliminando la necesidad de ejecutar el modelo objetivo para obtener señales de confianza.
2. Selección de Capas basada en Fisher: Uso de la Separabilidad de Fisher y la Dimensionalidad Efectiva como sondas matemáticas para aislar señales óptimas a nivel de capa, superando la suposición de usar solo la última capa.
3. SharedTrunkNet: Una arquitectura que aprovecha el contexto cruzado entre modelos para evaluar la dificultad relativa, logrando una calibración superior.
4. Marco de Evaluación Riguroso: Introducción de métricas como P-AUCCC (Área bajo la curva de cobertura de costos) y Eficacia del Enrutador, que miden la ganancia del enrutador frente a un "oráculo" y frente a la selección estática de modelos, normalizando por costos.

4. Resultados Experimentales

Los experimentos se realizaron en tres grupos de modelos (Pools):

• Frontier: Modelos de vanguardia (GPT-5, Claude 4.6, etc.).
• Small: Modelos ligeros (7B-9B).
• Mixed: Una mezcla de ambos para probar la capacidad de descargar tareas fáciles a modelos baratos.

Hallazgos principales:

• Superioridad del Prefill: La arquitectura SharedTrunkNet superó consistentemente a todos los enrutadores semánticos (basados en embeddings, complejidad de texto, etc.) en todas las métricas (AUC, Brier Score, Precisión).
• Captura del "Headroom": En el pool Frontier, SharedTrunkNet capturó el 45.58% de la brecha de precisión entre el mejor modelo individual y el Oráculo teórico.
• Ahorro de Costos: Logró un ahorro de costos del 74.31% en comparación con el modelo más costoso, manteniendo una alta precisión.
• Mejora en Eficacia: Mostró una mejora del 53.62% en la Eficacia del Enrutador y un aumento del 14.67% en el P-AUCCC frente a la frontera de Pareto de solo modelos (selección estática).
• Generalización: Los codificadores Qwen (35B y 122B) demostraron ser los predictores más robustos incluso para modelos objetivos muy diferentes.

5. Significado e Impacto

Este trabajo establece un nuevo paradigma mecánico para la orquestación de LLMs. Al demostrar que la geometría de las activaciones durante el prefill es una señal mucho más fuerte y fiable que la semántica superficial, ofrece una solución escalable y económica para:

1. Enrutamiento a APIs Propietarias: Permite usar modelos locales ligeros para decidir cuándo llamar a modelos costosos de API, sin necesidad de ejecutar el modelo costoso para "probarlo".
2. Optimización de Costos: Proporciona una base teórica sólida para sistemas colaborativos de LLMs que maximizan la precisión minimizando el gasto, cerrando la brecha entre el rendimiento estático y el potencial teórico de un sistema dinámico.
3. Interpretabilidad: Vincula el rendimiento del enrutamiento con propiedades geométricas medibles (separabilidad, dimensionalidad) de los modelos, moviendo el campo más allá de las "cajas negras" semánticas.

En resumen, el paper concluye que "Prefill is All You Need": las señales internas tempranas de un modelo, extraídas eficientemente por un codificador externo, son suficientes para construir un sistema de enrutamiento de alto rendimiento y bajo costo.