Scalable Prompt Routing via Fine-Grained Latent Task Discovery

1. Planteamiento del Problema

El enrutamiento de prompts (prompt routing) tiene como objetivo seleccionar dinámicamente el modelo de lenguaje grande (LLM) más adecuado de un grupo de candidatos para cada consulta, optimizando el rendimiento y gestionando los costos computacionales.

Sin embargo, a medida que los grupos de modelos se expanden para incluir docenas de modelos de vanguardia ("frontier models") con brechas de rendimiento muy estrechas, los enfoques existentes enfrentan desafíos críticos:

• Taxonomías manuales insuficientes: Las categorías de tareas definidas manualmente son demasiado gruesas y no pueden capturar las distinciones de capacidad de alta granularidad entre modelos modernos.
• Limitaciones de los enrutadores monolíticos: Los modelos que intentan predecir la calidad para todos los tipos de prompts simultáneamente luchan por diferenciar matices sutiles entre tareas diversas (por ejemplo, distinguir entre álgebra simbólica y problemas de palabras contextuales dentro de la misma categoría de "matemáticas").
• Complejidad de la selección: Cuando los modelos tienen rendimientos muy similares, el sistema debe identificar patrones de afinidad tarea-modelo extremadamente sutiles para tomar la decisión óptima.

2. Metodología: FineRouter

Los autores proponen FineRouter, una arquitectura de enrutamiento en dos etapas que combina el descubrimiento automatizado de tareas y la estimación de calidad consciente de la tarea.

Etapa 1: Descubrimiento y Emparejamiento de Tipos de Tarea

En lugar de usar categorías predefinidas, esta etapa descubre automáticamente la estructura de tareas latentes a partir de los datos de entrenamiento.

• Generación de Descripciones: Se utiliza un LLM para generar una oración concisa que describe la tarea de cada prompt.
• Construcción de Grafos: Se crea un grafo disperso donde los nodos son prompts. Las aristas se ponderan combinando dos señales:
  1. Similitud Semántica: Basada en la similitud coseno de las descripciones de tareas.
  2. Similitud de Preferencia de Modelos: Basada en la superposición sesgada por rango (Rank Biased Overlap - RBO) de las listas de modelos preferidos para cada prompt.
• Agrupación Iterativa: Se aplica detección de comunidades (Leiden) para agrupar prompts. Se calculan centros de cluster y listas de modelos preferidos fusionados.
• Selección de Candidatos: Para cada cluster de tarea descubierto, se selecciona adaptativamente un subconjunto pequeño de modelos candidatos que tienen mayor probabilidad de rendir bien en esa tarea específica.
• Clasificador de Tareas: Se entrena un clasificador de texto (arquitectura de emparejamiento bilineal) para asignar nuevos prompts a los tipos de tarea descubiertos durante la inferencia.

Etapa 2: Enrutador Dinámico Consciente de la Tarea

Esta etapa utiliza una arquitectura de Mezcla de Expertos (MoE) para estimar la calidad.

• Arquitectura: El modelo consta de un codificador de prompts, una capa de incrustación de LLM y una capa de estimación de calidad (QE).
• Adaptadores Especializados:
  • Adaptadores Generales: Predicen la calidad para todos los modelos basándose en conocimiento global.
  • Adaptadores Específicos por Tarea: Para cada tipo de tarea descubierta en la Etapa 1, se inicializan cabezas de predicción específicas para los modelos candidatos de esa tarea.
• Estrategia de Inferencia: Si un prompt se asigna a una tarea, se activan los adaptadores específicos para los modelos candidatos y los adaptadores generales para el resto. Esto combina la experiencia especializada con la cobertura completa.

Agregación de Inferencia

La decisión final se toma combinando las predicciones de ambas etapas:

1. Puntuación basada en tareas (Etapa 1): La calidad mediana histórica de un modelo en el cluster de tareas asignado.
2. Puntuación específica del prompt (Etapa 2): La estimación de calidad fina del modelo MoE.
   Se utiliza una combinación ponderada ($\alpha$) para equilibrar la estabilidad a nivel de tarea con la adaptabilidad a nivel de instancia.

3. Contribuciones Clave

1. Descubrimiento Automatizado de Tareas: Un método escalable que combina señales semánticas y de rendimiento para identificar tipos de tareas de alta granularidad sin intervención humana, superando las limitaciones de las taxonomías manuales.
2. Arquitectura de Enrutamiento Consciente de la Tarea: Un diseño MoE que utiliza la estructura de tareas descubierta para especializar las cabezas de predicción, mejorando la precisión en la selección de modelos.
3. Evaluación Exhaustiva: Pruebas en 10 benchmarks diversos con 11 modelos de vanguardia (incluyendo Claude-Sonnet-4.5, DeepSeek-R1, Llama-4-Maverick, Qwen3), demostrando mejoras consistentes sobre los baselines y el modelo individual más fuerte.

4. Resultados Experimentales

• Rendimiento Superior: FineRouter superó consistentemente a los métodos de enrutamiento existentes (como RouteLLM, GraphRouter, IPR) y a cualquier modelo individual en la mayoría de las tareas.
• Eficiencia de Costo: El método logró un rendimiento superior al del modelo candidato más fuerte (Claude-Sonnet-4.5) incurriendo en menos de la mitad del costo de inferencia.
• Análisis de Ablación:
  • El descubrimiento de tareas de alta granularidad (Fine CLS) superó significativamente a las taxonomías manuales gruesas (Coarse CLS).
  • La arquitectura completa de dos etapas superó a las variantes de una sola etapa, confirmando que la combinación de filtrado basado en tareas y predicción específica de prompts es crucial.
• Distribución de Enrutamiento: El sistema distribuyó las consultas de manera equilibrada entre múltiples modelos fuertes (ej. 28% a Claude-Sonnet, 27% a DeepSeek-R1), evitando la dependencia excesiva de un solo modelo.

5. Significado e Impacto

El trabajo demuestra que el modelado explícito de la estructura de tareas latentes es fundamental para escalar el enrutamiento de prompts en pools de modelos grandes y heterogéneos. Al automatizar la identificación de nichos de tareas y especializar los componentes de enrutamiento, FineRouter resuelve el problema de la "brecha estrecha" entre modelos de vanguardia, permitiendo una asignación de recursos más inteligente y rentable.

Esto es particularmente relevante para despliegues en la nube donde los costos de API son significativos; la capacidad de lograr un rendimiento superior con menos de la mitad del costo de un modelo de punta representa un avance importante en la viabilidad económica de los sistemas de LLM a gran escala.

Limitaciones mencionadas: El método depende de la calidad del LLM generador de descripciones y del modelo de recompensa utilizado para el entrenamiento. Además, requiere acceso a las respuestas de todos los modelos candidatos durante la fase de entrenamiento, lo que puede ser costoso, y actualmente solo maneja prompts de texto.