RouteProfile: Elucidating the Design Space of LLM Profiles for Routing

1. Planteamiento del Problema

A medida que el ecosistema de Modelos de Lenguaje Grande (LLM) se expande, los modelos individuales exhiben capacidades heterogéneas a través de diferentes consultas, tareas y dominios. Esto hace necesaria la ruta de LLM (LLM routing), un mecanismo para seleccionar el modelo más adecuado para una consulta dada.

Sin embargo, la investigación existente se centra predominantemente en optimizar los mecanismos de enrutamiento (por ejemplo, enrutadores basados en aprendizaje, basados en grafos o contrastivos), descuidando en gran medida el diseño de los perfiles de LLM. Los perfiles de LLM son representaciones de las capacidades de un modelo derivadas de historiales de interacción. Los enfoques actuales de perfiles suelen ser:

• Heterogéneos y Enredados: Mezclados con estrategias de enrutamiento, lo que dificulta aislar la fuente de las ganancias de rendimiento.
• Limitados en Granularidad: Desde vectores one-hot simples basados en índices (semánticamente pobres) hasta resúmenes de benchmarks gruesos (que descartan señales de granularidad fina) o texto generado por LLM (a menudo de cobertura estrecha).
• No Estructurados: Fallan al integrar las relaciones complejas e interdependientes entre modelos, tareas, dominios e instancias específicas de consultas.

La pregunta de investigación central es: ¿Cómo afecta el diseño de los perfiles de LLM al rendimiento del enrutamiento a través de diferentes enrutadores?

2. Metodología: El Marco RouteProfile

Los autores proponen RouteProfile, un marco general que trata la creación de perfiles de LLM como un problema de integración de información estructurada sobre historiales de interacción heterogéneos. Formalizan las fuentes de datos como un Grafo de Interacción Heterogéneo ($G$) y definen un espacio de diseño caracterizado por cuatro dimensiones clave.

A. Representación de Datos: El Grafo de Interacción

El grafo $G = (V, E)$ integra cuatro fuentes de datos principales:

1. Familia de Modelos: Linaje arquitectónico y prioridades de los desarrolladores.
2. Cobertura de Dominio: Áreas de especialización (por ejemplo, Matemáticas, Programación).
3. Evaluación de Tareas: Puntuaciones estandarizadas de benchmarks (por ejemplo, MMLU, HumanEval).
4. Instancias a Nivel de Consulta: Instancias específicas de problemas asociadas con tareas.

Nodos: Modelo, Familia de Modelos, Dominio, Tarea, Consulta.
Aristas: Modelo-Familia, Modelo-Tarea, Tarea-Dominio, Tarea-Consulta.
Características: Descripciones textuales (generadas por LLMs como GPT-4o) para nodos y puntuaciones de rendimiento para aristas.

B. Las Cuatro Dimensiones de Diseño

El marco caracteriza la construcción de perfiles mediante la función de agregación $f(\omega, \gamma, K, \ell)$:

1. Forma Organizativa ($\omega$):
   • Plana: Concatenación directa de datos en texto o vectores sin estructura de grafo.
   • Estructurada: Utilización de la topología del grafo (por ejemplo, mediante Redes Neuronales de Grafos) para modelar información relacional.
2. Tipo de Representación ($\gamma$):
   • Texto: Perfiles expresados como resúmenes en lenguaje natural (a menudo mediante prompts de LLM).
   • Incrustación (Embedding): Perfiles expresados como vectores densos (mediante PLM o GNN).
3. Profundidad de Agregación ($K$):
   • El número de saltos en el grafo utilizados para la propagación de información (de 0 a 4). Determina si el perfil depende de vecinos directos o de un contexto de orden superior.
4. Configuración de Aprendizaje ($\ell$):
   • Sin Entrenamiento: Agregación estática (por ejemplo, prompting de un LLM o GCN fijo).
   • Entrenable: Optimizada mediante aprendizaje auto-supervisado (por ejemplo, reconstrucción enmascarada) en el grafo de interacción.

C. Configuración Experimental

• Conjuntos de Datos: 15 conjuntos de datos para la construcción del grafo (Conocimiento, Razonamiento, Matemáticas, Programación) y 12 para la evaluación aguas abajo.
• Modelos: 25 LLMs en total (8 candidatos para enrutamiento, 17 auxiliares para contexto del grafo).
• Enrutadores Evaluados:
  1. SimRouter: Basado en similitud, no paramétrico (línea base).
  2. MLPRouter: Basado en aprendizaje (proyección MLP).
  3. GraphRouter: Enrutador GNN con estructura de grafo.
• Configuraciones: Enrutamiento estándar y Arranque en Frío (generalización a un nuevo LLM no visto).

3. Contribuciones Clave

1. Espacio de Diseño Sistemático: Introducción de RouteProfile, el primer marco integral para desacoplar el diseño de perfiles del diseño de enrutadores, definiendo cuatro dimensiones ortogonales para la creación de perfiles.
2. Integración de Información Estructurada: Formalización de la creación de perfiles de LLM como un problema de grafo heterogéneo, avanzando más allá de la extracción de características planas hacia una integración relacional.
3. Desenredo Empírico: Realización de una evaluación sistemática a gran escala a través de tres arquitecturas de enrutadores distintas para aislar el impacto de las decisiones de diseño de perfiles.

4. Resultados y Hallazgos Clave

RQ1: Impacto del Diseño de Perfiles en la Calidad del Enrutamiento

• Estructurado > Plano: Los perfiles estructurados (que utilizan la topología del grafo) superan consistentemente a las líneas base planas en todos los enrutadores y tipos de representación. Esto indica que retener las relaciones estructurales es crucial para perfiles informativos.
• La Profundidad Importa (Dependiente del Contexto): Aumentar la profundidad de agregación (saltos) generalmente ayuda en configuraciones sin entrenamiento. Sin embargo, en configuraciones entrenables, una profundidad excesiva puede conducir a suavizado excesivo (over-smoothing), degradando el rendimiento en MLPRouter y GraphRouter, aunque beneficia a SimRouter.

RQ2: Efectividad de las Fuentes de Datos

• Nivel de Consulta > Nivel de Dominio: Las señales a nivel de consulta (instancias de interacción de granularidad fina) son significativamente más confiables e informativas que los resúmenes a nivel de dominio gruesos.
• Ruido en Dominios: Añadir nodos de dominio a menudo falla en mejorar el rendimiento y puede introducir ruido, debilitando perfiles que de otro modo serían fuertes.

RQ3: Generalización a Nuevos LLMs (Arranque en Frío)

• Estructurado + Entrenable es Crítico: La generalización a modelos recién introducidos (Arranque en Frío) es casi imposible con perfiles planos (éxito cercano a cero).
• Sinergia: El mejor rendimiento de arranque en frío se logra combinando perfiles estructurados con configuraciones entrenables. Esta combinación permite que el enrutador aproveche la estructura relacional y la integración aprendida para inferir capacidades para modelos no vistos.
• Co-diseño: Las ganancias de generalización no son uniformes; dependen del co-diseño del perfil y del enrutador (por ejemplo, GraphRouter se beneficia más de los perfiles estructurados).

5. Significado y Conclusión

Este trabajo cambia el paradigma de la investigación en enrutamiento de LLM de un enfoque exclusivo en el diseño de mecanismos de enrutamiento a una visión equilibrada que prioriza el diseño de perfiles de LLM.

• Perspectiva Teórica: Demuestra que la calidad de la representación de entrada (el perfil) es un cuello de botella para el rendimiento del enrutamiento, a menudo más que la propia arquitectura del enrutador.
• Guía Práctica:
  • Evitar perfiles planos, basados en índices o solo de dominio grueso.
  • Priorizar la integración de datos estructurados y a nivel de consulta.
  • Para una generalización robusta a nuevos modelos, emplear construcción de perfiles estructurada y entrenable.
• Dirección Futura: El artículo establece la creación de perfiles de LLM como una dirección de investigación crítica y poco explorada, ofreciendo una base principista para desarrollar sistemas de enrutamiento multi-LLM más efectivos y generalizables.