ParetoBandit: Budget-Paced Adaptive Routing for Non-Stationary LLM Serving

Resumen Técnico: ParetoBandit

1. El Problema

El servicio de modelos de lenguaje grandes (LLM) en producción depende cada vez más de portafolios multi-modelo que abarcan un rango de costos de aproximadamente 530 veces (desde modelos pequeños y baratos hasta modelos de vanguardia costosos). El desafío principal es enrutamiento dinámico: decidir qué modelo atender cada solicitud para maximizar la calidad (respuesta) minimizando el costo.

Sin embargo, el entorno de servicio de LLM es no estacionario y presenta tres desafíos críticos que las soluciones actuales no abordan adecuadamente:

1. Presupuestos en dólares: Los operadores requieren un límite estricto de costo por solicitud (o promedio), no solo optimización teórica.
2. Cambios no estacionarios: Los proveedores actualizan silenciosamente la calidad de los modelos (regresiones) o cambian sus precios drásticamente sin aviso.
3. Gestión de portafolios en tiempo real: Es necesario integrar o eliminar modelos en tiempo de ejecución sin reiniciar el sistema.

La mayoría de los enrutadores existentes aprenden políticas fijas offline y no se adaptan a estos cambios, o carecen de mecanismos de control de presupuesto en bucle cerrado para flujos de solicitudes infinitos.

2. Metodología: ParetoBandit

ParetoBandit es un sistema de enrutamiento adaptativo de código abierto basado en bandits contextuales conscientes del costo. Su diseño integra tres mecanismos principales para cerrar las brechas mencionadas:

• Control de Presupuesto en Bucle Cerrado (Budget Pacer):

  • Utiliza un pacer de presupuesto primal-dual en línea. En lugar de ajustar penalizaciones offline, el sistema mantiene una variable dual ($\lambda_t$) que se actualiza dinámicamente.
  • Si el gasto promedio reciente supera el límite ($B$), $\lambda_t$ aumenta, penalizando los modelos costosos. Si está por debajo, se relaja para permitir mayor calidad.
  • Implementa una doble capa de enforcement:
    1. Techo duro (Hard Ceiling): Descarta modelos que exceden un límite dinámico de costo por solicitud individual.
    2. Penalización suave (Soft Penalty): Sesga la selección hacia modelos más baratos dentro del conjunto candidato restante.

• Resiliencia a la No Estacionariedad (Olvido Geométrico):

  • Para adaptarse a cambios en precios o calidad, el sistema aplica olvido geométrico a las estadísticas suficientes del algoritmo LinUCB.
  • Las observaciones antiguas se descuentan exponencialmente ($\gamma < 1$), permitiendo que el sistema "olvide" datos obsoletos rápidamente y se ajuste a nuevas distribuciones de recompensa/costo.
  • Se utiliza una inflación de varianza basada en la antigüedad para forzar la re-exploración de modelos que no han sido seleccionados recientemente, asegurando que no se pierdan cambios en el entorno.

• Gestión de Portafolios en Tiempo de Ejecución (Hot-Swap):

  • Permite agregar o eliminar modelos en tiempo de ejecución.
  • Cuando se introduce un nuevo modelo, se ejecuta una fase breve de exploración forzada (burn-in) para inicializar sus estadísticas, seguida de la selección estándar basada en UCB (Upper Confidence Bound) una vez que se ha acumulado suficiente evidencia.

• Eficiencia Computacional:

  • Utiliza actualizaciones de rango 1 de Sherman-Morrison para mantener la inversión de la matriz de covarianza en $O(d^2)$.
  • El enrutamiento completo (incluyendo incrustación y proyección PCA) tiene una latencia de 9.8 ms en CPU, lo que representa menos del 0.4% del tiempo de inferencia típico de un LLM.

3. Contribuciones Clave

1. Primera implementación de enrutamiento con presupuesto en dólares en bucle cerrado para flujos de solicitudes de horizonte abierto, superando las limitaciones de los métodos que asumen horizontes fijos o conjuntos de prompts estáticos.
2. Mecanismo de adaptación no estacionaria que combina olvido geométrico y priorización de exploración, validado explícitamente bajo escenarios de degradación de calidad y cambios de precios.
3. Protocolo de optimización de hiperparámetros (Pareto Knee-Point): Un método para calibrar conjuntamente la tasa de exploración y la tasa de olvido, equilibrando la eficiencia en entornos estacionarios con la capacidad de recuperación ante fallos catastróficos.
4. Sistema de enrutamiento "Hot-Swap": Capacidad de integrar nuevos modelos sin tiempo de inactividad, discriminando automáticamente si un nuevo modelo es rentable o no.

4. Resultados Experimentales

El sistema se evaluó en 1,824 prompts de referencia a través de un portafolio de 3 modelos (Llama-3.1-8B, Mistral-Large, Gemini-2.5-Pro) con un rango de costos de 530x.

• Cumplimiento del Presupuesto: En todos los escenarios, el costo promedio por solicitud nunca superó el objetivo en más del 0.4% (y en ningún caso más del 4% en condiciones extremas).
• Adaptación a Cambios de Precio: Cuando el modelo más caro redujo su precio un orden de magnitud, ParetoBandit detectó el cambio y aumentó la calidad de la respuesta en +0.071 puntos, manteniendo el cumplimiento del presupuesto.
• Detección de Degradación Silenciosa: Ante una regresión de calidad del 18% en un modelo (sin cambio de precio), el sistema detectó la caída, redujo el tráfico a ese modelo y se recuperó completamente una vez que la calidad volvió a la normalidad, manteniendo el presupuesto. En contraste, una línea base sin control de presupuesto en bucle cerrado excedió el objetivo de costo hasta en 6.9 veces.
• Onboarding en Frío: Un nuevo modelo agregado en tiempo de ejecución alcanzó una adopción significativa en aproximadamente 142 pasos sin violar el límite de costos. El sistema rechazó automáticamente modelos nuevos que eran de baja calidad o demasiado caros.
• Eficiencia: La latencia de decisión de enrutamiento es de 22.5 µs, y la latencia total del pipeline (con incrustación) es de 9.8 ms, lo que lo hace viable para producción de alto rendimiento.

5. Significado e Impacto

ParetoBandit representa un avance significativo hacia la operación robusta y económica de LLMs en producción.

• Cambio de Paradigma: Mueve el enrutamiento de políticas estáticas aprendidas offline a sistemas adaptativos en línea que reaccionan a la realidad del mercado (precios cambiantes) y a la degradación de modelos.
• Viabilidad Económica: Permite a las empresas utilizar portafolios heterogéneos de modelos maximizando la calidad dentro de restricciones presupuestarias estrictas, algo crítico dado el costo variable de las APIs de IA.
• Robustez Operativa: Proporciona las herramientas necesarias para manejar la naturaleza volátil de los servicios de IA (actualizaciones silenciosas, nuevos lanzamientos) sin intervención manual constante.

En resumen, ParetoBandit demuestra que es posible lograr un equilibrio dinámico y automatizado entre calidad y costo en entornos de LLM no estacionarios, superando las limitaciones de las soluciones actuales mediante un control de presupuesto en tiempo real y mecanismos de aprendizaje adaptativo.