Resumen Técnico: Compass: Planificador de Consultas Consciente de los SLO para la Atención de IA Compuesta a Gran Escala

1. Declaración del Problema

La aparición de sistemas de IA compuesta—que integran múltiples operadores (por ejemplo, muestreadores de video, codificadores de visión, LLM, renderizadores de voz) en pipelines para aplicaciones como chat de video en vivo, conducción autónoma y juegos inmersivos—ha desplazado la atención de la atención de ML desde el despliegue monolítico de modelos hacia la orquestación compleja de pipelines. Estas cargas de trabajo a menudo abarcan espacios de despliegue diversos, que van desde dispositivos de borde hasta clústeres de borde cercano y niveles de nube.

Optimizar estos sistemas requiere una planificación conjunta de tres dimensiones interdependientes para cada operador en un pipeline:

1. Ubicación: Dónde ejecutar el operador (borde, borde cercano o nube).
2. Configuración: Qué versión del modelo, precisión o tasa de muestreo utilizar.
3. Asignación de Recursos: Cuánta capacidad de cómputo (por ejemplo, cuota de GPU) y ancho de banda aprovisionar.

El desafío central es maximizar el buen rendimiento (goodput) de los SLO (el número de consultas que cumplen los Objetivos de Nivel de Servicio para latencia, precisión y costo) bajo contención de recursos. Los enfoques existentes no abordan esto a gran escala debido a:

• Explosión Combinatoria: Una sola consulta puede tener miles de planes candidatos debido a configuraciones y ubicaciones heterogéneas.
• Heterogeneidad: Los entornos de ejecución varían (por ejemplo, velocidades de borde frente a nube) y las distribuciones de datos de entrada difieren entre usuarios, lo que causa variación en el rendimiento incluso para planes idénticos.
• Latencia de Planificación: Los planificadores existentes (por ejemplo, Vulcan, VideoStorm) tardan de minutos a horas en encontrar un plan factible, lo que los hace inviables para consultas en tiempo real y de corta duración (por ejemplo, reconocimiento de voz de 10 segundos).
• Optimización Local vs. Global: Los planificadores de consultas individuales ignoran la contención de recursos entre consultas, lo que lleva a asignaciones globales subóptimas (por ejemplo, sobrecargar la nube mientras los recursos de borde permanecen inactivos).

2. Metodología: El Sistema Compass

Compass es el primer planificador de consultas consciente de los SLO diseñado para manejar cargas de trabajo de IA compuesta multi-consulta y multi-nivel a gran escala. Emplea un marco de planificación de dos etapas para equilibrar la eficiencia y la calidad de la decisión.

A. Arquitectura del Sistema

Compass descompone el problema de planificación global intratable en:

1. Búsqueda de Consulta Individual: Identificar un conjunto de planes candidatos Pareto-óptimos para cada consulta individual.
2. Programación de Múltiples Consultas: Seleccionar la mejor combinación de pares consulta-plan para maximizar el buen rendimiento global bajo restricciones de recursos.

B. Componentes Principales

1. Optimizador de Búsqueda (Búsqueda Multiobjetivo Consciente del Costo)

Para navegar eficientemente el vasto espacio de búsqueda, Compass introduce la búsqueda CAMO (Consciente del Costo Multiobjetivo), una mejora sobre la Optimización Bayesiana (BO) estándar.

• Surrogados Descompuestos: En lugar de un único objetivo, CAMO mantiene dos modelos de sustitución independientes: uno para la precisión ($f_a$) y otro para la latencia ($f_l$).
• Función de Utilidad: Propone nuevos planes maximizando una función de adquisición $U(p)$ que equilibra la probabilidad de cumplir los SLO contra el costo de perfilado (latencia para ejecutar la inferencia):
  $$U(p) = \text{Pr}[f_a(p) \ge A_{slo}] \cdot \text{Pr}[f_l(p) \le L_{slo}] \times \frac{1}{C(f_l(p))}$$
• Arranque en Caliente Inter-Consulta: Para acelerar la búsqueda de nuevas consultas, Compass aprovecha las similitudes latentes entre consultas. Mantiene un "comité" de modelos de sustitución históricos. Si una nueva consulta es similar a las anteriores, el comité vota sobre el siguiente plan candidato. A medida que el propio modelo CAMO de la nueva consulta madura (el error de predicción cae por debajo del del comité), transita automáticamente hacia la autosuficiencia.

2. Perfilador de SLO (Verificación Eficiente)

El perfilado (ejecutar planes para medir precisión/latencia) es el principal cuello de botella. Compass reduce este costo mediante:

• Perfilado Adaptativo: En lugar de un muestreo fijo, Compass utiliza la prueba t de Student para determinar el número mínimo de muestras requerido para confirmar estadísticamente si un plan cumple un SLO. Si la brecha entre la precisión estimada del plan y el SLO es grande, se detiene temprano; si la brecha es pequeña, muestrea más.
• Perfilado Compartido por Dependencias: Almacena en caché las salidas intermedias para segmentos de pipeline compartidos. Si un nuevo plan solo cambia un operador aguas abajo, el perfilador omite reejecutar los operadores aguas arriba, reutilizando los resultados en caché.
• Recorte de Recursos: La búsqueda asume inicialmente recursos sobreaprovisionados para garantizar la viabilidad del SLO. El perfilador luego realiza una búsqueda binaria multidimensional para recortar recursos greedy (por ejemplo, reduciendo la cuota de GPU) hasta que el SLO de latencia esté al borde de la violación, identificando la frontera de costo Pareto-óptima.

3. Planificador de Múltiples Consultas (Programación Global)

Una vez que cada consulta tiene un conjunto de planes Pareto-óptimos, Compass realiza un emparejamiento bipartito entre el conjunto de consultas y sus candidatos de planes.

• Objetivo: Maximizar el buen rendimiento de los SLO (para escenarios con restricciones de recursos) o minimizar el costo total de despliegue (para escenarios de nube elástica).
• Algoritmo: Una heurística voraz que clasifica los planes por su relación beneficio-recurso (o relación beneficio-costo). Asigna recursos iterativamente a los planes mejor clasificados hasta agotar la capacidad.
• Garantía Teórica: Los autores demuestran que para configuraciones solo en la nube, el enfoque voraz logra al menos el 50% del buen rendimiento óptimo. Para la minimización de costos en múltiples niveles, el costo está dentro de una relación competitiva de 11/9 del óptimo, más una pequeña constante dependiente del número de niveles.

3. Contribuciones Clave

1. Primer Planificador Genérico Consciente de los SLO: Compass es el primer sistema que soporta la atención de IA compuesta a través de espacios de despliegue diversos (solo nube, multi-nivel, borde-nube) mientras maneja tanto interacciones continuas como efímeras.
2. Mecanismo de Búsqueda Novel: Introduce una búsqueda multiobjetivo consciente del costo (CAMO) que aprovecha las similitudes de los planes (intra e inter-consulta) y el perfilado adaptativo para navegar eficientemente espacios de búsqueda de alta dimensión.
3. Calidad de Decisión Global: Al desacoplar la búsqueda de consulta individual de la programación global, Compass evita la explosión combinatoria de la planificación conjunta mientras mantiene una calidad de decisión casi óptima a través de conjuntos de candidatos Pareto-óptimos y emparejamiento voraz.
4. Implementación del Mundo Real: El sistema está implementado en ~2.800 líneas de Python, es compatible con API de Kubernetes y LangChain, y soporta pilas de ML existentes con cambios mínimos de código.

4. Resultados Experimentales

Las evaluaciones se realizaron en cinco aplicaciones representativas de IA compuesta (Chat de Agente en Vivo, Generación de Código Agente, Subtitulado de Video Denso, Seguimiento Visual, Reconocimiento de Voz) a través de infraestructura multi-nivel realista (Nube, Nube Cercana, Borde Cercano, Borde).

• Buen Rendimiento del Servicio: Compass mejora el buen rendimiento de los SLO en 2.4–5.1× en comparación con las líneas base más avanzadas (Vulcan, VideoStorm), incluso en sus espacios de despliegue nativos.
• Reducción de Costos: Reduce los costos de despliegue en 3.8–4.5× optimizando la asignación de recursos y la ubicación.
• Velocidad de Planificación: Compass acelera la planificación en 4.2–10.5×, identificando el primer plan conforme a SLO en <5 segundos (frente a minutos en las líneas base) y planes casi óptimos en <20 segundos.
• Escalabilidad: El sistema escala a miles de consultas concurrentes, logrando un rendimiento cercano a un oráculo de búsqueda exhaustiva (ILP) mientras mantiene un tiempo de programación sublineal.
• Capacidad de Respuesta: Permite la adaptación en tiempo real a la dinámica de ejecución (por ejemplo, fluctuaciones de red, cambios de iluminación) en cuestión de segundos.

5. Significado y Afirmaciones

El artículo afirma que Compass aborda un cuello de botella crítico en la evolución de la atención de IA: la transición desde la inferencia de modelos individuales hacia pipelines de IA compuesta. Los autores argumentan que, sin un planificador capaz de manejar la complejidad combinatoria de escenarios multi-operador, multi-nivel y multi-consulta, las aplicaciones de IA compuesta en tiempo real (como agentes de video en vivo) no pueden desplegarse de manera eficiente o rentable.

El significado radica en:

• Viabilidad: Hacer tratable la atención de IA compuesta en tiempo real con garantías de SLO donde los enfoques anteriores eran demasiado lentos o inexactos.
• Eficiencia: Reducir drásticamente el "impuesto de planificación" (tiempo y costo gastados en la búsqueda de configuración) que anteriormente dominaba el tiempo total de atención.
• Generalidad: Proporcionar un marco unificado que funciona a través de infraestructura heterogénea, desde dispositivos de borde hasta clústeres de nube a gran escala, sin requerir ajustes específicos de la aplicación.

El artículo concluye que Compass permite a los proveedores de servicios sostener servicios de IA compuesta de alta calidad y rentables a gran escala, cerrando la brecha entre la optimización teórica de pipelines y el despliegue práctico en tiempo real.