Resumen Técnico: Opti-Q: Un Marco de Optimización Basado en Restricciones para la Planificación de Preguntas Multi-LLM

1. Planteamiento del Problema

El despliegue de Modelos de Lenguaje de Gran Escala (LLMs) para la Respuesta a Preguntas (QA) enfrenta desafíos significativos relacionados con la no determinación, perfiles de recursos heterogéneos (costo financiero, latencia, energía) y un rendimiento variable según el tipo de pregunta. Si bien trabajos recientes sugieren que la colaboración coordinada de múltiples LLMs puede superar a los modelos individuales "mejores", las estrategias de ejecución ingenuas (por ejemplo, consultar siempre todos los modelos o usar cascadas fijas) suelen conducir a un uso ineficiente de los recursos, mayores costos y una calidad de respuesta subóptima.

Los marcos de orquestación actuales (por ejemplo, LangChain, DSPy) a menudo dependen de flujos de trabajo programados por desarrolladores o decisiones miopes y dinámicas tomadas en el momento de la ejecución sin considerar las consecuencias posteriores. Existe una falta de sistemas que traten la orquestación multi-LLM como un problema de planificación de consultas basado en costos y de objetivos múltiples, donde el plan de ejecución óptimo (secuencial, paralelo o híbrido) se selecciona antes de la ejecución basándose en las restricciones especificadas por el usuario (presupuesto, latencia, energía) y la calidad de la respuesta deseada (QoA).

2. Metodología: El Marco OPTI-Q

OPTI-Q es un optimizador basado en costos e inspirado en las bases de datos que implementa un paradigma de "planificar antes de ejecutar" para la QA multi-LLM. Modela el problema como una tarea de Optimización Multiobjetivo (MOO) donde el objetivo es encontrar planes Pareto-óptimos que equilibren la QoA frente al costo financiero, la latencia y la energía.

A. Modelado y Formalización

• Modelo de Pregunta: Una pregunta $Q$ se define por un prompt, un tema y las restricciones del usuario ($F_{max}, L_{max}, E_{max}, QoA_{min}$) y un vector de pesos $W$ para la priorización de objetivos.
• Modelo de Plan: Los planes se representan como Grafos Acíclicos Dirigidos (DAGs) donde los nodos son invocaciones de LLM (operadores físicos) y las aristas representan el flujo de datos.
  • Operadores Secuenciales: Pasan respuestas intermedias como contexto a modelos subsecuentes.
  • Operadores Paralelos: Ejecutan múltiples modelos de forma concurrente.
  • Operadores de Mezcla (Blending): Combinan las salidas de las ramas paralelas utilizando un modelo "mezclador" dedicado.
• Objetivo de Optimización: Maximizar $[QoA(\pi), -Financiero(\pi), -Latencia(\pi), -Energía(\pi)]$ sujeto a las restricciones del usuario.

B. Componentes Principales

1. PERFDB (Catálogo de Estadísticas):

   • Una base de datos de rendimiento poblada mediante procesos offline e incrementales a partir de benchmarks y trazas de ejecución.
   • Almacena estadísticas (QoA, costo, latencia, energía) para LLMs individuales y subplanes compuestos, indexadas por contexto de ejecución (tema, tipo de operador, modelo).
   • Permite la estimación pre-ejecución de las métricas del plan sin ejecutarlo. Gestiona la estocasticidad almacenando estimaciones de varianza e intervalos de confianza.

2. Estimación de Costo-Beneficio:

   • Estimación de Tokens: Predice el conteo de tokens de entrada/salida basándose en tokenizadores específicos de cada modelo y longitudes de salida históricas para estimar costos.
   • Estimación de QoA: Utiliza una búsqueda condicionada al tema en PERFDB. Para planes compuestos, aplica factores de efecto relativo multiplicativos (para pasos secuenciales) y factores de cambio relativo de promedio (para la mezcla) derivados de trazas históricas para estimar la calidad del plan completo.
   • Estimación de Recursos: Calcula el costo financiero (fijo + variable por token), la energía (proporcional a los tokens) y la latencia (lineal con el volumen de tokens; las ramas paralelas toman el tiempo máximo).

3. Generación y Búsqueda de Planes:

   • Codificación: Los planes se codifican de forma compacta como un mapa de conectividad (matriz de adyacencia) y un vector de asignación de modelos.
   • Espacio de Búsqueda: El espacio de posibles planes es combinatorio y NP-duro de optimizar exhaustivamente.
   • Motores de Optimización: OPTI-Q soporta un motor "enchufable" con tres estrategias:
     • Programación Dinámica (DP): Solucionador exacto para instancias pequeñas; utiliza la poda para gestionar la explosión del espacio de estados.
     • Hill Climbing (HC): Heurística de búsqueda local ligera y ávida.
     • NSGA-II: Un algoritmo evolutivo multiobjetivo utilizado por defecto para grandes espacios de planes para aproximar la frontera de Pareto.
   • Selección: El optimizador genera un conjunto de planes factibles no dominados. El plan final se selecciona basándose en los pesos del usuario $W$ aplicados a los objetivos normalizados.

C. Implementación

• Sistema: Marco modular que integra un optimizador con un motor de ejecución.
• Modelos: Probado con cinco modelos de código abierto (Gemma-3:27B, LLaMA3-ChatQA, Qwen2.5, Phi-4, Mistral) ejecutados localmente vía Ollama.
• Mezcla (Blending): Utiliza Gemma-3:27B como el mezclador designado, superando a componentes especializados como GenFuser en la validación.
• Prompting: Emplea prompting Zero-Shot con prompts específicos de contexto y de mezcla para guiar el comportamiento del modelo.

3. Contribuciones Clave

1. Formulación Costo/Beneficio: Una formalización de la planificación de QA multi-LLM como un problema de optimización multiobjetivo restringido, equilibrando explícitamente la QoA, el costo, la latencia y la energía.
2. Optimizador Basado en Estadísticas: Un sistema que enumera y poda flujos de trabajo secuenciales/paralelos, estimando la calidad y los costos de recursos antes de la ejecución utilizando un catálogo de estadísticas histórico (PERFDB).
3. Sistema Integrado: Un prototipo funcional que enruta dinámicamente preguntas a través de LLMs de código abierto, seleccionando grafos de ejecución óptimos en tiempo real.

4. Resultados Experimentales

El marco fue evaluado en los benchmarks MMLU-Pro (opción múltiple) y SimpleQA (abierto) contra cuatro líneas base de vanguardia (ThriftLLM, LLM-Ensemble, FrugalGPT, LLM-Blender).

• Ganancias de Rendimiento: Bajo presupuestos especificados por el usuario, OPTI-Q mejoró el promedio de QoA en un ≈58% en SimpleQA y un ≈41% en MMLU-Pro en comparación con las líneas base más fuertes con conciencia de presupuesto y con costos por pregunta igualados.
• Escalabilidad: NSGA-II proporcionó el mejor equilibrio entre escalabilidad y calidad, manteniendo una calidad de la frontera de Pareto cercana a la de referencia con tiempos de planificación en las decenas de segundos (por ejemplo, 21s para $k=5$ operaciones).
• Robustez ante la Escasez de Datos: En escenarios de "arranque en frío" (cobertura de Nivel 0 de PERFDB), OPTI-Q aún superó a las líneas base. A medida que los datos históricos aumentaron (Niveles 1–4), la QoA mejoró significamente (por ejemplo, +66.7% en MMLU-Pro) y los errores de estimación de recursos disminuyeron drásticamente.
• Adherencia al Presupuesto: El sistema mantuvo una alta adherencia al presupuesto (88–96%), siendo los excesos impulsados principalmente por el costo más que por la latencia.
• Comparación con APIs Comerciales: OPTI-Q logró una mayor QoA que los modelos comerciales (ej. Claude Opus 4.6, GPT 5.4) en SimpleQA, mientras que costó significativamente menos (37.8× y 14.5× menos, respectivamente, al contabilizar los costos de servidores externos). En MMLU-Pro, logró una calidad competitiva (0.82 vs. 0.871 para Gemini 3.5 Flash) a una fracción del costo.

5. Significado y Reivindicaciones

El artículo afirma que la planificación de estilo base de datos produce mejores compromisos calidad-recurso para la QA multi-LLM en comparación con la orquestación dinámica y miope o los ensambles fijos.

• Cambio de Paradigma: Demuestra que tratar la orquestación de LLM como un problema de planificación de consultas declarativas, en lugar de una tarea de scripting procedimental, permite una adaptación dinámica y específica para cada pregunta que maximiza la utilidad bajo restricciones.
• Viabilidad Práctica: Los resultados sugieren que la planificación estructurada y basada en estadísticas proporciona una base práctica para la orquestación adaptativa de LLM, permitiendo equilibrar el rendimiento y la eficiencia sin depender de APIs comerciales costosas y de alta capacidad.
• Potencial Futuro: Los autores postulan que esta abstracción de "planificar antes de ejecutar" puede extenderse más allá de la QA hacia flujos de trabajo de Generación Aumentada por Recuperación (RAG) y agentes más ricos, siempre que se puedan caracterizar nuevos operadores con perfiles de costo-beneficio similares en el catálogo de estadísticas.