Resumen Técnico: Enrutamiento Consciente del Medio Ambiente (GAR) para Inferencia de Modelos de Lenguaje Grande (LLM)

1. Declaración del Problema

El despliegue de Modelos de Lenguaje Grande (LLM) a gran escala requiere arquitecturas de enrutamiento que equilibren la calidad de la respuesta, la latencia de cola y el costo computacional en pools de modelos heterogéneos. Si bien los marcos de enrutamiento existentes optimizan la precisión y la latencia (a menudo tratando el costo monetario como secundario), ignoran en gran medida el impacto ambiental. Esta es una brecha crítica debido a:

• Variabilidad de la Intensidad de Carbono de la Red: La intensidad de carbono varía significativamente (hasta 10 veces) entre regiones y períodos de tiempo debido a la disponibilidad de energía renovable y las dependencias de combustibles fósiles.
• Heterogeneidad de Modelos: El consumo de energía varía drásticamente según las elecciones arquitectónicas, la escalabilidad de parámetros y los patrones de generación de tokens.
• Desalineación de Objetivos: Optimizar únicamente por costo monetario o latencia puede dirigir sistemáticamente el tráfico hacia períodos de alta carbono o regiones intensivas en carbono, incluso cuando múltiples modelos ofrecen una precisión equivalente.

Los sistemas actuales suelen manejar las emisiones de carbono solo mediante medición y reporte a posteriori, careciendo de decisiones de enrutamiento en tiempo real y por solicitud que traten la minimización del carbono como un objetivo de optimización primario junto con garantías formales de nivel de servicio.

2. Metodología: Enrutamiento Consciente del Medio Ambiente (GAR)

El artículo introduce GAR, un marco de optimización multiobjetivo con restricciones diseñado para minimizar las emisiones de CO2 por solicitud mientras satisface pisos de precisión explícitos y Objetivos de Nivel de Servicio (SLO) de latencia p95.

2.1 Formulación del Problema

Para una consulta $x$ que llega en el tiempo $t$, el enrutador gestiona un pool de modelos $\mathcal{M}$. Antes de la inferencia, el sistema genera predicciones ligeras para:

• Correctitud ($\hat{p}_m$): Probabilidad de una respuesta correcta.
• Latencia ($\hat{\ell}_{m,p95}$): Tiempo de respuesta p95 estimado.
• Emisiones ($\hat{c}_m$): CO2 estimado, calculado como $energy(m, tokens) \times grid\_intensity(t, region)$.

El marco define un conjunto factible $F(x, t)$ que contiene todos los modelos que satisfacen el piso de precisión específico del conjunto de datos $\tau_d(x)$ y el objetivo de latencia p95 $L$. Dentro de este conjunto, el enrutador selecciona el modelo que minimiza las emisiones predichas. Para garantizar la robustez, se aplican márgenes de seguridad a las estimaciones de carbono y latencia.

2.2 Presupuestos de Carbono Rodantes

Para cargas de trabajo de transmisión, GAR mantiene una ventana deslizante de emisiones realizadas en las últimas $W$ solicitudes. Esto asegura que el promedio de emisiones se mantenga dentro de un presupuesto por solicitud $B$, evitando la acumulación de deuda de carbono a largo plazo mientras permite flexibilidad a corto plazo.

2.3 Algoritmos y Políticas

El artículo propone varias estrategias para operacionalizar este marco:

• GAR-PD (Primal-Dual en Línea): Un algoritmo inspirado en Shalev-Shwartz & Singer (2007) que trata el enrutamiento consciente del carbono como un problema de Lagrange en línea. Utiliza una variable dual $\lambda_t$ (precio sombra) para equilibrar el cumplimiento de restricciones con la optimización ambiental. El objetivo de selección minimiza una suma ponderada de pérdida de calidad, latencia y emisiones de carbono, actualizada dinámicamente en función de la suma de la ventana rodante de emisiones realizadas.
• GAR-Fijo: Impone un límite estricto de carbono por solicitud. Si el límite deja el conjunto factible vacío, recurre al modelo de menor carbono disponible.
• GAR-$\epsilon$: Preserva la precisión dentro de una tolerancia $\epsilon$ del mejor modelo en el conjunto factible mientras minimiza el carbono.
• GAR-Objetivo: Establece pisos de precisión objetivo por conjunto de datos mediante búsqueda binaria para igualar los niveles de precisión macro deseados, enrutando al modelo de menor carbono que cumple estos objetivos.

2.4 Detalles de Implementación

El marco depende de estimadores previos al enrutamiento ligeros entrenados con datos históricos (usando regresión logística para precisión, regresión cuantílica para latencia y modelos lineales para carbono). Estos predictores se ejecutan en paralelo, completándose en menos de 1 milisegundo por consulta, lo que permite la toma de decisiones en tiempo real sin pasadas de inferencia adicionales.

3. Contribuciones Clave

1. Formalización: El artículo formaliza el enrutamiento consciente del carbono como un problema de optimización multiobjetivo con restricciones, proporcionando el primer marco principista para la minimización de CO2 por solicitud en la prestación de servicios de LLM con garantías formales de calidad.
2. Desarrollo de Algoritmos: Desarrolla GAR-PD, un algoritmo de enrutamiento primal-dual en línea práctico para presupuestos de carbono rodantes, junto con variantes heurísticas (GAR-Fijo, GAR-$\epsilon$, GAR-Objetivo) para diversos escenarios de despliegue.
3. Optimización Adaptativa: Los autores establecen técnicas de optimización de restricciones adaptativas que logran una alta cobertura de factibilidad mientras limitan la degradación de la precisión, permitiendo reducciones sustanciales de emisiones sin comprometer la experiencia del usuario.
4. Validación Empírica: Experimentos exhaustivos en benchmarks estándar de PLN (MMLU, HellaSwag, GSM8K, WinoGrande, SQuAD, ARC) con pools de LLM heterogéneos (7B–70B) demuestran la efectividad del marco.

4. Resultados Experimentales

La evaluación compara GAR contra baselines basadas en reglas (LLM más grande/más pequeño), baselines de optimización de precisión (AccMax) y un límite superior de Oráculo.

• Compensaciones de Rendimiento: GAR-PD logra una precisión macro de 0.737 con 0.712 g de CO2/solicitud.
  • En comparación con el LLM más grande (0.741 de precisión, 2.750 g/solicitud), GAR-PD reduce las emisiones en un 74% manteniendo una precisión comparable.
  • En comparación con el LLM más pequeño (0.592 de precisión, 0.476 g/solicitud), GAR-PD mejora la precisión en 15 puntos porcentuales por un aumento modesto de carbono.
  • GAR-PD logra al menos el 97% de la solución óptima (Oráculo-Factible).
• Estudios de Ablación: Eliminar componentes degrada significativamente el rendimiento:
  • Eliminar el estimador de carbono aumenta las emisiones en un 152% (1.794 g/solicitud).
  • Eliminar las compuertas de factibilidad causa una caída de 9.5 puntos en la precisión y un aumento del 23% en CO2.
  • Eliminar el estimador de latencia hace que la latencia media salte un 147%, violando los SLO.
• Optimalidad de Pareto: GAR-PD ocupa una posición fuerte en la frontera de compensación precisión-CO2, siguiendo de cerca la frontera de Pareto mientras permanece práctico.

5. Significado y Afirmaciones

El artículo afirma que GAR proporciona un enfoque práctico y teóricamente fundamentado para la inferencia sostenible de LLM. Al tratar el carbono como un objetivo de optimización primario en lugar de una idea tardía, el marco demuestra que se pueden lograr reducciones significativas en la huella de carbono de la infraestructura de IA sin sacrificar la calidad del servicio ni la fiabilidad.

Los autores posicionan este trabajo como investigación fundamental. Reconocen explícitamente las limitaciones, señalando que su modelado de intensidad de carbono depende de datos de red disponibles públicamente que pueden retrasarse varias horas respecto a las condiciones en tiempo real, y que el marco actual excluye consideraciones de costo financiero. Se propone trabajo futuro para integrar APIs de carbono en tiempo real, extender el marco a escenarios de tiempo de entrenamiento e investigar la gestión dinámica de conjuntos de modelos.