🤖 AI

Energy-Efficient LLM Serving via Disaggregated Attention--FFN and Flexible Frequency Scaling

Este artículo presenta AFlex, un marco de trabajo que reduce el consumo de energía en el servicio de LLM hasta en un 49% mediante la ejecución desagregada de Atención-FFN, la optimización conjunta de recursos y frecuencia, y un pipeline entrelazado que se adapta a las sensibilidades de frecuencia a nivel de operador mientras cumple con estrictos SLO de latencia.

Autores originales: Cunchen Hu, Liangliang Xu, Tian Liu, Min Lyu, Yongkun Li, Sa Wang, Shuo Quan, Yanan Yang, Wenda Tang, Yiduo Wang, Fu Yu, Jie Wu

Publicado 2026-08-04

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Cunchen Hu, Liangliang Xu, Tian Liu, Min Lyu, Yongkun Li, Sa Wang, Shuo Quan, Yanan Yang, Wenda Tang, Yiduo Wang, Fu Yu, Jie Wu

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás dirigiendo un cerebro robótico masivo y superinteligente en un centro de datos gigante. Este cerebro, conocido como Modelo de Lenguaje Extenso (LLM), es el motor detrás de los chatbots, los asistentes de programación y los escritores creativos. Pero hay un inconveniente: estos cerebros son increíblemente hambrientos. Consumen enormes cantidades de electricidad, a menudo haciendo funcionar sus procesadores a máxima velocidad, como el motor de un coche de carreras revolucionando a las máximas RPM incluso cuando el coche está atrapado en el tráfico. Esto es un problema porque cuesta una fortuna en energía y genera mucho calor.

Para hacer que estos robots funcionen más rápido, los científicos han descubierto cómo dividir el trabajo. Piensa en el proceso de pensamiento del robot como si tuviera dos pasos principales: primero, lee y comprende tu pregunta (la fase de "prefill") y, segundo, escribe la respuesta palabra por palabra (la fase de "decode"). Recientemente, los ingenieros se dieron cuenta de que es mejor poner estos dos pasos en habitaciones diferentes con diferentes equipos de trabajadores, en lugar de tener un solo equipo haciendo ambas cosas. Esto se llama "desagregación". Ayuda a que el robot responda más rápido, pero no necesariamente hace que consuma menos electricidad. De hecho, si simplemente reduces la velocidad de los trabajadores para ahorrar energía, el robot podría volverse demasiado lento y no cumplir con sus plazos. La gran pregunta es: ¿cómo podemos ralentizar las cosas para ahorrar energía sin que el robot tartamudee o falle?

Este artículo presenta un nuevo y astuto sistema llamado AFlex que resuelve este rompecabezas tratando el cerebro del robot como un equipo de especialistas con diferentes necesidades energéticas. Los investigadores descubrieron que las dos partes principales del cerebro del robot —la parte que presta atención a tus palabras (Atención) y la parte que procesa la lógica (Red de Alimentación hacia Adelante, o FFN)— no son iguales. Son como dos atletas diferentes: uno es un velocista que necesita un impulso de alta velocidad para correr rápido, mientras que el otro es un corredor de maratón que se cansa si lo presionas demasiado pero puede mantener un ritmo constante y más lento de manera eficiente.

Anteriormente, los sistemas trataban a todo el cerebro como una sola unidad, obligando al velocista y al corredor de maratón a correr exactamente a la misma velocidad. Si acelerabas a ambos para ayudar al velocista, el corredor de maratón desperdiciaba energía. Si ralentizabas a ambos para ahorrar energía para el corredor de maratón, el velocista se volvía demasiado lento. Los autores de este artículo descubrieron que estas dos partes en realidad prefieren velocidades diferentes dependiendo de lo que el robot esté haciendo, de qué tan larga sea la pregunta y de cuántas personas estén haciendo preguntas al mismo tiempo.

Para solucionar esto, AFlex actúa como un gerente inteligente que puede dar al velocista y al corredor de maratón sus propias pistas y sus propios ajustes de velocidad personales. Utiliza un "Programador Global" para planificar el panorama general, decidiendo a cuántos trabajadores asignar a cada tarea, y un "Controlador Local" para ajustar sus velocidades en tiempo real, segundo a segundo. El sistema también utiliza una técnica especial de tubería (pipeline) donde los trabajadores se pasan notas entre sí mientras todavía están trabajando, para que nadie se quede esperando. Este enfoque "intercalado" mantiene la línea de ensamblaje moviéndose suavemente sin huecos.

Los investigadores probaron AFlex en potentes chips informáticos (GPUs NVIDIA A800) utilizando datos del mundo real de tareas de programación y conversación. Descubrieron que al permitir que las partes de Atención y FFN funcionen a sus propias velocidades únicas de ahorro de energía, el sistema podía reducir la energía utilizada por palabra generada hasta en un 49% en comparación con los mejores métodos existentes que dividían el trabajo, y en un 48% en comparación con los sistemas que simplemente intentaban ralentizar todo el chip. Crucialmente, el robot respondía tan rápido como antes, cumpliendo todas sus promesas de velocidad. El artículo sugiere que este enfoque de dar a las diferentes partes del cerebro de la IA diferentes velocidades es un gran paso para hacer que la inteligencia artificial sea mucho más eficiente energéticamente sin sacrificar el rendimiento.

Resumen Técnico: AFlex – Servicio de LLM con Eficiencia Energética mediante Atención–FFN Disagregada y Escalamiento de Frecuencia Flexible

1. Declaración del Problema

El servicio de Modelos de Lenguaje de Gran Escala (LLM) en los centros de datos modernos enfrenta un compromiso crítico entre cumplir con los Objetivos de Nivel de Servicio (SLO) estrictos —específicamente el Tiempo al Primer Token (TTFT) y el Tiempo por Token de Salida (TPOT)— y minimizar el consumo de energía. Si bien el Escalamiento Dinámico de Voltaje y Frecuencia (DVFS) ofrece un mecanismo para intercambiar rendimiento por ahorro de energía, los enfoques actuales de gestión de energía sufren de dos limitaciones principales:

Control de Frecuencia de Grano Grueso: Los sistemas actuales aplican el escalamiento de frecuencia a nivel de solicitud, nivel de fase de inferencia (prellen vs. decodificación) o nivel de instancia. No logran considerar la heterogeneidad a nivel de operador. Específicamente, los dos operadores dominantes en la inferencia de LLM, la Atención y las Redes de Alimentación hacia Adelante (FFN), exhiben características de cómputo y memoria distintas. La Atención suele estar limitada por la memoria (sensible al acceso al caché KV), mientras que la FFN es típicamente limitada por el cómputo. En consecuencia, sus frecuencias óptimas para la eficiencia energética difieren significamente y varían dinámicamente según la carga de trabajo, el tamaño del lote (batch size) y las configuraciones de paralelismo de tensores (TP).
Ineficiencia del Servicio Disagregado: Aunque el servicio de Fase-Disagregada (P/D) separa el prellen de la decodificación para reducir la interferencia, este sigue tratando cada fase como un único dominio de frecuencia. Además, el servicio de Operador-Disagregado (A/F), que separa la ejecución de Atención y FFN, introduce desafíos:
- Complejidad del Espacio de Búsqueda: La optimización conjunta del aprovisionamiento de recursos (grados de TP, conteo de instancias) y las frecuencias independientes para cuatro grupos de operadores (Prellen-Atención, Prellen-FFN, Decodificación-Atención, Decodificación-FFN) crea un espacio de búsqueda combinatorio masivo.
- Sobrecarga (Overhead): La dis agregación A/F requiere transferencias de estados ocultos entre operadores. La reconfiguración dinámica de recursos y el cambio frecuente de frecuencia introducen sobrecargas de comunicación y transición que pueden anular los ahorros de energía si no se gestionan cuidadosamente.

2. Metodología: El Marco de Trabajo AFlex

Para abordar estos desafíos, los autores presentan AFlex, un marco que optimiza conjuntamente el aprovisionamiento de recursos y el escalamiento de frecuencia de la GPU para el servicio A/F desagregado. AFlex se basa en cuatro principios de diseño: conciencia de operador, optimización conjunta consciente de SLO, separación del planeamiento de recursos del control en tiempo de ejecución y reconfiguración consciente de la sobrecarga.

A. Arquitectura

AFlex emplea un plano de control de dos niveles y un plano de datos en pipeline:

Programador Global (Plano de Control):
- Perfilado y Predicción: Utiliza el perfilado offline para entrenar modelos de regresión ligeros (Árboles de Decisión Potenciados por Gradiente) que predicen la latencia del operador y el consumo de energía basados en la frecuencia de la GPU, el tamaño del lote, la longitud de la secuencia y el grado de TP.
- Orquestador de Recursos: Resuelve periódicamente un Programa Lineal Entero (ILP) para determinar el número óptimo de pares A/F, grados de TP y frecuencias base. El ILP minimiza la energía total sujeto a las restricciones de memoria de la GPU, requisitos de rendimiento y SLO de TTFT/TPOT por capa.
- Motor de Reconfiguración en Tiempo de Ejecución: Aplica nuevas configuraciones de forma incremental. Reutiliza los fragmentos de pesos residentes y busca los fragmentos faltantes de forma asíncrona para minimizar la interrupción, distinguiendo entre la reconfiguración pesada de TP y los ajustes ligeros de frecuencia.
Controlador DVFS Local (Plano de Control):
- Refina el plan global a granularidad de milisegundos.
- Prellen: Selecciona un par de frecuencias PA/PF fijo antes del lanzamiento del lote basado en el presupuesto restante de TTFT.
- Decodificación: Utiliza un algoritmo basado en ventanas para amortizar los costos de cambio de frecuencia. Ajusta las frecuencias DA/DF solo cuando el tamaño del lote cambia significativamente o el SLO de TPOT está en riesgo, evitando cambios prohibitivamente costosos por iteración.
Plano de Datos AFD:
- Pipeline Entrelazado: Lanza el siguiente operador de Atención tan pronto como el operador FFN de la capa actual completa su ejecución, superponiendo las transferencias de estados ocultos con el cómputo.
- Microbatching Dinámico y Batching Adaptativo: Selecciona dinámicamente la profundidad de microbatch ( $M$ ) y los tamaños de lote de solicitud para equilibrar la ejecución A/F. Por ejemplo, bajo baja carga, puede usar $M=1$ para evitar dividir lotes pequeños; bajo alta carga, aumenta $M$ para maximizar el solapamiento y reducir los huecos (bubbles) en el pipeline.
- Transferencia Consciente de Ubicación: Optimiza las transferencias de estados ocultos a través de grupos de TP heterogéneos utilizando agrupamiento afín a la NIC para paralelizar las transferencias sin requerir la replicación total de activaciones.

B. Perspectivas Técnicas Clave

El diseño se fundamenta en observaciones empíricas:

Óptimos Energéticos Heterogéneos: Los operadores de Atención y FFN alcanzan sus mínimos de energía a diferentes frecuencias (brecha promedio de 429 MHz). Una única frecuencia es subóptima para ambos.
Sensibilidad Dinámica: La sensibilidad del operador a los cambios de frecuencia varía con el tamaño del lote y el grado de TP, lo que requiere adaptación en tiempo de ejecución en lugar de configuraciones fijas.
Costos de Desequilibrio: El aprovisionamiento homogéneo conduce a huecos significativos en el pipeline (19.7–75.7% del tiempo de paso), causando un desperdicio de energía sustancial.

3. Contribuciones Clave

El artículo reclama las siguientes contribuciones:

Caracterización de la Heterogeneidad a Nivel de Operador: Un análisis sistemático que revela que los operadores A/F tienen distintas sensibilidades de frecuencia y óptimos de energía que varían según la fase, la carga de trabajo y las configuraciones del sistema.
Plano de Control de Dos Niveles: Una arquitectura novedosa que combina el aprovisionamiento de recursos A/F global (vía ILP) con la adaptación de DVFS local por operador para minimizar la energía bajo restricciones estrictas.
Plano de Datos A/F Entrelazado: Un diseño de pipeline que superpone la comunicación con el cómputo y ajusta dinámicamente la profundidad de microbatch y el batching de solicitudes para eliminar los huecos en el pipeline.
Evaluación Exhaustiva: Implementación y evaluación en un clúster de GPUs multinodo utilizando trazas de producción, demostrando reducciones sustanciales de energía en comparación con sistemas de vanguardia.

4. Resultados Experimentales

Los autores implementaron AFlex sobre SGLang y lo evaluaron en GPUs NVIDIA A800 utilizando modelos Qwen3-32B (denso) y Mixtral-8×7B (MoE). Las cargas de trabajo incluyeron trazas de producción (Conversación, Codificación) y cargas de trabajo sintéticas controladas (QA, RAG, Chatbot, Resumen).

Métricas de Rendimiento:

Eficiencia Energética: AFlex reduce la energía por token hasta en un 49% en comparación con el servicio desagregado de vanguardia (DistServe) y un 48% en comparación con sistemas de escalamiento de frecuencia (DynamoLLM).
Cumplimiento de SLO: AFlex satisface consistentemente los SLO de P90 para TTFT y TPOT en todas las cargas probadas, mientras que algunos modelos de referencia o violan los SLO o requieren frecuencias más altas para cumplirlos, aumentando el consumo de energía.
Escalabilidad: La ventaja de ahorro de energía persiste al escalar de 1 a 4 nodos. AFlex mantiene al menos una mejora del 20.2% sobre el mejor modelo de referencia a través de los tamaños del clúster.
Soporte para MoE: AFlex maneja eficazmente los modelos Mixture-of-Experts, abordando los desequilibrios A/F intra-fase que la desagregación P/D por sí sola no puede resolver, logrando hasta un 41.4% de reducción de energía sobre los modelos de referencia.
Sobrecarga (Overhead): El resolvedor ILP global añade una sobrecarga insignificante (<0.2% de la ventana de programación de 5 minutos). La reconfiguración incremental reduce los tiempos de transición de TP en un 52–72% en comparación con los métodos base.

5. Significado y Reivindicaciones

El artículo posiciona a AFlex como el primer marco de servicio de LLM que combina la ejecución de Atención-FFN desagregada con el escalamiento de frecuencia independiente y flexible por operador.

Complementariedad: Los autores argumentan que la desagregación de grano fino (AFD) y el DVFS de grano fino son complementarios. Mientras que la AFD expone la heterogeneidad de los recursos, el DVFS aprovecha el "margen" resultante para bajar las frecuencias en los operadores menos sensibles (por ejemplo, bajando la frecuencia de FFN cuando la Atención es el cuello de botella).
Practicidad: Al desacoplar la reconfiguración lenta de recursos del camino crítico de la inferencia y amortizar los costos de cambio mediante el control basado en ventanas, AFlex demuestra que la optimización de energía de grano fino es factible sin sacrificar los SLO de latencia.
Impacto: Los resultados sugieren que ir más allá del control a nivel de fase o de instancia hacia un control a nivel de operador es esencial para la próxima generación de servicio de LLM con eficiencia energética, particularmente a medida que las cargas de trabajo se vuelven más diversas y las restricciones de hardware se vuelven más estrictas.

Los autores concluyen que AFlex proporciona una solución robusta y escalable para reducir la huella de carbono de la inferencia de LLM manteniendo la capacidad de respuesta requerida para aplicaciones interactivas.