Measurement of Generative AI Workload Power Profiles for Whole-Facility Data Center Infrastructure Planning

Resumen Técnico: Perfiles de Potencia de Cargas de Trabajo de IA Generativa para la Planificación de Infraestructura de Centros de Datos

1. Planteamiento del Problema

El rápido crecimiento de la Inteligencia Artificial Generativa (GenAI) ha impulsado una demanda computacional sin precedentes, aumentando significativamente la huella energética de los centros de datos. Sin embargo, existe una brecha crítica en la planificación de infraestructura debido a:

• Falta de datos transparentes: La información sobre el consumo energético es mayoritariamente propietaria y reportada a resoluciones variables.
• Complejidad de modelado: Las cargas de trabajo de IA (entrenamiento, ajuste fino e inferencia) presentan fluctuaciones temporales rápidas (milisegundos a minutos) que afectan la estabilidad de la red (voltaje, armónicos).
• Incertidumbre en la planificación: La falta de perfiles de potencia precisos dificulta la estimación de la demanda energética a nivel de toda la instalación, afectando la planificación de la conexión a la red, la generación in situ y los microrredes.

El objetivo del trabajo es cerrar esta brecha vinculando mediciones de alta resolución de cargas de trabajo específicas con modelos de demanda energética a nivel de toda la instalación.

2. Metodología

Los autores desarrollaron un enfoque de "abajo hacia arriba" (bottom-up) que combina mediciones físicas de hardware con simulación discreta de eventos.

A. Medición de Perfiles de Potencia (Nivel de Nodo):

• Hardware: Se utilizaron nodos del sistema HPC "Kestrel" del Laboratorio Nacional de las Rocosas (NLR), equipados con procesadores AMD EPYC "Genoa" y 4 aceleradores NVIDIA H100 (80 GB VRAM) por nodo.
• Herramienta de medición: Se empleó WattAMeter, un paquete de código abierto que muestrea el consumo de energía de CPU y GPU con una resolución de 0.1 segundos.
• Cargas de Trabajo y Benchmarks:
  • Entrenamiento y Ajuste Fino (Fine-tuning): Se utilizaron benchmarks estandarizados de MLCommons (MLPerf) v4.0:
    • Llama-2 70B: Ajuste fino utilizando LoRA y DeepSpeed ZeRO-3 para optimizar memoria.
    • Stable Diffusion v2: Entrenamiento de modelos de generación de imágenes.
  • Inferencia: Se utilizó el motor vLLM para modelos Llama-3 70B.
    • Se evaluaron modos offline (por lotes/batch) y online (servicio en tiempo real/serve), variando la tasa de solicitudes (prompts/segundo) y la longitud de los tokens de salida.

B. Simulación a Nivel de Instalación (Modelo DIPLOEE):

• Se desarrolló un modelo llamado DIPLOEE (Data Center Infrastructure Planning, Load Optimization for Energy Efficiency).
• Enfoque: Utiliza los perfiles de potencia medidos a nivel de nodo como entrada.
• Lógica de Simulación:
  • Para Entrenamiento: Simula la generación de trabajos (jobs) basada en distribuciones probabilísticas (tipo de trabajo, número de nodos, duración) y una estrategia de programación FIFO (primero en entrar, primero en salir).
  • Para Inferencia: Modela el servicio en línea donde la latencia es crítica. Distribuye las solicitudes entrantes entre múltiples instancias de modelos para mantener la latencia por debajo de un umbral definido, limitando la tasa de solicitudes por instancia.
• Escalado: El modelo escala los perfiles de potencia de un solo nodo a una instalación completa, considerando la ocupación de nodos, la estacionalidad y el comportamiento del usuario.

3. Contribuciones Clave

1. Dataset Público de Alta Resolución: Se ha hecho público un conjunto de datos con perfiles de consumo de energía de cargas de trabajo de GenAI (entrenamiento, ajuste fino e inferencia) a una resolución de 0.1s, utilizando hardware H100 y benchmarks estandarizados.
2. Marco de Modelado Integrado: Se presenta una metodología para escalar perfiles de nodo a perfiles de toda la instalación, demostrando cómo las variaciones temporales de las cargas de trabajo de IA impactan la demanda energética total.
3. Análisis de Compensaciones (Trade-offs): Se cuantifica la relación entre la eficiencia energética, el tiempo de solución (runtime) y la experiencia del usuario (latencia) en diferentes configuraciones de escalado.

4. Resultados Principales

A. Perfiles de Potencia a Nivel de Nodo:

• Entrenamiento/Ajuste Fino: Se observó un escalado lineal del consumo promedio de potencia con el número de nodos. Sin embargo, el tiempo de ejecución no se redujo linealmente debido al aumento del tamaño del lote global (global batch size), lo que a veces resultó en un mayor consumo total de energía al usar más nodos si no se ajustaban los hiperparámetros.
• Inferencia Online: El consumo de potencia por servidor se satura rápidamente (alrededor de 2.8 kW) incluso con tasas de solicitud moderadas. Aumentar la tasa de solicitud más allá de cierto punto no aumenta significativamente el consumo de potencia, pero degrada la latencia.
• Variabilidad: Las cargas de trabajo de inferencia muestran perfiles más "suaves" y con menos picos agudos en comparación con los picos de sincronización observados en el entrenamiento distribuido.

B. Simulación a Nivel de Instalación (Casos de Estudio):
Se simularon dos escenarios durante un año completo:

1. Centro de Datos de Colocación (10 MW): Mezcla de trabajos de entrenamiento y ajuste fino.

   • Resultado: Aunque la utilización de nodos alcanzó el 100%, el consumo de potencia máximo solo llegó al 73% de la capacidad nominal de diseño (7.3 MW).
   • Implicación: Existe un "margen" (headroom) significativo en la infraestructura eléctrica que podría no ser necesario si se dimensiona basándose únicamente en el TDP (Potencia Térmica de Diseño) de los servidores.
   • Relación Pico/Promedio (PAR): Disminuyó a medida que aumentó la utilización, indicando que una mayor ocupación reduce la variabilidad relativa de la carga.

2. Centro de Datos de Inferencia (1 MW): Servicio de modelos LLM en tiempo real.

   • Resultado: El consumo máximo alcanzó el 80% de la capacidad nominal.
   • Latencia vs. Eficiencia: Para mantener la latencia baja (experiencia de usuario), el centro de datos operó con una utilización promedio más baja. Intentar saturar los nodos para ahorrar energía degradó drásticamente la latencia.
   • Estabilidad de Red: Los perfiles de inferencia mostraron una variabilidad ligeramente menor (PAR más bajo) que los de entrenamiento, pero el riesgo de saturación es más crítico para el servicio en tiempo real.

5. Significado e Impacto

Este trabajo proporciona una base fundamental para la planificación de infraestructura de IA basada en datos:

• Optimización de Infraestructura: Demuestra que dimensionar la infraestructura eléctrica y de refrigeración basándose estrictamente en el TDP máximo de los servidores puede llevar a un sobredimensionamiento costoso, dado que las cargas de trabajo reales rara vez operan continuamente en su límite térmico.
• Estabilidad de la Red: Los perfiles de alta resolución permiten a los operadores de red y planificadores de generación anticipar fluctuaciones rápidas y planificar reservas de energía adecuadas.
• Sostenibilidad: Al entender las compensaciones entre tiempo de ejecución, latencia y consumo energético, los operadores de centros de datos pueden optimizar la programación de trabajos para reducir el consumo total de energía sin sacrificar el rendimiento crítico.
• Reproducibilidad: La disponibilidad pública de los datos y el modelo de simulación permite a la industria y la academia validar y mejorar los modelos de planificación energética para la próxima generación de infraestructura de IA.

En conclusión, el estudio establece que la planificación de infraestructura para IA generativa debe abandonar los modelos estáticos basados en TDP y adoptar modelos dinámicos que incorporen el comportamiento temporal real de las cargas de trabajo, el comportamiento del usuario y las limitaciones de latencia.