⚡ electrical engineering

Provisioning to Runtime Optimization of a +100 MW AI Cluster

Este documento presenta el primer relato integral de la gestión de energía para un centro de datos de IA hiperescalar, detallando el proceso desde la planificación inicial de energía para aceleradores de próxima generación hasta la optimización en tiempo de ejecución de una instalación de 150 MW que alberga 83.000 GPUs GB200.

Autores originales: Ehsan K. Ardestani, Leonardo Piga, Jovan Stojkovic, Pavan Balaji, Mustafa Ozdal, Mikel Jimenez Fernandez, Mihaela Dimovska, Luka Tadic, Hao Shen, Devika Vishwanath, Richa Mishra, Melaku Mihret, Valent

Publicado 2026-05-26

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Ehsan K. Ardestani, Leonardo Piga, Jovan Stojkovic, Pavan Balaji, Mustafa Ozdal, Mikel Jimenez Fernandez, Mihaela Dimovska, Luka Tadic, Hao Shen, Devika Vishwanath, Richa Mishra, Melaku Mihret, Valentin Andrei, Mauricio Cespedes, Julien Prigent, James Monahan, Tyler Graf, Bin Li, Charles Marquez, Shobhit Kanaujia, Kaushik Veeraraghavan, Chunqiang Tang

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás intentando construir el superordenador más grande y potente del mundo para resolver los problemas más difíciles en la Inteligencia Artificial. Has comprado miles de los chips informáticos más rápidos (GPUs) que el dinero puede comprar. Pero hay un problema: no tienes suficiente electricidad para hacerlos funcionar todos a máxima velocidad.

De hecho, el artículo argumenta que quedarse sin energía es ahora un problema mayor que quedarse sin chips informáticos. Es como tener una flota de 100 coches de carreras pero solo suficiente gasolina para llenar la mitad de ellos.

Este artículo describe cómo Meta (la empresa detrás de Facebook) resolvió este problema para un centro de datos masivo de 150 megavatios. No simplemente conectaron todo y esperaron lo mejor; trataron la electricidad como un recurso precioso y limitado que necesitaba ser gestionado en tres etapas distintas.

Aquí está la historia de cómo lo hicieron, utilizando analogías simples.

Las Tres Etapas de la Gestión de Energía

Los autores dividen el proceso en tres fases: Planificación, Verificación y Ejecución.

Fase 1: Planificación (La fase de "Presupuesto")

Antes de que los ordenadores siquiera llegaran, el equipo tuvo que calcular cuántos podían ajustar a su presupuesto fijo de electricidad.

El Viejo Método: Por lo general, los ingenieros miran la "velocidad máxima" de un chip (su Potencia de Diseño Térmico, o TDP) y asumen que eso es lo que siempre consumirá. Si un chip está clasificado para 1.200 vatios, planifican para 1.200 vatios.
El Método de Meta: Se dieron cuenta de que si forzaban a cada chip a funcionar a su máximo absoluto, solo podrían colocar unos pocos chips en el edificio. En su lugar, se preguntaron: "¿Y si hacemos funcionar todos los chips ligeramente más lento?"
La Analogía: Imagina un buffet con una cantidad fija de comida.
- Estrategia A: Darle a todos una comida masiva de 10 platos. Solo puedes alimentar a 50 personas.
- Estrategia B: Darle a todos una comida ligeramente más pequeña de 8 platos. Ahora puedes alimentar a 60 personas.
- El Resultado: Aunque cada persona recibió ligeramente menos comida, la cantidad total de comida consumida por el grupo es mayor, y se alimenta a más personas.
El Descubrimiento: Encontraron que al reducir el límite de potencia de cada GPU de 1.200 vatios a aproximadamente 1.000 vatios, podían colocar muchas más GPUs en el centro de datos. La ligera caída en la velocidad para cada chip individual fue más que compensada por tener más chips trabajando juntos. Esto les dio un impulso del 10% en la potencia informática total.

Fase 2: Verificación (La fase de "Realidad")

Una vez instalados los ordenadores, el equipo se dio cuenta de que sus planes no coincidían perfectamente con la realidad.

El Problema: Los medidores de energía internos de los ordenadores (PSU) estaban mintiendo. Estaban siendo excesivamente cautelosos, informando de que las máquinas estaban consumiendo más energía de la que realmente consumían. Es como un indicador de combustible de un coche que siempre dice "Vacío" cuando aún tienes un cuarto de tanque.
La Solución: Compararon los medidores internos con los sensores de energía principales del edificio (que son muy precisos). Descubrieron que si ignoraban las lecturas del "peor caso" y miraban el "promedio" de uso (específicamente el percentil 70), podían confiar más en los números.
El Resultado: Como dejaron de confiar en los medidores internos excesivamente cautelosos, se dieron cuenta de que tenían un poco de energía "oculta" que no estaban utilizando. Subieron la potencia ligeramente (de 1.000W a 1.020W), exprimiendo otro impulso del 2% en el rendimiento.

Fase 3: Ejecución (La fase de "Policía de Tráfico")

Ahora el centro de datos está ejecutando trabajos de entrenamiento de IA en vivo. El problema es que las cargas de trabajo de IA son "síncronas", lo que significa que todos los chips tienen que esperar a los demás. Si un chip es lento, todo el trabajo se ralentiza.

El Problema: A veces, la red eléctrica recibe un pico repentino. Si el sistema detecta un pico, la vieja forma era detener inmediatamente o ralentizar un chip específico para ahorrar energía. Pero en una carrera sincronizada, si ralentizas a un corredor, todo el equipo pierde.
La Solución (Dimmer): Construyeron un sistema inteligente llamado "Dimmer". En lugar de castigar a un chip, reduce suavemente la potencia de cada chip en el trabajo en una cantidad pequeña e igual.
La Analogía: Imagina un grupo de corredores en una carrera de relevos. Si la pista se vuelve resbaladiza (límite de energía), en lugar de hacer tropezar a un corredor (lo que detendría a todo el equipo), el entrenador le dice a todos que corran solo un poquito más lento. El equipo se mantiene unido y la carrera continúa sin detenerse.
El Resultado: Esto evita que el sistema se bloquee y les permite utilizar los últimos pocos por cientos de energía "varada" que antes se desperdiciaba. Esto añadió otro impulso de ~2%.

Otras Ideas Clave

El Efecto "Cuello de Botella": El centro de datos es una mezcla de diferentes hardware (ordenadores, refrigeración, conmutadores de red). A veces, el límite de energía no lo establecen los ordenadores, sino el sistema de refrigeración o los cables de red. Si una parte de la cadena es débil, limita a toda la cadena.
Oscilaciones de Energía: Cuando los chips de IA trabajan, a veces se detienen por una fracción de segundo para hablar entre sí, lo que hace que el consumo de energía baje y luego suba de golpe. El equipo creó un "suavizador de software" que llena estos pequeños huecos con trabajo ficticio, manteniendo el consumo de energía estable como un río tranquilo en lugar de un mar agitado. Esto protege la red eléctrica del edificio de golpes.
Lo Nuevo es Mejor: Compararon sus nuevos chips (GB200) con los anteriores (H100). Los nuevos chips son tan eficientes que, aunque consumen menos energía por chip, el nuevo clúster es casi dos veces más rápido que lo que habría sido el antiguo en el mismo edificio.

La Conclusión

Al tratar la electricidad como un recurso flexible en lugar de un límite fijo, y gestionándola cuidadosamente desde la etapa de planificación hasta las operaciones diarias, Meta logró obtener aproximadamente un 14% más de potencia informática de su centro de datos de 150 megavatios sin construir una sola pared nueva ni comprar un solo cable nuevo.

No encontraron una batería mágica; simplemente aprendieron a usar la electricidad que ya tenían de manera mucho más sabia.

Resumen Técnico: De la Provisioning a la Optimización en Tiempo de Ejecución de un Cluster de IA de +100 MW

Declaración del Problema

El principal cuello de botella en la carrera hacia la Inteligencia Artificial General (AGI) ha cambiado de la disponibilidad de aceleradores de IA al suministro eléctrico para los centros de datos. Mientras que investigaciones anteriores se han centrado en reducir los costos de servicios públicos, optimizar el uso de energía verde o explotar la sobresuscripción de energía, estos estudios a menudo pasan por alto la realidad crítica de que la planificación de energía en centros de datos debe priorizar la maximización de la capacidad total de cómputo dentro de un presupuesto de energía fijo. Además, el trabajo previo generalmente aborda solo la fase operativa final de la gestión de energía, descuidando el proceso de extremo a extremo que abarca desde la planificación temprana (6–12 meses antes de la disponibilidad del hardware) hasta la validación del despliegue y el ajuste dinámico en tiempo de ejecución.

Este artículo aborda el desafío de gestionar la energía para un cluster de IA a escala hiper (150 MW, 83.000 GPUs GB200) presentando un enfoque holístico de tres fases: Provisioning, Validación del Despliegue y Optimización Operativa en Tiempo de Ejecución.

Metodología

Los autores proponen un marco de tres fases para la gestión de energía, utilizando un centro de datos de 150 MW que aloja 83.000 GPUs GB200 conectadas mediante una red de backend RDMA.

Fase 1: Planificación y Provisioning

En esta fase, el objetivo es determinar la configuración óptima del cluster para maximizar el rendimiento agregado ( $T(p)$ ) dentro de un presupuesto de energía fijo ( $P_{total}$ ).

Modelo de Optimización: Los autores formulan el problema como la maximización de $T(p) = N(p) \cdot f(p)$ , donde $N(p)$ es el número de GPUs que caben en el presupuesto y $f(p)$ es el rendimiento por GPU en el límite de potencia $p$ .
Selección del Límite de Potencia: En lugar de utilizar la Potencia de Diseño Térmico (TDP) de 1200W, el equipo analiza la curva de rendimiento por vatio. Descubren que reducir el límite de potencia permite una mayor densidad de GPUs. Los datos empíricos muestran que, aunque el ancho de banda HBM cae bruscamente por debajo de 1000W, se mantiene constante entre 1000W y 1200W. En consecuencia, seleccionan un límite de potencia de 960W (80% de la TDP) como el punto de operación óptimo, equilibrando la pérdida de rendimiento por GPU con la ganancia en el número total de GPUs.
Provisioning Holístico: La metodología considera toda la jerarquía de distribución de energía (Tableros Principales, Tableros de Distribución, Paneles de Potencia de Reactor) e incluye el consumo de energía no relacionado con GPUs (refrigeración, redes, CPUs).

Fase 2: Validación del Despliegue

Una vez desplegado el hardware, el equipo valida las suposiciones y refina la configuración de energía basándose en la telemetría del mundo real.

Corrección de Mediciones: Los autores identifican que las lecturas de la Unidad de Suministro de Energía (PSU) sobreestiman sistemáticamente el consumo real de energía. Para corregir esto, comparan los datos de la PSU contra sensores de osciloscopio de alta precisión y de Panel de Potencia de Reactor (RPP) del sistema de gestión de infraestructura de datos (DCIM). Determinan que utilizar el percentil 70 (P70) de las muestras de la PSU dentro de un minuto proporciona la estimación más precisa de la potencia agregada del rack, minimizando el sesgo de los valores máximos de la PSU.
Análisis de Margen: El estudio revela un desequilibrio de potencia estático significativo en todo el centro de datos debido a mezclas heterogéneas de hardware (racks de GPU, racks de red, refrigeración) y restricciones de ubicación física. Este desequilibrio deja aproximadamente entre un 5% y un 10% de la energía "varada" en los Tableros Principales (MSBs) más restringidos.
Ajuste: Basándose en los datos de validación, el equipo aumenta el límite de potencia operativo de los 960W planificados a 1020W, asegurando que el consumo de energía P70 se alinee con el presupuesto del rack.

Fase 3: Optimización Activa en Tiempo de Ejecución

Esta fase se centra en la gestión dinámica de la energía para capturar la energía varada restante y manejar picos transitorios sin interrumpir los trabajos de entrenamiento.

Oscilaciones de Potencia: Los algoritmos de entrenamiento síncrono causan oscilaciones de potencia sincronizadas. Para mitigar esto, los autores implementan una técnica de "relleno de huecos" utilizando un suavizador de potencia basado en software. Este kernel genera carga sintética en los Tensor Cores durante los huecos de comunicación, manteniendo un consumo de energía estable (hasta 800W por acelerador) con menos del 3% de sobrecarga de rendimiento.
Algoritmo Dimmer: Para gestionar la limitación de potencia de forma dinámica, desarrollaron "Dimmer". A diferencia de la limitación tradicional que fuerza caídas abruptas o la expulsión de tareas, Dimmer reduce gradualmente los límites de potencia en todas las GPUs de un trabajo cuando un dispositivo de energía se acerca a su límite (por ejemplo, 97%).
- Conciencia del Programador: Dimmer se integra con el programador de trabajos para priorizar los grandes trabajos de pre-entrenamiento críticos para la misión. Distribuye las reducciones de potencia uniformemente para evitar crear "retrasados" que detendrían todo el trabajo.
- Mecanismos de Seguridad: El sistema utiliza una ventana de promediado de 7 segundos para distinguir entre picos transitorios y excesos sostenidos, alineándose con las características de disparo de los interruptores automáticos. Un mecanismo de seguridad garantiza que los hosts vuelvan a un límite global seguro si se pierde la comunicación con el controlador.

Contribuciones y Hallazgos Clave

Gestión de Energía de Extremo a Extremo: Este es el primer artículo que describe el ciclo de vida completo de la gestión de energía para un cluster de IA a escala hiper, desde la planificación previa al despliegue hasta la optimización en tiempo de ejecución.
Limitación Óptima de Potencia: El estudio demuestra que operar las GPUs por debajo de su TDP máxima (específicamente a 960W inicialmente, validado posteriormente a 1020W) maximiza el rendimiento total del cluster. Reducir la potencia de 1200W a 1000W ahorra un 16,7% de energía con una caída de rendimiento de solo el 5%, permitiendo una densidad de GPUs significativamente mayor.
Precisión de las Mediciones: El artículo identifica que la telemetría de la PSU sobreestima el uso de energía. Adoptar un método de agregación P70 corrige este sesgo, permitiendo una planificación de energía más precisa.
Desequilibrio Estático: La heterogeneidad del hardware y las restricciones físicas crean un margen de potencia desigual en toda la instalación. Los MSBs más restringidos dictan el rango de operación seguro, dejando hasta un 10% de la energía varada si no se gestiona dinámicamente.
Optimización Dinámica: El sistema "Dimmer" y las técnicas de suavizado de potencia capturan con éxito el porcentaje final de energía varada. Al evitar la estrangulación abrupta y distribuir las reducciones de carga, el sistema mantiene la estabilidad del trabajo mientras maximiza la utilización.

Resultados

El artículo cuantifica las mejoras en el rendimiento logradas a través de cada fase de su metodología, comparando el estado optimizado final con una línea base de 1200W por GPU:

Fase de Provisioning: La optimización para el rendimiento por vatio (límite de 960W) aumentó el rendimiento del cluster en un 10% en comparación con la línea base de 1200W al permitir una mayor densidad de GPUs.
Validación del Despliegue: Refinar el límite de potencia a 1020W basándose en la telemetría del mundo real proporcionó un aumento adicional de rendimiento de ~2%.
Optimización en Tiempo de Ejecución (Dimmer): La gestión dinámica de la energía varada y las oscilaciones de potencia arrojó una mejora adicional de ~2%.
Ganancia Total: El efecto acumulativo de estas estrategias resultó en una mejora total de ~14% en el rendimiento del cluster en comparación con la configuración inicial de 1200W.

Además, el artículo señala que, en comparación con la generación H100, la GB200 a 960W ofrece 2,4 veces el rendimiento por GPU y 1,9 veces el rendimiento agregado del cluster dentro del mismo presupuesto de energía.

Significado y Afirmaciones

Los autores posicionan este trabajo como una guía fundamental para la industria, avanzando más allá de la gestión de energía centrada en costos hacia estrategias centradas en la capacidad, esenciales para el desarrollo de la AGI. Afirman que este es el primer informe a escala de producción que cubre las tres fases de la gestión de energía para un cluster de IA de 150 MW.

El artículo enfatiza que el suministro eléctrico es ahora el factor limitante principal para la AGI, superando la disponibilidad de aceleradores. Al compartir conocimientos sobre la provisión de energía, la corrección de mediciones y el ajuste dinámico en tiempo de ejecución, los autores buscan fomentar que otros profesionales compartan sus experiencias y avancen colectivamente la eficiencia de la infraestructura de IA. Declaran explícitamente que su objetivo no es proponer nuevos algoritmos teóricos, sino compartir experiencias prácticas, probadas en producción y hallazgos que puedan guiar a futuros profesionales en el diseño de centros de datos de IA eficientes y escalables.