EROICA: Online Performance Troubleshooting for Large-scale Model Training

El artículo presenta EROICA, el primer sistema de resolución de problemas en línea que diagnostica con un 97,5% de éxito fallos de rendimiento en clusters de entrenamiento de modelos grandes de ~100.000 GPUs mediante perfilado en tiempo real y observabilidad diferencial, logrando una cobertura completa con impacto mínimo en la producción.

Lo esencial

Imagina que entrenar una Inteligencia Artificial gigante (como las que crean imágenes o escriben libros) es como dirigir una orquesta sinfónica de 100,000 músicos (las tarjetas gráficas o GPUs) tocando al mismo tiempo en una sala inmensa.

El objetivo es que todos toquen la misma partitura, al mismo ritmo, perfectamente sincronizados. Pero, a veces, la música se vuelve lenta, se detiene o suena mal. ¿Por qué? ¿Es que un músico se equivocó? ¿Es que el violín se rompió? ¿O es que el director no dio la señal a tiempo?

Aquí es donde entra EROICA (el nombre viene de la famosa sinfonía de Beethoven, porque busca llevar la "perfección" a este caos).

El Problema: Buscar una aguja en un pajar gigante

Antes de EROICA, diagnosticar estos problemas era una pesadilla:

1. Los "vigilantes" tradicionales (Monitoreo): Eran como guardias que miraban el reloj cada segundo. Sabían si la orquesta en general iba lenta, pero no podían decirte qué nota específica estaba mal o qué músico estaba fallando. Era demasiado vago.
2. Los "detectives" tradicionales (Perfilado): Eran como cámaras de ultra alta velocidad que grababan cada movimiento de cada músico. El problema es que generaban tanta película (datos) que tardaban años en verla. Además, para grabar todo, tenían que detener la orquesta o ralentizarla, lo cual era imposible en una producción real.

El resultado: Los ingenieros a menudo tenían que adivinar, crear pequeñas orquestas de prueba (que no se parecían a la real) o esperar días para encontrar el error.

La Solución: EROICA, el "Ojo Mágico" Inteligente

EROICA es un sistema nuevo que funciona como un detective superpoderoso que puede ver todo sin molestar a nadie. Su secreto no es mirar todo el tiempo, sino mirar inteligentemente solo cuando algo va mal.

Aquí está cómo funciona, con analogías sencillas:

1. El Disparador Inteligente (Detectar el problema)

EROICA no graba todo el tiempo. Solo se activa cuando nota que el ritmo de la música (el entrenamiento) se ralentiza. Es como un director que dice: "¡Espera! Ese compás sonó lento. ¡Detengamos todo un segundo para ver qué pasó!".

2. La "Resumen de la Canción" (Patrones de comportamiento)

En lugar de guardar horas de video de cada músico (lo cual llenaría todos los discos duros del mundo), EROICA crea un resumen de 3 números para cada acción:

• ¿Cuánto tiempo ocupó? (¿Fue un segundo o una hora?)
• ¿Qué tan fuerte tocó? (¿Usó todo el poder de la tarjeta gráfica o solo un poco?)
• ¿Fue constante o titubeó? (¿El ritmo fue suave o saltó?)

Imagina que en lugar de ver la película completa de un concierto, EROICA te dice: "El violinista #45 tocó 3 veces más lento que los demás y su arco tembló". Eso es todo lo que necesitas para saber dónde está el problema.

3. La Comparación (Diferenciación)

Como todos los músicos deberían tocar igual, EROICA compara a cada uno con el promedio.

• Si todos tocan lento, el problema es la partitura (el código) o el salón (la configuración).
• Si solo uno toca raro, el problema es ese músico (una tarjeta gráfica rota o un cable suelto).

¿Qué ha logrado EROICA en la vida real?

En los centros de datos de Alibaba Cloud, donde hay miles de máquinas entrenando modelos gigantes, EROICA ha sido un éxito rotundo:

• Ha encontrado el 97.5% de los problemas que antes eran imposibles de resolver.
• Es rápido: Puede analizar una orquesta de 1,000,000 de músicos en menos de 7 minutos.
• No molesta: Al usar solo resúmenes y activarse solo cuando es necesario, no ralentiza el entrenamiento.
• Ayuda a los humanos (y a la IA): EROICA no solo dice "hay un error", sino que le da a los ingenieros (o a una IA como Cursor) la pista exacta: "El código en la línea 45 está esperando datos del disco duro, y el disco duro está lento". En un caso real, EROICA encontró un error en el código tan rápido que una IA pudo arreglarlo automáticamente.

En resumen

EROICA es como tener un médico de la orquesta que, en lugar de hacer una radiografía completa de todos los músicos cada hora, solo escucha cuando la música se detiene, toma el pulso de cada instrumento en segundos y te dice exactamente cuál está enfermo y por qué, sin detener el concierto.

Ha transformado el caos de entrenar Inteligencias Artificiales gigantes en un proceso mucho más ordenado, rápido y eficiente.

Resumen técnico

Resumen Técnico: EROICA

1. El Problema: Diagnóstico de Rendimiento en Entrenamiento de Modelos Grandes (LMT)

El entrenamiento de modelos de lenguaje grandes (LMT) en clusters de GPU a gran escala enfrenta desafíos sin precedentes para la resolución de problemas de rendimiento.

• Complejidad y Escala: Los clusters modernos pueden tener ~100,000 GPUs. Los problemas de rendimiento surgen de interacciones complejas entre hardware (GPUs, interconexiones NVLink/PCIe, redes) y software (código de usuario, configuraciones, bibliotecas como PyTorch/NCCL).
• Limitaciones de las Herramientas Actuales:
  • Monitoreo Online (Coarse-grained): Herramientas como DCGM o eBPF ofrecen cobertura de todo el clúster pero con baja granularidad (muestras de segundos). Solo detectan síntomas generales (ej. degradación en la fase de comunicación) pero no pueden identificar la causa raíz precisa (ej. qué línea de código o enlace de red específico falló).
  • Perfilado Offline (Fine-grained): Herramientas como Nsight Systems o Torch Profiler ofrecen detalles microscópicos pero generan volúmenes masivos de datos (ej. 100 MB/seg por worker) y tienen una sobrecarga de rendimiento significativa. Esto impide su uso en producción a gran escala; solo se pueden usar en entornos de prueba pequeños, lo que a menudo no reproduce los problemas reales.
• La Brecha: Existe una falta de herramientas que combinen la granularidad fina del perfilado offline con la cobertura completa del clúster del monitoreo online, sin impactar el rendimiento de la producción.

2. Metodología: EROICA

EROICA es el primer sistema de resolución de problemas en línea que utiliza un enfoque de observabilidad diferencial basado en perfiles. Su diseño se basa en la premisa de que, en arquitecturas LMT homogéneas, el comportamiento de las funciones en todos los trabajadores (workers) debería ser consistente.

Componentes Clave del Diseño:

1. Detección de Degradación y Perfilado Bajo Demanda:

   • EROICA monitorea el tiempo de iteración de entrenamiento (entre dataloader.next() y optimizer.step()) sin acceder al código del usuario.
   • Detecta anomalías (ej. aumento del 5% en el tiempo de iteración o bloqueo) y dispara un perfilado sincronizado en todos los workers simultáneamente durante una ventana corta (20 segundos).

2. Resumen de Patrones de Comportamiento (Behavior Patterns):

   • En lugar de enviar los datos crudos del perfilado (que serían terabytes), EROICA resume el comportamiento de cada función en cada worker en un vector de 3 dimensiones compacto (aprox. 30 KB por worker):
     • $\beta$ (Beta): Porcentaje del tiempo que la función ocupa la "ruta crítica" (critical path) del entrenamiento.
     • $\mu$ (Mu): Utilización promedio de recursos de hardware (ej. frecuencia GPU, ancho de banda de red) durante la ejecución crítica.
     • $\sigma$ (Sigma): Desviación estándar de la utilización de recursos (mide fluctuaciones).
   • Ruta Crítica: Se define dinámicamente priorizando operaciones de GPU, luego memoria, comunicación colectiva y funciones de Python. Solo se analizan las funciones que realmente bloquean el rendimiento.

3. Localización de la Causa Raíz (Differential Observability):

   • El sistema compara los patrones resumidos entre workers para identificar anomalías sin necesidad de sincronización de relojes perfecta.
   • Utiliza dos métricas de distancia:
     • Distancia a la Expectativa ($D_{f,w}$): Compara el patrón con rangos esperados basados en experiencia de producción (ej. una función de Python no debería ocupar >1% de la ruta crítica).
     • Distancia Diferencial ($\Delta_{f,w}$): Mide qué tan único es el comportamiento de un worker comparado con la mediana de todos los demás workers.
   • Si un worker muestra un comportamiento anómalo en funciones críticas, EROICA lo identifica como la fuente del problema.

4. Implementación Práctica:

   • Se integra importando una librería en el código Python del usuario (import EROICA).
   • Utiliza contenedores privilegiados y directorios compartidos (emptyDir de Kubernetes) para acceder a métricas de hardware sin alterar los permisos del contenedor del usuario.
   • Optimiza el perfilado de Torch para reducir la sobrecarga de generación de datos y limpiar recursos (hooks) después del perfilado.

3. Contribuciones Clave

• Primer Sistema de Perfilado Online: EROICA es el primer sistema que ofrece observabilidad de granularidad fina (como el perfilado offline) con cobertura de todo el clúster en producción.
• Observabilidad Diferencial Eficiente: Introduce la técnica de resumir patrones de comportamiento en lugar de analizar datos crudos, reduciendo los datos de ~3 GB a ~30 KB por worker, lo que permite el análisis en tiempo real.
• Independencia de Sincronización: Al basarse en métricas estadísticas relativas (duración, uso de recursos) en lugar de marcas de tiempo absolutas, evita problemas de desincronización de relojes en grandes clusters.
• Integración con AIOps: Los resultados de EROICA (funciones anómalas y sus patrones) se pueden usar directamente como prompts para modelos de IA (como Cursor) para diagnosticar y corregir automáticamente bugs de código.

4. Resultados en Producción

EROICA ha estado desplegado en los clusters de GPU de Alibaba Cloud (~100,000 GPUs) durante 1.5 años.

• Tasa de Éxito: Diagnosticó con éxito el 97.5% de los problemas de rendimiento difíciles (78 de 80 casos) que las técnicas anteriores no podían resolver.
• Escalabilidad:
  • Identificó anomalías en un entrenamiento de 3,400 GPUs en solo 3 minutos.
  • Escalado simulado para 1,000,000 de GPUs: el análisis completo (perfilado + resumen + localización) tomaría menos de 7 minutos.
• Impacto en Rendimiento:
  • En los casos resueltos, mejoró el rendimiento de entrenamiento entre un 20% y un 100%.
  • Sobrecarga Mínima: El perfilado solo afecta el rendimiento durante la ventana de captura (20s) y la generación de datos (~20s). El resumen y la localización ocurren fuera del proceso de entrenamiento, introduciendo cero sobrecarga en la ejecución continua.
• Casos de Éxito:
  • Caso 1: Detectó ineficiencias en la carga de datos (socket throughput) y recolección de basura asíncrona en 3,072 GPUs.
  • Caso 2: Identificó una mezcla de problemas: bajo rendimiento de red por falta de flow scheduling, una tarjeta de red (NIC) caída, y desequilibrio de carga en un modelo de video.
  • Caso 3: Diagnóstico automático de un deadlock en Python mediante IA, recuperando un trabajo atascado.

5. Significado e Impacto

EROICA representa un cambio de paradigma en la operación de infraestructuras de IA a gran escala:

• Viabilidad del Perfilado en Producción: Demuestra que es posible obtener datos de perfilado de alta fidelidad en clusters masivos sin paralizar el entrenamiento, resolviendo el dilema tradicional entre granularidad y escalabilidad.
• Habilitador de AIOps: Al proporcionar datos estructurados y accionables sobre el comportamiento del sistema, cierra la brecha entre la observación de síntomas y la identificación de causas raíz, facilitando la automatización de la reparación de sistemas complejos.
• Eficiencia Económica: Al reducir drásticamente el tiempo de inactividad (downtime) y mejorar el rendimiento de entrenamiento, ahorra recursos computacionales masivos y costos asociados en la industria de la IA.

En resumen, EROICA transforma la resolución de problemas de rendimiento de un proceso reactivo, manual y basado en pruebas limitadas, a uno proactivo, automatizado y basado en datos completos del sistema en tiempo real.