🤖 AI

Piper: A Programmable Distributed Training System

Piper es un sistema de entrenamiento distribuido programable que desacopla las estrategias de paralelismo de alto nivel de las implementaciones de tiempo de ejecución de bajo nivel mediante una representación intermedia unificada, permitiendo la composición flexible de diversas estrategias como ZeRO y el DualPipe de DeepSeek-V3 mientras mantiene la paridad de rendimiento y mejora la eficiencia.

Autores originales: Megan Frisella, Shubham Tiwari, Andy Ruan, Yi Pan, Parker Gustafson, Mat Jacob, Gilbert Bernstein, Stephanie Wang

Publicado 2026-06-10

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Megan Frisella, Shubham Tiwari, Andy Ruan, Yi Pan, Parker Gustafson, Mat Jacob, Gilbert Bernstein, Stephanie Wang

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás intentando hornear un pastel masivo y complejo (un modelo de IA gigante) que es demasiado grande para caber en una sola cocina. Tienes que contratar a cientos de chefs (chips de computadora) y repartir el trabajo entre ellos.

El problema es que coordinar a cientos de chefs es increíblemente difícil. Si le dices al Chef A que mezcle la masa mientras el Chef B espera los huevos, pierdes tiempo. Si el Chef A y el Chef B intentan agarrar el mismo tazón al mismo tiempo, chocan.

Actualmente, la mayoría de los sistemas de entrenamiento de IA son como libros de recetas rígidos. Tienen unas pocas formas preescritas de dividir el trabajo (como "cada uno mezcla su propia masa" o "pasen el tazón en fila"). Si quieres probar una forma nueva y sofisticada de cocinar que ahorre tiempo o espacio, tienes que contratar a un experto humano para reescribir todo el libro de recetas desde cero. Es lento, costoso y difícil de cambiar.

Piper es un nuevo "gestor de cocina inteligente" que cambia las reglas del juego. En lugar de una receta rígida, Piper te da un conjunto de instrucciones simples (como "pon el mezclado en el mostrador de la izquierda" o "pasa el tazón mientras el horno se está calentando") y un plano universal. Piper luego descubre exactamente cómo realizar el trabajo de manera eficiente, sin importar cuán complejas sean tus instrucciones.

Aquí te explicamos cómo funciona Piper, desglosado en conceptos simples:

1. El Plano (El "IR")

Imagina que la receta del pastel no es solo una lista de pasos, sino un gigantesco diagrama de flujo en 3D que muestra cada una de las acciones que cada chef debe realizar y cómo dependen unos de otros. Piper llama a esto el DAG de Entrenamiento Global (un término elegante para un mapa de todo el trabajo).

La forma antigua: El sistema solo conocía unos pocos diagramas de flujo fijos.
La forma de Piper: Tú dibujas tu propio diagrama de flujo usando etiquetas simples. Piper toma tu dibujo y lo convierte en un plan maestro que cada chef puede seguir.

2. Las Instrucciones (El "API")

Piper te ofrece un lenguaje sencillo para decirle al sistema lo que quieres, sin necesidad de conocer los detalles minuciosos del hardware.

Anotaciones: Puedes etiquetar partes del modelo. Por ejemplo, puedes decir: "Esta parte del pastel es solo para los chefs 'Expertos'", o "Esta parte necesita dividirse en 4 mostradores diferentes".
Directivas: Estas son tus órdenes. Puedes decir: "Divide este gran lote en piezas más pequeñas para que podamos trabajar en ellas al mismo tiempo", o "Asegúrate de que el mezclado ocurra mientras el horneado se está enfriando".
La Magia: No tienes que decirle a la computadora cómo mover los tazones o qué cuchara específica usar. Solo dices qué necesita suceder, y Piper se encarga de la logística.

3. El Gestor (El "Runtime")

Una vez que le das tus instrucciones a Piper, este actúa como un controlador de tráfico central.

El Programador Central: Observa tu plano y lo descompone en tareas diminutas y específicas para cada chef. Decide quién hace qué y cuándo.
Los Trabajadores: Cada chef (chip de computadora) recibe su lista específica de tareas. No necesitan hablar entre sí para entender el plan; simplemente siguen la lista que Piper les entregó.
Evitando Atascos de Tráfico: Un problema importante en el entrenamiento de IA son las "burbujas": momentos en los que un chef se queda ocioso esperando un tazón. Piper es inteligente con la superposición de tareas. Podría decirle al Chef A que comience a mezclar el siguiente lote mientras el Chef B todavía está lavando el tazón del anterior. Asegura que la comunicación (pasar los tazones) ocurra exactamente al mismo tiempo que la cocción (mezclado), para que nadie esté esperando sin hacer nada.

¿Por qué es esto importante?

El artículo muestra que Piper puede hacer dos cosas con las que los sistemas actuales tienen dificultades:

Iguala la velocidad de los expertos: Para las formas estándar y comunes de entrenamiento, Piper es tan rápido como los sistemas de alto nivel utilizados por las grandes empresas hoy en día.
Desbloquea estrategias complejas y nuevas: Debido a que Piper es flexible, puede manejar estrategias "híbridas" que otros sistemas no pueden.
- Ejemplo: El artículo menciona una estrategia llamada DualPipe. Imagina una cocina donde estás horneando dos tipos de pasteles diferentes al mismo tiempo, pero tienes que intercambiar ingredientes entre los hornos con un ritmo muy específico y complicado. Los sistemas antiguos se confunden con esto y, o bien fallan, o bien funcionan muy lentamente. Piper maneja este ritmo perfectamente, permitiendo que los chefs trabajen de 6 a 30% más rápido y quepan pasteles mucho más grandes en la cocina sin quedarse sin espacio en los mostradores (memoria).

La Conclusión

Piper es como pasar de un manual de instrucciones rígido y preimpreso a un gestor de proyectos inteligente y adaptable. Permite que los investigadores de IA diseñen sus propias formas personalizadas de entrenar modelos gigantes sin tener que convertirse en ingenieros de hardware. Hace que el sistema sea lo suficientemente rápido para las necesidades actuales, pero lo suficientemente flexible como para manejar las estrategias locas y complejas del mañana.

Resumen Técnico: Piper - Un Sistema de Entrenamiento Distribuido Programable

Planteamiento del Problema

A medida que los modelos de aprendizaje automático escalan hacia modelos fundacionales que requieren cientos o miles de aceleradores, la complejidad de diseñar estrategias de entrenamiento distribuido se ha convertido en un cuello de botella. Los enfoques actuales enfrentan una dicotomía:

Sistemas Desplegados: Los sistemas de alto rendimiento (como los utilizados para DeepSeek-V3) dependen de expertos humanos para co-diseñar manualmente estrategias de paralelismo de alto nivel (por ejemplo, Paralelismo de Pipeline (PP), Paralelismo de Expertos (EP)) con estrategias de ejecución de bajo nivel (por ejemplo, programación de recursos intra-GPU, gestión de streams). Esto resulta en sistemas rígidos que son difíciles de adaptar a nuevas estrategias o dimensiones de paralelismo compuestas.
Frameworks de Propósito General: Frameworks como Megatron-LM, DeepSpeed y TorchTitan ofrecen interfaces flexibles pero suelen tratar las dimensiones de paralelismo como independientes. Despachan operaciones de forma codiciosa (eagerly), lo que dificulta la programación conjunta de comunicación y computación a través de estrategias compuestas (por ejemplo, el solapamiento de un All-to-All de EP con un All-Reduce de DP). Además, a menudo no logran soportar plenamente combinaciones complejas, como PP con ZeRO-2 o ZeRO-3, debido a las interacciones entre los hooks de las capas y los esquemas de ejecución.

El desafío central es la extensibilidad: crear un sistema que minimice el esfuerzo para especificar e implementar estrategias de entrenamiento distribuido arbitrarias manteniendo un alto rendimiento y eficiencia de memoria.

Metodología

Piper aborda estos desafíos desacoplando la especificación de la estrategia de la implementación en tiempo de ejecución a través de una Representación Intermedia (IR) unificada. El sistema consta de tres componentes principales:

1. API de Programación para el Usuario

Piper proporciona una API declarativa que permite a los usuarios controlar tanto el posicionamiento de alto nivel como la ejecución de bajo nivel sin escribir programadores (schedulers) personalizados.

Anotaciones: Los usuarios etiquetan regiones semánticamente significativas de un modelo PyTorch (por ejemplo, capas específicas, bloques de expertos) utilizando gestores de contexto. Estas etiquetas definen los límites para las dimensiones de paralelismo (por ejemplo, PP, EP, DP).
Directivas de Programación: Los usuarios aplican directivas para transformar la IR del sistema. Las directivas clave incluyen:
- Posicionamiento (Placement): Place, Replicate y Shard definen el mapeo de dispositivos e introducen los nodos de comunicación necesarios (P2P, All-Reduce, All-Gather, All-to-All).
- Granularidad: Split replica los nodos para crear microbatches, permitiendo el solapamiento de pipeline.
- Ordenamiento (Ordering): Order impone dependencias temporales entre subgrafos, permitiendo a los usuarios especificar patrones de solapamiento complejos (por ejemplo, solapar el microbatch forward $i$ con el backward microbatch $i-1$ ) y la asignación de recursos (por ejemplo, asignar streams lógicos específicos a la comunicación).
Control de Recursos: Los usuarios pueden asignar streams lógicos de GPU a directivas específicas, permitiendo un control fino del solapamiento de comunicación y computación sin gestionar directamente los streams de CUDA físicos.

2. Representación Intermedia (IR) Unificada

El núcleo de Piper es un DAG de Entrenamiento Global (Grafo Acíclico Dirigido).

Estructura: El DAG representa todas las operaciones de computación y comunicación. Los nodos son ya sea Chunks (unidades de cómputo de grano grueso) o nodos Comm (operaciones de comunicación).
Transformación: El compilador comienza con un DAG de un solo dispositivo extraído del código del modelo. Las directivas del usuario actúan como reescrituras de grafos, transformando el DAG de un solo dispositivo en un DAG distribuido con nodos de comunicación explícitos, microbatching y posicionamiento de dispositivos.
Seguridad: El sistema garantiza que las transformaciones respeten las dependencias de datos y temporales definidas por el modelo y las directivas del usuario.

3. Tiempo de Ejecución Distribuido Agnóstico a la Estrategia

Piper utiliza un programador centralizado y un modelo de ejecución basado en trabajadores (implementado en Ray).

Programador Centralizado: Toma el DAG transformado y lo descompone en sub-DAGs únicos para cada rango de Paralelismo de Pipeline (PP). Resuelve los ordenamientos parciales entre tareas independientes asignadas al mismo stream, generando un orden total por stream.
Ejecución de Trabajadores: Los trabajadores cargan sus fragmentos (shards) de modelo específicos y ejecutan tareas de acuerdo con el plan del programador.
Gestión de Recursos:
- Streams: Las tareas se despachan a streams lógicos, que se mapean a streams de CUDA físicos. La sincronización (vía eventos de CUDA) se inserta solo cuando las dependencias cruzan streams.
- Comunicación: Para evitar deadlocks y burbujas, Piper asigna comunicadores y streams separados para operaciones de envío/recepción punto a punto, asegurando un orden consistente sin requerir conocimiento global del tiempo de ejecución.
- Memoria: Piper gestiona la memoria para estados del modelo (parámetros, gradientes, estados del optimizador) y activaciones. Soporta el fragmentado (sharding) estilo ZeRO mediante la materialización de estados antes de la computación y el re-fragmentado después, asegurando un uso correcto de la memoria entre microbatches.

Contribuciones Clave

Interfaz de Programación para el Usuario: Una API flexible para controlar estrategias de paralelismo inter- y intra-dispositivo, permitiendo a los usuarios especificar el posicionamiento de alto nivel y el orden de ejecución de bajo nivel mediante directivas.
IR Unificada (Global Training DAG): Una representación que permite la programación conjunta de las operaciones de comunicación y computación introducidas por estrategias de paralelismo compuestas (por ejemplo, PP + EP + ZeRO).
Tiempo de Ejecución Agnóstico a la Estrategia: Un tiempo de ejecución distribuido eficiente capaz de ejecutar estrategias arbitrarias definidas por la IR, manejando la contención de recursos y la sincronización automáticamente.
Evaluación de Extremo a Extremo: Demostración de que Piper iguala el rendimiento de los frameworks de propósito general en estrategias estándar mientras permite nuevas estrategias de alto rendimiento que otros frameworks no pueden soportar.

Resultados

Los autores evaluaron Piper frente a Megatron-LM, DeepSpeed y TorchTitan en instancias AWS EC2 con GPUs NVIDIA A100.

Estrategias Comunes: Piper logra paridad de rendimiento con Megatron-LM y TorchTitan en esquemas estándar de 1F1B e Interleaved 1F1B.
Compatibilidad PP x ZeRO:
- Mientras que Megatron, DeepSpeed y TorchTitan luchan por soportar PP combinado con ZeRO-2 (fragmentación de parámetros) y ZeRO-3 (fragmentación de pesos), Piper soporta todas las combinaciones.
- Eficiencia de Memoria: En escenarios de PP x ZeRO-2 y PP x ZeRO-3, Piper permite tamaños de batch de 3 a 8 veces mayores en comparación con TorchTitan, el cual falla al no re-fragmentar correctamente los pesos y gradientes entre microbatches, provocando errores de Out-Of-Memory (OOM).
Nuevas Estrategias (DualPipeV):
- Piper implementa con éxito el esquema DualPipeV (combinando PP y EP con solapamiento de microbatches).
- Ganancias de Rendimiento (Throughput): En un modelo de 1B, Piper-DualPipeV mejora el throughput en un 13% sobre el esquema base 1F1B de Piper. En un modelo de 9B, mejora en un 10% sobre su propio esquema interleaved y un 6% sobre el esquema interleaved de Megatron.
- Comparación: La implementación de DualPipeV de TorchTitan mostró una mejora insignificante (3%) sobre su baseline, atribuida a la serialización no deseada causada por el despacho basado en hilos (threads).

Significancia

El artículo afirma que la significancia de Piper radica en su capacidad de desacoplar la estrategia de la implementación. Al proporcionar una IR unificada y una API flexible, Piper reduce la barrera para implementar estrategias de paralelismo compuestas y complejas (como DualPipe) que actualmente requieren una extensa ingeniería humana. Cierra la brecha entre la flexibilidad de los frameworks de propósito general y el rendimiento de los sistemas especializados y ajustados a mano. Además, Piper sirve como un tiempo de ejecución viable para futuros sistemas de búsqueda automatizada, ya que puede ejecutar estrategias arbitrarias sin tener programadas las optimizaciones, permitiendo así la exploración de un espacio mucho más amplio de configuraciones de entrenamiento distribuido.