🤖 machine learning

Memory-Efficient Activation Checkpointing with Sliding Window and Hirschberg's Algorithm for 0/1 Knapsack Solving in PyTorch

Este artículo presenta un solucionador de checkpointing de activación eficiente en memoria para PyTorch que combina la ventana deslizante y los algoritmos de Hirschberg para reducir el uso de memoria pico de $O(nW)$ a $O(W)$ , permitiendo la resolución de problemas de la mochila 0/1 significativamente más grandes con una aceleración del tiempo de ejecución del 25-28% y su posterior integración en PyTorch 2.10.

Autores originales: Jędrzej Maczan

Publicado 2026-08-11

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Jędrzej Maczan

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás intentando hornear el pastel más delicioso y complejo del mundo, pero solo tienes una cocina diminuta y apretada. Tienes una receta que requiere que lleves la cuenta de cada ingrediente que has mezclado, cada cambio de temperatura y cada movimiento de batido para poder revertir perfectamente el proceso más tarde y ver cómo quedó el pastel. El problema es que tu encimera de la cocina (la memoria de tu computadora) es demasiado pequeña para anotar todo eso. Si intentas escribirlo todo, la encimera se desborda y tienes que detener la repostería. Este es el lucha diaria de los científicos que entrenan modelos de inteligencia artificial masivos. Necesitan recordar muchos pasos para enseñar a la IA, pero sus computadoras se quedan sin espacio. Para resolver esto, utilizan un truco ingenioso llamado "checkpointing de activación". En lugar de anotar cada uno de los pasos, eligen los más importantes para guardar y acuerdan volver a hacer los menos importantes más tarde. Es como decidir qué fotos guardar en un álbum de fotos pequeño y cuáles puedes permitirte tomar de nuevo si las olvidas. El objetivo es que todo el proceso de hornear el pastel quepa en esa cocina diminuta sin perder la magia de la receta.

Durante mucho tiempo, el programa de computadora PyTorch, que muchos científicos de IA utilizan para construir estos modelos, tenía una forma específica de decidir qué pasos guardar. Trataba la decisión como un rompecabezas clásico llamado "Problema de la Mochila 0/1". Imagina que eres un excursionista con una mochila que solo puede cargar un cierto peso. Tienes una lista de objetos, cada uno con un peso y un valor (cuánto te ayuda). Quieres elegir los objetos que te den más valor sin romper tu mochila. El método predeterminado de PyTorch para resolver este problema era como intentar escribir todas las combinaciones posibles de objetos en una hoja de papel gigante. Aunque este método era perfecto y encontraba la respuesta absoluta, la hoja de papel se volvía tan grande que la memoria de la computadora explotaba, causando que el programa fallara. Los investigadores descubrieron que, si tuvieran solo 100 artículos para elegir, el papel necesario era tan grande que requería 304 gigabytes de espacio, mucho más de los 64 gigabytes disponibles en su máquina. Era una solución perfecta que simplemente no cabía en la habitación.

En este artículo, el autor introduce una nueva forma más inteligente de resolver este rompecabezas, que llama dp_knapsack_sliding_hirschberg. En lugar de intentar escribir toda esa hoja de papel gigante a la vez, utiliza un truco de "ventana deslizante". Imagina que estás leyendo un libro largo, pero solo tienes una lupa pequeña que puede mostrarte dos páginas a la vez. Deslizas la lupa hacia abajo por el libro, mirando dos páginas, luego las siguientes dos, y así sucesivamente. De esta manera, solo necesitas tener dos páginas en tu mente en cualquier momento, ahorrando una cantidad masosa de espacio mental. Sin embargo, mirar solo dos páginas no es suficiente para recordar toda la historia; necesitas saber qué artículos específicos elegir. Para solucionar esto, combinan la ventana deslizante con una estrategia antigua e ingeniosa llamada "algoritmo de Hirschberg". Piensa en esto como un juego de "divide y vencerás". En lugar de intentar resolver todo el problema de la mochila a la vez, dividen la lista de artículos a la mitad. Resuelven la mitad izquierda, luego la mitad derecha, y luego determinan cómo combinar las dos mejores soluciones. Hacen esto de forma recursiva, descomponiendo el problema en piezas cada vez más pequeñas hasta que pueden resolverlo fácilmente, todo esto utilizando una cantidad mínima de memoria.

Los resultados de este nuevo método son impresionantes. El autor lo probó en una computadora con 64 gigabytes de RAM. Mientras que el método antiguo fallaba al intentar resolver un problema con solo 100 artículos, el nuevo método resolvió con éxito un problema con 2,000 artículos, utilizando un pico de 58.4 gigabytes de memoria. Esto significa que la computadora ahora puede manejar un problema 20 veces más grande que antes sin quedarse sin espacio. Además, el nuevo método no solo ahorra memoria; también es más rápido. En sus pruebas, funcionó de un 25% a un 28% más rápido que el método anterior. El autor midió esto ejecutando el mismo rompecabezas 1,000 veces en una máquina específica y encontró que el nuevo solver superaba consistentemente al antiguo en velocidad. Crucialmente, a diferencia de otros métodos de "solución rápida" que adivinan la respuesta y podrían ser ligeramente incorrectos, este nuevo método encuentra la solución exacta y perfecta cada vez. Es tan preciso como el método antiguo, pero mucho más eficiente.

El artículo confirma que este nuevo enfoque no es solo una teoría; ha sido integrado con éxito en el software PyTorch y está disponible en la versión 2.10. El autor muestra que, al utilizar esta combinación de ventanas deslizantes y divide y vencerás, pueden resolver el cuello de botella de memoria que estaba impidiendo que los modelos de IA crecieran más. No pretenden que esta sea la única forma de resolver el problema, ni sugieren que funcione para cada tipo de rompecabezas de computadora, pero para la tarea específica de decidir qué pasos de la IA guardar, es una actualización probada, exacta y altamente eficiente. El artículo descarta la idea de que el método antiguo sea suficiente para modelos grandes, demostrando claramente que falla cuando el número de elementos es demasiado alto. En su lugar, ofrecen una solución que mantiene la perfección de la precisión del método anterior mientras elimina el fallo de memoria, permitiendo a los científicos hornear pasteles de IA más grandes y complejos en sus cocinas diminutas.

Resumen Técnico: Almacenamiento de Activaciones Eficiente en Memoria con Ventana Deslizante y el Algoritmo de Hirschberg

Planteamiento del Problema
El almacenamiento de activaciones (activation checkpointing) es una técnica crítica para minimizar el tiempo de ejecución de las redes neuronales bajo presupuestos de memoria estrictos, mediante el almacenamiento selectivo de tensores intermedios y la recomputación de otros. En PyTorch, el marco de trabajo torch.compile modela la decisión de qué operaciones guardar frente a cuáles recomputar como un problema de la mochila de 0/1. El resolvedor por defecto, dp_knapsack, emplea programación dinámica (DP) estándar que requiere una tabla 2D completa de forma $(n + 1) \times (W + 1)$ , donde $n$ es el número de operaciones y $W$ es el presupuesto de memoria cuantizado.

El autor identifica un cuello de botella crítico de escalabilidad: el resolvedor por defecto emplea una complejidad de memoria de $O(nW)$, lo que requiere una tabla completa de la forma $(n + 1) \times (W + 1)$ , donde $n$ es el número de operaciones y $W$ es el presupuesto de memoria cuantizado. El resolvedor por defecto emplea programación dinámica (DP) estándar que requiere una tabla 2D completa de forma $(n + 1) \times (W + 1)$ , donde $n$ es el número de operaciones y $W$ es el presupuesto de memoria cuantizado. El autor identifica un cuello de botella crítico de escalabilidad: la complejidad de memoria del resolvedor por defecto es $O(nW)$. Las pruebas empíricas demuestran que este enfoque se vuelve inviable para grafos de aprendizaje profundo modernos; específicamente, el resolvedor provoca un error de falta de memoria (OOM) en una máquina de 64 GB cuando $n$ alcanza apenas 100 elementos. Esta limitación impide la optimización de modelos a gran escala con longitudes de secuencia largas o grafos de computación amplios.

Metodología
Para abordar el cuello de botella de memoria preservando la solución óptima exacta, el artículo introduce dp_knapsack_sliding_hirschberg. Este resolvedor integra dos optimizaciones algorítmicas:

Truco de la Ventana Deslizante (Sliding Window Trick): En lugar de mantener la tabla DP completa, el método almacena solo dos filas a la vez. Esto reduce la complejidad de espacio para computar el valor óptimo de $O(nW) $a$ O(W)$.
Algoritmo de Hirschberg: Dado que la optimización de la ventana deslizante descarta las filas intermedias necesarias para el retroceso (backtracking) o selección de elementos, el autor incorpora la estrategia de divide y vencerás de Hirschberg. El algoritmo divide recursivamente el conjunto de elementos en mitades, computa los perfiles de DP para cada mitad utilizando la ventana deslizante, y determina la división de capacidad óptima ( $k^*$ ) que maximiza el valor total. Luego, recursa en los subproblemas para recuperar el conjunto exacto de elementos a guardar.

Para prevenir el desbordamiento de pila (stack overflow) durante la recursión para valores grandes de $n$ , la implementación utiliza una pila LIFO explícita en lugar de llamadas a funciones recursivas. El algoritmo opera con una complejidad de espacio de $O(W + n)$ y una complejidad de tiempo de $O(nW \log n)$ .

Contribuciones Clave

Integración Algorítmica: La exitosa combinación de la técnica de ventana deslizante y el algoritmo de Hirschberg en un resolvedor de la mochila listo para producción para PyTorch.
Implementación: El resolvedor ha sido integrado en el código base de PyTorch y lanzado en la versión 2.10.
Validación Empírica: Un benchmark exhaustivo que compara el nuevo resolvedor contra el dp_knapsack por defecto, un resolvedor basado en ILP (ilp_knapsack) y un heurístico voraz (greedy_knapsack).

Resultados
La evaluación se llevó a cabo en instancias sintéticas que reflejan escenarios reales de planificación de memoria de activación, utilizando una máquina con 64 GB de RAM y un procesador AMD Ryzen 7 9800X3D.

Eficiencia de Memoria: El nuevo resolvedor se ejecuta con $n = 2,000$ con un uso de memoria pico de 58.4 GB. En contraste, el resolvedor por defecto falla con $n = 100$ . Esto representa un incremento de 20× en el tamaño de problema computable. Con $n=100$ , la huella de memoria de la tabla DP se redujo de aproximadamente 304 GB (por defecto) a ~6 GB (nuevo resolvedor).
Rendimiento de Tiempo de Ejecución: A pesar del aumento teórico en la complejidad de tiempo ( $O(nW \log n)$ frente a $O(nW)$), el nuevo resolvedor demostró una aceleración (speedup) de tiempo de ejecución constante del 25–28% sobre el dp_knapsack por defecto. El autor atribuye esto a patrones de acceso a memoria optimizados y al uso de buffers de tamaño fijo.
Optimalidad: Al igual que el resolvedor por defecto, dp_knapsack_sliding_hirschberg produce la solución exacta y óptima. Esto lo distingue de greedy_knapsack, que resultó ser hasta un 7.4% subóptimo.

Significancia y Reivindicaciones
El artículo afirma que dp_knapsack_sliding_hirschberg resuelve el cuello de botella de memoria inherente al resolvedor de almacenamiento de activaciones por defecto de PyTorch sin sacrificar la optimalidad de la solución. Al permitir la optimización de grafos de computación significativamente más grandes (hasta 20× más grandes en términos de conteo de operaciones) y proporcionar una aceleración en el tiempo de ejecución, el método se presenta como una mejora sustancial para el ecosistema de PyTorch.

El autor recomienda el nuevo resolvedor como la elección por defecto para grafos grandes o con restricciones de memoria donde se requieren soluciones exactas y donde SciPy (necesario para ilp_knapsack) no está disponible. El trabajo se posiciona como una aplicación práctica de técnicas clásicas de libros de texto (ventana deslizante) y algoritmos clásicos (Hirschberg) para resolver un desafío de ingeniería específico y de alto impacto en los compiladores de aprendizaje profundo modernos.

Resumen Técnico: Almacenamiento de Activaciones Eficiente en Memoria con Ventana Deslizante y el Algoritmo de Hirschberg

Más como este