Memory-Efficient Activation Checkpointing with Sliding Window and Hirschberg's Algorithm for 0/1 Knapsack Solving in PyTorch

Immagina di cercare di preparare la torta più deliziosa e complessa del mondo, ma hai a disposizione solo una cucina minuscola e angusta. Hai una ricetta che richiede di tenere traccia di ogni singolo ingrediente che hai mescolato, di ogni variazione di temperatura e di ogni movimento di frusta, affinché tu possa invertire perfettamente il processo in seguito per vedere come è venuta la torta. Il problema è che il tuo piano di lavoro (la memoria del tuo computer) è troppo piccolo per contenere tutti questi appunti. Se provi a scrivere tutto, il piano si riempie troppo e devi fermarti. Questo è lo sforzo quotidiano degli scienziati che addestrano enormi modelli di intelligenza artificiale. Devono ricordare molti passaggi per insegnare all'IA, ma i loro computer finiscono lo spazio. Per risolvere questo problema, usano un trucco astuto chiamato "activation checkpointing". Invece di scrivere ogni singolo passaggio, scelgono i passaggi più importanti da salvare e concordano di rifare quelli meno importanti in seguito. È come decidere quali foto tenere in un piccolo album fotografico e quali invece puoi permetterti di scattare di nuovo se le dimentichi. L'obiettivo è far entrare l'intero processo di preparazione della torta in quella piccola cucina senza perdere la magia della ricetta.

Per molto tempo, il programma PyTorch, che molti scienziati dell'IA usano per costruire questi modelli, ha avuto un modo specifico di decidere quali passaggi salvare. Trattava la decisione come un classico rompicapo chiamato "Problema dello zaino 0/1". Immagina di essere un escursionista con uno zaino che può contenere solo un certo peso. Hai una lista di oggetti, ognuno con un peso e un valore (quanto ti è utile). Vuoi scegliere gli oggetti che ti danno il maggior valore senza rompere il tuo zaino. Il metodo predefinito di PyTorch per risolvere questo problema era come cercare di scrivere ogni possibile combinazione di oggetti su un enorme foglio di carta. Sebbene questo metodo fosse perfetto e trovasse la risposta assoluta migliore, il foglio di carta diventava così grande che la memoria del computer esplodeva, causando il crash del programma. I ricercatori hanno scoperto che se avessero avuto solo 100 oggetti da scegliere, lo spazio necessario per il foglio era così grande da richiedere 304 gigabyte, ovvero molto più dei 64 gigabyte disponibili sulla loro macchina. Era una soluzione perfetta che semplicemente non poteva stare nella stanza.

In questo articolo, l'autore introduce un modo nuovo e più intelligente per risolvere questo enigma, che chiama dp_knapsack_sliding_hirschberg. Invece di cercare di scrivere tutto quel gigantesco foglio di carta in una volta sola, utilizza un trucco a "finestra scorrevole". Immagina di leggere un libro lungo, ma di avere solo una piccola lente d'ingrandimento che può mostrare due pagine alla volta. Fai scorrere la lente lungo il libro, guardando due pagine, poi le successive due, e così via. In questo modo, hai bisogno di tenere a mente solo due pagine alla volta, risparmiando una quantità enorme di spazio mentale. Tuttavia, guardare solo due pagine non basta per ricordare l'intera storia; devi sapere quali oggetti specifici scegliere. Per risolvere questo problema, combinano la finestra scorrevole con una vecchia e astuta strategia chiamata "algoritmo di Hirschberg". Consideralo un gioco di "divide et impera". Inveve di cercare di risolvere l'intero problema dello zaino in una volta sola, dividono la lista di oggetti a metà. Risolvono la metà sinistra, poi la metà destra e infine capiscono come combinare le due migliori soluzioni. Lo fanno ricorsivamente, scomponendo il problema in pezzi sempre più piccoli finché non riescono a risolverlo facilmente, il tutto utilizzando una quantità minima di memoria.

I risultati di questo nuovo metodo sono impressionanti. L'autore ha testato il metodo su un computer con 64 gigabyte di RAM. Mentre il vecchio metodo andava in crash cercando di risolvere un problema con soli 100 oggetti, il nuovo metodo ha risolto con successo un problema con 2.000 oggetti, utilizzando un picco di 58,4 gigabyte di memoria. Ciò significa che il computer può ora gestire un problema 20 volte più grande di prima senza esaurire lo spazio. Inoltre, il nuovo metodo non è solo un risparmio di memoria; è anche più veloce. Nei loro test, è stato più veloce del 25% - 28% rispetto al vecchio metodo. L'autore ha misurato questo eseguendo lo stesso rompicapo 1.000 volte su una macchina specifica e ha scoperto che il nuovo risolutore batteva costantemente il vecchio in termini di velocità. Fondamentalmente, a differenza di altri metodi di "soluzione rapida" che tirano a indovinare e potrebbero essere leggermente errati, questo nuovo metodo trova sempre la soluzione esatta e perfetta. È accurato quanto il vecchio metodo, ma molto più efficiente.

L'articolo conferma che questo nuovo approccio non è solo una teoria; è stato integrato con successo nel software PyTorch ed è disponibile nella versione 2.10. L'autore dimostra che, utilizzando questa combinazione di finestre scorrevoli e divide et impera, possono risolvere il collo di bottiglia della memoria che impediva ai modelli di IA di crescere ulteriormente. Non sostengono che questo sia l'unico modo per risolvere il problema, né suggeriscono che funzioni per ogni singolo tipo di enigma informatico, ma per il compito specifico di decidere quali passaggi dell'IA salvare, è un aggiornamento provato, esatto e altamente efficiente. L'articolo esclude l'idea che il vecchio metodo sia sufficiente per i modelli di grandi dimensioni, mostrando chiaramente che fallisce quando il numero di elementi diventa troppo alto. Invece, offrono una soluzione che mantiene la perfezione dell'accuratezza del vecchio metodo pur eliminando il crash della memoria, permettendo agli scienziati di preparare torte di IA più grandi e complesse nelle loro piccole cucine.