Memory-Efficient Activation Checkpointing with Sliding Window and Hirschberg's Algorithm for 0/1 Knapsack Solving in PyTorch

Stel je voor dat je probeert de wereld'n meest heerlijke, complexe taart te bakken, maar je hebt slechts een piepkleine, krappe keuken. Je hebt een recept waarbij je elk ingrediënt dat je hebt gemengd, elke temperatuurverandering en elke roerbeweging moet bijhouden, zodat je het proces later perfect kunt omkeren om te zien hoe de taart is geworden. Het probleem is dat je aanrecht (het geheugen van je computer) te klein is om al die aantekeningen in te bewaren. Als je alles probeert op te schrijven, loopt je aanrecht over en moet je stoppen met bakken. Dit is de dagelijkse strijd voor wetenschappers die enorme kunstmatige intelligentie-modellen trainen. Ze moeten veel stappen onthouden om de AI te leren, maar hun computers raken de ruimte kwijt. Om dit op te lossen, gebruiken ze een slimme truc genaamd "activation checkpointing". In plaats van elke stap op te schrijven, kiezen ze de belangrijkste stappen om te bewaren en spreken ze af om de minder belangrijke stappen later opnieuw te doen. Het is alsof je beslist welke foto's je in een klein fotoalbum bewaart en welke je opnieuw kunt maken als je ze vergeet. Het doel is om het hele taartbakproces in die kleine keuken te laten passen zonder de magie van het recept te verliezen.

Lama tijd lang had het computerprogramma PyTorch, dat veel AI-wetenschappers gebruiken om deze modellen te bouwen, een specifieke manier om te beslissen welke stappen te bewaren. Het behandelde de beslissing als een klassieke puzzel genaamd het "0/1 knapzakprobleem". Stel je voor dat je een wandelaar bent met een rugzak die slechts een bepaalde hoeveelheid gewicht kan dragen. Je hebt een lijst met items, elk met een gewicht en een waarde (hoezeer ze je helpen). Je wilt de items kiezen die de meeste waarde opleveren zonder je rugzak te breken. De standaardmethode van PyTorch om dit probleem op te lossen, was alsof je probeerde elke mogelijke combinatie van items op een gigantisch vel papier te schrijven. Hoewel deze methode perfect was en het absoluut beste antwoord vond, werd het vel papier zo groot dat het geheugen van de computer ontplofte, waardoor het programma crashte. De onderzoekers ontdekten dat als ze slechts 100 items hadden om uit te kiezen, het benodigde papier zo groot was dat het 304 gigabyte aan ruimte vereiste, wat veel meer is dan de 64 gigabyte die beschikbaar was op hun machine. Het was een perfecte oplossing die simpelweg niet in de kamer paste.

In dit artikel introduceert de auteur een nieuwe, slimmere manier om dit puzzelstuk op te lossen, die hij dp_knapsack_sliding_hirschberg noemt. In plaats van te proberen het hele gigantische vel papier in één keer op te schrijven, gebruikt hij een "sliding window"-truc (schuivend venster). Stel je voor dat je een lang boek leest, maar je hebt slechts een kleine loep die je twee pagina's tegelijk kan laten zien. Je schuift de loep naar beneden door het boek, kijkt naar twee pagina's, dan de volgende twee, enzovoort. Op deze manier hoef je op elk moment slechts twee pagina's in je hoofd te houden, wat een enorme hoeveelheid mentale ruimte bespaart. Echter, alleen naar twee pagina's kijken is niet genoeg om het hele verhaal te onthouden; je moet weten welke specifieke items je moet kiezen. Om dit op te lossen, combineren ze het schuivende venster met een oude, slimme strategie genaamd "Hirschberg's algoritme". Denk aan dit als een "verdeel en heers"-spel. In plaats van het hele rugzakprobleem in één keer op te lossen, splitsen ze de lijst met items in tweeën. Ze lossen de linkerhelft op, dan de rechterhelft, en vervolgens zoeken ze uit hoe ze de twee beste oplossingen kunnen combineren. Ze doen dit recursief, waarbij ze het probleem steeds verder opdelen in kleinere en kleinere stukjes totdat ze het gemakkelijk kunnen oplossen, terwijl ze tegelijkertijd slechts een fractie van de geheugencapaciteit gebruiken.

De resultaten van deze nieuwe methode zijn indrukwekkend. De auteur testte het op een computer met 64 gigabyte RAM. Terwijl de oude methode crashte bij het proberen op te lossen van een probleem met slechts 100 items, loste de nieuwe methode succesvol een probleem met 2.000 items op, met een piek van 58,4 gigabyte aan geheugen. Dit betekent dat de computer nu een probleem kan aanpakken dat 20 keer groter is dan voorheen zonder dat het geheugen volloopt. Bovendien is de nieuwe methode niet alleen een geheugenbespaarder; het is ook sneller. In hun tests draaide het 25% tot 28% sneller dan de oude methode. De auteur mat dit door dezelfde puzzel 1.000 keer op een specifieke machine te draaien en vond dat de nieuwe solver de oude consequent versloeg op snelheid. Cruciaal is dat, in tegen tegenstelling tot sommige andere "snelle oplossingen" die een gok wagen en er eventueel naast kunnen zitten, deze nieuwe methode elke keer de exacte, perfecte oplossing vindt. Het is even nauwkeurig als de oude methode, maar veel efficiënter.

Het artikel bevestigt dat deze nieuwe aanpak niet slechts een theorie is; het is succesvol samengevoegd met de PyTorch-software en is beschikbaar in versie 2.10. De auteur laat zien dat zij door deze combinatie van schuivende vensters en verdeel-en-heers-strategieën de geheugenbottleneck kunnen oplossen die de groei van AI-modellen tegenhield. Ze beweren niet dat dit de enige manier is om het probleem op te lossen, noch suggereren ze dat het voor elk type computerpuzzel werkt, maar voor de specifieke taak van het beslissen welke AI-stappen te bewaren, is het een bewezen, exacte en zeer efficiënte upgrade. Het artikel weerlegt de gedachte dat de oude methode voldoende is voor grote modellen, door duidelijk aan te tonen dat deze faalt wanneer het aantal items te hoog wordt. In plaats daarvan bieden ze een oplossing die de perfecte nauwkeurigheid van de oude manier behoudt terwijl de geheugencrash wordt geëlimineerd, waardoor wetenschappers grotere, complexere AI-taarten kunnen bakken in hun kleine keukens.