Memory-Efficient Activation Checkpointing with Sliding Window and Hirschberg's Algorithm for 0/1 Knapsack Solving in PyTorch

Stellen Sie sich vor, Sie versuchen, den köstlichsten, komplexesten Kuchen der Welt zu backen, aber Sie haben nur eine winzige, enge Küche. Sie haben ein Rezept, das erfordert, dass Sie jeden einzelnen hinzugefügten Inhaltsstoff, jede Temperaturänderung und jede Rührbewegung im Auge behalten, damit Sie den Prozess später perfekt umkehren können, um zu sehen, wie der Kuchen geworden ist. Das Problem ist, dass Ihre Küchenarbeitsplatte (der Speicher Ihres Computers) zu klein ist, um all diese Notizen aufzunehmen. Wenn Sie versuchen, alles aufzuschreiben, läuft die Arbeitsplatte über und Sie müssen das Backen abbrechen. Dies ist der tägliche Kampf für Wissenschaftler, die riesige künstliche Intelligenzmodelle trainieren. Sie müssen sich viele Schritte merken, um die KI zu lehren, aber ihre Computer gehen in den Speicherplatz aus. Um dies zu lösen, verwenden sie einen cleveren Trick namens „Activation Checkpointing“. Anstatt jeden einzelnen Schritt aufzuschreiben, wählen sie die wichtigsten aus, um sie zu speichern, und vereinbaren, die weniger wichtigen später einfach erneut zu durchführen. Es ist wie die Entscheidung, welche Fotos man in einem kleinen Fotoalbum behält und welche man sich leisten kann, noch einmal zu machen, falls man sie vergisst. Das Ziel ist es, den gesamten Kuchenbackprozess in diese winzige Küche zu passen, ohne den Zauber des Rezepts zu verlieren.

Lange Zeit hatte das Computerprogramm PyTorch, das viele KI-Wissenschaftler zum Bau dieser Modelle verwenden, eine spezifische Art und Weise, wie es entschied, welche Schritte zu speichern. Es behandelte die Entscheidung wie ein klassisches Rätsel, das „0/1-Rucksackproblem“ genannt wird. Stellen Sie sich vor, Sie sind ein Wanderer mit einem Rucksack, der nur ein bestimmtes Gewicht tragen kann. Sie haben eine Liste von Gegenständen, von denen jeder ein Gewicht und einen Wert hat (wie sehr er Ihnen hilft). Sie möchten die Gegenstände auswählen, die Ihnen den meisten Wert bieten, ohne Ihren Rucksack zu beschädigen. Py-Torchs Standardmethode zur Lösung dieses Problems war so, als würde man versuchen, jede mögliche Kombination von Gegenständen auf ein riesiges Blatt Papier zu schreiben. Obwohl diese Methode perfekt war und die absolut beste Antwort fand, wurde das Blatt Papier so groß, dass der Speicher des Computers explodierte und das Programm abstürzte. Die Forscher fanden heraus, dass, wenn sie nur 100 Gegenstände zur Auswahl gehabt hätten, das benötigte Papier so groß gewesen wäre, dass es 304 Gigabyte Platz beansprucht hätte – weit mehr als die 64 Gigabyte, die auf ihrer Maschine verfügbar waren. Es war eine perfekte Lösung, die einfach nicht in den Raum passte.

In dieser Arbeit stellt der Autor eine neue, intelligentere Art vor, dieses Rätsel zu lösen, die er dp_knapsack_sliding_hirschberg nennt. Anstatt zu versuchen, das gesamte riesige Blatt Papier auf einmal aufzuschreiben, verwendet er einen „Sliding-Window“-Trick (ein gleitendes Fenster). Stellen Sie sich vor, Sie lesen ein langes Buch, haben aber nur eine kleine Lupe, die immer nur zwei Seiten gleichzeitig anzeigen kann. Sie schieben die Lupe die Seite hinunter, betrachten zwei Seiten, dann die nächsten zwei und so weiter. Auf diese Weise müssen Sie immer nur zwei Seiten gleichzeitig im Kopf behalten, was enorm viel geistigen Raum spart. Doch nur zwei Seiten anzuschauen, reicht nicht aus, um die ganze Geschichte zu erinnern; man muss wissen, welche spezifischen Gegenstände man auswählen muss. Um dies zu beheben, kombiniert er das gleitende Fenster mit einer alten, cleveren Strategie namens „Hirschberg-Algorithmus“. Betrachten Sie dies als ein „Divide-and-Conquer“-Spiel (Teile-und-herrsche). Anstatt zu versuchen, das gesamte Rucksackproblem auf einmal zu lösen, teilt er die Liste der Gegenstände in der Mitte. Er löst die linke Hälfte, dann die rechte Hälfte und findet dann heraus, wie er die beiden besten Lösungen kombiniert. Er macht dies rekursiv, indem er das Problem in immer kleinere Teile zerlegt, bis er es problemlos lösen kann, und zwar bei gleichzeitig minimalem Speicherverbrauch.

Die Ergebnisse dieser neuen Methode sind beeindruckend. Der Autor testete sie auf einem Computer mit 64 Gigabyte RAM. Während die alte Methode abstürzte, wenn sie versuchte, ein Problem mit nur 100 Gegenständen zu lösen, bewältigte die neue Methode erfolgreich ein Problem mit 2.000 Gegenständen und verbrauchte dabei einen Spitzenwert von 58,4 Gigabyte Speicher. Das bedeutet, der Computer kann nun ein Problem bearbeiten, das 20 Mal größer ist als zuvor, ohne dass der Speicher ausgeht. Darüber hinaus ist die neue Methode nicht nur ein Speicherretter, sondern auch schneller. In ihren Tests lief sie 25 % bis 28 % schneller als die alte Methode. Der Autor maß dies, indem er dasselbe Rätsel 1.000 Mal auf einer spezifischen Maschine ausführte, und stellte fest, dass der neue Solver den alten konsistent in der Geschwindigkeit schlug. Entscheidend ist, dass die neue Methode im Gegensatz zu anderen „Quick-Fix“-Methoden, die die Antwort nur erraten und dadurch leicht falsch sein könnten, jedes Mal die exakte, perfekte Lösung findet. Sie ist so genau wie die alte Methode, aber viel effizienter.

Die Arbeit bestätigt, dass dieser neue Ansatz nicht nur eine Theorie ist; er wurde erfolgreich in die PyTorch-Software integriert und ist in Version 2.10 verfügbar. Der Autor zeigt, dass er durch die Kombination von gleitenden Fenstern und Divide-and-Conquer den Speicherengpass lösen kann, der das Wachstum größerer KI-Modelle verhinderte. Er behauptet nicht, dass dies der einzige Weg zur Lösung des Problems ist, noch deutet er an, dass es für jeden Typ von Computer-Rätsel funktioniert, aber für die spezifische Aufgabe, zu entscheiden, welche KI-Schritte zu speichern sind, ist es ein bewährtes, exaktes und hocheffizientes Upgrade. Die Arbeit widerlegt die Vorstellung, dass die alte Methode für große Modelle ausreichend sei, und zeigt deutlich, dass sie versagt, sobald die Anzahl der Gegenstände zu hoch wird. Stattdessen bietet sie eine Lösung, die die perfekte Genauigkeit des alten Weges beibehält, während sie den Speicherabsturz eliminiert und es Wissenschaftlern ermöglicht, größere, komplexere KI-Kuchen in ihren winzigen Küchen zu backen.