Automated Modernization of Machine Learning Engineering Notebooks for Reproducibility
Dieses Paper stellt MLEModernizer vor, ein LLM-gesteuertes agentisches Framework, das Machine-Learning-Engineering-Notebooks automatisch modernisiert, um die Umwelterosion zu überwinden und die Reproduzierbarkeit durch iteratives Ausführen von Code und das Anwenden gezielter Korrekturen wiederherzustellen, wobei erfolgreich über 40 % zuvor nicht reproduzierbarer Notebooks wiederhergestellt wurden.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie sind ein Zeitreisender, der es liebt, alte Rezepte zu betrachten. Sie finden ein berühmtes Kuchenrezept aus dem Jahr 2015, das in einem speziellen Notizbuch steht. Das Rezept besagt: „Mischen Sie Mehl, Zucker und eine magische Zutat namens ‚XGBoost‘, um einen perfekten Kuchen zu erhalten.“ Sie versuchen, diesen Kuchen heute zu backen, aber etwas geht schief. Die „XGBoost“-Zutat, die Sie heute im Laden kaufen, ist etwas anders; sie ist stärker, sie wirkt anders, und wenn Sie sie unterrühren, explodiert der Teig oder schmeckt nach Seife. Dies ist das Problem der „Umwelterosion“. In der Welt des Machine Learning Engineering (MLE) nutzen Wissenschaftler und Ingenieure interaktive Notebooks (wie digitale Rezeptbücher), um KI-Modelle zu erstellen. Sie teilen diese Notebooks mit anderen, damit diese daraus lernen oder ihren Code verwenden können. Aber da sich Computer und Software rasant weiterentwickeln, gehen alte Notebooks oft kaputt, weil die „Zutaten“ (Software-Bibliotheken), auf die sie angewiesen sind, sich verändert haben oder verschwunden sind. Wenn man den alten Code nicht ausführen kann, kann man die Ergebnisse nicht verifizieren, und das Wissen geht verloren. Die große Frage ist: Können wir diese alten, kaputten Rezepte so reparieren, dass sie in der heutigen Küche funktionieren, ohne die gesamte Küche von Grund auf neu bauen zu müssen?
Dieses Paper mit dem Titel „Automated Modernization of Machine Learning Engineering Notebooks for Reproducibility“ befasst sich genau mit diesem Problem. Die Autoren, Bihui Jin, Kaiyuan Wang und Pengyu Nie, beschlossen zu testen, wie kaputt diese digitalen Rezepte wirklich sind. Sie sammelten eine massive Sammlung von 12.106 Notebooks aus populären Machine-Learning-Wettbewerben auf Kaggle. Als sie versuchten, diese Notebooks in einer modernen Umgebung auszuführen, sahen sie eine harte Realität: Nur 2-6 % dieser Notebooks funktionierten tatsächlich und lieferten die gleichen Ergebnisse wie damals. Die anderen 74 % waren defekt, entweder stürzten sie mit Fehlermeldungen ab oder produzierten völlig andere Scores.
Sie denken vielleicht, die Lösung sei einfach: Gehen Sie einfach zurück in die Zeit und installieren Sie exakt die alten Softwareversionen, für die das Rezept geschrieben wurde. Dies nennt man „Environment Backporting“. Die Autoren versuchten dies, indem sie alle Software auf die Versionen herunterstuften, die zum Zeitpunkt der ursprünglichen Einreichung des Notebooks üblich waren. Überraschenderweise machte dies alles noch schlimmer! Anstatt dass 26 % funktionierten, waren nur noch 12 % reproduzierbar. Es stellt sich heraus, dass der Versuch, die Vergangenheit zu rekonstruieren, eine Falle ist; die alten Softwareversionen sind oft nicht mehr verfügbar, inkompatibel mit moderner Hardware oder einfach zu fragil, um zu laufen. Die Autoren argumentieren, dass wir, anstatt zu versuchen, die alte Küche wieder aufzubauen, das Rezept selbst anpassen sollten, damit es in der neuen Küche funktioniert.
Um dies zu lösen, entwickelte das Team ein Werkzeug namens MLEModernizer. Stellen Sie sich dies als einen superintelligenten, robotischen Sous-Chef vor, der von einem Large Language Model (LLM) angetrieben wird. Dieser Roboter liest nicht nur das Rezept; er versucht tatsächlich, den Kuchen zu backen. Wenn der Kuchen verbrennt (ein Fehler auftritt), schaut der Roboter auf den Rauch, findet heraus, was schiefgelaufen ist, und schreibt das Rezept um, um den Fehler zu beheben. Wenn der Kuchen zu lange braucht (Laufzeitprobleme), passt der Robot die Anweisungen an, um ihn zu beschleunigen. Wenn der Kuchen leicht anders schmeckt (der Score ist abweichend), passt der Roboter die Zutaten an, um den Geschmack wieder an den ursprünglichen Standard heranzuführen.
Der Roboter arbeitet in einer Schleife: Er führt den Code aus, prüft die Ergebnisse und wenn etwas nicht stimmt, bittet er die KI, einen Patch (eine Korrektur) für das gesamte Notebook zu schreiben. Er wiederholt dies bis zu 16 Mal, bis das Notebook funktioniert. Die Ergebnisse waren sehr vielversprechend. Als sie dies an 8.210 defekten Notebooks testeten, gelang es dem Tool, etwa 40 % bis 45 % von ihnen zu reparieren und sie wieder reproduzierbar zu machen. Speziell durch die Verwendung eines leistungsstarken KI-Modells (GPT-5.2) reparierten sie 3.292 Notebooks, und mit einem etwas anderen Open-Source-Modell (GPT-OSS-120b) reparierten sie 3.683.
Das Paper ist jedoch vorsichtig damit, dies nicht als Zauberstab zu bezeichnen. Die Autoren fanden heraus, dass das Tool zwar die Zahlen (den „Score“) richtig bekommen konnte, sich der zugrunde liegende Code aber manchmal in einer Weise änderte, die nicht exakt dem Original entsprach. Zum Beispiel könnte die KI die Art und Weise, wie ein Modell trainiert wird, gerade so weit ändern, dass der richtige Score erreicht wird, aber der „Geschmack“ des Codes ist ein anderer. Sie entdeckten auch, dass einige Fehler einfach zu hartnäckig sind, um sie automatisch zu beheben; das Tool war großartig darin, einfache „fehlende Zutat“-Fehler zu beheben (wie das Vergessen eines Imports einer Bibliothek), hatte aber Schwierigkeiten mit komplexen „seltsamen Zutat-Interaktion“-Fehlern (wie Attributfehlern, bei denen ein Objekt nicht über die richtigen Eigenschaften verfügt).
Auch die Kosten dieses Robotik-Chefs sind ein Faktor. Die Autoren berechneten, dass die Reparatur eines Notebooks mit dem leistungsstarken Modell durchschnittlich etwa 0,65 $ kostet, was sie für den großflächigen Einsatz als günstig erachten. Sie merkten jedoch auch an, dass das Open-Source-Modell viel billiger war (etwa 0,0074 $ pro Notebook), aber den Code weniger originalgetreu beibehielt.
Am Ende legt das Paper nahe, dass wir – obwohl wir die Vergangenheit nicht perfekt rekonstruieren können – intelligente KI-Agenten nutzen können, um alten Code zu modernisieren und wertvolle wissenschaftliche Arbeit zu retten. Es ist keine perfekte Lösung für jedes einzelne kaputte Notebook, aber es bietet einen „Best-Effort“-Weg, um einen signifikanten Teil der Machine-Learning-Geschichte zu retten, die andernfalls der Zeit verloren ginge. Die Autoren kommen zu dem Schluss, dass dieser Ansatz Praktikern hilft, alte Pipelines zu validieren und wiederzuverwenden, während sich die Technologie ständig weiterentwickelt, indem er kaputte, staubige Rezepte in etwas verwandelt, das in der heutigen Küche gekocht werden kann.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.