In der weiten, komplexen Landschaft moderner Software sind Leistungsverbesserungen selten neue Erfindungen. Stattdessen handelt es sich um subtile Anpassungen bestehender Codebasen, bei denen eine einzige Änderung perfekt mit tausenden Zeilen etablierter Logik, strengen Build-Regeln und öffentlichen Schnittstellen harmonieren muss. Das Finden dieser Verbesserungen ist schwierig, da der Raum der möglichen Änderungen enorm ist und die meisten Versuche entweder nicht kompiliert oder das System beschädigen. Um dies zu bewältigen, haben Forscher automatisierte Agenten entwickelt, die Code schreiben und testen können. Diese Agenten agieren wie Entdecker, aber die Strategie, die sie verwenden, um zu entscheiden, wohin sie als Nächstes gehen, ist von entscheidender Bedeutung. Einige Strategien konzentrieren sich ausschließlich auf den bisher besten Pfad und häufen Änderungen an ihm an, wie ein Kletterer, der einen einzelnen Grat hinaufsteigt. Andere versuchen viele verschiedene Pfade gleichzeitig, beginnen jedoch jeden neuen Versuch von ganz vorn und verwerfen dabei jeglichen Fortschritt früherer Versuche. Ein dritter Ansatz, bekannt als Quality-Diversity-Suche, versucht, eine Karte vieler verschiedener erfolgreicher Zustände zu führen und Variationen zu bewahren, die nicht unbedingt die aktuellen „Besten“ sind, aber später zu etwas Besserem führen könnten.

Dieses Paper stellt ein System namens LORELEY vor, das diesen Quality-Diversity-Ansatz auf die Evolution ganzer Software-Repositories anwendet. Die Forscher wollten wissen, ob das Führen eines vielfältigen Archivs vergangener Codestände und das gelegentliche Zurückkehren zu ihnen zur Inspiration tatsächlich bessere Ergebnisse liefert, als einfach Änderungen an die aktuelle beste Version anzuhäufen oder jedes Mal von vorne zu beginnen. Sie testeten dies, indem sie das LORELEY-System in einem kontrollierten Experiment mit der Zstandard-Kompressionsbibliothek, einem kritischen Stück Software zur Verkleinerung von Datendateien, gegen zwei einfachere, traditionellere Strategien antreten ließen. Das Ziel war es zu sehen, ob der komplexere, speicherreichere Ansatz in der Lage ist, innerhalb eines festen Budgets an Versuchen eine überlegene finale Version des Codes zu finden.

Das Experiment war rigoros und wurde sorgfältig abgestimmt, um einen fairen Vergleich zu gewährleisten. Die Forscher führten drei verschiedene Suchstrategien auf demselben eingefrorenen Ausgangspunkt des Zstandard-Codes aus. Die erste Strategie, genannt Sequential Champion, agierte wie ein unermüdlicher Kletterer: Sie nahm die bisher beste Version und bat den Agenten, diese weiter zu verbessern, wobei alle anderen Zweige verworfen wurden. Die zweite Strategie, Independent Root, war wie eine Gruppe von Wanderern, die jedes Mal vom Basislager aus startet; jeder Versuch begann beim ursprünglichen Code und ignorierte jegliche Verbesserungen, die durch andere gefunden wurden. Der dritte Ansatz, LORELEY, pflegte ein Archiv vieler verschiedener gültiger Codestände. Wenn es eine neue Idee generieren musste, konnte es eine Basis aus diesem Archiv wählen und auch andere gespeicherte Zustände zur Inspiration heranziehen, in der Hoffnung, dass die Kombination eines weniger offensichtlichen Ausgangspunkts mit einer frischen Idee zu einem Durchbruch führen würde.

Die Studie lief über ein spezifisches Budget von achtundvierzig Versuchen oder „Jobs“ pro Strategie. In der Welt des automatisierten Codierens ist ein Job ein vollständiger Zyklus, in dem das System eine startende Codeversion auswählt, ein Agent Änderungen in einer isolierten Umgebung schreibt und ein externer Tester das Ergebnis baut und misst. Die Forscher maßen die finale Leistung des jeweils besten gefundenen Codes mittels eines separaten Datensatzes, den die Agenten während ihrer Suche nie gesehen hatten. Dieser „Holdout“-Test stellte sicher, dass die Ergebnisse echte Verbesserungen waren und nicht nur glückliche Vermutungen, die nur auf den Trainingsdaten funktionierten.

Die Ergebnisse zeigten, dass die Sequential Champion-Strategie, die einfach immer weiter auf der besten Version aufbaute, die höchste beobachtete Mittel- und Medianleistung nach achtundvierzig Jobs erzielte. Das LORELEY-System, trotz seines komplexen Archivs und der Fähigkeit, alte Ideen wieder aufzugreifen, schloss etwas hinter dem Champion ab. Die Independent Root-Strategie, die sich nie an vergangene Erfolge erinnerte, schnitt am schlechtesten ab. Die Daten etablierten jedoch keinen statistischen Vorteil für den Quality-Diversity-Ansatz (QD) gegenüber den beiden Kontrollgruppen; die Konfidenzintervalle schlossen Null ein, was bedeutet, dass das Experiment nicht bestätigen konnte, dass QD die finale Holdout-Leistung gegenüber den einfacheren Strategien verbessert, noch dass es eine Äquivalenz feststellte. Während LORELEY erfolgreich eine vielfältige Menge an Codeständen in seinem Archiv behielt und diese auch gelegentlich abfragte, führte dieses Verhalten nicht zu einem statistisch belegbar besseren Endergebnis innerhalb des Zeitlimits des Experiments. Das System konnte nicht demonstrieren, dass das Führen einer Karte vieler Pfade definitiv besser ist als die Konzentration auf den einzelnen besten Pfad für diese spezifische Aufgabe.

Dennoch ist die Geschichte des komplexen Ansatzes nicht eine reine Geschichte des Scheiterns. Die Forscher beobachteten, dass das LORELEY-System sich mit seinem beabsichtigten Mechanismus auseinandersetzte. Es bewahrte erfolgreich Codestände auf, die nicht die aktuellen Spitzenreiter waren, und es griff später auch auf diese Nicht-Champion-Zustände zurück, um sie als Basis oder zur Inspiration zu nutzen. In vier von sieben Testläufen hatte der finale Gewinner-Code des LORELEY-Systems Vorfahren in seiner Historie, die zum Zeitpunkt ihrer Aufnahme in das Archiv keine führenden Positionen innehatten. Dies bewies, dass das System in der Lage war, „Trittsteine“ festzuhalten und wieder aufzugreifen – intermediäre Ideen, die für sich genommen vielleicht nicht perfekt waren, aber zu etwas Neuem führen konnten. Dennoch halfen diese Trittsteine in diesem speziellen Experiment mit einer begrenzten Anzahl von Versuchen dem System nicht, die einfachere, direktere Strategie in einer statistisch signifikanten Weise zu schlagen.

Das Paper untersuchte auch frühere, kleinere Kampagnen, in denen das System auf verschiedenen Softwarebibliotheken eingesetzt wurde, darunter eine Python-Bibliothek zur Textverarbeitung und eine separate Revision des Komprimierungstools. In diesen Fällen produzierte das System erfolgreich signifikante Verbesserungen, wie etwa eine Beschleunigung von fast sieben Prozent in einer Bibliothek und einen Gewinn von fünfundzwanzig Prozent in einer anderen. Diese Erfolge zeigen, dass das System in der Lage ist, komplexe, Multi-Datei-Verbesserungen zu finden, wenn die Bedingungen stimmen. Aber der kontrollierte Vergleich mit den einfacheren Strategien zeigte, dass zumindest für die Zstandard-Aufgabe mit einem Budget von achtundvierzig Jobs die zusätzliche Komplexität der Pflege eines vielfältigen Archivs keinen statistisch belegbaren Vorteil gegenüber der einfachen Konzentration auf die aktuelle beste Version bot.

Letztlich bietet die Studie eine nuancierte Sicht auf die automatisierte Softwareevolution. Sie bestätigt, dass ein System so entworfen werden kann, dass es sich eine breite Palette vergangener Zustände merkt und wiederverwendet, und dass es in der Lage ist, eine komplexe Codebasis zu navigieren, um Verbesserungen zu finden. Aber sie legt auch nahe, dass für bestimmte Aufgaben und innerhalb spezifischer Zeitlimits die effektivste Strategie möglicherweise die geradlinige ist: Finde das Beste, was du hast, und mache es immer besser, anstatt zu versuchen, eine weitläufige Karte von Möglichkeiten zu verwalten. Die Forscher fanden nicht, dass die komplexe Methode nutzlos war, aber sie stellten fest, dass sie in diesem speziellen Rennen nicht mit statistischer Signifikanz gewonnen hat. Die Ergebnisse bleiben spezifisch für die verwendeten Werkzeuge und Einschränkungen und lassen die Frage offen, ob eine längere Suche oder eine andere Art von Problem letztendlich den vielfältigen, speicherreichen Ansatz begünstigen könnte.