ATLAS: Scaffold-Free Algorithm Synthesis by LLMs via Embedding-Guided Quality-Diversity Search

Optimierung ist der stille Motor hinter einem Großteil des modernen Lebens. Sie ist die mathematische Kunst, die bestmögliche Anordnung für eine komplexe Aufgabe zu finden, sei es die Routenplanung von Lieferwagen zur Treibstoffersparnis, die Zeitplanung von Maschinen in Fabriken zur termingerechten Fertigstellung oder die Zuweisung von Mitarbeitern zu Schichten ohne Konflikte. Jahrzehntelang erforderte das Lösen dieser Probleme menschliche Experten, die die Regeln und die Logik, die die Suche nach einer Lösung leiten, von Hand entwarfen. Diese Experten entwarfen ein starres Gerüst, ein festes Skelett von Schritten, und füllten dann spezifische Teile dieses Skeletts mit klugen Heuristiken oder Faustregeln. Obwohl dieser Ansatz effektiv war, bedeutete er, dass der Computer immer innerhalb eines von einem Menschen gezogenen Kastens arbeitete, unfähig, sich eine grundlegend andere Art der Arbeitsorganisation vorzustellen.

In jüngster Zeit hat die künstliche Intelligenz begonnen, diese Dynamik zu verändern. Große Sprachmodelle – dieselbe Technologie, die Aufsätze schreiben oder Fragen beantworten kann – haben gezeigt, dass sie auch Code schreiben können, um diese Optimierungsrätsel zu lösen. Frühe Versuche baten diese Modelle, nur ein einzelnes Teil eines Puzzles zu schreiben, wie etwa eine spezifische Regel für die Auswahl des nächsten Elements, während der Rest der Struktur dem menschlichen Designer überlassen wurde. Ein neuer Denkansatz legt jedoch nahe, dass die künstliche Intelligenz die gesamte Maschine von Grund auf neu entwerfen könnte, wenn wir sie dazu lassen, was dazu führen könnte, dass sie Lösungen entdeckt, die menschliche Experten niemals erdacht hätten. Die Herausforderung besteht jedoch darin, dass es gefährlich ist, einem Computer totale Freiheit zu gewähren; ohne Leitplanken kann er leicht Code produzieren, der abstürzt, Regeln ignoriert oder in einer Endlosschleife stecken bleibt. Ein Team von Forschern hat nun eine Methode entwickelt, um dieser Gefahr zu begegnen, indem es einer künstlichen Intelligenz ermöglicht, vollständige, funktionierende Algorithmen von Grund auf zu erfinden und dabei Lösungen zu finden, die mit den besten von Menschen entworfenen Systemen konkurrieren können.

Die Forscher, angeführt von Danial Yazdani und Kollegen der RMIT University sowie anderer Institutionen, entwickelten ein System, das sie ATLAS nennen. Der Name steht für „Archive-based Three-Layer Algorithm Synthesis“, aber seine Funktion ist einfacher: Es ist eine gerüstlose Umgebung, in der eine künstliche Intelligenz frei ist, einen vollständigen Optimierungsalgorithmus ohne eine vorgeschriebene Struktur aufzubauen. Bei traditionellen Methoden liefert der Mensch ein Skelett – einen festen Satz von Schritten wie „starte hier, prüfe dies, dann tue jenes“ – und die KI füllt nur die Lücken aus. ATLAS entfernt das Skelett vollständig. Der Mensch liefert nur die Problemstellung, wie zum Beispiel „Minimiere die Fahrdistanz unter Einhaltung der Fahrzeugkapazität“, und eine einfache Regel, wie der Computer Daten empfangen und eine Antwort zurückgeben soll. Alles andere, von der internen Logik bis zum Kontrollfluss, liegt in der Verantwortung der KI.

Diese Freiheit schafft eine weite und chaotische Landschaft. Oh ne feste Struktur kann die KI Millionen von verschiedenen Wegen generieren, um das Problem zu lösen, aber viele dieser Versuche werden scheitern. Der Code könnte abstürzen, die Ausgabe könnte das falsche Format haben oder die Lösung könnte gegen die Regeln des Problems verstoßen. Um dies zu bewältigen, bauten die Forscher ein System, das wie ein strenger Qualitätskontrolleur fungiert. Wenn die KI einen neuen Algorithmus generiert, führt das System diesen an einer Reihe von Testproblemen durch. Wenn der Algorithmus abstürzt oder ein schlechtes Ergebnis liefert, verwirft das System ihn nicht einfach. Stattdessen analysiert es genau, warum er gescheitert ist – ob er den Speicher überrannt hat, ein Zeitlimit überschritten hat oder eine unmögliche Lösung produziert hat – und speist genau diese Fehlermeldung an die KI zurück. Die KI nutzt dieses Feedback dann, um den Code neu zu schreiben und versucht, den spezifischen Fehler zu beheben. Dieser Prozess der fehlerbedingten Reparatur verwandelt Misserfolge in Lernmöglichkeiten und ermöglicht es dem System, sich von Fehlern zu erholen, die in anderen Methoden das Ende der Suche bedeutet hätten.

Um zu verhindern, dass die Suche in einer einzelnen, mittelmäßigen Lösung stecken bleibt, nutzt ATLAS eine Strategie, die von der Art und Weise inspiriert ist, wie die Natur Vielfalt bewahrt. In vielen Optimierungssuchen konvergiert das System schnell auf eine einzige „gute“ Antwort und hört auf, nach etwas anderem zu suchen, wodurch potenziell eine viel bessere Lösung verborgen in einem anderen Teil des Suchraums übersehen wird. ATLAS vermeidet dies, indem es seine erfolgreichen Algorithmen in einer semantischen Karte organisiert. Es verwendet eine mathematische Repräsentation der Bedeutung des Codes, um ähnliche Algorithmen zu gruppieren und unterschiedliche Gruppen voneinander getrennt zu halten. Das System unterhält eine vielfältige Sammlung der bisher gefundenen besten Algorithmen und stellt so sicher, dass es weiterhin verschiedene Regionen des Lösungsraums exploriert, anstatt in einem einzigen Design zu kollabieren. Dies ermöglicht es ihm, mehrere wettbewerbsfähige Ansätze gleichzeitig zu halten, von denen einige sehr unterschiedlich aussehen können, aber dennoch gleichermaßen gut funktionieren.

Die Forscher testeten diesen Ansatz bei vier notorisch schwierigen Problemtypen: der Routenplanung von Lieferfahrzeugen, der Planung von Fabrikaufträgen und der Zuweisung von Standorten zu Einrichtungen. Sie verglichen ATLAS mit mehreren anderen Methoden, darunter solche, bei denen die KI nur eine einzelne Komponente eines von Menschen entworfenen Rahmens entwerfen durfte, sowie mit einer Version, bei der die KI den gesamten Algorithmus entwarf, jedoch ohne das intelligente System zur Erhaltung der Vielfalt. Die Ergebnisse waren eindeutig. ATLAS übertraf konsequent die Methoden, die auf von Menschen entworfenen Skeletten basierten. Es schlug auch die Version der vollständigen Algorithmus-Synthese, der das Diversitätssystem fehlte, was bewies, dass das Lebendighalten einer breiten Vielfalt an Lösungen entscheidend ist, um die besten Ergebnisse zu erzielen. Am beeindruckendsten war, dass die von ATLAS erfundenen Algorithmen mit den stärksten, von Experten über viele Jahre hinweg verfeinerten, von Menschen entworfenen Algorithmen konkurrieren konnten. In einigen Fällen waren die KI-generierten Lösungen statistisch nicht von den besten menschlichen Bemühungen zu unterscheiden, und in anderen waren sie sogar geringfügig besser.

Eines der bemerkenswertesten Ergebnisse war nicht nur, dass die KI gute Lösungen finden konnte, sondern dass sie viele verschiedene Arten guter Lösungen fand. Als die Forscher die endgültige Sammlung von Algorithmen untersuchten, sahen sie eine reiche Vielfalt an Strukturen. Einige nutzten einen gierigen (greedy) Ansatz, indem sie bei jedem Schritt die lokal beste Wahl trafen. Andere nutzten komplexe hybride Methoden, die verschiedene Strategien kombinierten, wie etwa das Simulieren eines Abkühlungsprozesses, um lokalen Fallen zu entkommen, oder die Nutzung von Gedächtnis, um Wiederholungen zu vermeiden. Das System fand nicht nur einen einzigen „besten“ Weg, um das Problem zu lösen; es entdeckte ein Portfolio aus unterschiedlichen, leistungsstarken Strategien. Dies deutet darauf hin, dass der Raum der möglichen Algorithmen viel reicher ist als bisher angenommen, und dass eine künstliche Intelligenz durch das Entfernen menschlicher Beschränkungen diesen Raum effektiv erkunden kann.

Die Studie legt nahe, dass die Zukunft des automatisierten Designs in dieser Art der skaffoldfreien Synthese liegen könnte. Indem man der KI die volle Verantwortung für die Logik der Lösung überträgt und ihr gleichzeitig ein robustes System zur Fehlerbehandlung und zur Aufrechterhaltung der Vielfalt zur Seite stellt, können Forscher neue Wege eröffnen, um komplexe Probleme zu lösen. Die Arbeit behauptet nicht, dass menschliche Experten obsolet sind; vielmehr zeigt sie, dass die Ergebnisse bemerkenswert kraftvoll sein können, wenn Menschen das Problem vorgeben und der KI die Freiheit gegeben wird, die Methode zu erfinden. Die Forscher merken an, dass das aktuelle System zwar hocheffektiv ist, es aber noch Raum für Verbesserungen gibt, insbesondere bei der Feinabstimmung der numerischen Einstellungen der generierten Algorithmen. Die Kernleistung bleibt jedoch bestehen: ein System, das autonom vollständige, funktionierende Optimierungsalgorithmen synthetisieren kann und dabei dem Chaos der totalen Freiheit trotzt, um Ordnung und Exzellenz zu finden.