Evolving Executable Pipeline Programs for AutoML with Language Models
LACE ist ein neuartiges AutoML-Framework, das eine durch ein Large Language Model gesteuerte evolutionäre Schleife nutzt, um ausführbare Python-Pipeline-Programme zu generieren und zu entwickeln, wobei es bei 68 OpenML-Aufgaben eine konkurrenzfähige Genauigkeit erreicht und gleichzeitig eine überlegene Transparenz, Editierbarkeit und Flexibilität des Suchraums im Vergleich zu traditionellen Systemen bietet.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
In der Welt der modernen Datenwissenschaft werden Maschinen zunehmend dazu aufgefordert, aus unordentlichen, realen Informationen Sinn zu gewinnen: vorherzusagen, ob ein Kreditantragsteller seinen Kredit zurückzahlen wird, eine Krankheit anhand einer Tabelle mit Symptomen zu diagnostieren oder Verkäufe basierend auf vergangenen Trends zu prognostizieren. Um dies zu tun, bauen Forscher „Pipelines“ – schrittweise Anweisungen, die die Daten bereinigen, ein mathematisches Modell auswählen und dieses Modell so lange abstimmen, bis es gut funktioniert. Jahrelang waren die leistungsfähigsten Werkzeuge für diese Aufgabe automatisierte Systeme, die wie ein Chefkoch mit einem festen Satz an Zutaten agieren. Diese Systeme können bekannte Vorverarbeitungsschritte und Lernalgorithmen mischen und kombinieren sowie die Mengen anpassen, um den besten Geschmack zu finden. Sie sind jedoch strikt auf die Vorratskammer beschränkt, die ihnen gegeben wurde; sie können keine neue Zutat oder eine neue Kochtechnik erfinden, die außerhalb ihrer vordefinierten Liste liegt. Diese Einschränkung bedeutet, dass, wenn die beste Lösung eine Struktur erfordert, die das System noch nie gesehen hat, diese unentdeckt bleiben wird.
Ein Forschungsteam der Universität Leiden hat nun einen anderen Ansatz vorgestellt, der die Erstellung dieser Daten-Pipelines nicht als Auswahl aus einem Menü behandelt, sondern als das Schreiben eines völlig neuen Rezepts von Grund auf. Sie entwickelten ein System namens LACE, das ein großes Sprachmodell verwendet – eine künstliche Intelligenz, die auf riesigen Mengen an Text und Code trainiert wurde –, um als evolutionärer Motor zu fungieren. Anstatt aus einer festen Liste von Werkzeugen zu wählen, bittet LACE die KI, vollständige, ausführbare Computerprogramme zu schreiben, die definieren, wie Daten verarbeitet werden und Vorhersagen getroffen werden. Das System testet diese Programme, lernt aus ihren Fehlern und bittet die KI dann, verbesserte Versionen zu schreiben, wobei dieser Zyklus wiederholt wird, bis es eine hochwirksame Lösung findet. Das Ergebnis ist ein System, das nicht nur bestehende Werkzeuge optimiert, sondern in der Lage ist, völlig neue Strukturen zu komponieren und dabei Code zu erzeugen, den menschliche Experten direkt lesen, verstehen und modifizieren können.
Die Forscher testeten diese Methode an 68 verschiedenen Klassifizierungsaufgaben, die von kleinen Datensätzen mit ein paar hundert Einträgen bis hin zu massiven Sammlungen mit fast fünf Millionen Zeilen reichten. Sie verglichen LACE mit mehreren etablierten automatisierten Systemen und einem Satz fester, vortrainierter Modelle. Die Ergebnisse zeigten, dass LACE, wenn es von einem spezifischen Sprachmodell angetrieben wurde, ebenso gut abschnitt wie die stärksten existierenden automatisierten Systeme und signifikant besser als ältere Methoden war. Entscheidend war, dass einige der neueren vortrainierten Modelle zwar bei den spezifischen Aufgaben, die sie bewältigen konnten, etwas genauer waren, aber bei vielen der größeren oder komplexeren Datensätze des Testsets versagten. LACE hingegen generierte erfolgreich für jede einzelne ihm vorgegebene Aufgabe eine funktionierende Lösung.
Was diese Errungenschaft besonders bemerkenswert macht, ist die Art der Ausgabe. Traditionelle automatisierte Systeme liefern oft eine „Black Box“ zurück – ein komplexes, angepasstes Objekt, das zwar gut funktioniert, aber für einen Menschen schwierig zu inspizieren oder zu ändern ist, ohne über tiefes technisches Wissen des Software-Frameworks zu verfügen. LACE liefert gewöhnlichen Python-Code zurück. Das bedeutet, dass ein Data Scientist das fertige Programm betrachten kann, genau sieht, wie die Daten bereinigt wurden, welche Modelle gewählt wurden und wie sie kombiniert wurden, und den Code dann bearbeiten kann, um ihn weiter zu verbessern oder für einen neuen Zweck anzupassen. Die Forscher fanden heraus, dass die KI nicht nur bestehende Muster kopierte; sie entwickelte diverse Lösungen, kombinierte oft verschiedene Arten von Modellen auf neuartige Weise und schrieb eine benutzerdefinierte Logik, um deren Vorhersagen zu mischen. In vielen Fällen schrieb die KI ihren eigenen Code, um die Ausgaben mehrerer Modelle zu mischen – ein Maß an Flexibilität, das feste Systeme nicht ohne Weiteres replizieren können.
Die Studie adressierte auch ein häufiges Bedenken in der KI-Forschung: dass die KI die Antworten auf die Testfragen einfach auswendig lernt, weil sie diese während ihres Trainings bereits gesehen hat. Um dies zu verhindern, verbargen die Forscher die Namen und spezifischen Details der Datensätze vor der KI und gaben ihr lediglich eine allgemeine Beschreibung der Größe und Art der Daten. Trotz dieses Mangels an spezifischem Wissen fand das System dennoch leistungsstarke Lösungen, was darauf hindeutet, dass es tatsächlich lernte, wie man effektive Pipelines konstruiert, anstatt Antworten abzurufen. Die Forscher verifizierten zudem, dass die KI strengen Regeln folgte, wie etwa nicht versteckte interne Suchen zu verwenden, um ihre eigenen Einstellungen abzustimmen, wodurch sichergestellt wurde, dass die Verbesserungen aus dem evolutionären Suchprozess selbst resultierten.
Einer der beeindruckendsten Befunde war, wie schnell sich das System verbesserte. Das erste von der KI generierte Programm war oft fehlerhaft oder unvollständig, aber während das System iterierte, lernte es, diese Fehler zu beheben und die Logik zu verfeinern. Bis der Prozess abgeschlossen war, waren die finalen Programme nicht nur gültig, sondern auch signifikant genauer als die ersten Versuche. Die Forscher beobachteten, dass das System dazu neigte, bestimmte Arten von Modellen zu bevorzugen, wie etwa baumbasierte Ensembles, aber es blieb nicht in einem einzigen Muster stecken; es explorierte eine breite Vielfalt an strukturellen Kombinationen. Diese Diversität deutet darauf hin, dass das System in der Lage ist, Lösungen zu entdecken, die ein Mensch vielleicht gar nicht erst versuchen würde oder die ein starres System niemals in Betracht ziehen würde.
Die Arbeit zeigt, dass die Behandlung von automatisiertem maschinellem Lernen als ein Prozess des Schreibens und Evolvierens von Code neue Horizonte eröffnet. Es geht über die Beschränkung einer festen Bibliothek von Werkzeugen hinaus und ermöglicht es dem System, seine Struktur an das spezifische Problem anzupassen. Obwohl die Rechenkosten für die Durchführung dieser Experimente hoch waren – da viel Zeit benötigt wurde, um tausende von Kandidatentechniken zu generieren und zu testen –, legen die Ergebnisse nahe, dass die Fähigkeit, transparenten, editierbaren und hochwirksamen Code zu produzieren, ein wertvoller Kompromiss ist. Die Forscher kommen zu dem Schluss, dass dieser Ansatz einen vielversprechenden Weg in die Zukunft bietet, in dem die Suche nach der besten Daten-Pipeline durch die Kreativität des Codes selbst definiert wird und nicht durch die Limitationen eines vorab ausgewählten Sets an Komponenten.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.