AI4AI-Bench: Benchmarking LLM Agents in Algorithmic Design for Recursive Self-Improvement
Das Papier stellt AI4AI-Bench vor, einen neuartigen Benchmark bestehend aus 10 eingefrorenen Forschungs-Repositories, der die Fähigkeit von LLM-Agenten bewertet, Trainingsalgorithmen für rekursive Selbstverbesserung zu entwerfen und umzuschreiben, wobei aufgezeigt wird, dass selbst die fortschrittlichsten Systeme derzeit weniger als ein Viertel des potenziellen Leistungszuwachses zwischen bestehenden Algorithmen und theoretischen Optima erreichen.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Der Traum von der künstlichen Intelligenz beinhaltet oft die Vision einer Maschine, die lernen kann, sich selbst intelligenter zu machen – nicht nur dadurch, dass sie mehr Fakten auswendig lernt, sondern indem sie die sehr Regeln umschreibt, nach denen sie lernt. Diese Idee, bekannt als rekursive Selbstverbesserung, suggeriert einen Kreislauf, in dem ein KI-System eine bessere Version seiner selbst entwirft, welche dann wiederum eine noch bessere Version entwirft, wodurch eine Kette rasanter Fortschritte entsteht. Damit dieser Kreislauf funktioniert, muss die Maschine in der Lage sein, den Trainingsalgorithmus zu verbessern – also die Menge an Anweisungen, die dem Computer sagen, wie er seine internen Verbindungen basierend auf Erfahrung anpassen soll. Während Maschinen sehr gut darin geworden sind, Anweisungen zu befolgen und sogar kleine Einstellungen innerhalb dieser Anweisungen anzupassen, bleibt eine offene Frage, ob sie tatsächlich in der Lage sind, die Anweisungen selbst neu zu gestalten. Dies ist der Unterschied zwischen einem Fahrer, der weiß, wie man die Lautstärke des Radios anpasst, und einem Mechaniker, der weiß, wie man den Motor neu aufbaut.
Ein Team von Forschern hat einen neuen Test entwickelt, um zu sehen, ob aktuelle Systeme der künstlichen Intelligenz diese Art von tiefer mechanischer Arbeit leisten können. Sie entwarfen eine Herausforderung namens AI4-AI-Bench, die zehn verschiedene, reale Forschungsprojekte einer Gruppe fortgeschrittener KI-Agenten präsentiert. Jedes Projekt beinhaltet eine spezifische Art von Lernaufgabe, wie zum Beispiel das Beibringen eines Computers, mathematische Probleme zu lösen, Bilder zu generieren oder menschliche Präferenzen zu verstehen. Die Forscher gaben jedem KI-Agenten vier Stunden Rechenzeit, um den Code eines dieser Projekte zu lesen und zu versuchen, die darin verwendete Lernmethode zu verbessern. Dem Agenten war es erlaubt, den Code beliebig zu ändern, aber er konnte die endgültigen Ergebnisse seiner Änderungen während dieser vier Stunden nicht sehen. Stattdessen musste er sich auf eine schnelle, grobe Schätzung verlassen, um zu erraten, ob seine Idee gut war. Sobald die Zeit abgelaufen war, wurde der modifizierte Code des Agenten entfernt und das Projekt wurde von Grund auf neu gestartet, wobei für bis zu zwölf Stunden ein fester, verborgener Satz von Regeln verwendet wurde, um das Endergebnis zu beurteilen. Dieser Aufbau ahmt die reale Erfahrung eines menschlichen Wissenschaftlers nach, der eine kleine Idee schnell testen kann, aber Tage warten muss, um zu sehen, ob eine neue Trainingsmethode auf einer großen Skala tatsächlich funktioniert.
Die Ergebnisse dieses Experiments waren aufschlussreich. Über neunundzwanzig verschiedene Kombinationen von KI-Systemen und Leistungsniveaus hinweg war die durchschnittliche Leistung recht gering. Auf einer Skala, auf der der ursprüngliche, unveränderte Code einen Wert von 0,1 und der theoretisch bestmögliche Wert von 1,0 erreichte, lag das durchschnittliche Ergebnis bei nur 0,166. Selbst das stärkste System erreichte gerade einmal 0,250. Das bedeutet, dass die fähigsten Agenten weniger als ein Fünftel der Distanz zwischen der bestehenden Methode und dem bestmöglichen Ergebnis schließen konnten. Die Forscher fanden heraus, dass der Grund für diese Lücke nicht ein Mangel an Anstrengung oder Rechenleistung war, sondern ein Mangel an Orientierung. Als das Team die Codeänderungen analysierte, die die Agenten vornahmen, entdeckten sie, dass die überwältigende Mehrheit der Einreichungen die Kernlernregeln überhaupt nicht berührte. Stattdessen passten die meisten Agenten lediglich an, wie lange das Training lief, wie oft Fortschritte gespeichert wurden oder die spezifischen Zahlen, die den Prozess steuerten. Dies sind Änderungen am Ablauf, nicht Änderungen daran, wie das Modell lernt.
Nur eine kleine Minderheit der Agenten, etwa 46 Prozent derjenigen, die überhaupt Änderungen vornahmen, griff tatsächlich in den Lernalgorithmus ein, um das Ziel, das Aufsichtssignal oder die Aktualisierungsregel zu verändern. Diese Agenten schnitten signifikant besser ab und erreichten im Durchschnitt einen Wert von 0,226 im Vergleich zu 0,126 der anderen. Dies deutet darauf hin, dass der Weg zu echter Verbesserung in der Änderung der grundlegenden Art und Weise liegt, wie die Maschine lernt – ein Schritt, den die meisten aktuellen Systeme zögerlich vollziehen. Die Studie zeigte auch, dass die Erhöhung der erlaubten Denkzeit (Reasoning Effort) eines Agenten sie nicht im allgemeinen Sinne intelligenter machte, wohl aber mutiger. Wenn den Agenten mehr Zeit zum Denken und Planen gegeben wurde, stieg der Prozentsatz derer, die es wagten, die Lernregeln zu ändern, von 8 Prozent auf 64 Prozent. Diese Zunahme der Bereitschaft, ein Risiko bei dem Kernalgorithmus einzugehen, war das, was die Verbesserung vorantrieb, und nicht ein plötzlicher Sprung in der Qualität der generierten Ideen.
Letztendlich kommt das Paper zu dem Schluss, dass heutige KI-Agenten eher versuchen, einen kompetenten Standard zu erreichen, als über diesen hinaus zu designen. Sie sind exzellent darin, den Prozess rund um das Lernen zu optimieren, aber sie haben Schwierigkeiten, den Lernprozess selbst neu zu gestalten. Die Forscher haben alle ihre Daten, einschließlich der Codeänderungen und der Punktzahlen, veröffentlicht, damit andere den Test wiederholen können, während sich KI-Systeme weiterentwickeln. Der Benchmark dient als Messlatte für eine spezifische Art von Fortschritt: ob eine Maschine in der Lage ist, ihre eigene Trainingsmethode zu betrachten, einen Fehler zu diagnostizieren und den Mechanismus, der ihre eigene Verbesserung vorantreibt, neu zu schreiben. Für den Moment lautet die Antwort, dass sie es zwar versuchen können, aber selten erfolgreich darin sind, die tiefgreifenden Änderungen vorzunehmen, die für eine echte Steigerung ihrer eigenen Intelligenz erforderlich sind.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.