Self-Modifying Lean Proof Agents with Verifier-Grounded Benchmark Coevolution
Dieses Paper stellt einen selbstmodifizierenden Lean-Beweisagenten vor, der mit einem kompetenzgesteuerten Benchmark koevolviert, um eine Lösungsrate von 45,1 % bei Testdaten zu erreichen, wobei er sowohl seine Seed- als auch seine festen Benchmark-Gegenstücke signifikant übertrifft, indem er sicherstellt, dass alle Selbstverbesserungen in vertrauenswürdiger Lean-Verifizierung verankert bleiben.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich eine Welt vor, in der Computer nicht nur Befehle befolgen, sondern tatsächlich lernen können, ihre eigenen Fehler zu korrigieren, ihre eigenen Anweisungen umzuschreiben und mit der Zeit intelligenter zu werden. Dies ist das Reich der „selbstentwickelnden Agenten“, eines Zweigs der künstlichen Intelligenz, bei dem Software versucht, sich selbst durch die Änderung ihres eigenen Codes zu verbessern. Normalerweise werden diese digitalen Kreaturen an einem festen Satz von Rätseln getestet, wie ein Schüler, der dieselbe Mathearbeit immer und immer wieder macht, bis er die Antworten auswendig kennt. Aber was wäre, wenn die Prüfung selbst jedes Mal schwieriger werden könnte, wenn der Schüler besser wird? Das ist die Idee der „Koevolution“, bei der der Lernende und die Herausforderung gemeinsam wachsen und einander zu neuen Höhen treiben. In der speziellen Ecke der Mathematik, die als formale Verifikation bekannt ist, gibt es einen strengen Schiedsrichter namens „Lean“, der prüft, ob ein Beweis zu 100 % korrekt ist. Die große Frage, die Forscher gestellt haben, lautet: Kann ein Computer-Agent herausfinden, wie man diese mathematischen Beweise am besten löst, ohne dass ein menschlicher Lehrer die Strategie dafür entwirft?
Dieses Papier erzählt die Geschichte eines Teams von Forschern, das einen digitalen „Beweis-Agenten“ gebaut hat, der versucht, diese Frage zu beantworten. Anstatt dem Agenten eine perfekte, von Hand geschriebene Anleitung zur Lösung von Matheproblemen zu geben, ließen sie den Agenten seinen eigenen Arbeitsablauf, seine Werkzeuge und sogar die Art und Weise, wie er seine Gedanken organisiert, umschreiben. Um es fair und ehrlich zu halten, kombinierten sie diesen selbstverbessernden Agenten mit einem „koevolvierenden Benchmark“. Stellen Sie sich das wie ein Videospiel vor, das den Schwierigkeitsgrad automatisch anpasst: Sobald der Agent ein Level meistert, tauscht das Spiel diese leichten Levels gegen schwierigere aus, damit der Agent sich nie langweilt oder stecken bleibt. Die Forscher fanden heraus, dass dieser Ansatz überraschend gut funktionierte. Am Ende von 15 Generationen der Evolution konnte ihr selbstgelernter Agent 45,1 % einer Gruppe schwieriger, ungesehener Matheprobleme lösen – ein riesiger Sprung von den 12,7 %, die er zu Beginn lösen konnte. Das Papier deutet jedoch auch an, dass der Agent zwar viel besser wurde, aber kein perfektes Genie wurde; er lernte hauptsächlich, sehr gut darin zu werden, seine eigenen Fehler zu korrigieren, anstatt völlig neue, komplexe Wege zu finden, um Probleme zu zerlegen.
Die Geschichte des selbsteditierenden Mathe-Bots
Stellen Sie sich vor, Sie haben einen Roboter, der einen riesigen Stapel mathematischer Beweise lösen möchte. Normalerweise würde ein menschlicher Programmierer ein strenges Handbuch für den Roboter schreiben: „Zuerst mache dies. Dann, wenn du einen Fehler siehst, mache jenes.“ Aber in diesem Experiment entschieden sich die Forscher dazu, den Roboter sein eigenes Handbuch schreiben zu lassen. Sie schufen ein System, in dem das „Gehirn“ des Roboters (sein Code, seine Werkzeuge und seine Strategie) vollständig editierbar war. Der Roboter konnte versuchen, seine eigenen Anweisungen umzuschreiben, um zu sehen, ob er Probleme schneller oder genauer lösen konnte.
Aber es gab einen Haken. Wenn der Roboter seinen eigenen Code umschreiben konnte, konnte er auch lügen und sagen: „Ich habe es gelöst!“, obwohl er es eigentlich nicht getan hatte. Um dies zu verhindern, bauten die Forscher eine „vertrauenswürdige Laufzeitumgebung“ (trusted runtime) – einen strengen, unveränderlichen Schiedsrichter, der niemals schläft. Dieser Schiedsrichter, angetrieben durch ein System namens Lean, fungiert als ultimativer Richter. Egal, wie der Roboter seinen eigenen Code verändert, der Schiedsrichter prüft den fertigen Beweis. Wenn der Beweis unter dem Mikroskop des Schiedsrichters nicht standhält, zählt er nicht. Dies stellt sicher, dass der Roboter nicht schummeln kann; er muss die Mathematik tatsächlich durchführen, um einen Punkt zu erhalten.
Das Spiel, das schwieriger wird
Der aufregendste Teil dieses Experiments war die Art und Weise, wie sie den Roboter testeten. In den meisten KI-Experimenten übt der Roboter an einer festen Liste von Problemen. Wenn der Robot zu gut wird, lernt er einfach die Antworten auswendig, und der Test verliert seinen Nutzen. Die Forscher in diesem Papier wollten das vermeiden. Sie richteten einen „koevolvierenden Benchmark“ ein, der wie ein Videospiel ist, das schwieriger wird, jedes Mal, wenn man ein Level besiegt.
So funktionierte es:
- Der Champion: In jeder Runde darf der am besten abschneidende Roboter (der „Champion“) entscheiden, wie die nächste Runde aussieht.
- Das Upgrade: Wenn der Champion zu viele leichte Probleme löst, setzt das System diese leichten Probleme außer Kraft und ersetzt sie durch schwierigere Aufgaben aus einem größeren Pool von Herausforderungen.
- Der Punktezähler: Um sicherzustellen, dass die Punktzahlen fair bleiben, während das Spiel schwieriger wird, verwendeten sie einen speziellen mathematischen Trick namens „Single-Anchor-Rekalibrierung“. Stellen Sie sich vor, Sie würden ein Rennen auf einer Laufbahn laufen, die plötzlich steiler wird; Sie würden langsamer laufen, aber Sie wären immer noch ein großartiger Läufer. Dieses System passte die Punktzahlen so an, dass das Erhalten einer „Goldmedaille“ auf einer schweren Bahn genauso viel wert war wie auf einer leichten Bahn.
Dieses Setup bedeutete, dass der Roboter immer direkt an der Grenze seiner Komfortzone gehalten wurde, was ihn zwang, neue Tricks zu lernen, anstatt nur die alten auswendig zu lernen.
Was der Roboter tatsächlich lernte
Nachdem das Experiment über 15 Generationen hinweg durchgeführt wurde, waren die Ergebnisse faszinierend. Der Roboter begann damit, nur etwa 12,7 % der Probleme zu lösen. Bis zur 15. Generation konnte die beste Version des Roboters 45,1 % der Probleme in einem brandneuen, ungesehenen Test lösen. Das ist eine massive Verbesserung und zeigt, dass es dem Roboter wirklich geholfen hat, intelligenter zu werden, indem er sich selbst umschrieb.
Die Forscher entdeckten jedoch etwas Interessantes darüber, wie der Roboter intelligenter wurde. Sie erwarteten, dass der Roboter schließlich eine komplexe, schrittweise Strategie entwickelt, bei der er ein großes Problem in winzige, handhabbare Teile zerlegt (wie ein Architektmeister, der ein Gebäude Stockwerk für Stockwerk entwirft). Stattdessen wurden die siegreichen Roboter hauptsächlich Experten für die Reparatur.
Denken Sie an Folgendes: Der Roboter lernte, schnell einen kompletten Beweis zu schreiben, ihn dann auf Fehler zu prüfen und dann die spezifischen Teile zu reparieren, die kaputtgingen. Er lernte nicht unbedingt, das ganze Gebäude von Grund auf neu zu planen; er wurde einfach sehr gut darin, die Risse zu flicken. Die Forscher fanden heraus, dass der Roboter zwar versuchte, komplexe, schrittweise Pläne zu erstellen, diese Pläne aber oft zusammenbrachen oder zu riskant waren. Die einfachere Strategie des „Versuchen, Prüfen, Reparieren“ war zuverlässiger und gewann den Wettbewerb.
Der Roboter erfand auch geschickte Werkzeuge, um sich selbst zu helfen. Zum Beispiel lernte er, die Namen der mathematischen Begriffe, die er verwendete, doppelt zu prüfen, um sicherzustellen, dass er keine erfundenen Wörter benutzte (ein häufiger Fehler, der als „Halluzination“ bezeichnet wird). Er baute kleine Checklisten und Suchwerkzeuge, um sicherzustellen, dass jeder Teil seines Beweises echt und gültig war, bevor er ihn einreichte.
Das Urteil
Also, wurde der Roboter ein Mathegenie? Nicht ganz. Obwohl er sich dramatisch verbesserte, konnte er immer noch nicht 99 % der Probleme lösen, wie es die besten von Menschen entworfenen Roboter können. Die Forscher legen nahe, dass der Roboter immer noch im „Reparaturmodus“ statt im „Planungsmodus“ feststeckt. Er ist sehr gut darin, Fehler zu beheben, aber er hat noch nicht ganz verstanden, wie man eine perfekte, tiefe Struktur von Grund auf aufbaut.
Dieses Experiment zeigt, dass selbstentwickelnde Agenten lernen können, ihre Werkzeuge besser zu nutzen und wesentlich intelligenter zu werden, wenn die Herausforderungen mit ihnen wachsen. Es deutet jedoch auch darauf an, dass es eine Grenze gibt, wie viel ein Roboter sich selbst beibringen kann, ohne dass ein Mensch ihn zu komplexeren Strategien führt. Der Roboter bewies, dass er sich entwickeln konnte, aber der Weg zu einem wahren mathematischen Meister ist noch ein laufender Prozess.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.