ProofCouncil: An LLM Agent for Solving Open Mathematical Problems
Dieses Paper stellt ProofCouncil vor, einen Open-Source-LLM-Agenten, der eine Autor-Kritiker-Architektur nutzt, die bei der FirstProof-Challenge durch das autonome Lösen von sechs von zehn realen mathematischen Problemen sowie durch signifikante Fortschritte bei einer breiteren Menge offener Probleme eine State-of-the-Art-Leistung erzielt hat.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie hätten einem brandneuen, superintelligenten Roboter einen Stapel der weltweit rätselhaftesten mathematischen Rätsel übergeben. Dies sind keine Standard-„Finde die fehlende Zahl“-Rätsel; es sind offene Probleme, über die echte menschliche Mathematiker seit Jahren den Kopf zerbrechen und für die noch niemand die Antwort kennt.
Hier kommt ProofCouncil ins Spiel. Denken Sie nicht an einen einzelnen Roboter, sondern an eine kleine, hochkarätige Mathematik-Werkstatt.
Die Werkstatt-Crew: Autor, Kritiker und die Truppe
Das Herzstück dieses Systems ist ein kluges Spiel von „Heißer Kartoffel“, das von zwei Hauptcharakteren gespielt wird: dem Autor und dem Kritiker.
- Der Autor ist der Träumer. Es ist eine KI, die sich hinsetzt und versucht, einen perfekten Beweis (ein schrittweises mathematisches Argument) zu schreiben. Es besitzt ein magisches Notizbuch, in dem es Ideen skizziert, Code ausprobiert und sogar das Internet nach Hinweisen durchsucht.
- Der Kritiker ist der strenge Editor. Er liest, was der Autor geschrieben hat, und sagt: „Warte, dieser Schritt ergibt keinen Sinn“, oder „Du hast vergessen, diesen Teil zu beweisen!“ Er sagt nicht einfach nur „falsch“; er gibt spezifisches Feedback dazu, wie die Lücken geschlossen werden können.
Der Clou ist: Der Autor schreibt nicht nur einmal. Er schreibt, wird kritisiert, schreibt um, wird erneut kritisiert und macht so weiter. Es ist, als würden ein Autor und ein Editor in einem Raum eingeschlossen sein und einen Text polieren, bis er perfekt ist.
Aber manchmal kommt der Autor nicht weiter. Dann ruft er den Rat (Council) und den Rechenknoten (Compute Node) zu Hilfe.
- Der Rat ist ein Gremium aus anderen superintelligenten KI-Modellen (wie ein Team von Gastexperten). Der Autor fragt sie: „Hey, ich stecke bei diesem speziastischen Teil fest; gibt es einen anderen Weg, ihn zu betrachten?“
- Der Rechenknoten ist der Kraftprotz. Wenn das Problem eine massive Berechnung oder ein spezialisiertes mathematisches Software-Tool erfordert, das der Autor allein nicht ausführen kann, erledigt dieser Knoten die schwere Arbeit, führt Code aus und berechnet Zahlen, um zu prüfen, ob eine Vermutung wahr ist.
Alle paar Runden macht der Kritiker eine „mentale Pause“ und beginnt mit einem unbeschriebenen Blatt neu. Dies ist entscheidend, denn wenn der Kritiker sich zu sehr an die Fehler des Autors gewöhnt, hört er vielleicht auf, sie zu sehen. Ein frischer Blick stellt sicher, dass der Beweis tatsächlich solide ist.
Der große Test: Die FirstProof Challenge
Das Team unterzog ProofCouncil dem ultimativen Test: einer Herausforderung namens FirstProof. Die Regeln waren einfach, aber brutal: Löse 10 echte, ungelöste mathematische Probleme innerhalb von 24 Stunden, unter Verwendung ausschließlich öffentlicher Werkzeuge.
Die Ergebnisse? ProofCouncil war der Star der Show. Von den 10 Problemen konnte es Lösungen für 6 von ihnen produzieren, die von menschlichen Preisrichtern als korrekt bewertet wurden (wobei nur winzige, geringfügige Anpassungen nötig waren). Dies war die beste Leistung aller Teams im Wettbewerb.
Sie testeten es auch an 30 anderen offenen Problemen, die von echten Mathematikern eingereicht wurden. Von den 21 Problemen, zu denen sie Feedback erhielten:
- 5 wurden als völlig korrekte Lösungen bewertet.
- 2 wurden als sehr vielversprechend angesehen, die nur noch einer abschließenden Prüfung bedurften.
- 8 machten nützliche Fortschritte, auch wenn sie den Job nicht ganz zu Ende brachten.
- 4 wiesen keine Fehler auf, brachten aber auch keinen wirklichen Fortschritt.
- 2 haben die Frage missverstanden und stattdessen eine leichtere Version davon gelöst.
Wichtig ist: Kein Experte stellte fest, dass die Ausgaben mathematisch falsch waren, in einer Weise, die die Logik verletzt hätte. Das Hauptproblem war nicht schlechte Mathematik; es war manchmal das Missverstehen der Aufgabenstellung.
Der Preis der Genialität
Hier ist der Haken: So intelligent zu sein, ist teuer. Den Betrieb von ProofCouncil auf einem einzelnen Problem zu berechnen, kostete etwa 350 $ an Computerzeit und Modellaufrufen. Vergleichen Sie dies mit einem einfacheren, einmaligen KI-Versuch, der nur 12 $ kostete, aber weniger Probleme löste. Das Paper legt nahe, dass der „Team-Ansatz“ zwar besser funktioniert, derzeit aber ein Luxusgut ist. Die Autoren geben zu, dass sie noch nicht versucht haben, dies günstiger zu machen, was als Aufgabe für zukünftige Forscher bleibt.
Was es nicht tat (und was es nicht behauptete)
Es ist wichtig zu wissen, was dieser Roboter nicht getan hat.
- Er hat nicht alle 10 Probleme der Herausforderung gelöst (er hat 4 verpasst).
- Er hat keine polierte, publikationsreife Forschungsarbeit erstellt. Die Mathematiker, die die Arbeit überprüften, merkten an, dass die Schreibweise dicht war und eine menschliche Bearbeitung benötigte, um für Nicht-Experten lesbar zu sein.
- Er hat nicht „bewiesen“, dass KI jedes mathematische Problem lösen kann. Er hat gezeigt, dass für einige schwierige Probleme ein Team von KIs, die zusammenarbeiten, besser ist als eine einzelne KI, die alleine arbeitet.
Das Fazit
ProofCouncil legt nahe, dass man, wenn man ein wirklich schweres, offenes mathematisches Problem lösen will, nicht einfach eine einzige KI fragen sollte: „Geh mal und finde es heraus.“ Stattdessen braucht man ein System, in dem eine KI schreibt, eine andere es zerlegt, eine dritte neue Perspektiven bietet und eine vierte die schwere Mathematik berechnet.
In der Welt der FirstProof-Herausforderung war dieses „Autor-Kritiker-Rat“-Team die erfolgreichste bisher getestete Strategie. Es hat nicht den gesamten Berg bezwungen, aber es ist höher geklettert als jeder andere und hat damit bewiesen, dass man mit einem Team von KIs, die wie ein menschliches Forschungsteam zusammenarbeiten, Probleme bewältigen kann, die zuvor als unerreichbar galten.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.