CAM-Bench: A Benchmark for Computational and Applied Mathematics in Lean
Dieser Beitrag stellt CAM-Bench vor, einen neuen Lean-4-Benchmark mit 1.000 formalisierten Problemen aus der rechnerischen und angewandten Mathematik, der die Unterrepräsentation dieser Bereiche in bestehenden Evaluierungen adressiert, indem er eine Pipeline zur Wiederherstellung von Abhängigkeiten nutzt, um Lehrbuchaufgaben anzupassen, und die Leistung großer Sprachmodelle bei Aufgaben untersucht, die das Verfolgen lokalen Kontexts und die Anwendung elementarer Theoreme erfordern.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie versuchen, einem brillanten, aber wörtlich denkenden Roboter beizubringen, wie man Mathematik betreibt. Sie haben zwei Möglichkeiten, ihn zu testen:
- Der „Lösungsschlüssel"-Test: Sie geben dem Roboter ein mathematisches Problem, und er schreibt die endgültige Zahl auf. Wenn die Zahl richtig ist, erhalten Sie einen goldenen Stern. So funktionieren die meisten aktuellen KI-Mathematiktests.
- Der „Schritt-für-Schritt"-Test: Sie bitten den Roboter, jeden einzelnen logischen Schritt aufzuschreiben, wie einen Beweis in einem Lehrbuch, und prüfen dann, ob jeder Schritt logisch unangreifbar ist. Dies ist viel schwieriger, beweist aber, dass der Roboter die Mathematik tatsächlich versteht und nicht nur die Antwort errät.
Diese Arbeit stellt einen neuen, extrem schwierigen „Schritt-für-Schritt"-Test namens CAM-Bench vor.
Das Problem: Der Roboter kennt nur „Olympiade"-Mathematik
Derzeit ähneln die meisten Tests für Mathematik-KIs Olympiade-Rätseln. Es sind knifflige, in sich geschlossene Rätsel (wie „Beweisen Sie, dass, wenn X wahr ist, dann auch Y wahr ist"). Die KI ist bei diesen Aufgaben hervorragend, da sie wie isolierte Logikspiele sind.
Aber reale Mathematik – wie in der Ingenieurwissenschaft, Finanzwelt oder Physik – ist anders. Es ist normalerweise kein ordentliches Rätsel. Es ist eher wie das Befolgen eines Rezepts aus einem Kochbuch.
- Das Rezept (das Problem) geht davon aus, dass Sie bereits wissen, was „anbraten" bedeutet.
- Es geht davon aus, dass Sie einen bestimmten Pfannentyp haben (eine Definition aus Kapitel 3).
- Es geht davon aus, dass Sie wissen, wie man Zwiebeln hackt (ein Algorithmus aus Kapitel 1).
Wenn Sie dem Roboter nur den letzten Satz des Rezepts geben („Machen Sie die Suppe"), gerät er in Verwirrung, weil ihm der „lokale Kontext" (die Definitionen, die Werkzeuge, die vorherigen Schritte) fehlt, von dem der ursprüngliche Autor ausgegangen ist.
CAM-Bench wurde entwickelt, um zu testen, ob KI mit dieser „Kochbuch-Stil"-Mathematik zurechtkommt, speziell in Bereichen wie Optimierung (den besten Weg, etwas zu tun, zu finden), numerische lineare Algebra (Mathematik mit riesigen Gittern von Zahlen) und numerische Analyse (Annäherungslösungen).
Die Lösung: Die „Kontext-Detektiv"-Pipeline
Die Autoren haben nicht einfach Probleme aus Lehrbüchern gegriffen und der KI zugeführt. Sie bauten eine ausgeklügelte Pipeline (eine Fließbandanlage), um die Probleme vorzubereiten. Stellen Sie sich dies als einen Kontext-Detektiv vor:
- Der rohe Hinweis: Sie beginnen mit einer unordentlichen Lehrbuchübung, die besagt: „Verwenden Sie Algorithmus 16.4, um Problem 16.76 zu lösen."
- Die Detektivarbeit: Die Pipeline geht zurück ins Buch, um herauszufinden, was „Algorithmus 16.4" tatsächlich ist. Sie gräbt Definitionen, Formeln und Annahmen aus, die in früheren Kapiteln versteckt sind.
- Die Rekonstruktion: Sie fügt all diese verstreuten Teile zu einem großen, in sich geschlossenen „informalen Theorem" zusammen. Es ist, als würde man ein Rezept, das sagt „fügen Sie die geheime Sauce hinzu", umschreiben in „fügen Sie die Sauce hinzu, die aus Tomaten, Basilikum und Knoblauch besteht".
- Die Übersetzung: Schließlich übersetzt sie diese saubere, in sich geschlossene Geschichte in Lean, eine strenge Computersprache, die wie ein super-pedantischer Mathematiklehrer fungiert. Wenn die Logik auch nur ein winziges Loch hat, lehnt Lean es ab.
Die Ergebnisse: Die KI steckt im „Kochbuch" fest
Die Autoren testeten einige der weltweit intelligentesten KI-Modelle auf diesem neuen Benchmark. Hier ist, was passierte:
- Die „Lösungsschlüssel"-Lücke: Die KI-Modelle waren tatsächlich ziemlich gut darin, die Probleme in plain English zu lösen (die richtige Antwort zu finden). Aber wenn sie den Beweis in Lean (der strengen Sprache) schreiben mussten, brach ihre Erfolgsrate zusammen.
- Analogie: Es ist, als könnte die KI Ihnen sagen, wie man einen Kuchen backt, in einem Gespräch, aber wenn Sie sie bitten, die Anweisungen für einen Roboter zu schreiben, der nichts erraten kann, verbrennt der Roboter die Küche.
- Das „lokale Kontext"-Versagen: Die KI vergaß ständig die „lokalen Regeln". Sie versuchte, ein Werkzeug zu verwenden, das im aktuellen Kapitel nicht existierte, oder sie übersah eine winzige Annahme (wie „die Zahl muss positiv sein"), die das Lehrbuch implizierte, aber in diesem spezifischen Satz nicht explizit stated.
- Das „lange Kette"-Problem: Reale Mathematikprobleme erfordern oft eine lange Kette kleiner Schritte (wie ein Haus Ziegel für Ziegel zu bauen). Die KI-Modelle gerieten oft in der Mitte der Kette in die Irre, vergaßen, was sie bauten, oder verloren die Kontrolle über das langfristige Ziel.
Das „Agent"-Upgrade
Die Forscher testeten auch eine fortschrittlichere Methode, bei der die KI wie ein menschlicher Detektiv mit Werkzeugkiste agiert. Anstatt nur die Antwort zu erraten, darf die KI:
- Den Computer (Lean) um Hilfe bitten, wenn sie einen Fehler macht.
- Ihre eigene Arbeit überprüfen.
- Basierend auf der Fehlermeldung erneut versuchen.
Dieser „Agent"-Ansatz funktionierte viel besser und verdoppelte die Erfolgsrate. Allerdings war er noch lange nicht perfekt und kostete viel mehr „Gehirnleistung" (Computer-Token) zum Ausführen.
Das Fazit
CAM-Bench zeigt, dass KI zwar gut darin wird, mathematische Rätsel zu lösen, aber immer noch Schwierigkeiten mit angewandter Mathematik hat, die das Verstehen von Kontext, das Erinnern an lokale Regeln und das schrittweise Aufbauen langer, logischer Argumente erfordert.
Die Arbeit kommt zu dem Schluss, dass wir, um KI für reale Mathematik wirklich zuverlässig zu machen, aufhören müssen, sie an isolierten Rätseln zu testen, und beginnen müssen, sie an diesen unordentlichen, kontextschweren „Kochbuch"-Problemen zu testen. Die aktuellen Modelle sind wie Schüler, die Antworten auswendig lernen können, aber noch nicht gelernt haben, wie man ein Haus von Grund auf baut.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.