MathForm: Scaling Mathematical Autoformalization with Knowledge Retrieval and Verification-Guided Refinement

Stellen Sie sich vor, Sie versuchen, einem brillanten, aber etwas tollpatschigen Roboter beizubringen, die Sprache der reinen Logik zu sprechen. Dieser Roboter, ein Large Language Model (LLM), ist fantastisch darin, Geschichten zu lesen, Gedichte zu schreiben und mathematische Rätsel in einfachem Englisch zu lösen. Aber es gibt einen Haken: Um ein mathematisches Theorem mit absoluter Gewissheit zu beweisen, können Sie nicht einfach Worte verwenden; Sie müssen es in eine super-strenge Computersprache namens Lean 4 schreiben. Betrachten Sie Lean 4 als einen Hochsicherheits-Tresor, in dem jedes einzelne Wort, jedes Symbol und jede Regel perfekt sein muss, sonst öffnet sich die Tresortür nicht. Das Problem ist, dass der Roboter zwar Mathematik beherrscht, aber das spezifische „Regelwerk“ (genannt Mathlib) nicht kennt, das Lean 4 verwendet. Es ist, als würde man einen Koch bitten, ein perfektes Steak zu kochen, aber er müsste einem Rezept folgen, das in einer Sprache geschrieben ist, die er noch nie gesehen hat, unter Verwendung von Zutaten, deren Namen er nicht kennt. Er könnte raten, aber er wird wahrscheinlich falsch liegen.

Hier kommt „Autoformalisierung“ ins Spiel: die Kunst, menschliche Mathematik in diesen strengen Computercode zu übersetzen. Lange Zeit versuchten Forscher, den Roboter einfach die Mathematik „übersetzen“ zu lassen, in der Hoffnung, er würde sich an die Regeln aus seinem Training erinnern. Aber der Roboter machte immer wieder Fehler, wie das Verwenden der falschen Zutaten oder das Vergessen eines entscheidenden Schritts, weil er versuchte, sich allein auf sein Gedächtnis zu verlassen. Die neue Arbeit, MathForm, argumentiert, dass dieser „Raten und Hoffen“-Ansatz fehlerhaft ist. Stattdessen haben sie ein System entwickelt, bei dem der Roboter erlaubt ist, das Regelwerk aufzusuchen, bevor er mit dem Schreiben beginnt, und wenn er einen Fehler macht, wirft ein strenger Editor die Arbeit nicht einfach weg – er sagt dem Roboter genau, was schiefgelaufen ist, und lässt ihn es so lange erneut versuchen, bis er es richtig gemacht hat.

Die Forscher hinter MathForm erkannten, dass man, um einen Roboter dazu zu bringen, die Sprache der formalen Mathematik perfekt zu sprechen, nicht einfach einen Entwurf schreiben und hoffen kann, dass er das Beste wird. Sie entwickelten eine dreistufige Montagestraße, um den Workflow des Roboters zu korrigieren. Zuerst scannt ein „Forscher“-Agent die riesige Mathlib-Bibliothek nach den exakten Definitionen und Regeln, die der Roboter für dieses spezifische Problem benötigt, bevor der Roboter auch nur eine einzige Zeile Code schreibt. Es ist, als würde man dem Koch die spezifische Rezeptseite für „Steak“ geben, bevor er überhaupt ein Messer in die Hand nimmt. Zweitens schreibt der Roboter seinen Code, und dann prüft ein „Inspektor“ ihn. Wenn der Code einen Syntaxfehler aufweist (wie ein fehlendes Komma), weist der Inspektor darauf hin. Wenn der Code zwar kompiliert, aber etwas Falsches bedeutet (wie zum Beispiel „alle Zahlen“ zu sagen, wenn das Problem eigentlich „nur positive Zahlen“ meinte), erklärt der Inspektor den semantischen Fehler. Drittens gibt der Roboter anstatt aufzugeben diesen Feedback, um seinen Code neu zu schreiben. Er durchläuft immer wieder diesen „Schreiben-Prüfen-Korrigieren“-Zyklus, bis der Code perfekt ist.

Mit Hilfe dieser cleveren Schleife erstellte das Team einen massiven neuen Datensatz namens FormalVerse, der etwa 367.000 verifizierte mathematische Beispiele enthält. Sie trainierten darauf ein neues Modell, MathForm-8B. Die Ergebnisse waren überraschend: Dieses relativ kleine Modell (8 Milliarden Parameter) wurde besser darin, Mathematik zu formalisieren, als viel größere, spezialisierte Modelle (32 Milliarden Parameter), die sich auf die alten „Raten und Hoffen“-Methoden verließen. In sechs verschiedenen schwierigen Mathematiktests bestand MathForm-8B den strengen „Consistency Check“ (was bedeutet, dass der Code tatsächlich das meinte, was das menschliche Problem aussagte) etwa 72,4 % der Zeit und schlug damit die bisher besten Modelle. Selbst bei den schwierigsten, abstraktesten Algebra-Problemen übertraf es seine größeren Rivalen deutlich. Die Arbeit legt nahe, dass man, indem man dem Modell die richtigen Werkzeuge gibt, um Informationen nachzuschlagen, und ihm die Chance gibt, aus seinen Fehlern zu lernen, kein riesiges Gehirn braucht, um ein Mathematikgenie zu sein; man braucht nur einen smarten Workflow.