💬 NLP

Formalize Once, Edit the Rest: Efficient Lean-Based Answer Selection for Math Reasoning

Das Paper stellt BASE vor, eine Base-and-Edit-Pipeline, die ein spezialisiertes Rewriter-Modell (LEANSCRIBE) nutzt, um eine einzelne Kandidatenantwort zu formalisieren und die verbleibenden K-1 formalen Aussagen effizient durch In-place-Editing abzuleiten, wodurch die Rechenkosten signifikant gesenkt und gleichzeitig die Genauigkeit der Antwortauswahl bei Lean-basierter mathematischer Argumentation verbessert werden.

Ursprüngliche Autoren: Ji Feng, Zhouxing Shi

Veröffentlicht 2026-06-16

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Ji Feng, Zhouxing Shi

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sind ein Lehrer, der einen Stapel von 8 verschiedenen Mathe-Aufsätzen korrigiert, die von einem klugen, aber manchmal verwirrten Schüler (der KI) geschrieben wurden. Jeder Aufsatz versucht, dasselbe Problem zu lösen, aber sie kommen alle zu leicht unterschiedlichen Ergebnissen. Ihre Aufgabe ist es, herauszufinden, welcher davon tatsächlich korrekt ist.

Traditionell, um zu prüfen, ob eine Antwort richtig ist, könnten Sie einen super-rigiden, maschinell überprüfbaren Mathe-Roboter (genannt Lean) fragen, der jeden Aufsatz einzeln verifiziert. Aber hier ist der Haken: Bevor der Roboter einen Aufsatz prüfen kann, müssen Sie die unordentliche, natürliche Handschrift des Schülers in seine strikte Computersprache übersetzen. Dieser Übersetzungsprozess ist langsam, teuer und erfordert viel Rechenleistung. Wenn Sie 8 Aufsätze haben, müssen Sie für 8 teure Übersetzungen bezahlen.

Das Paper stellt eine neue Methode namens BASE (Base-and-Edit) vor, die das Spiel verändert. Anstatt alle 8 Aufsätze von Grund auf neu zu übersetzen, macht BASE etwas Cleveres:

1. Die Entdeckung der „Basis“ (The "Base" Discovery)

Zuerst betrachtet das System die Aufsätze in der Reihenfolge ihrer Konfidenz (beginnend mit dem Aufsatz, von dem der Schüler glaubt, dass er am wahrscheinlichsten korrekt ist). Es übersetzt nur einen dieser Aufsätze in die Sprache des Roboters und fragt den Roboter: „Ergibt das Sinn?“

Wenn der Roboter sagt: „Ja, dies ist eine gültige mathematische Aussage“, wird dies zur Basis (Base).
Wenn er „Nein“ sagt, versucht das System den nächsten Aufsatz.
Normalerweise funktioniert der erste oder zweite Versuch. So bezahlen Sie nur für eine teure Übersetzung.

2. Das „Editieren“ (The "Edit" – Der magische Trick)

Anstatt die restlichen 7 Aufsätze von Grund auf neu zu übersetzen, erkennt BASE, dass sie fast identisch mit dem ersten sind. Sie teilen sich dieselbe Problemstruktur; sie haben lediglich eine andere Zahl oder ein anderes Ergebnis am Ende.

Betrachten Sie den zuerst übersetzten Aufsatz als Ausstechform. Die anderen 7 Aufsätze sind nur dieselbe Keksform, aber mit einer anderen „Füllung“ (der Antwort).

Einfache Edits: Wenn die Antwort exakt gleich geschrieben ist (z. B. „5“), tauscht BASE einfach die Zahl aus.
Smarte Edits (LEANSCRIBE): Manchmal schreibt der Schüler die Antwort auf eine seltsame Weise (wie „die Quadratwurzel aus 13 mal 3“). Der Roboter könnte dies als komplexen Codeblock übersetzt haben. BASE nutzt einen speziellen Helfer namens LEANSCRIBE, um genau zu bestimmen, wo sich dieser komplexe Codeblock befindet und wie man ihn gegen den Code der neuen Antwort austauschen kann. Es ist, als hätte man einen Meisterkoch, der genau weiß, welche Zutat er in einem Rezept austauschen muss, ohne das ganze Gericht zu ruinieren.

Das Ergebnis: Eine „Pareto-Verbesserung“

Das Paper behauptet, dass diese Methode eine „Pareto-Verbesserung“ ist, was eine schicke Art zu sagen ist: „Wir haben bessere Ergebnisse erzielt, während wir weniger Geld ausgegeben haben.“

Günstiger: Anstatt für 8 Übersetzungen zu bezahlen, zahlt man für 1 Übersetzung und 7 günstige Edits. Dies senkt die Kosten um etwa das 5-fache (speziell im Durchschnitt um das 5,4-fache).
Genauer: Überraschenderweise fand diese Methode die richtige Antwort öfter, als wenn man alle von Grund auf neu überprüft hätte. Warum? Weil das System durch die Wiederverwendung der bereits vom Roboter genehmigten „Basis“ die Fehler vermeidet, die entstehen, wenn man versucht, einen neuen, unordentlichen Aufsatz von Grund auf neu zu übersetzen. Es ist, als würde man einen bewährten, stabilen Bauplan für ein Haus verwenden und nur die Farbe ändern, anstatt jedes Mal zu versuchen, ein neues Haus von Grund auf neu zu bauen.

Das Wesentliche (The Bottom Line)

Die Autoren haben ein System entwickelt, das aufhört, Zeit mit der ständigen Neuübersetzung desselben Matheproblems zu verschwenden. Es findet eine „gute“ Version, fixiert diese und passt dann die Antwort für den Rest an. Dies macht die Überprüfung von Mathe-Antworten mit KI schneller, günstiger und überraschend zuverlässiger.

Was sie nicht behauptet haben:

Sie haben nicht behauptet, dass dies die Mathe-Fähigkeiten der KI behebt; es hilft lediglich dabei, die beste Antwort aus einer Liste auszuwählen.
Sie haben nicht behauptet, dass es für jede Art von Problem funktioniert (nur für solche, bei denen die Antworten strukturell ähnlich aussehen).
Sie haben zugegeben, dass zwar die „Übersetzung“ geprüft wird, der endgültige „Beweis“ (die schrittweise Logik) jedoch immer noch schwierig für aktuelle Roboter ist, wesnthalb sie sich darauf konzentrieren, zuerst zu prüfen, ob die Antwort in der Sprache des Roboters „richtig aussieht“.

Technisches Resümee: Einmal formalisieren, den Rest editieren (BASE)

1. Problemstellung

Da Large Language Models (LLMs) zunehmend für mathematische Argumentation eingesetzt werden, generieren sie oft mehrere unterschiedliche Denkpfade und Kandidatnantworten für ein einzelnes Problem. Eine kritische Herausforderung ergibt sich bei der Antwortauswahl (Answer Selection): Wie lässt sich verifizieren, welche Kandidatin korrekt ist, ohne während der Testzeit-Skalierung Zugriff auf Ground-Truth-Labels zu haben?

Bestehende Ansätze wie Mehrheitsentscheidungen (Majority Voting) oder gelernte Belohnungsmodelle (Reward Models) bieten zwar statistische Signale, lassen jedoch formale Garantien vermissen. Jüngste Arbeiten haben formale Beweisassistenten (speziell Lean 4) zur Verifizierung von Kandidaten genutzt. In diesem Paradigma übersetzt ein „Autoformalisierer“ ein Problem und eine Kandidantnantwort in eine Lean-Theorem-Aussage, die die Korrektheit der Antwort behauptet. Ein Beweiser versucht dann, diese Aussage zu verifizieren.

Es besteht jedoch ein erheblicher Engpass: Um $K$ Kandidantnantworten zu verifizieren, muss der Autoformalisierer $K$ -mal unabhängig aufgerufen werden. Dies verursacht einen Rechenaufwand von $\Theta(K)$ , der linear mit der Anzahl der Stichproben skaliert. Die Autoren beobachten, dass die $K$ formalen Aussagen für ein einzelnes Problem nahezu identisch sind; sie teilen dieselbe Problemstruktur und unterscheiden sich lediglich im Ausdruck der Antwort. Das Kernproblem besteht darin, wie man diese gemeinsame Struktur ausnutzen kann, um die Formalisierungskosten von $\Theta(K)$ auf $\Theta(1)$ zu senken, ohne die Selektionsgenauigkeit zu beeinträchtigen.

2. Methodik: Die BASE-Pipeline

Die Autoren schlagen BASE (Base-and-Substitute-Edit) vor, eine Pipeline, die darauf ausgelegt ist, eine einzelne „Basis“-Kandidantnantwort zu formalisieren und die verbleibenden $K-1$ Aussagen durch lokale Editierung abzuleiten.

2.1 Basis-Entdeckung (Base Discovery)

Die Pipeline beginnt mit einem Upstream-Solver, der eine nach Konfidenz geordnete Liste von $K$ Kandidantnantworten generiert, $S(x) = (a_1, \dots, a_K)$ .

Das System iteriert die Kandidaten in der Rangfolge durch.
Für jeden Kandidaten $a_i$ versucht es, das Problem-Antwort-Paar $(x, a_i)$ in eine Lean-Aussage $F_i$ zu formalisieren.
Der Prozess stoppt beim ersten Kandidaten $a_b$ , dessen Formalisierung $F_b$ in Lean erfolgreich typgeprüft (type-checks) wird.
$F_b$ wird die Basis-Formalisierung (base formalization), und $a_b$ ist die Basis-Antwort.
Falls kein Kandidat erfolgreich typgeprüft wird, fällt das System auf den am höchsten eingestuften Kandidaten $a_1$ zurück.

2.2 Substitutions-Kaskade (Substitution Cascade)

Sob falls eine gültige Basis $F_b$ etabliert wurde, generiert das System die verbleibenden $K-1$ Aussagen, indem es $F_b$ vor Ort editiert, um die anderen Kandidaten widerzuspiegeln. Dies wird durch eine zweistufige Kaskade gehandhabt:

Stufe 1 (R1): Regelbasierte direkte Lokalisierung
- Das System versucht, den Antwortausdruck in $F_b$ mittels exaktem String-Matching innerhalb eines „Gated Region“ (dem Theorem-Body, unter Ausschluss von Kommentaren/Headern) zu lokalisieren.
- Wird ein eindeutiger Treffer gefunden, führt das System eine direkte Substitution des Antwort-Strings durch.
- Treten mehrere Treffer auf, wählt ein kleines Disambiguierungsmodell den korrekten Slot aus.
- Diese Stufe ist effizient, versagt jedoch, wenn der Autoformalisierer die Antwort in einer syntaktisch diversen Form kodiert (z. B. ein Tupel (3, 5), das als separate Bindungen oder als Prod-Wert kodiert ist, statt als wörtlicher String).
Stufe 2 (R2): LEANSCRIBE (Gelernter Rewriter)
- Falls R1 fehlschlägt, ruft das System LEANSCRIBE auf, ein spezialisiertes, fein abgestimmtes LLM.
- Input: Das Problem $x$ , die Basis-Formalisierung $F_b$ und die Basis-Antwort $a_b$ .
- Output:
  - Ein lokaler Block $s$ : Ein zusammenhängendes Segment von $F_b$ , das den antwortabhängigen Ausdruck enthält.
  - Eine Fill-Funktion $f$ : Eine leichtgewichtige Python-Funktion, die jede informelle Antwort $a_i$ auf den entsprechenden Lean-Ausdruck abbildet, der $s$ ersetzt.
- Ausführung: LEANSCRIBE läuft einmal pro Problem. Die generierte Funktion $f$ wird dann auf alle verbleibenden Kandidaten $a_i$ angewendet, um deren formale Aussagen $F_i = f(a_i)$ zu erzeugen. Dies amortisiert die Kosten des Modellaufrufs über alle $K-1$ Kandidaten hinweg.

2.3 Verifizierung und Selektion

Die Pipeline stützt sich auf die Aussagen-Ebene der Typprüfung (statement-level type-checking) als primäres Selektionssignal.

Ein Kandidat gilt als „verifiziert“, wenn seine formale Aussage $F_i$ in Lean typgeprüft wird (d. h. eine wohldefinierte Proposition ist).
Das System wählt den am höchsten eingestuften Kandidaten $a_j$ aus, für den $F_j$ typgeprüft wird.
Falls kein Kandidat typgeprüft wird, fällt es auf den am höchsten eingestuften Kandidaten $a_1$ zurück.
Die Autoren merken an, dass die Beweisebene-Verifizierung (Einsatz eines Provers) zwar strenger ist, die aktuellen Prover jedoch niedrige Pass@1-Raten aufweisen, wes heavy-weight Beweise zu machen, macht die Typprüfung auf Aussagenebene zu einem praktikableren Signal für die Selektion in diesem budgetbeschränkten Szenario.

3. Zentrale Beiträge

BASE-Pipeline: Die erste Arbeit, die die Formalisierungskosten amortisiert, indem sie eine einzige verifizierte Basis-Aussage mit mehreren Kandidaten teilt, wodurch die Aufrufe des Autoformalisierers von $\Theta(K)$ auf $\Theta(1)$ reduziert werden.
LEANSCRIBE-Modell: Ein gelernter Rewriter, der darauf trainiert wurde, antwortabhängige Blöcke zu lokalisieren und wiederverwendbare Editierfunktionen zu generieren, um syntaktische Variationen zu handhaben, die eine regelbasierte Substitution nicht bewältigen kann.
Pareto-Verbesserung: Die Methode erzielt eine höhere Selektionsgenauigkeit bei gleichzeitig signifikant reduzierten Rechenkosten in allen getesteten Konfigurationen.

4. Experimentelle Ergebnisse

Die Autoren evaluierten BASE auf vier Benchmarks (MATH-500, OlympiadBench, AMC-AIMO, AIME 2024) unter Verwendung von drei verschiedenen Upstream-Solvern (Gemini 3 Pro, Qwen3-8B, DeepSeek-R1-Qwen3-8B) mit $K=8$ Kandidaten.

Genauigkeit: BASE verbesserte die Selektionsgenauigkeit (Acc) in allen 12 (Datensatz, Solver)-Konfigurationen im Vergleich zur unabhängigen Formalisierung, mit Gewinnen zwischen +0,7 und +23,3 Prozentpunkten.
Robustheit: Die „Gold-Answer Pass“-Rate (GT-pass) – der Anteil der Probleme, bei denen die Aussage der korrekten Antwort typgeprüft wird – stieg signifikant an (um bis zu +33,3 Punkte) und erreichte in vielen Fällen 96–100 %. Dies deutet darauf hin, dass das Teilen einer verifizierten Basis die Formalisierung der korrekten Antwort robuster macht.
Kosteneffizienz: Bei $K=8$ reduzierte BASE die Anzahl der Autoformalisierer-Aufrufe um etwa das 5,4-fache (mittlere Reduktion von 4,7–6,5×). Die Kosten skalieren als $\Theta(1)$ statt als $\Theta(K)$ .
Ablation: Das Entfernen des gelernten Rewriters (LEANSCRIBE) und das alleinige Vertrauen auf die regelbasierte Substitution (R1) führte zu einem signifikanten Abfall der Kandidaten-Abdeckung (8–22 Prozentpunkte), was die Notwendigkeit der gelernten Komponente zur Handhabung diverser syntaktischer Kodierungen verdeutlicht.
Analyse auf Beweisebene: Selbst wenn ein Prover (DeepSeek-Prover-V2) mit einem einzigen Versuch pro Kandidat verwendet wurde, verbesserte BASE die Genauigkeit auf Beweisebene in 11 von 12 Konfigurationen, was darauf hindeutet, dass besser strukturierte formale Aussagen nachgeschaltete Prover unterstützen.

5. Bedeutung und Behauptungen

Das Paper behauptet, dass BASE eine Pareto-Verbesserung für die Lean-basierte Antwortselektion darstellt. Durch die einmalige Formalisierung und anschließende Editierung erreicht die Methode gleichzeitig:

Reduzierung der Kosten: Sie senkt die Inferenzkosten der formalen Verifizierung drastisch, was die Testzeit-Skalierung mit großem $K$ praktikabler macht.
Verbesserung der Genauigkeit: Sie erhöht die Zuverlässigkeit bei der Auswahl der korrekten Antwort, da die gemeinsame Basisstruktur die Varianz und Fehlerrate des Autoformalisierers für den korrekten Kandidaten verringert.

Die Autoren betonen, dass dieser Ansatz ein „Drop-in-Ersatz“ für die Formalisierungsphase in bestehenden Pipelines ist (demonstriert durch die Integration in die FANS-Pipeline) und dass die Gewinne durch die Fähigkeit des Verifizierers getrieben werden, korrekte Antworten effektiver zu erhalten, wenn ein gemeinsames, verifiziertes Gerüst verwendet wird, und nicht durch Änderungen am Upstream-Solver selbst.

Die Arbeit räumt Einschränkungen ein und stellt fest, dass sie sich aufgrund der aktuellen Prover-Limitierungen auf die Typprüfung auf Aussagenebene konzentriert und davon ausgeht, dass die Kandidatnantworten eine gemeinsame Problemstruktur teilen. Sie beansprucht nicht, die Treue (Faithfulness) der Autoformalisierung zu lösen (wo eine falsche Antwort dennoch typgeprüft werden könnte), legt aber nahe, dass die Kombination formaler Signale mit Solver-Rankings dieses Risiko mindert.