🤖 AI

ImProver 2: Iteratively Self-Improving LMs for Neurosymbolic Proof Optimization

Die Arbeit stellt ImProver 2 vor, ein neurosymbolisches Framework, das dateneffiziente Experteniteration mit einem strukturellen Gerüstsystem kombiniert, um kleinen Sprachmodellen zu ermöglichen, komplexe formale Beweise in Lean 4 effektiv zu optimieren, wodurch sie deutlich größere Modelle übertreffen und die Beweisoptimierung als skalierbare, lernbare Aufgabe etablieren.

Ursprüngliche Autoren: Riyaz Ahuja, Tate Rowney, Jeremy Avigad, Sean Welleck

Veröffentlicht 2026-05-25

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Riyaz Ahuja, Tate Rowney, Jeremy Avigad, Sean Welleck

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben eine riesige, wachsende Bibliothek mathematischer Beweise. Dies sind keine bloßen Geschichten; es sind starre, computergeprüfte Baupläne, die beweisen, dass Dinge wahr sind. In jüngster Zeit haben Computer (speziell KI) begonnen, Menschen beim Schreiben dieser Beweise zu helfen, wodurch die Bibliothek explosionsartig gewachsen ist.

Doch es gibt ein Problem: Die Bibliothek wird unübersichtlich. Manche Beweise sind korrekt, aber in einem verwirrenden Stil geschrieben, andere sind zu lang, und einige stützen sich auf eine riesige Liste anderer Regeln, die sie schwer wartbar machen. Es ist wie ein Haus, in dem die Rohrleitungen funktionieren, aber die Rohre verwickelt sind, die Wände in sich widersprechenden Farben gestrichen sind und Sie einen Rucksack voller zusätzlicher Werkzeuge tragen müssen, nur um das Licht einzuschalten.

Hier kommt ImProver 2 ins Spiel.

Stellen Sie sich ImProver 2 als superorganisierte, sich selbst verbessernde Bibliothekarin vor, die nicht nur Bücher einregelt, sondern sie umschreibt, um sie besser zu machen. Ihre Aufgabe besteht darin, einen korrekten Beweis zu nehmen und ihn umzuschreiben, damit er kürzer, sauberer oder modularer wird, ohne die Mathematik zu beschädigen.

So funktioniert es, unter Verwendung einiger einfacher Analogien:

1. Die „Übung macht den Meister"-Schleife (Iterative Selbstverbesserung)

Normalerweise zeigt man einem Computer, um ihn eine Aufgabe ausführen zu lassen, Tausende von Beispielen, die von Menschen geschrieben wurden. Doch für die Beweisoptimierung sind gute Beispiele selten.

ImProver 2 löst dieses Problem, indem es sich selbst unterrichtet.

Der Entwurf: Es nimmt einen Beweis und versucht, ihn auf viele verschiedene Arten umzuschreiben (wie ein Autor, der 10 verschiedene Enden für eine Geschichte brainstormt).
Die Benotung: Es prüft, welche Umschreibungen mathematisch korrekt bleiben. Dann bewertet es sie basierend auf dem, was wir wollen: Ist er kürzer? Verwendet er weniger externe Referenzen? Ist er in klarere Schritte unterteilt?
Die Lektion: Es vergleicht seine „gewinnenden" Umschreibungen mit seinen „verlierenden". Es lernt: „Ah, wenn ich das getan habe, wurde der Beweis kürzer und blieb korrekt. Wenn ich das getan habe, ist er kaputtgegangen."
Der Replay-Puffer: Um zu verhindern, dass die KI vergisst, was sie gelernt hat, oder in einer Schleife schlechter Ideen stecken bleibt, führt sie eine „Gedächtnisbank" alter guter Beispiele gemischt mit neuen. Dies stellt sicher, dass sie im Laufe der Zeit immer besser wird, anstatt dieselben Fehler immer wieder zu wiederholen.

2. Das „Neurosymbolische Gerüst" (Die Stützräder)

Stellen Sie sich vor, Sie versuchen, einen komplexen Motor ohne Handbuch oder Diagramm zu reparieren. Das ist schwer. Stellen Sie sich nun vor, Sie hätten ein Diagramm, das genau hervorhebt, an welchem Teil Sie arbeiten, erklärt, was dieser Teil in einfacher Sprache tut, und die benötigten Werkzeuge in der Nähe auflistet.

ImProver 2 gibt der KI dieses „Diagramm" für jeden Beweis. Dies wird als Neurosymbolische Augmentierung bezeichnet. Es bietet:

Die Karte: Sie zeigt den aktuellen Zustand des Beweises (was bisher bewiesen wurde, was noch zu tun ist).
Der Kontext: Sie ruft die spezifischen Definitionen und Regeln auf, die für diesen spezifischen Beweis relevant sind, damit die KI nicht raten muss.
Die Übersetzung: Sie gibt eine „einfache Deutsch"-Zusammenfassung dessen, was der Beweis zu erreichen versucht, und hilft der KI, das Ziel zu verstehen, bevor sie beginnt, den Code zu schreiben.

Dieses „Gerüst" hilft sogar kleinen, weniger leistungsfähigen Computern, wie viel größeren, intelligenteren zu performen.

3. Die drei Ziele (Metriken)

Die Bibliothekarin möchte nicht nur, dass der Beweis „korrekt" ist. Sie möchte spezifische Eigenschaften optimieren, wie ein Koch, der ein Rezept anpasst:

Länge (Die „Golf"-Metrik): Genau wie beim Golf ist das Ziel, den Ball mit den wenigsten Schlägen ins Loch zu bringen. ImProver 2 versucht, Beweise zu verkürzen, indem es unnötige Schritte entfernt.
Abhängigkeiten (Die „Selbstständige"-Metrik): Stellen Sie sich ein Rezept vor, das sagt: „Fügen Sie die geheime Soße aus dem Haus des Nachbarn hinzu." Das ist eine Abhängigkeit. ImProver 2 versucht, Beweise so umzuschreiben, dass sie nicht auf so viele externe „Nachbar-Soßen" angewiesen sind, was sie leichter verständlich und eigenständig nutzbar macht.
Modularität (Die „Lego"-Metrik): Ein unordentlicher Beweis ist wie ein riesiger Klumpen Ton. Ein modularer Beweis ist wie ein Set Lego – kleine, distincte, wiederverwendbare Teile. ImProver 2 versucht, große Beweise in kleinere, unabhängige Teilbeweise (wie „habe h1", „habe h2") aufzubrechen, damit die Logik klarer wird.

Die Ergebnisse: Klein ist mächtig

Das überraschendste Ergebnis ist, dass ImProver 2 ein kleines KI-Modell (7 Milliarden Parameter) nahm und es so trainierte, dass es in diesen Aufgaben besser war als massive KI-Modelle (einige mit hunderten Milliarden Parametern), die nicht diese spezielle Ausbildung erhalten hatten.

Es ist wie ein kompaktes, effizientes Sportauto zu nehmen und seinen Motor so perfekt abzustimmen, dass es in einem bestimmten Rennen einen massiven, schweren Lastwagen schlägt, obwohl der Lastwagen einen größeren Motor hat. Das kleine Modell lernte, wenn es das richtige „Gerüst" und die richtige „Übungsschleife" erhielt, komplexe mathematische Argumente besser zu strukturieren als die Riesen.

Zusammenfassend: ImProver 2 ist ein System, das kleine KI-Modelle zu Experten für Beweisredaktion unterrichtet. Indem es ihnen eine klare Karte des Problems gibt und sie aus ihren eigenen besten Versuchen lernen lässt, kann es unordentliche mathematische Bibliotheken aufräumen, sie kürzer, sauberer und leichter wartbar machen, alles ohne die teuersten, massivsten Supercomputer zu benötigen.

Technische Zusammenfassung: ImProver 2

Problemstellung

Die rasche Expansion formaler Mathematikbibliotheken (z. B. Leans Mathlib) hat eine doppelte Herausforderung geschaffen: Die Wartbarkeit dieser Bibliotheken wird durch heterogene Beweisstile und geringe Modularität bedroht, während die Qualität der Trainingsdaten für neuronale Theorembeweiser durch Beweise beeinträchtigt wird, die zwar korrekt, aber strukturell suboptimal sind. Bestehende Methoden zur automatisierten Beweisoptimierung sehen sich erheblichen Hürden gegenüber, darunter heterogene und heuristisch definierte Zielsetzungen, ein Mangel an hochwertigen Optimierungsdaten sowie die prohibitiven Kosten für Training und Inferenz bei großskaligen Modellen. Darüber hinaus stützten sich frühere Arbeiten oft auf allgemeine, proprietäre Modelle oder konzentrierten sich zu eng auf Token-Anzahlen, ohne breitere strukturelle Metriken wie Modularität und Abhängigkeitsmanagement zu adressieren.

Methodik

Die Autoren stellen ImProver 2 vor, ein neurosymbolisches Framework, das entwickelt wurde, um kleine Sprachmodelle (SLMs) für die Beweisoptimierung in Lean 4 iterativ selbst zu verbessern. Das System arbeitet durch eine Pipeline aus mehreren Komponenten:

1. Neurosymbolische Augmentierung (Gerüst)

Um die Lücke zwischen informellem Schlussfolgern und formaler Verifikation zu überbrücken, setzt das Framework das Modell einem reichen Kontext aus der Lean-Umgebung aus. Dieses „Gerüst" ( $\Psi$ ) umfasst:

Kontext-Slices: Relevante Definitionen, Theoreme und Lemmata, die direkt vom Zielbeweis referenziert werden, serialisiert mit Metadaten.
Chain-of-States (CoS): Explizite Spuren von Zielzuständen vor und nach jedem Taktik-Schritt, die als Kommentare eingefügt werden, um den logischen Fluss des Beweises offenzulegen.
Auto-Informalisierung: Natürlichsprachige Zusammenfassungen der Beweisschritte, generiert durch die Übersetzung des formalen Beweises in eine Sequenz von hochrangigen Beschreibungen.

2. Optimierungsmetriken

Das System zielt auf drei verschiedene strukturelle Zielsetzungen ab, definiert als berechenbare Funktionen $\mu$ :

Länge: Minimierung der Anzahl der verwendeten Taktiken (Beweis-„Golfing").
Abhängigkeiten: Minimierung der Anzahl einzigartiger externer Lemmata, die im Beweis explizit genannt werden, um in sich geschlossene Beweise zu fördern.
Modularität: Maximierung der Anzahl „effektiv erzeugter Ziele" (unabhängige Unterbeweise, die via have, calc etc. eingeführt werden), was als Proxy für Beweiszergliederung und Wartbarkeit dient.

3. Iterativer Präferenz-Optimierungs-Pipeline (IRPO)

ImProver 2 nutzt eine iterative Trainingsschleife, um SLMs zu bootstrappen:

Generierung: Das aktuelle Modell $G_t$ generiert $n$ Kandidaten-Umschreibungen für jedes Theorem im Trainingsdatensatz unter Verwendung des neurosymbolischen Gerüsts.
Filterung und Replay: Kandidaten werden basierend auf Korrektheit (Lean-Kernel-Verifikation) und Metrikverbesserung bewertet. Ein Replay-Puffer wird genutzt, um neu generierte Daten mit historischen Daten auszugleichen, um Modellkollaps zu verhindern und eine monotone Verbesserung sicherzustellen. Triviale oder qualitativ minderwertige Probleme werden herausgefiltert.
Konstruktion von Präferenzpaaren: Der Datensatz wird in „Gewinner" (kompilierende, stark verbessernde Beweise) und „Verlierer" (Fehlschläge oder schwach verbessernde Beweise) partitioniert. Zwei Arten von Präferenzpaaren werden gebildet: Gewinner–Gewinner (geordnet nach Verbesserungsmagnitude) und Gewinner–Verlierer.
Training: Das Modell wird mittels Iterativer Reasoning-Präferenz-Optimierung (IRPO) aktualisiert, die einen Direct Preference Optimization (DPO)-Verlust mit einem negativen Log-Likelihood (NLL)-Verlust auf den Gewinner-Beweisen kombiniert. Dieser Prozess wiederholt sich bis zur Konvergenz oder Erschöpfung des Budgets.

Hauptbeiträge

Selbstverbessernde SLMs für Refactoring: Die Arbeit zeigt, dass iterative Präferenzoptimierung kleine Sprachmodelle (speziell ein 7-Milliarden-Parameter-Modell) effektiv bootstrappen kann, um Beweise in spezialisierten Forschungs-Bibliotheken zu optimieren und sie mit deutlich größeren Modellen konkurrenzfähig zu machen.
Strukturelle Optimierungsmetriken: Über die einfache Längenreduktion hinaus führen die Autoren Modularitäts- und Abhängigkeitsmetriken ein und evaluieren diese. Diese Metriken nutzen Beweisstruktur und Bibliothekskontext, um unterschiedliche Refactoring-Ziele zu adressieren, die für die Wartbarkeit von Bibliotheken relevant sind.
Neurosymbolische Augmentierung: Das Framework extrahiert und integriert Zielzustandsspuren, relevanten Kontext und Auto-Informalisierungen. Die Autoren zeigen, dass diese Augmentierung die Leistung sowohl kleiner als auch frontier-Modelle signifikant steigert und die Entdeckung gültiger, hochwertiger Umschreibungen ermöglicht.

Experimentelle Ergebnisse

Das System wurde auf miniCTX-v2 evaluiert, einem Benchmark aus menschlich verfasster Mathematik auf Forschungsniveau, unter Verwendung eines 7-Milliarden-Parameter-Basismodells (DeepSeek-R1-Distill-Qwen-7B).

Leistung vs. Skalierung: ImProver 2 übertrifft das deutlich größere DeepSeek-R1 671B-Modell bei allen drei Metriken (Länge, Modularität, Abhängigkeit), wenn kein Gerüst verwendet wird. Beispielsweise erzielte ImProver 2 bei der Modularität eine durchschnittliche Verbesserung von 0,143 im Vergleich zu 0,055 für das 671B-Modell.
Vergleich mit Frontier-Modellen: Das 7B-ImProver-2-Modell ist bei den Metriken Länge und Abhängigkeit mit mittleren Frontier-Modellen (z. B. GPT-5-mini) konkurrenzfähig. Es führt alle evaluierten gerüstlosen Systeme bei der Modularität an.
Auswirkung des Gerüsts: Die Hinzufügung des neurosymbolischen Gerüsts verbessert die Leistung über alle Modellfamilien hinweg signifikant. Beispielsweise stieg die Verbesserungsscore für die Länge des 7B-Modells von 0,118 (Basis) auf 0,236 (mit Gerüst). Selbst große Modelle wie GPT-5-high verzeichneten erhebliche Gewinne (von 0,660 auf 0,875) mit dem Gerüst.
Iterative Dynamik: Die meisten Leistungsgewinne treten innerhalb der ersten 2–3 IRPO-Iterationen auf. Das System zeigt, dass kleine Modelle lernen können, Beweise auf Forschungsniveau effektiv umzustrukturieren, obwohl die Leistung schließlich plateaut, sobald das Modell gängige Refactoring-Muster absorbiert hat.
Kompromisse bei der Genauigkeit: Die Arbeit vermerkt einen Kompromiss zwischen Optimierung und Kompilierungsgenauigkeit. Während optimierte Beweise oft höhere Metrikverbesserungen liefern, können sie eine leicht geringere Kompilierungsrate als konservative Umschreibungen aufweisen, was das riskantere Wesen struktureller Transformationen widerspiegelt.

Bedeutung und Behauptungen

Die Arbeit geht davon aus, dass Beweisoptimierung nicht allein eine Funktion der Modellskalierung ist, sondern maßgeblich durch aufgaben spezifische Spezialisierung und iterative Selbstverbesserung vorangetrieben wird. Durch die Kombination einer mit Replay-Puffer versehenen Präferenzoptimierungspipeline mit neurosymbolischem Gerüst etabliert ImProver 2, dass kleine, zugängliche Modelle komplexe Beweise auf Forschungsniveau effektiv umstrukturieren können.

Die Autoren behaupten, dass ihre Arbeit die Beweisoptimierung als skalierbare, lernbare Aufgabe etabliert. Sie argumentieren, dass ihr Ansatz das kritische Bedürfnis nach der Wartung formaler Bibliotheken und der Verbesserung der Trainingsdatenqualität für zukünftige Beweiser adressiert und einen Weg bietet, das Refactoring von Beweisen zur Wartbarkeit zu automatisieren, ohne sich ausschließlich auf massive, teure Frontier-Modelle zu verlassen. Die Arbeit hebt hervor, dass kleine Modelle mit geeignetem Gerüst und Training die Leistung deutlich größerer Systeme bei spezifischen strukturellen Zielsetzungen erreichen oder übertreffen können.