Infinite Problem Generator: Verifiably Scaling Physics Reasoning Data with Agentic Workflows

Die Arbeit stellt das Infinite Problem Generator (IPG)-Framework vor, das mithilfe eines „Formula-as-Code"-Ansatzes verifizierbare und skalierbare Physikprobleme generiert, um das Training von KI-Modellen für komplexes Schlussfolgern zu ermöglichen.

Das Wesentliche

Stell dir vor, du möchtest einen riesigen, intelligenten Roboter (einen KI-Modell) beibringen, wie man Physik löst. Das Problem ist: Um ihn wirklich schlau zu machen, brauchst du Millionen von Übungsaufgaben mit perfekten Lösungen. Aber echte, hochwertige Physik-Aufgaben sind wie seltene Edelsteine – sie gibt es nur wenige, und wenn man versucht, einfach mehr davon zu „erfinden" (mit Texten), entstehen oft Unsinn oder Halluzinationen (falsche Fakten).

Die Autoren dieses Papers haben eine geniale Lösung namens „Infinite Problem Generator" (IPG) entwickelt. Hier ist die Erklärung in einfachen Worten, mit ein paar kreativen Vergleichen:

1. Das Problem: Der „Text-Generator" ist ein Lügner

Normalerweise versuchen KIs, neue Aufgaben zu schreiben, indem sie einfach Text generieren, ähnlich wie ein Autor, der eine Geschichte erfindet. Das Problem bei Physik ist: Wenn die KI die Zahlen oder Formeln falsch kombiniert, entsteht ein mathematischer Unsinn, den die KI selbst nicht merkt.

• Die Analogie: Stell dir vor, du lässt einen Koch neue Rezepte erfinden. Er schreibt Zutaten auf, aber er weiß nicht wirklich, wie Chemie funktioniert. Er könnte ein Rezept schreiben, bei dem man 100 Eier in einen kleinen Topf wirft. Das sieht wie ein Rezept aus, ist aber in der Realität unmöglich.

2. Die Lösung: „Formeln als Code" (Das Kochbuch-Prinzip)

Die Autoren haben einen anderen Weg gewählt. Statt nur Text zu schreiben, behandeln sie physikalische Formeln wie Computer-Code.

• Die Analogie: Statt dem Koch nur zu sagen „Mach einen Kuchen", geben sie ihm ein automatisiertes Backgerät, das nur dann startet, wenn die Zutaten genau passen.
• In diesem System ist jede physikalische Formel (z. B. „Geschwindigkeit = Strecke / Zeit") eine kleine, funktionierende Python-Funktion (ein kleines Computerprogramm). Wenn die KI eine neue Aufgabe erstellt, muss sie diese Funktionen wie Bausteine verwenden.

3. Der Ablauf: Der „Prüfungs-Angestellte"

Das System läuft in drei Schritten ab, die wie eine hochmoderne Fabrik funktionieren:

1. Der Architekt (Analyse): Die KI nimmt eine echte, gute Aufgabe aus einem Lehrbuch und zerlegt sie. Sie fragt sich: „Welche Gesetze werden hier benutzt? In welchen Situationen (z. B. Autoreifen, Seilwinde, Skateboard) kann man das Gleiche anwenden?"
2. Der Baumeister (Generierung): Die KI baut eine neue Aufgabe. Aber sie darf nicht einfach irgendetwas schreiben. Sie muss die Aufgabe so konstruieren, dass sie mit den vorgegebenen „Code-Steinen" (Formeln) lösbar ist.
3. Der Prüfer (Verifikation): Das ist der wichtigste Teil! Bevor die Aufgabe als „fertig" gilt, wird sie von einem Computerprogramm ausgeführt.
   • Die Analogie: Es ist wie ein Flugzeug-Test. Bevor ein neues Flugzeug fliegt, baut man ein Modell und lässt es im Windkanal testen. Wenn es abstürzt, wird es sofort verworfen.
   • Hier wird die neue Physik-Aufgabe sofort „durchgerechnet". Wenn das Ergebnis eine unmögliche Zahl ist (z. B. eine negative Masse oder eine Geschwindigkeit, die schneller als das Licht ist), wird die Aufgabe sofort gelöscht. Nur Aufgaben, die der Computer wirklich lösen kann, bleiben übrig.

4. Das Ergebnis: Ein unendlicher Vorrat an perfekten Aufgaben

Mit diesem System haben die Autoren aus nur 165 echten Beispielaufgaben (die „Samen") 1.335 neue, perfekt geprüfte Aufgaben für die klassische Mechanik erzeugt.

• Der „Komplexitäts-Blueprint": Die Autoren haben eine spannende Entdeckung gemacht. Sie stellten fest: Je mehr Formeln in einer Aufgabe vorkommen, desto länger wird der Computer-Code, der sie löst.
  • Die Analogie: Stell dir vor, du willst wissen, wie schwer ein Koffer ist, ohne ihn zu wiegen. Du merkst, dass die Länge des Gurts, den du brauchst, um ihn zu tragen, immer proportional zur Anzahl der Gegenstände im Koffer ist.
  • Das bedeutet: Die Autoren können einfach den „Code-Längen-Regler" drehen, um Aufgaben zu erstellen, die genau so schwer sind, wie sie wollen (einfach, mittel oder extrem schwer), ohne jemanden zu brauchen, der sie manuell bewertet.

5. Warum ist das so wichtig?

Bisher gab es viele Tests, um zu sehen, wie gut KIs Physik können (wie ein Abitur-Test). Aber es fehlten die Trainingsdaten, um die KIs überhaupt erst so weit zu bringen.

• Das Fazit: Dieses System füllt die Lücke zwischen „Testen" und „Lernen". Es liefert einen unendlichen Vorrat an Aufgaben, bei denen wir zu 100 % sicher sind, dass sie lösbar und korrekt sind. Es ist wie ein Roboter-Lehrer, der unendlich viele, fehlerfreie Übungsaufgaben für Schüler (oder KI-Modelle) generieren kann, die immer schwieriger werden, je mehr sie lernen.

Zusammengefasst: Die Autoren haben einen „Selbstreinigenden Aufgaben-Generator" gebaut, der Physik nicht als Text, sondern als funktionierenden Code behandelt. So entsteht ein unendlicher Vorrat an Aufgaben, die mathematisch wasserdicht sind – perfekt, um die nächste Generation von KI-Genies in Physik zu schulen.

Technische Zusammenfassung

1. Problemstellung

Das Training von Large Language Models (LLMs) für komplexe Schlussfolgerungsaufgaben (Reasoning) wird durch den Mangel an verifizierbaren, hochwertigen Daten behindert. Insbesondere in Domänen wie der Physik stoßen herkömmliche Methoden an Grenzen:

• Halluzinationen: Standard-Text-Augmentierung führt oft zu mathematisch inkonsistenten oder physikalisch unmöglichen Ergebnissen.
• Fehlende Trainingsdaten: Bestehende Benchmarks (z. B. JEEBench, UGPhysics) sind statisch und dienen primär der Evaluation. Sie bieten keine großen, diversen Korpora mit ausführbaren Lösungspfaden (Reasoning Traces), die für das Fine-Tuning von Modellen notwendig sind.
• Oberflächliches Mustererkennen: Modelle neigen dazu, oberflächliche Muster zu lernen, statt tiefe, mehrstufige physikalische Deduktion zu beherrschen.

Das Ziel ist es, eine skalierbare Methode zu entwickeln, um physikalische Probleme zu generieren, die nicht nur sprachlich korrekt, sondern mathematisch und physikalisch verifizierbar sind.

2. Methodik: Der Infinite Problem Generator (IPG)

Die Autoren stellen IPG vor, ein agentenbasiertes Framework, das auf dem Paradigma „Formula-as-Code" (Formel als Code) basiert. Statt physikalische Gleichungen als Text-Tokens zu behandeln, werden sie als ausführbare Python-Funktionen implementiert.

Der Workflow folgt einem „Generate-then-Verify"-Ansatz in drei Phasen:

• Phase I: Problemanalyse und Kontext-Erweiterung

  • Ausgehend von expertenverfassten „Seed"-Problemen (aus Lehrbüchern) extrahiert der Agent die zugrunde liegenden physikalischen Prinzipien.
  • Es wird ein „Variable Dictionary" erstellt, das physikalische Größen mit gültigen SI-Einheiten und realistischen Wertebereichen verknüpft.
  • Durch Abfrage eines Kapitel-Wörterbuchs werden relevante Formeln aus verschiedenen Kapiteln (z. B. Kinematik + Energie) kombiniert, um den logischen Raum für die Variation zu erweitern.

• Phase II: Eingeschränkte Problemgenerierung

  • Der Agent generiert narrative Variationen (z. B. ein Seil statt einer Feder), behält aber die physikalische Logik bei.
  • Constraint: Jedes generierte Problem muss lösbar sein, indem nur eine vordefinierte, ausgewählte Teilmenge von ausführbaren Axiomen (Formeln) verwendet wird.
  • Ein „Problem Signature"-Mechanismus verhindert Duplikate, indem die Kombination aus genutzten Formeln und der gesuchten Variable hash-basiert geprüft wird.

• Phase III: Lösungsgenerierung durch Code-Ausführung

  • Für jedes generierte Problem wird automatisch ein Python-Skript erstellt, das die Lösung berechnet.
  • Verifizierung: Der Code wird in einer sandgeboxten Umgebung ausgeführt. Ein Problem wird nur akzeptiert, wenn:
    1. Der Code syntaktisch korrekt ist.
    2. Die Ausgabe endlich ist (keine NaN oder Unendlich).
    3. Physikalische „Sanity Checks" erfüllt sind (z. B. Masse > 0, Zeit > 0).
  • Bei Fehlern wird der Agent mit strukturierten Fehlermeldungen zurückgerufen, um den Code zu korrigieren (Retry-Loop).

3. Wichtige Beiträge

1. Agentic Verifikations-Framework (IPG): Ein Pipeline-Design, das narrative Variation mit Code-Ausführungsverifikation koppelt, um mathematische Halluzinationen in synthetischen Physikdaten signifikant zu reduzieren.
2. ClassicalMechanicsV1 Dataset: Ein trainierbares Korpus von 1.335 Physikproblemen auf Bachelor-Niveau (klassische Mechanik), das aus 165 Experten-„Seeds" generiert wurde. Jeder Eintrag enthält ausführbare Lösungspfade und verifizierte numerische Korrektheit.
3. Complexity Blueprint (Komplexitäts-Blueprint): Die Entdeckung einer starken linearen Korrelation ($R^2 \approx 0,95$) zwischen der Anzahl der integrierten physikalischen Formeln und der Länge des Lösungs-Codes. Dies ermöglicht eine präzise, annotierungsfreie Steuerung der Problemschwierigkeit.

4. Ergebnisse und Analyse

• Datenqualität: Das Dataset weist eine hohe strukturelle Vielfalt auf, deckt 102 einzigartige physikalische Formeln ab und hat eine durchschnittliche Komplexität von 3,05 Formeln pro Problem.
• Domänen-Mixing: Der Agent erfolgreich Konzepte aus verschiedenen Kapiteln kombiniert (z. B. Reibung + Rotationsbewegung), was zu integrierten Problemen führt, die über einfache Lehrbuch-Übungen hinausgehen.
• Verifizierungsrate: Von 1.415 generierten Kandidaten wurden nur 80 (<6%) verworfen, da sie zu einfach waren (weniger als 2 Deduktionsschritte). Nur 2 Probleme zeigten numerische Instabilität, was die Robustheit des Ansatzes unterstreicht.
• Fehleranalyse:
  • Bei niedriger Komplexität (2–3 Formeln) liegt die Validität bei >99%.
  • Bei hoher Komplexität (4+ Formeln) treten Fehler eher bei „Signature Mismatches" auf (der Agent leitet Zwischenwerte korrekt ab, verknüpft sie aber nicht korrekt mit der Zielvariable), was die Grenzen aktueller LLMs bei langfristigen Kontexten aufzeigt.
• Downstream Evaluation: Ein Test mit dem Modell Qwen3-14B zeigte, dass das generierte Dataset eine robuste Evaluierungsfläche bietet, die weniger anfällig für „Gaming" (z. B. durch Multiple-Choice-Ausschlussverfahren) ist als bestehende Benchmarks.

5. Bedeutung und Ausblick

Die Arbeit adressiert die Lücke zwischen Test- und Trainingsdaten in hochkomplexen Reasoning-Domänen.

• Skalierbarkeit: Durch die Entkopplung von Narrativ und numerischer Logik kann das System unbegrenzt neue, verifizierte Probleme generieren.
• Steuerbarkeit: Die „Complexity Blueprint" ermöglicht die Erstellung von Lehrplänen (Curricula), bei denen die Schwierigkeit durch die Anzahl der Formeln präzise gesteuert wird, ohne menschliche Annotation.
• Zukunft: Die Autoren planen, das Framework auf andere physikalische Domänen (Elektromagnetismus, Optik) und multimodale Eingaben (Diagramme) auszuweiten sowie formale Constraint-Solver (z. B. Z3) für noch strengere physikalische Konsistenz zu integrieren.

Zusammenfassend stellt IPG einen Paradigmenwechsel dar: Weg von rein textbasierten Generierungen hin zu ausführbarer, verifizierbarer Logik, um LLMs wirklich tiefes physikalisches Verständnis beizubringen.