Code2Math: Can Your Code Agent Effectively Evolve Math Problems Through Exploration?

Die Arbeit stellt ein Multi-Agenten-Framework namens Code2Math vor, das mithilfe von Code-Agents bestehende mathematische Probleme autonom in strukturell unterschiedliche und schwierigere Varianten weiterentwickelt, um so das Problem des Mangels an hochwertigen Trainingsdaten für fortgeschrittene mathematische Fähigkeiten von KI-Modellen zu lösen.

Das Wesentliche

🧠 Das große Problem: Der Mangel an kniffligen Mathe-Rätseln

Stell dir vor, du trainierst einen sehr klugen Roboter (eine Künstliche Intelligenz), damit er Mathe-Probleme löst, die so schwer sind wie die bei der Internationalen Mathematik-Olympiade. Das Problem ist: Es gibt nicht genug neue, schwierige Rätsel.

Die Menschen haben die besten alten Rätsel schon lange gelöst. Neue, wirklich knifflige Rätsel zu erfinden, ist wie das Finden einer Nadel im Heuhaufen – es dauert ewig und erfordert Genies. Ohne neue Rätsel kann der Roboter nicht weiter lernen.

🤖 Die Lösung: Ein digitaler Mathe-Entdecker

Die Forscher haben sich etwas Cleveres ausgedacht: Sie haben einen KI-Agenten gebaut, der nicht nur Mathe löst, sondern neue Mathe-Rätsel erfindet. Aber das Besondere ist: Dieser Agent nutzt Code (Programmierung), um zu forschen.

Man kann sich das wie einen digitalen Entdecker vorstellen, der mit einem riesigen Werkzeugkasten (einem Computer) durch einen Wald voller mathematischer Möglichkeiten wandert.

Wie funktioniert das? (Die drei Helden)

Das System besteht aus drei verschiedenen KI-Helfern, die wie ein Team in einer Werkstatt zusammenarbeiten:

1. Der Erfinder (Evolution Agent):

   • Aufgabe: Er nimmt ein einfaches, bekanntes Mathe-Rätsel (z. B. „Finde die Summe von 30") und denkt sich: „Wie kann ich das kniffliger machen?"
   • Der Trick: Er nutzt seinen Computer, um tausende von Varianten durchzurechnen. Er testet Zahlen, ändert Bedingungen und sucht nach Mustern, die für Menschen schwer zu sehen sind. Er versucht, eine „Aha!"-Erkenntnis zu verstecken, die man erst findet, wenn man tief nachdenkt.
   • Analogie: Stell dir vor, du hast ein einfaches Rezept für einen Kuchen. Der Erfinder experimentiert mit neuen Zutaten und Backzeiten, bis er ein Rezept hat, das so komplex ist, dass nur ein Meisterkoch es schafft, ohne es zu verbrennen.

2. Der Prüfer (Solvability Agent):

   • Aufgabe: Der Erfinder ist kreativ, aber manchmal macht er Fehler. Der Prüfer schaut sich das neue Rätsel an und fragt: „Ist das überhaupt lösbar? Oder ist es Unsinn?"
   • Der Trick: Er nutzt den Computer, um zu beweisen, dass eine Lösung existiert. Wenn das Rätsel logische Fehler hat (wie ein Haus ohne Fundament), wirft er es weg.
   • Analogie: Ein strenger Bauinspektor, der sicherstellt, dass das von dem Architekten entworfene Haus nicht einstürzt, bevor man es bewohnt.

3. Der Schwierigkeits-Experte (Difficulty Agent):

   • Aufgabe: Ist das Rätsel nur langweilig schwer (weil man 1000 Zahlen addieren muss) oder wirklich schwer (weil man einen genialen Einfall braucht)?
   • Der Trick: Er bewertet, ob das neue Rätsel den Roboter zwingt, neu zu denken, oder ob man es einfach nur auswendig gelernt hat.
   • Analogie: Ein Trainer, der entscheidet: „Ist das Training nur anstrengend, weil man viel laufen muss, oder ist es anstrengend, weil man eine neue, schwierige Technik lernen muss?"

🚀 Was haben sie herausgefunden?

Die Forscher haben dieses System mit verschiedenen starken KI-Modellen getestet. Hier sind die wichtigsten Ergebnisse, einfach erklärt:

• Die KI kann schwieriger sein als ihre Schöpfer: Das ist das Coolste! Die KI, die die Rätsel erfindet, ist manchmal schlechter im Lösen als die KI, die die Rätsel lösen soll. Sie kann also Probleme erfinden, die selbst sie nicht lösen kann, aber andere (bessere) KIs versuchen können. Das ist wie ein Schüler, der eine Prüfung erfindet, die so schwer ist, dass selbst der Lehrer sie nicht sofort lösen kann.
• Code ist der Schlüssel: Ohne den Computer-Code wäre das unmöglich. Die KI nutzt den Code, um schnell tausende von Möglichkeiten zu testen, Muster zu finden und zu prüfen, ob ihre neuen Rätsel funktionieren. Ohne Code wäre es wie, ein neues Rätsel nur mit dem Kopf zu erfinden – viel zu langsam und fehleranfällig.
• Es braucht Geduld: Nicht jedes neue Rätsel ist sofort perfekt. Oft muss die KI viele Versuche machen (manchmal 10 oder mehr), bis sie ein Rätsel findet, das sowohl lösbar als auch wirklich schwer ist. Es ist wie das Suchen nach dem perfekten Goldklumpen im Fluss – man muss viel Wasser durchsuchen.

🌟 Warum ist das wichtig?

Früher mussten Menschen stundenlang über neue, schwierige Mathe-Rätsel nachdenken. Jetzt können Computer-Agenten diese Arbeit übernehmen. Sie können unendlich viele neue, hochwertige Rätsel erzeugen, um KI-Modelle zu trainieren.

Das ist wie ein unendlicher Vorrat an Trainingsgeräten für den Sportler KI. Je mehr und je härter die Trainingsgeräte sind, desto stärker wird der Sportler.

Zusammenfassend:
Die Forscher haben einen digitalen Erfinder gebaut, der mit Hilfe von Programmcode alte Mathe-Rätsel nimmt, sie in neue, extrem knifflige Versionen verwandelt und sicherstellt, dass diese Rätsel lösbar sind. Damit können wir KI-Modelle trainieren, die bald so schlau sind, dass sie die schwierigsten mathematischen Probleme der Welt lösen können.

Technische Zusammenfassung

1. Problemstellung und Motivation

Mit dem Fortschritt von Large Language Models (LLMs) in der mathematischen Beweisführung (bis hin zu IMO-Niveau) ist die Verfügbarkeit von herausfordernden, hochwertigen Trainings- und Evaluierungsdaten zu einem kritischen Engpass geworden. Manuelle Erstellung solcher Probleme ist aufgrund des hohen Fachwissens und des menschlichen Aufwands nicht skalierbar.

Gleichzeitig haben Code-Agenten gezeigt, dass sie durch die Kombination von reasoning-Fähigkeiten mit ausführbaren Umgebungen (Code-Execution) komplexe Aufgaben bewältigen können. Die zentrale Forschungsfrage dieses Papers lautet: Können Code-Agenten autonome mathematische Probleme so weiterentwickeln („evolvieren"), dass sie strukturell komplexer und schwieriger sind als die ursprünglichen Vorlagen, dabei aber mathematisch lösbar bleiben?

2. Methodik: Das Multi-Agenten-Framework

Die Autoren stellen ein System vor, das die langfristige Aufgabe der Problem-Adaptation in drei spezialisierte Agenten zerlegt, die in einer Testzeit-Scaling-Paradigma (Test-Time Scaling) arbeiten. Das System nutzt Code-Execution als primäres Werkzeug für die Exploration.

A. Die drei Agenten

1. Evolution Agent:

   • Aufgabe: Analysiert ein „Seed-Problem" (Ausgangsproblem) und dessen Lösung, identifiziert kognitive Engpässe und entwickelt ein neues, schwierigeres Problem.
   • Strategie: Basierend auf der „Theory of Mind" (ToM) antizipiert der Agent, wie ein erfahrener Wettbewerbslöser vorgehen würde. Er versucht, den Lösungsweg zu verschleiern und neue „Aha-Momente" (Einsichten) zu erzwingen, die schwer zu entdecken sind.
   • Werkzeug: Der Agent nutzt Python-Bibliotheken (SymPy, Z3, NetworkX, itertools), um numerische Simulationen durchzuführen, Muster zu erkennen und Hypothesen über strukturelle Änderungen (z. B. engere Schranken, komplexere kombinatorische Konstruktionen) zu validieren.

2. Solvability Verification Agent (Lösbarkeits-Verifizierer):

   • Aufgabe: Prüft, ob das generierte Problem logisch konsistent und lösbar ist.
   • Prozess:
     • Phase 1: Erkennung von Oberflächendefekten (Domänenfehler, widersprüchliche Constraints).
     • Phase 2: Kritische Prüfung der vom Evolution Agent vorgeschlagenen Lösungsschritte. Da ein fehlerfreier logischer Beweis die Existenz eines Lösungswegs impliziert, dient dies als Proxy für die Lösbarkeit.
   • Fehlerbehandlung: Das System nutzt eine Liste von „Failure Modes" (z. B. falsche Division, Zirkelschlüsse), um Fehler in der Lösung zu kategorisieren. Bei Fehlern wird das Problem verworfen.

3. Difficulty Verification Agent (Schwierigkeits-Verifizierer):

   • Aufgabe: Bewertet, ob das neue Problem eine echte Steigerung der Schwierigkeit darstellt.
   • Metrik: Der „Burden of Discovery" (Last der Entdeckung). Es wird bewertet, ob die Schwierigkeit durch bloße Rechenarbeit (Artificial Complexity) oder durch tiefere konzeptionelle Einsichten (Cognitive Depth) entsteht.
   • Bewertungsskala: Ein 5-Punkte-System. Scores 1-2 führen zu einem „FAIL" (nur rechnerische Erhöhung). Scores 3-5 erfordern, dass Standard-Lösungsmuster gebrochen werden und echte Einsichten nötig sind. Score 5 repräsentiert mathematische Schönheit und tiefe Symmetrien.

B. Test-Time Exploration

Das System generiert mehrere „Rollouts" (Versuche) pro Eingabe. Der Evolution Agent nutzt Code, um empirisch nach gültigen Konfigurationen zu suchen, bevor er das finale Problem ausgibt. Dies ermöglicht eine systematische Suche im mathematischen Raum, die über reine Text-Reasoning hinausgeht.

3. Experimentelles Setup

• Daten: 100 Seed-Probleme aus verschiedenen Quellen (Lehrbücher, regionale Wettbewerbe, IMO, AIME).
• Modelle: Als Evolution-Agenten wurden DeepSeek-Chat, DeepSeek-Reasoner, Gemini-3-Pro-Preview-Thinking, Kimi-K2-Thinking und Seed-2.0-Pro getestet.
• Evaluation: Die generierten Probleme wurden von 6 verschiedenen Solver-Modellen (inkl. GPT-5.2-High) gelöst. Die Lösbarkeit wurde durch einen externen Judge (GPT-5.2-High) verifiziert.
• Metriken:
  • Agreement Rate (AR): Übereinstimmung zwischen internem Verifizierer und externem Judge.
  • Solve Rate (SR): Erfolgsquote der Solver auf Original- vs. Evolvierten Problemen.
  • Token Consumption: Anzahl der Tokens, die für die Lösung benötigt werden (Proxy für den Aufwand).

4. Wichtige Ergebnisse

1. Hohe Lösbarkeit und Zuverlässigkeit:

   • Das Framework generiert mathematisch fundierte Probleme. DeepSeek-Reasoner erreichte eine Übereinstimmungsrate (Agreement Rate) von ca. 96 % mit dem externen Judge.
   • Die meisten Probleme, die die internen Verifizierer bestanden, wurden auch vom externen Judge als lösbar bestätigt.

2. Effektive Schwierigkeitssteigerung:

   • Die evolvierten Probleme waren für alle getesteten Solver-Modelle signifikant schwieriger. Die Lösungsrate (Solve Rate) sank bei den meisten Kombinationen drastisch (z. B. von 70 % auf 64 % für GPT-5.2-High bei DeepSeek-Reasoner-Evolutionen).
   • Die Token-Anzahl für die Lösung stieg deutlich an, was darauf hindeutet, dass die Modelle gezwungen waren, längere Reasoning-Ketten zu durchlaufen und von Standard-Heuristiken abzuweichen.

3. Fähigkeitsasymmetrie:

   • Ein bemerkenswertes Ergebnis ist, dass Modelle Probleme generieren können, die ihre eigenen (oder sogar stärkerer Modelle) Lösungskapazitäten übersteigen. Dies zeigt, dass Agenten „Burden of Discovery" synthetisieren können, die über ihre unmittelbare Reasoning-Kapazität hinausgehen.

4. Rolle des Codes:

   • Case Studies zeigen, dass Code-Execution entscheidend ist, um von einfacher Verifikation zu tiefer struktureller Exploration zu gelangen. Ohne Code würden Agenten oft nur oberflächliche Änderungen vornehmen.

5. Effizienz und Kosten:

   • Der Prozess ist rechenintensiv. Im Durchschnitt waren 1,56 bis 6,55 fehlgeschlagene Rollouts pro erfolgreichem Problem nötig.
   • Der Hauptengpass liegt in der Solvability Verification (logische Konsistenz), nicht in der Schwierigkeitsbewertung. Dies unterstreicht die Schwierigkeit, autonome Agenten zu trainieren, die fehlerfreie mathematische Beweise generieren.

5. Bedeutung und Fazit

Das Paper liefert empirische Belege dafür, dass Code-getriebene Agenten eine vielversprechende Methode zur automatischen Synthese von hochschwierigen mathematischen Reasoning-Daten darstellen.

• Innovation: Die Kombination aus Multi-Agenten-Architektur, Theory-of-Mind-Strategien und Code-Execution als Explorationstool ist neuartig.
• Skalierbarkeit: Es bietet einen Weg, um die Knappheit an hochwertigen IMO-Level-Problemen zu überwinden, die für das Training und die Evaluierung zukünftiger KI-Modelle notwendig sind.
• Herausforderung: Der Prozess ist noch ineffizient (hohe Anzahl an Fehlversuchen) und erfordert eine sorgfältige Balance zwischen Explorationstiefe und Rechenkosten.

Zusammenfassend demonstriert Code2Math, dass autonome Agenten durch systematische Exploration und Verifizierung in der Lage sind, mathematische Probleme zu erschaffen, die nicht nur schwerer, sondern auch konzeptionell reicher sind als ihre Vorlagen, und dabei die Grenzen der aktuellen Reasoning-Modelle herausfordern.