💬 NLP

CoDiQ: Test-Time Scaling for Controllable Difficult Question Generation

Dieses Paper stellt CoDiQ vor, ein Framework, das Test-Time-Scaling nutzt, um eine feingliedrige Kontrolle über die Schwierigkeit und Lösbarkeit generierter Wettbewerbsfragen zu ermöglichen, was zum CoDiQ-Korpus führt, der die Leistung von Large Reasoning Models bei deren Training signifikant verbessert.

Ursprüngliche Autoren: Zhongyuan Peng, Caijun Xu, Changyi Xiao, Shibo Hong, Eli Zhang, Stephen Huang, Yixin Cao

Veröffentlicht 2026-02-03

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Zhongyuan Peng, Caijun Xu, Changyi Xiao, Shibo Hong, Eli Zhang, Stephen Huang, Yixin Cao

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Ganze: Das Problem der „schwierigen Fragen“

Stellen Sie sich vor, Sie trainieren einen Schüler (eine KI), um ein Großmeister im Lösen komplexer Rätsel zu werden, wie etwa fortgeschrittener Mathematik oder Programmieraufgaben. Um wirklich gut zu werden, muss der Schüler an den schwierigsten Problemen arbeiten, die verfügbar sind.

Aber es gibt einen Haken: Echte schwierige Probleme sind selten. Menschen können nur eine begrenzte Anzahl davon schreiben, und es dauert lange, zu prüfen, ob sie überhaupt lösbar sind.

Bestehende KI-Methoden versuchen, ihre eigenen schwierigen Probleme zu erfinden, scheitern aber meistens auf zwei Arten:

Sie lassen Dinge nur schwierig aussehen, sind aber eigentlich fehlerhaft (wie ein Puzzle mit fehlenden Teilen).
Sie bleiben stecken, weil die KI, die die Fragen erstellt, nicht intelligent genug ist, um etwas zu erfinden, das schwieriger als sie selbst ist.

CoDiQ ist ein neues Framework, das genau dieses Problem lösen soll. Es ist wie eine superintelligente „Fragen-Fabrik“, die automatisch eine riesige Bibliothek von mathematischen und programmiertechnischen Wettbewerbsaufgaben erstellen kann, die sowohl unglaublich schwierig als als auch garantiert lösbar sind.

Wie CoDiQ funktioniert: Der „Schwierigkeitsregler“

Der Kern von CoDiQ ist das sogenannte Test-Time Scaling. Stellen Sie sich das wie einen „Schwierigkeitsregler“ in einem Videospiel vor.

Normalerweise, wenn man eine KI fragt: „Mach das schwieriger“, fügt sie vielleicht einfach nur verwirrende Wörter hinzu. CoDiQ macht etwas anderes. Es nutzt einen spezifischen Prozess, bei dem die KI dazu ermutigt wird, mehr „Denkzeit“ (Rechenleistung) aufzuwenden, um die Frage schwieriger zu gestalten.

Die Analogie: Das „Denk-Budget“
Stellen Sie sich vor, Sie haben ein Budget an „Denk-Token“ (wie Münzen).

Niedriges Budget: Die KI schreibt schnell eine einfache Frage.
Hohes Budget: Die KI wird gezwungen, länger nachzudenken und mehr Ebenen der Logik, Einschränkungen und Tricks hinzuzufügen.

Das Paper hat eine faszinierende Regel entdeckt: Je mehr „Denk-Münzen“ man der KI zum Ausgeben gibt, desto schwieriger werden die Fragen. Es gibt jedoch einen Kompromiss. Wenn man das Budget zu hoch schraubt, wird die KI so verwirrt, dass sie eine fehlerhafte Frage erstellt, die niemand lösen kann. CoDiQs Aufgabe ist es, den „Sweet Spot“ zu finden, an dem die Frage maximal schwierig, aber dennoch lösbar ist.

Die drei magischen Zutaten

Um diese Fabrik zum Laufen zu bringen, haben die Autoren drei Schlüsselkomponenten entwickelt:

1. Die „Schwierigkeits-Booster“ (Strategien)

Anstatt der KI nur zu sagen „mach es schwieriger“, erhält sie sechs spezifische „Rezepte“, denen sie folgen soll. Denken Sie an diese wie Werkzeuge in der Küche eines Küchenchefs:

Einschränkungen hinzufügen: „Du musst dies mit nur 3 Schritten lösen.“
Abstrakte Mathematik: Verwandeln Sie eine einfache Textaufgabe in eine komplexe Formel.
Reverse Engineering: Bitten Sie die KI, ein Problem zu erstellen, bei dem die Antwort bekannt ist, aber der Weg dorthin verborgen bleibt.
Grenzfälle (Edge Cases): Zwingen Sie die KI, die seltsamsten, unwahrscheinlichsten Szenarien zu berücksichtigen.

Diese Strategien stellen sicher, dass die Fragen schwierig sind, weil sie auf Logik basieren, und nicht nur, weil sie wortreich sind.

2. Das „Qualitätskontroll-Team“ (Verifikations-Pipeline)

Dies ist der kritischste Teil. Während die KI eine schwierigere Frage erstellt, prüft eine zweite KI (der „Verifier“) sofort zwei Dinge:

Wird es wirklich schwieriger? (Haben wir den Regler tatsächlich hochgedreht?)
Ist es lösbar? (Gibt es eine korrekte Antwort?)

Wenn die KI versucht, eine Frage so schwer zu machen, dass sie unsinnig wird, stoppt das Qualitätskontroll-Team den Prozess und verwirft diese Frage. Dies verhindert das Problem der „falschen Schwierigkeit“.

3. Der „Belohnungs-Coach“ (Reinforcement Learning)

Die Autoren haben ein spezielles KI-Modell (CoDiQ-Generator) mithilfe eines „Coaches“ trainiert.

Die Regel des Coaches: „Wenn du eine Frage erstellst, die schwierig und lösbar ist, bekommst du einen goldenen Stern. Wenn du eine fehlerhafte Frage erstellst, bekommst du eine rote Karte.“
Mit der Zeit lernt die KI genau, wie sie auf dem schmalen Grat zwischen „sehr schwer“ und „fehlerhaft“ wandelt.

Das Ergebnis: Der CoDiQ-Korpus

Mit diesem System hat das Team den CoDiQ-Korpus aufgebaut, einen Datensatz aus 44.000 hochklassigen Mathematik- und Programmieraufgaben.

Wie schwer sind sie? Das Paper behauptet, dass diese Aufgaben signifikant schwieriger sind als bestehende berühmte Benchmarks wie AIME (ein Top-Mathematikwettbewerb) oder LiveCodeBench (ein Top-Programmierwettbewerb).
Sind sie echt? Experten haben eine Stichprobe geprüft und festgestellt, dass 82 % der Fragen tatsächlich lösbar und gut formuliert waren.

Warum das wichtig ist (laut dem Paper)

Das Paper beweist, dass andere KI-Modelle viel besser im logischen Denken werden, wenn man sie mit diesem speziellen Datensatz aus „perfekt schwierigen“ Fragen trainiert.

Die abschließende Analogie:
Stellen Sie sich vor, Sie trainieren einen Marathonläufer.

Alte Methode: Sie lassen ihn auf einer flachen Strecke laufen, oder Sie werfen ihn in einen Sumpf, der zu tief ist, um ihn zu durchqueren (fehlerhafte Fragen).
CoDiQ-Methode: Sie bauen einen maßgeschneiderten Hindernisparcours, der jeden Tag ein Stück schwieriger wird, aber mit einem Sicherheitsnetz ausgestattet ist, das sicherstellt, dass er niemals in ein Loch fällt, aus dem er nicht mehr herausklettern kann.
Ergebnis: Der Läufer (die KI) wird ein Champion viel schneller, weil das Training perfekt auf seine wachsende Stärke abgestimmt ist.

Erwähnte Einschränkungen

Die Autoren sind ehrlich bezüglich der Grenzen:

Das System funktioniert derzeit nur für englischsprachige Mathematik und Programmierung.
Es gibt ein „Verifier-Paradoxon“: Wenn die KI eine Frage erstellt, die so schwer ist, dass selbst die prüfende KI sie nicht mehr lösen kann, könnte das System sie fälschlicherweise als fehlerhaft aussortieren. Dies setzt eine Obergrenze dafür, wie schwer die Fragen werden können.

Kurz gesagt ist CoDiQ eine neue Art, die „perfekten Übungsaufgaben“ für KIs automatisch zu generieren, was es ihnen ermöglicht, schneller und intelligenter zu lernen, ohne dass Menschen jede einzelne Frage schreiben müssen.

Technisches Resümee: CoDiQ – Test-Time Scaling für die Erzeugung kontrollierbarer schwieriger Fragen

1. Problemstellung

Große Reasoning-Modelle (LRMs) haben signifikante Fortschritte bei komplexen Denkaufgaben erzielt, insbesondere in den Bereichen Mathematik und Programmierung. Ihr Fortschritt wird jedoch durch den Mangel an qualitativ hochwertigen, anspruchsvollen Trainingsdaten gebremst. Bestehende automatisierte Methoden zur Synthese schwieriger Fragen stehen vor drei primären Herausforderungen:

Kapazitätsdeckel des Generators: Modelle haben Schwierigkeiten, Fragen zu generieren, die signifikant schwieriger sind als jene, die sie selbst zuverlässig lösen können, was zu einem Stillstand des Fortschritts führt.
Abwägung zwischen Lösbarkeit und Komplexität (Solvability–Complexity Trade-off): Das Erzwingen von Komplexität führt oft zu „scheinbar schweren“ Fragen, die logisch inkonsistent, unpräzise definiert oder unlösbar sind.
Unkontrollierbare Schwierigkeit: Schwierigkeit ist nicht direkt beobachtbar oder standardisiert, was es schwierig macht, die Generierung von Fragen mit präziser Schwierigkeitskontrolle zu skalieren, ohne sich auf fragile, menschgesteuerte Pipelines zu verlassen.

Das Paper zielt darauf ab, die Synthese hochkomplexer Fragen zu skalieren und gleichzeitig sicherzustellen, dass diese wohlformuliert und lösbar bleiben, indem es über rein menschgetriebene oder grobkörnige automatisierte Ansätze hinausgeht.

2. Methodik

Die Autoren schlagen CoDiQ (Controllable Difficult Question Generation) vor, ein Framework, das Test-Time Scaling nutzt, um eine feingliedrige Schwierigkeitskontrolle zu erreichen. Die Methodik besteht aus vier Kernkomponenten:

2.1 Strategien zur Schwierigkeitssteigerung

Um Large Language Models (LLMs) über naive Prompting-Methoden (z. B. „mache dies schwieriger“) hinauszuführen, entwerfen die Autoren sechs systematische Strategien, die als kognitive Gerüste dienen:

Dimensionalität & Constraints (Dimensionen & Nebenbedingungen)
Mathematische Abstraktion
Invers & Konstruktiv
Zustandsexplosion (State Explosion)
Theorem-Tarnung (Theorem Disguise)
Grenzfall- & Rigorositäts-Engineering (Edge Case & Rigor Engineering)

Diese Strategien stellen sicher, dass die Schwierigkeit aus der Tiefe des Denkprozesses resultiert und nicht aus oberflächlichen Modifikationen.

2.2 Die CoDiQ-Pipeline

Das Herzstück des Frameworks ist eine iterative evolutionäre Pipeline (Algorithmus 1), die eine Seed-Frage $Q_0$ in eine Sequenz zunehmend schwierigerer Varianten $\{Q_1, \dots, Q_n\}$ über bis zu $T_{max}=8$ Runden transformiert.

Iterative Verfeinerung: Das Modell wird in jedem Schritt dazu aufgefordert, die Frage „schwieriger zu machen“.
Hybride Verifizierung: Zwei Module regulieren den Prozess:
- Schwierigkeitsschätzung: Verwendet ein relatives Schwierigkeitsparadigma, das LLM-Ranking (unter Verwendung von Doubao-Seed-1.8) und ValueNetwork Scoring (unter Verwendung der Hidden States von Qwen3-8B) kombelt, um kontinuierliche Schwierigkeitswerte zuzuweisen. Dies vermeidet Sättigungseffekte, wie sie bei absoluter Bewertung auftreten.
- Lösbarkeitsverifizierung: Verwendet Qwen3-32B, um die logische Konsistenz und Lösbarkeit zu verifizieren und sicherzustellen, dass nur valide Instanzen beibehalten werden.
Terminierungskriterien: Der Prozess stoppt, wenn die Schwierigkeit regressiv verläuft (nicht-monoton) oder wenn die Frage als unlösbar markiert wird.

2.3 CoDiQ-Generator (RL-Training)

Um den Kapazitätsdeckel des Generators zu überwinden, trainieren die Autoren einen spezialisierten Generator (CoDiQ-Generator) basierend auf Qwen3-8B mittels Reinforcement Learning (RL).

Datenerstellung: Der RL-Datensatz ( $D_{RL}$ ) erfasst „Grenzinstanzen“ (Boundary Instances), bei denen das Modell erfolgreich valide Fragen über mehrere Runden hinweg generiert, aber in der nächsten Runde scheitert (aufgrund von Unlösbarkeit oder Stagnation der Schwierigkeit).
Belohnungsfunktion: Eine schwierigkeitsbewusste Belohnungsfunktion balanciert die Garantien der Validität mit der progressiven Steigerung der Schwierigkeit. Sie bestraft ungültige Ausgaben und belohnt positive Schwierigkeitssteigerungen ( $\Delta(D) > 0$ ), gewichtet durch das Konfidenzniveau.
Optimierung: Das Modell wird unter Verwendung des GRPO-Algorithmus innerhalb des VeRL-Frameworks feinjustiert.

2.4 CoDiQ-Korpus

Unter Verwendung des CoDiQ-Generators konstruierten die Autoren den CoDiQ-Korpus, einen Datensatz aus 44.000 mathematischen und programmiertechnischen Wettbewerbsfragen-Sequenzen. Der Datensatz ist nach Schwierigkeitsgrad gestaffelt, abgeleitet aus dem Token-Budget und den Verifizierungswerten.

3. Zentrale Beiträge

Strategien zur Schwierigkeitssteigerung: Sechs explizite Strategien leiten LLMs an, algorithmische Komplexität systematisch zu injizieren, was die Synthese von Fragen ermöglicht, die über Zero-Shot-Baselines hinausgehen.
Test-Time Scaling Tendenz: Identifizierung einer Skalierungstendenz, bei der verlängerte Reasoning-Token-Budgets die Schwierigkeit erhöhen, aber die Lösbarkeit verringern. Das Paper charakterisiert die Obergrenze der Kapazität eines Modells, valide, hochkomplexe Fragen zu produzieren.
CoDiQ-Korpus: Ein Datensatz von 44.000 Wettbewerbsfragen. Experimente zeigen, dass das Training von LRMs auf diesem Korpus die Reasoning-Leistung im Vergleich zu bestehenden Baselines signifikant verbessert.

4. Experimentelle Ergebnisse

4.1 Generierungsleistung

Maximale lösbare Schwierigkeit: Auf dem CoDiQ-Bench (200 kuratierte Fälle) übertraf das CoDiQ-Gen-8B Modell signifikant größere Modelle (z. B. Qwen3-32B) in der Generierung hochkomplexer Instanzen. Es hielt hohe Validitätsraten über mehr Iterationsrunden aufrecht und kumulierte Komplexität ohne vorzeitigen Abbruch.
Token-Korrelation: Es wurde eine starke positive Korrelation zwischen dem Verbrauch von Reasoning-Token und den Schwierigkeitsrankings gefunden (Pearson $r \approx 0,83\text{--}0,85$ ), was bestätigt, dass das Token-Volumen ein zuverlässiger Proxy für die Schwierigkeit ist.
Skalierungstendenz: Während größere Modelle (GLM-4.6) eine hohe Lösbarkeit beibehielten, litten kleinere Modelle unter CoDiQ-Prompting oft unter einem „Validitätskollaps“. Das RL-optimierte CoDiQ-Gen-8B konnte jedoch die Skalierung der Schwierigkeit erfolgreich von der Validitätsverlust entkoppeln.

4.2 Korpusqualität und Schwierigkeit

Schwierigkeitsvergleich: Menschliche Evaluationen und automatisierte Rankings zeigten, dass die Fragen des CoDiQ-Korpus signifikant anspruchsvoller sind als bestehende Benchmarks wie LiveCodeBench und AIME (Durchschnittlicher Schwierigkeitsrang: 87,1 % vs. ~51,5 % für AIME).
Lösbarkeit: Trotz der hohen Schwierigkeit bestätigte die menschliche Evaluation eine Lösbarkeitsrate von 82 % für akzeptierte Instanzen.
Verifier-Paradoxon: Die Analyse ergab, dass einige valide Probleme vom Verifizierer abgelehnt wurden, weil sie den Reasoning-Horizont des Verifizierers überschritten. Dies verdeutlicht eine Limitation, bei der die Obergrenze der Pipeline durch die Kapazität des Verifizierers begrenzt wird.

4.3 Trainingseffektivität

Curriculum Learning: Das Training von Modellen (CoDiQ-Li-4B) auf dem CoDiQ-Korpus unter Verwendung eines budgetkontrollierten Curriculums (progressive Schwierigkeit) lieferte überlegene Ergebnisse auf MATH-500 und AIME 2024 im Vergleich zum Standard-RL-Training auf Originaldatensätzen.
Leistungssteigerung: CoDiQ-L3-4B erreichte einen Score von 70,6 % auf AIME 2024 und übertraf damit die Baseline Qwen3-RL-4B (64,3 %).

5. Bedeutung und Ansprüche

Das Paper behauptet, dass CoDiQ einen fundierten Rahmen bietet, um die Schwierigkeit synthetischer Reasoning-Daten zu skalieren und gleichzeitig die logische Validität zu wahren. Die Bedeutung liegt in:

Entkopplung von Komplexität und Kuratierung: Es bietet eine Methode zur Generierung von Frontier-Level-Supervisionsdaten, ohne auf teure, rein menschgesteuerte Pipelines angewiesen zu sein.
Kontrollierbare Skalierung: Durch die Einführung von Test-Time Scaling und hybrider Verifizierung adressiert es das Problem der „falschen Härte“ und stellt sicher, dass erhöhte Schwierigkeit nicht die Lösbarkeit gefährdet.
Empirische Validierung: Der Erfolg des CoDiQ-Korpus bei der Verbesserung nachgeschalteter Reasoning-Fähigkeiten bestätigt, dass die Skalierung von kontrolliert schwierigen Trainingsfragen eine effektive Strategie zur Verbesserung der LRM-Leistung ist.

Die Autoren räumen Einschränkungen ein, insbesondere die Beschränkung auf englischsprachige Mathematik- und Programmieraufgaben, die Rechenkosten der Verifizierung und das „Verifier-Paradoxon“, bei dem valide Probleme, die die Kapazität des Verifizierers überschreiten, verworfen werden könnten. Sie stellen den Korpus, den Generator und die Implementierungen zur Unterstützung zukünftiger Forschung zu Scaling Laws und automatisiertem Curriculum Learning Open Source zur Verfügung.