🤖 AI

Asking the Right Questions: Improving Reasoning with Generated Stepping Stones

Dieser Beitrag stellt ARQ vor, ein Framework, das das Schlussfolgern von LLMs bei komplexen Aufgaben durch die Generierung übertragbarer interner „Schrittstein"-Fragen verbessert und zeigt, dass Modelle durch SFT und RL auf synthetischen Daten effektiv feinabgestimmt werden können, um diese vorteilhaften Prompts zu erzeugen.

Ursprüngliche Autoren: Hengyuan Hu, Tingchen Fu, Minqi Jiang, Alexander H Miller, Yoram Bachrach, Jakob Nicolaus Foerster

Veröffentlicht 2026-05-18

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Hengyuan Hu, Tingchen Fu, Minqi Jiang, Alexander H Miller, Yoram Bachrach, Jakob Nicolaus Foerster

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, ein riesiges, kompliziertes Puzzle zu lösen. Sie starren auf die Schachtel, blicken auf den chaotischen Haufen an Teilen, und Ihr Gehirn friert ein. Sie versuchen, ein Teil hineinzuzwängen, aber es passt nicht. Sie versuchen es erneut, und erneut, bis Sie aufgeben.

Das ist oft das, was passiert, wenn Künstliche Intelligenz (KI) versucht, sehr schwierige mathematische oder logische Probleme zu lösen. Sie betrachtet das gesamte Problem und versucht, direkt zur Antwort zu springen, bleibt aber stecken.

Diese Arbeit stellt eine neue Denkweise vor, die ARQ (Asking the Right Questions – Die richtigen Fragen stellen) genannt wird. Anstatt die KI zu zwingen, das große Puzzle sofort zu lösen, lehrt ARQ die KI, zunächst ein kleines, einfaches Übungspuzzle zu erstellen.

Die Analogie des „Trittsteins"

Stellen Sie sich das schwierige Problem als einen breiten Fluss vor, den Sie überqueren müssen.

Der alte Weg: Die KI versucht, direkt durch das tiefe, schnell fließende Wasser zu schwimmen. Oft ertrinkt sie (scheitert).
Der ARQ-Weg: Die KI sucht zunächst nach einem kleinen, flachen Felsen in der Mitte des Flusses. Sie springt auf diesen Felsen (den Trittstein), fängt den Atem und überlegt, wie sie diesen kleinen Abschnitt überquert. Sobald sie auf dem Felsen ist, hat sie eine bessere Sicht und mehr Selbstvertrauen, um zum nächsten Felsen zu springen und schließlich ans andere Ufer zu gelangen.

In dieser Arbeit ist der „Felsen" eine vereinfachte Version des ursprünglichen Problems.

Wie es funktioniert (Der Zwei-Schritt-Tanz)

Die Forscher haben ein System mit zwei KI-„Gehirnen" entwickelt, die zusammenarbeiten:

Der Fragegenerator (Der Architekt): Diese KI betrachtet das schwierige Problem und sagt: „Das ist zu schwer, um alles auf einmal zu erledigen. Lassen Sie uns eine kleinere, einfachere Version dieses Problems erstellen, die dieselben Regeln verwendet."
- Beispiel: Wenn das schwierige Problem einen Kreis aus 6 Münzen betrifft, könnte der Generator fragen: „Was wäre, wenn wir nur 4 Münzen hätten?"
Der Löser (Der Baumeister): Diese KI löst zunächst das kleine, einfache Problem. Sobald sie die Antwort auf das kleine Problem gefunden hat, nutzt sie diese Antwort als Hinweis, um das große, schwierige Problem zu lösen.

Was sie entdeckten

Die Forscher testeten dies an einigen sehr kniffligen Mathewettbewerben (wie dem AIME). Hier ist, was sie herausfanden:

Gute Felsen existieren: Sie bewiesen, dass diese „Trittstein"-Fragen wirklich existieren. Wenn die KI zuerst das kleine Problem löste, bekam sie das große Problem viel häufiger richtig.
Nicht alle Felsen sind gleich: Manchmal erzeugt die KI einen „schlechten" Trittstein (wie einen rutschigen Felsen oder einen, der in eine Sackgasse führt). Wenn die KI einen schlechten auswählt, kann sie verwirrt werden. Aber wenn sie einen guten auswählt, ist die Verbesserung enorm.
Es funktioniert für alle: Das Beste ist, dass ein guter Trittstein jeder KI hilft, nicht nur derjenigen, die ihn erstellt hat. Es ist wie ein universeller Schlüssel; wenn Sie den richtigen Hinweis haben, kann sogar eine schwächere KI das Puzzle lösen.
Das Training des Architekten: Die Forscher stellten fest, dass der „Fragegenerator"-KI nicht immer die besten Fragen stellte. Also gaben sie ihr einen speziellen Trainingskurs. Sie zeigten ihr Tausende von Beispielen für gute und schlechte Fragen und lehrten sie, zu erkennen, welche tatsächlich helfen würden. Nach diesem Training wurde die KI viel besser darin, die richtigen Fragen zu stellen, und das gesamte System wurde viel intelligenter.

Die Metapher des „Probelaufs"

Stellen Sie sich vor, Sie sind ein professioneller Basketballspieler, der kurz vor einem freiwurfentscheidenden Wurf steht.

Ohne ARQ: Sie treten an die Linie, schließen die Augen und werfen. Wenn Sie daneben liegen, liegen Sie daneben.
Mit ARQ: Bevor Sie den großen Wurf tätigen, werfen Sie ein paar Probewürfe von einem Ort aus, der nur einen Meter entfernt ist. Sie spüren den Rhythmus, prüfen Ihre Form und merken: „Ah, ich muss die Knie ein wenig mehr beugen." Dann übertragen Sie dieses Gefühl auf den eigentlichen, weiten Wurf. Die Wahrscheinlichkeit, den Korb zu treffen, ist viel höher.

Das Fazit

Die Arbeit zeigt, dass KI, um bei schwierigen Aufgaben besser zu werden, nicht einfach nur härter versuchen sollte; sie sollte anders denken. Indem sie ein riesiges Problem zunächst in ein winziges, handhabbares Übungsproblem zerlegt, kann die KI die Intuition aufbauen, die sie braucht, um das eigentliche Problem zu lösen. Die Forscher zeigten auch, dass sie KI darin unterrichten können, diese Übungsprobleme wirklich gut zu finden, was den gesamten Prozess viel zuverlässiger macht.

Technische Zusammenfassung: Die richtigen Fragen stellen (ARQ)

Problemstellung

Während Large Language Models (LLMs) durch Nachtraining und Testzeit-Scaffolding erhebliche Fortschritte bei der Lösung komplexer Denkaufgaben (Mathematik, Programmierung) erzielt haben, konzentrieren sich aktuelle Ansätze primär darauf, lange Gedankengänge (CoT) zu generieren, um ein Problem direkt zu lösen oder vorgeschlagene Lösungen zu verifizieren. Die Fähigkeit, relevante, einblicksgenerierende Fragen zu stellen, die ein schwieriges Problem in handhabbare Zwischenschritte zerlegen – eine Kernkomponente menschlicher Intelligenz –, hat weniger Aufmerksamkeit erhalten. Bestehende Inferenzzeit-Methoden (z. B. Self-Ask, Analogical Reasoners) verlassen sich oft auf Prompting, um auxiliary Fragen hervorzurufen, doch diese Methoden zeigen abnehmende Grenzerträge, wenn sie auf moderne Reasoning-LLMs angewendet werden, die bereits lange CoTs produzieren. Ferner fehlt es an einer systematischen Untersuchung, ob LLMs „Stepping Stones" (einfachere, verwandte Teilprobleme) generieren können, die die Erfolgsrate bei der Lösung der ursprünglichen Zielaufgabe tatsächlich verbessern, und ob solche Generierungsfähigkeiten durch Nachtraining erlernt werden können.

Methodik: Das ARQ-Framework

Die Autoren schlagen ARQ (Asking the Right Questions) vor, ein Framework, das aus zwei unterschiedlichen Modulen besteht: einem Fragengenerator ( $\phi$ ) und einem Problem solver ( $\pi$ ).

1. Inferenzverfahren

Anstatt ein Zielproblem $x$ direkt zu lösen, um eine Lösung $y \sim \pi(x)$ zu produzieren, führt ARQ eine mehrstufige Inferenzpipeline ein:

Generierung: Der Generator $\phi$ erzeugt ein „Stepping Stone"-Problem $z$ , konditioniert auf $x$ ( $z \sim \phi(x)$ ). Ein Stepping Stone ist definiert als ein Problem, das relevant für $x$ ist, aber leichter zu lösen ist (z. B. ein Spezialfall, eine vereinfachte Version oder ein verwandtes Teilproblem).
Lösen des Steins: Der Solver $\pi$ generiert eine Lösung $y_z$ für den Stepping Stone ( $y_z \sim \pi(z)$ ).
Lösen des Ziels: Der Solver $\pi$ wird mit dem ursprünglichen Problem $x$ , dem Stepping Stone $z$ und dessen Lösung $y_z$ promptet, um die finale Lösung $y$ zu generieren ( $y \sim \pi(x; z, y_z)$ ).

Das Framework unterstützt zwei Strategien für mehrere Steine:

Sequentiell: Generierung von Steinen $z_i$ , konditioniert auf $x$ und alle vorherigen Steine ( $z_1, \dots, z_{i-1}$ ).
Rekursiv: Generierung eines neuen Steins $z_i$ , um den vorherigen Stein $z_{i-1}$ zu lösen, wodurch effektiv ein Curriculum rückwärts aufgebaut wird.

2. Nachtraining und Datenkuratierung

In Anbetracht dessen, dass handelsübliche LLMs eine Mischung aus hilfreichen und schädlichen Stepping Stones generieren, schlagen die Autoren eine Nachtrainingspipeline vor, um den Generator $\phi$ zu verbessern:

Scoring-Funktion: Die Qualität eines generierten Steins $z$ wird durch die erwartete Belohnung des Solvers $\pi$ bei der Lösung des Ziels $x$ , konditioniert auf $z$ , bewertet. Formal: $S(z, x) = \mathbb{E}_{y_z, y} [R(x, y)]$ , geschätzt über Monte-Carlo-Rollouts.
Supervised Fine-Tuning (SFT): Der Generator wird auf den höchstbewerteten Steinen feinabgestimmt, die für einen Datensatz von Zielproblemen generiert wurden.
Direct Preference Optimization (DPO): Ein Präferenzdatensatz wird erstellt, indem hochbewertete Steine mit niedrigbewerteten Steinen für dasselbe Ziel gepaart werden. Der Generator wird zusätzlich mit DPO feinabgestimmt, um die Wahrscheinlichkeit zu maximieren, hochbewertete Steine gegenüber niedrigbewerteten zu generieren.
Synthetische Daten: Die gesamte Pipeline stützt sich auf die Generierung synthetischer Daten mittels Frontier-Modellen (z. B. GPT-120B), um die Trainingspaare zu erstellen, wodurch die Notwendigkeit teurer menschlicher Annotation von Stepping Stones vermieden wird.

Hauptbeiträge

Existenz und Übertragbarkeit guter Stepping Stones: Die Arbeit zeigt, dass „gute" Stepping Stones existieren und übertragbar sind. Hochwertige Steine, die von einem starken Modell generiert werden, verbessern die Erfolgsrate von Solvern mit unterschiedlichen Fähigkeiten (einschließlich kleinerer Modelle) signifikant, was darauf hindeutet, dass der Nutzen nicht auf eine Überanpassung an die Bias eines spezifischen Solvers zurückzuführen ist.
ARQ-Framework: Ein neuartiges Inferenzzeit-Scaffold, das die Fragegenerierung von der Problemlösung trennt und die Untersuchung der Stepping-Stone-Generierung isoliert ermöglicht.
Nachtrainings-Rezept: Eine Methode, um LLMs durch Nachtraining auf synthetischen Daten und einem Belohnungssignal, das aus der Leistung des Solvers abgeleitet wird, zu besseren Stepping-Stone-Generatoren zu machen. Dies zeigt, dass die Fähigkeit, die richtigen Fragen zu stellen, erlernbar ist.
Multi-Stone-Erweiterung: Das Framework wurde erweitert, um mehrere Stepping Stones sequentiell oder rekursiv zu generieren, wobei gezeigt wurde, dass die sequentielle Generierung weitere Leistungsgewinne bringt.

Experimentelle Ergebnisse

Die Autoren evaluierten ARQ an drei herausfordernden Mathematik-Benchmarks: AIME 2024, AIME 2025 und BeyondAIME.

Inferenzzeit-Leistung: Unter Verwendung eines starken handelsüblichen Modells (GPT-120B) als Generator verbesserte ARQ die Erfolgsrate des Solvers im Durchschnitt um 13 %, wenn der beste Stepping Stone aus 20 Kandidaten ausgewählt wurde. Die durchschnittliche Leistung über alle 20 Steine war jedoch aufgrund schädlicher Steine niedriger, was die Notwendigkeit einer besseren Generierung unterstreicht.
Übertragbarkeit: Gute Stepping Stones, die von einem Referenzsolver (GPT-120B) ausgewählt wurden, verbesserten die Leistung schwächerer Solver (GPT-20B, Qwen3-4B) in ähnlichem Maße wie Steine, die von den Solvern selbst ausgewählt wurden.
Auswirkung des Nachtrainings: Das Fine-Tuning von Qwen3-8B und Qwen2.5-32B auf dem synthetischen Stepping-Stone-Datensatz führte zu signifikanten Verbesserungen. Die feinabgestimmten Modelle generierten Steine, die die Solver-Leistung im Durchschnitt um 3,1 % bzw. 2,9 % verbesserten und damit die Baseline „Solver Only" sowie die vortrainierten Versionen übertrafen.
Multi-Stone-Skalierung: Die Erweiterung von ARQ auf die Generierung von 3 sequentiellen Stepping Stones verbesserte die Leistung weiter. Für GPT-120B verbesserte sich die Best-Case-Punktzahl um 5,2 % und die Durchschnittspunktzahl um 3,9 % im Vergleich zur Verwendung eines einzelnen Steins. Die rekursive Generierung zeigte im Vergleich zum sequentiellen Ansatz schwankende oder verschlechterte Leistungen.
Vergleich: ARQ übertraf andere Methoden für Zwischenschritte wie Analogical Reasoning, Least-to-Most und Plan-and-Solve. Es schnitt bei bestehenden LLMs leicht schlechter ab als Self-Refine (iterative Verfeinerung der Lösung), wahrscheinlich weil Self-Refine direkter mit bestehenden RLVR-Trainingspipelines übereinstimmt, aber ARQ bleibt komplementär und kann mit Self-Refine kombiniert werden, um weitere Gewinne zu erzielen.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass ARQ einen ermutigenden Schritt in eine wenig erforschte Forschungsrichtung darstellt: die Identifizierung, welche Fragen sich zu stellen lohnen, und das Training von LLMs, diese zu generieren. Die Autoren betonen, dass:

Stepping Stones eine eigenständige Denkfähigkeit sind: Sie sind nicht bloß längere CoTs, sondern beinhalten das Konstruieren verwandter, einfacherer Probleme, um Intuition aufzubauen und Strategien zu verifizieren.
Generative Fähigkeiten erlernbar sind: Die Fähigkeit, die richtigen Fragen zu stellen, ist keine inhärente Eigenschaft aller Reasoning-Modelle, kann aber durch gezieltes Nachtraining auf synthetischen Daten erheblich verbessert werden.
Skalierbarkeit: Der Ansatz ist besonders vielversprechend für extrem herausfordernde Domänen (z. B. IMO-Level-Mathematik, wissenschaftliche Forschung), wo die direkte Generierung von Lösungen schwierig ist und Menschen routinemäßig vereinfachte Prototypen verwenden, um Ideen zu validieren.

Die Autoren bleiben bescheiden hinsichtlich des aktuellen Umfangs ihrer Nachtrainings-Experimente (begrenzt durch Rechenleistung und Datenquellen) und schlagen zukünftige Arbeiten vor, die sich auf die Skalierung auf größere Datensätze, andere Domänen wie Programmierung und die Erforschung von Online-RL für die Fragegenerierung konzentrieren.