Technische Samenvatting: De Juiste Vragen Stellen (ARQ)

Probleemstelling

Hoewel Large Language Models (LLM's) aanzienlijke vooruitgang hebben geboekt in het oplossen van complexe redeneringstaken (wiskunde, coderen) via post-training en scaffolding tijdens het testmoment, richten de huidige benaderingen zich voornamelijk op het genereren van lange ketens van gedachten (CoT) om een probleem direct op te lossen of voorgestelde oplossingen te verifiëren. Het vermogen om relevante, inzichten genererende vragen te stellen die een moeilijk probleem ontleden in beheersbare tussenstappen – een kerncomponent van menselijke intelligentie – heeft minder aandacht gekregen. Bestaande inferentiemethoden (bijvoorbeeld Self-Ask, Analogical Reasoners) vertrouwen vaak op prompting om hulpvragen op te wekken, maar deze methoden tonen afnemende meerwaarde wanneer ze worden toegepast op moderne redenerende LLM's die al lange CoT's produceren. Bovendien ontbreekt er een systematische studie naar het vraag of LLM's "stapstenen" (eenvoudigere, gerelateerde deelvragen) kunnen genereren die de succeskans van het oplossen van de oorspronkelijke doeltaak werkelijk verbeteren, en of dergelijke generatiecapaciteiten via post-training kunnen worden aangeleerd.

Methodologie: Het ARQ-kader

De auteurs stellen ARQ (Asking the Right Questions) voor, een kader dat bestaat uit twee distincte modules: een vraaggenerator ($\phi$) en een probleemoplosser ($\pi$).

1. Inferentieprocedure

In plaats van een doeltaak $x$ direct op te lossen om een oplossing $y \sim \pi(x)$ te produceren, introduceert ARQ een meerstaps inferentiepijplijn:

1. Generatie: De generator $\phi$ produceert een "stapsteen"-probleem $z$ geconditioneerd op $x$ ($z \sim \phi(x)$). Een stapsteen wordt gedefinieerd als een probleem dat relevant is voor $x$, maar makkelijker op te lossen (bijvoorbeeld een speciaal geval, een vereenvoudigde versie of een gerelateerde deelvraag).
2. Oplossen van de steen: De solver $\pi$ genereert een oplossing $y_z$ voor de stapsteen ($y_z \sim \pi(z)$).
3. Oplossen van het doel: De solver $\pi$ wordt geprompt met het oorspronkelijke probleem $x$, de stapsteen $z$ en diens oplossing $y_z$ om de uiteindelijke oplossing $y$ te genereren ($y \sim \pi(x; z, y_z)$).

Het kader ondersteunt twee strategieën voor meerdere stenen:

• Sequentieel: Het genereren van stenen $z_i$ geconditioneerd op $x$ en alle voorgaande stenen ($z_1, \dots, z_{i-1}$).
• Recursief: Het genereren van een nieuwe steen $z_i$ om de vorige steen $z_{i-1}$ op te lossen, waardoor effectief een curriculum in omgekeerde richting wordt opgebouwd.

2. Post-training en Datacuratie

Inzicht hebbende dat kant-en-klare LLM's een mengsel van nuttige en schadelijke stapstenen genereren, stellen de auteurs een post-trainingpijplijn voor om de generator $\phi$ te verbeteren:

• Scorefunctie: De kwaliteit van een gegenereerde steen $z$ wordt beoordeeld aan de hand van de verwachte beloning van de solver $\pi$ bij het oplossen van het doel $x$ geconditioneerd op $z$. Formeel: $S(z, x) = \mathbb{E}_{y_z, y} [R(x, y)]$, geschat via Monte Carlo-rollouts.
• Supervised Fine-Tuning (SFT): De generator wordt fijngefineerd op de hoogst scorende stenen die zijn gegenereerd voor een dataset van doeltaakken.
• Direct Preference Optimization (DPO): Een voorkeursdataset wordt samengesteld door hoogscorende stenen te koppelen aan laagscorende stenen voor hetzelfde doel. De generator wordt verder fijngefineerd met DPO om de waarschijnlijkheid te maximaliseren van het genereren van hoogscorende stenen boven laagscorende.
• Synthetische data: De volledige pijplijn vertrouwt op synthetische data-generatie met behulp van frontier-modellen (bijvoorbeeld GPT-120B) om de trainingsparen te creëren, waardoor de noodzaak voor dure menselijke annotatie van stapstenen wordt vermeden.

Belangrijkste Bijdragen

1. Bestaan en overdraagbaarheid van goede stapstenen: Het artikel demonstreert dat "goede" stapstenen bestaan en overdraagbaar zijn. Hoogwaardige stenen gegenereerd door een sterk model verbeteren de succeskans van oplossers met wisselende capaciteiten (inclusief kleinere modellen) aanzienlijk, wat aangeeft dat het voordeel niet het gevolg is van overfitting op de bias van een specifieke solver.
2. ARQ-kader: Een nieuwe inferentie-scaffold die het genereren van vragen scheidt van het oplossen van problemen, waardoor het mogelijk is om de generatie van stapstenen geïsoleerd te bestuderen.
3. Recept voor post-training: Een methode om LLM's fijn te fine-tunen om betere stapsteen-generatoren te worden met behulp van synthetische data en een beloningssignaal afgeleid van de prestaties van de solver. Dit toont aan dat het vermogen om de juiste vragen te stellen aangeleerd kan worden.
4. Uitbreiding naar meerdere stenen: Het kader is uitgebreid om meerdere stapstenen sequentieel of recursief te genereren, waarbij blijkt dat sequentiële generatie verdere prestatiewinst oplevert.

Experimentele Resultaten

De auteurs hebben ARQ geëvalueerd op drie uitdagende wiskundebenchmarks: AIME 2024, AIME 2025 en BeyondAIME.

• Prestaties tijdens inferentie: Met een sterk kant-en-klaar model (GPT-120B) als generator, verbeterde ARQ de succeskans van de solver met gemiddeld 13% bij het selecteren van de beste stapsteen uit 20 kandidaten. De gemiddelde prestatie over alle 20 stenen was echter lager door de aanwezigheid van schadelijke stenen, wat de noodzaak van betere generatie onderstreept.
• Overdraagbaarheid: Goede stapstenen geselecteerd door een referentie-solver (GPT-120B) verbeterden de prestaties van zwakkere oplossers (GPT-20B, Qwen3-4B) in gelijke mate als stenen die door de oplossers zelf waren geselecteerd.
• Impact van post-training: Het fijn fine-tunen van Qwen3-8B en Qwen2.5-32B op de synthetische stapsteendataset resulteerde in aanzienlijke verbeteringen. De fijngefineerde modellen genereerden stenen die de prestaties van de solver gemiddeld met 3,1% respectievelijk 2,9% verbeterden, waarmee ze de baseline "Solver Only" en de vooraf getrainde versies overtroffen.
• Schalen met meerdere stenen: Het uitbreiden van ARQ om 3 sequentiële stapstenen te genereren verbeterde de prestaties verder. Voor GPT-120B verbeterde de beste-score met 5,2% en de gemiddelde score met 3,9% in vergelijking met het gebruik van één steen. Recursieve generatie toonde fluctuerende of verslechterde prestaties in vergelijking met de sequentiële aanpak.
• Vergelijking: ARQ presteerde beter dan andere methoden voor tussenstappen zoals Analogical Reasoning, Least-to-Most en Plan-and-Solve. Het presteerde lichtjes onder Self-Refine (iteratieve verfijning van de oplossing) op bestaande LLM's, waarschijnlijk omdat Self-Refine directer aansluit bij bestaande RLVR-trainingpijplijnen, maar ARQ blijft complementair en kan worden gecombineerd met Self-Refine voor verdere winst.

Betekenis en Claims

Het artikel stelt dat ARQ een bemoedigende stap is in een onderbelichte onderzoeksrichting: het identificeren van welke vragen het waard zijn om te stellen en het trainen van LLM's om deze te genereren. De auteurs benadrukken dat:

• Stapstenen een distinct redeneervermogen zijn: Ze zijn niet louter langere CoT's, maar behelzen het construeren van gerelateerde, eenvoudigere problemen om intuïtie op te bouwen en strategieën te verifiëren.
• Generatieve capaciteit leerbare is: Het vermogen om de juiste vragen te stellen is geen inherente eigenschap van alle redenerende modellen, maar kan aanzienlijk worden verbeterd via gerichte post-training op synthetische data.
• Schaalbaarheid: De aanpak is bijzonder veelbelovend voor extreem uitdagende domeinen (bijvoorbeeld IMO-niveau wiskunde, wetenschappelijk onderzoek) waar directe oplossingsgeneratie moeilijk is en waar mensen routinematig vereenvoudigde prototypes gebruiken om ideeën te valideren.

De auteurs blijven modest over de huidige schaal van hun post-trainingexperimenten (beperkt door rekenkracht en databronnen) en suggereren toekomstig werk gericht op schaling naar grotere datasets, andere domeinen zoals coderen, en het verkennen van online RL voor vraaggeneratie.