QuestA: Expanding Reasoning Capacity in LLMs via Question Augmentation

Probleemstelling

Hoewel Reinforcement Learning (RL), en specifiek Reinforcement Learning met Verifieerbare Beloningen (RLVR), een centrale rol speelt in het trainen van Large Language Models (LLMs) voor redeneertaken, blijft er een fundamenteel debat bestaan: vergroot RL de intrinsieke redeneercapaciteit van het model, of exploiteert het alleen al bestaande kennis?

Recent onderzoek suggereert dat standaard RL-methoden (zoals GRPO en DAPO) moeite hebben om de prestaties van basismodellen op zeer moeilijke problemen te verbeteren. Er is een waarneembaar dilemma:

1. Trainen op makkelijke prompts: Leidt tot overfitting op oppervlakkige patronen en een daling van de pass@k (de kans op een correct antwoord bij $k$ pogingen) bij grotere $k$. Dit wijst op een verlies aan exploratie en redeneercapaciteit.
2. Trainen op moeilijke prompts: Is essentieel voor het vergroten van de capaciteit, maar het leerproces is uiterst traag en inefficiënt vanwege de spaarzame beloningssignalen (sparse rewards). Als het basismodel een probleem niet kan oplossen, ontvangt het geen positieve feedback, waardoor het algoritme stagneert.

De kernvraag is dus: hoe kan RL worden aangepast om moeilijke redeneringsproblemen effectief op te lossen zonder de inefficiëntie van spaarzame beloningen?

Methodologie: QUESTA

De auteurs stellen QUESTA (Question Augmentation) voor, een eenvoudige maar effectieve strategie die het probleem oplost door de moeilijkheidsgraad dynamisch aan te passen tijdens het RL-training.

Kernconcept:
In plaats van de reward-functie of het optimalisatie-algoritme te wijzigen, werkt QUESTA op het invoerniveau. Het introduceert gedeeltelijke oplossingen (partial solutions) als hints in de prompt.

Het proces:

1. Selectie van moeilijke problemen: Uit een dataset (OpenR1-Math-220K) worden de moeilijkste problemen geselecteerd waar het basismodel een zeer lage slagingskans heeft.
2. Augmentatie: Voor elk probleem wordt een deel van de oplossing (bijvoorbeeld de eerste 50% van de redenering of het antwoord) als "hint" aan de prompt toegevoegd. Dit breekt het complexe probleem op in kleinere, hanteerbare stappen.
3. Curriculum Learning: De methode gebruikt een gefaseerde aanpak:
   • Fase 1: Trainen met een hoge hint-dichtheid (bijv. 50% van de oplossing). Dit verschaft dichte beloningssignalen en versnelt het leren.
   • Fase 2: Verminder de hint-dichtheid (bijv. naar 25%) om het model geleidelijk te laten overgaan van "geleide redenering" naar "autonome redenering".
4. Integratie: QUESTA is orthogonaal ten opzichte van bestaande RL-algoritmen (zoals GRPO) en vereist geen wijzigingen in de bestaande training pipelines.

Theoretische Onderbouwing

De auteurs bieden een theoretisch bewijs dat aantoont waarom deze aanpak werkt:

• Zonder hints is de kans dat een model een correcte trajectorie genereert voor een moeilijk probleem verwaarloosbaar klein ($\delta_p$), wat leidt tot een stagnatie van het RL-proces (Theorema 4.4).
• Met een hint ($h_q$) wordt de waarschijnlijkheid om een geldige oplossing te vinden aanzienlijk vergroot. De theorie toont aan dat de benodigde steekproefgrootte (sampling budget) om een oplossing te vinden asymptotisch daalt van $\Theta(1/\delta_p)$ naar $\Theta(1/\sqrt{\delta_p})$. Dit betekent dat hints de sample-efficiency drastisch verbeteren.

Belangrijkste Resultaten

De methode werd getest op het Nemotron-1.5B model (een open-source model van 1,5 miljard parameters) op diverse wiskundige benchmarks.

Prestaties:

• State-of-the-Art voor kleine modellen: QUESTA-Nemotron-1.5B behaalde nieuwe records voor modellen van 1,5B parameters:
  • AIME24: 72,50% (+10,73% ten opzichte van de baseline).
  • AIME25: 62,29% (+12,79%).
  • HMMT25: 41,67% (+10,11%).
• Vergelijking met grotere modellen: Het model presteerde beter dan veel grotere modellen, waaronder DeepSeek-R1-Distill-32B (een model met 32 miljard parameters) op meerdere benchmarks, ondanks dat het 20x kleiner is.
• Verbetering van Pass@k: In tegenstelling tot standaard RL, dat vaak een daling van pass@k vertoont bij grotere $k$ (door entropie-instorting), behoudt QUESTA de diversiteit van de oplossingen en verbetert het de prestaties over het hele spectrum van $k$.
• Generalisatie: De verbeteringen zijn ook zichtbaar wanneer de hints tijdens de evaluatie worden verwijderd, wat aantoont dat het model de redeneerpatronen heeft geleerd en niet alleen de hints heeft gememoriseerd.

Bijdragen en Significantie

1. Data-Centric Benadering: QUESTA demonstreert dat het toevoegen van gedeeltelijke oplossingen als hints een krachtigere en efficiëntere manier is om RL te sturen dan het aanpassen van complexe reward-functies.
2. Oplossing voor het "Hard Problem" Dilemma: Het biedt een praktische oplossing voor het probleem dat RL op moeilijke taken stagneert door spaarzame beloningen, door het leerproces te "scaffolding" (ondersteunen) zonder de uiteindelijke doelstelling te veranderen.
3. Efficiëntie: Het stelt kleine modellen in staat om prestaties te behalen die eerder alleen mogelijk waren met veel grotere modellen, wat de toegankelijkheid van geavanceerde redeneercapaciteit vergroot.
4. Open Source: De auteurs hebben de code, data en het getrainde model openbaar gemaakt, wat reproduceerbaarheid en verdere onderzoek stimuleert.

Conclusie:
QUESTA is een doorbraak in het trainen van LLMs voor redeneren. Door het introduceren van gedeeltelijke oplossingen tijdens het trainingsproces, overwint het de inefficiëntie van RL op moeilijke taken en vergroot het daadwerkelijk de intrinsieke redeneercapaciteit van het model, zelfs bij beperkte modelgroottes.