Technische Samenvatting: Hint-Gestuurde Gediversifieerde Beleidsoptimalisatie voor LLM-Redeneren

Probleemstelling

Recente ontwikkelingen in Large Language Models (LLMs) hebben significante redeneercapaciteiten aangetoond, met name door Reinforcement Learning met Verifieerbare Beloningen (RLVR). Echter, bestaande RLVR-frameworks, zoals Group Relative Policy Optimization (GRPO), worden primair beperkt door beloningen op uitkomstniveau. Deze mechanismen beoordelen de juistheid van het uiteindelijke antwoord, maar missen expliciete signalen om modellen te sturen naar het verkennen van diverse oplossingspaden. Bijgevolg lijden modellen vaak aan oplossing-homogenisering; als een model gevangen raakt in een onjuist redeneertraject, heeft het moeite om te herstellen of het juiste antwoord te identificeren vanwege onvoldoende exploratie van de oplossingsruimte. Deze beperking vermindert de fouttolerantie van redeneerprocessen, vooral wanneer het aantal samplingspogingen beperkt is.

Methodologie

Om deze beperkingen aan te pakken, stellen de auteurs Hint-Guided Diversified Policy Optimization (HDPO) voor, een framework dat ontworpen is om de generatie van diverse en betrouwbare oplossingen te stimuleren via een "propose-select-think" (voorstellen-selecteren-denken) redeneertraject. HDPO werkt in twee afzonderlijke fasen:

1. Cold Start voor Gestructureerd Redeneren

De eerste fase maakt gebruik van Supervised Fine-Tuning (SFT) om het "propose-select-think"-patroon in het beleidsmodel te verankeren.

• Data Constructie: Een geavanceerd teacher-LLM genereert gestructureerde redeneertrajecten. Voor een gegeven probleem wordt het model geprompt om eerst meerdere kandidaat-oplossingsschetsen (hints) op te sommen, de meest betrouwbare één te selecteren, en vervolgens over te gaan tot gedetailleerd redeneren.
• Filtering: Om de datakwaliteit te waarborgen, ondergaan de gegenereerde trajecten een tweeledig filterproces:
  • Correctheidscontrole: Het uiteindelijke antwoord wordt vergeleken met de grondwaarheid (ground truth).
  • Betrouwbaarheidscontrole: Een lichtgewicht model samplet antwoorden voor elke kandidaat-oplossingsschets om de nauwkeurigheid te berekenen. Een traject wordt alleen behouden als de geselecteerde kandidaat overeenkomt met de kandidaat die de hoogste sampling-nauwkeurigheid vertoont.
• Doelstelling: Het beleidsmodel wordt gefinetuned om dit gestructureerde formaat te volgen, wat een basis legt voor het genereren van kandidaat-hints voordat het redeneren begint.

2. Hint-Gestuurde Gediversifieerde Reinforcement Learning

In de tweede fase ondergaat het model Reinforcement Learning (RL) om de generatie van diverse en betrouwbare oplossingen te optimaliseren. De algemene beloningsfunctie combineert vier componenten:

• Formaatbeloning ($r_{fmt}$): Zorgt ervoor dat de output voldoet aan de "propose-select-think"-structuur (bijv. aanwezigheid van specifieke tags, aantal kandidaten tussen 1 en 5).
• Nauwkeurigheidsbeloning ($r_{acc}$): Levert een binair signaal (1 of 0) op basis van de vraag of het uiteindelijke antwoord overeenkomt met de grondwaarheid.
• Diversiteitsbeloning ($r_{div}$): Moedigt het model aan om onderscheidende kandidaat-oplossingen te genereren. Kandidaat-oplossingen worden gecodeerd in embeddings, en gelijkenis wordt gemeten via cosinus-gelijkenis. Om te voorkomen dat het model in de vroege trainingsfase prioriteit geeft aan diversiteit boven correctheid, wordt een diversiteit-schedulingstrategie toegepast. Deze gebruikt een sinus-gebaseerde leercoëfficiënt om het gewicht van de diversiteitsbeloning na een warm-up periode geleidelijk te verhogen.
• Betrouwbaarheidsbeloning ($r_{rel}$): Stimuleert het model om de meest betrouwbare kandidaat te selecteren. Omdat sampling-gebaseerde betrouwbaarheidscontroles computationeel duur zijn tijdens RL, gebruiken de auteurs token-entropie als een proxy voor vertrouwen. Oplossingen met een lagere entropie (hoger vertrouwen) worden hoger gerangschikt. De beloning is omgekeerd evenredig aan de rang van de geselecteerde oplossing onder alle kandidaten (bijv. als de geselecteerde oplossing de $k$-de meest betrouwbare is, dan is $r_{rel} = 1/k$).

De totale beloning wordt berekend als:
$$r_i = r_{fmt} + r_{acc} + \mathbb{I}[r_{acc} > 0] \cdot r_{div} + \bar{r}_{acc} \cdot r_{rel}$$
waarbij de diversiteitsbeloning alleen wordt toegepast wanneer het antwoord correct is, en de betrouwbaarheidsbeloning wordt geschaald door de groep-gemiddelde nauwkeurigheid om overmoed te mitigeren.

Belangrijkste Bijdragen

1. HDPO Framework: Introductie van een nieuw framework gebaseerd op het "propose-select-think"-paradigma, waardoor modellen expliciet kandidaat-oplossingshints kunnen genereren voordat ze zich vastleggen op een redeneerpad.
2. Diversiteits- en Betrouwbaarheidsmechanismen: Ontwikkeling van een diversiteit-schedulingstrategie en een op vertrouwen gebaseerde betrouwbaarheidsbeloning die gezamenlijk de exploratie van de oplossingsruimte en de selectie van robuuste kandidaten optimaliseren.
3. Beleid-Internalisering: In tegen tegenstelling tot inference-time zoekmethoden (zoals Tree-of-Thought) die hoge latentie veroorzaken door herhaalde sampling, internaliseert HDPO het explore-then-exploit mechanisme in de beleidsparameters via RLVR, wat zorgt voor zero-overhead, single-pass redeneren.

Experimentele Resultaten

De auteurs evalueerden HDPO op negen redeneer-benchmarks, waaronder AMC 2023, AIME 2024/2025, Math-500, Minerva, Olympiad-Bench, MMLU-Pro, SciBench, en GPQA-Diamond, gebruikmakend van backbone-modellen van verschillende schalen (Qwen3-4B, Qwen2.5-Math-7B, en DeepSeek-R1-Distill-Llama-8B).

• Prestatiewinst: HDPO presteerde consequent beter dan standaard GRPO en andere state-of-the-art RLVR-baselines (bijv. EDGE-GRPO, Critique-GRPO, LUFFY). Bijvoorbeeld, op het Qwen3-4B model behaalde HDPO een gemiddelde score van 61,03 vergeleken met 53,76 voor GRPO.
• Verbetering Hit Rate: Experimenten toonden aan dat HDPO een superieure nauwkeurigheid behoudt, zelfs met een beperkt aantal samplingspogingen (Hit@N), terwijl de prestaties van GRPO significant dalen naarmate het aantal pogingen afneemt, wat wijst op HDPO's superieure vermogen om met minder proeven correcte oplossingen te vinden.
• Ablatiestudies: Het verwijderen van de cold start-fase, de diversiteitsbeloning of de betrouwbaarheidsbeloning resulteerde in een significante prestatieverslechtering, wat de noodzaak van elk component bevestigt. De studie valideerde ook dat het gebruik van een sterker teacher-model voor de cold start-data betere resultaten oplevert, hoewel een zelf-evoluerende iteratieve aanpak ook veelbelovend was.
• Efficiëntie: Hoewel HDPO een lichte toename in inference-latentie introduceert (minder dan 0,2 seconden vergeleken met SOTA-methoden), blijft dit onder de 1 seconde, waardoor het in real-world scenario's inzetbaar is terwijl het substantiële verbeteringen in redeneren biedt.

Betekenis en Claims

Het artikel claimt dat HDPO effectief het probleem van oplossing-homogenisering in huidige RLVR-frameworks aanpakt. Door expliciet te stimuleren tot de generatie van diverse kandidaat-oplossingen en het model te trainen om de meest betrouwbare te selecteren, verbetert HDPO de fouttolerantie en de redeneer-robuustheid van het model. De auteurs benadrukken dat hun aanpak verder gaat dan alleen op nauwkeurigheid gerichte optimalisatie door tegelijkertijd te optimaliseren voor diversiteit en betrouwbaarheid, waardoor LLM's een breder scala aan potentiële oplossingen kunnen verkennen en het meest veelbelovende pad kunnen identificeren zonder de computationele overhead van inference-time zoekprocessen. De resultaten suggereren dat HDPO een schaalbare en effectieve strategie is voor het verbeteren van LLM-redeneren in zowel wiskundige als algemene domeinen.