🤖 machine learning

Less Noise, More Voice: Reinforcement Learning for Reasoning via Instruction Purification

Dit artikel introduceert het Less Noise Sampling Framework (LENS), een methode die de efficiëntie van versterkingslering voor redenering verbetert door storende prompt-tokens te verwijderen en succesvolle rollouts te gebruiken om het model te trainen om interferentie te negeren, wat leidt tot aanzienlijk betere prestaties en snellere convergentie dan bestaande methoden zoals GRPO.

Oorspronkelijke auteurs: Yiju Guo, Tianyi Hu, Zexu Sun, Yankai Lin

Gepubliceerd 2026-04-21

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Yiju Guo, Tianyi Hu, Zexu Sun, Yankai Lin

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Kortom: Minder ruis, meer stem – Hoe een slimme "schoonmaakbeurt" AI slimmer maakt

Stel je voor dat je een zeer intelligente, maar nog wat onervaren student (de AI) hebt die moeilijke wiskundepuzzels moet oplossen. Je geeft de student een opdracht, maar de opdracht is vol met kleine, verwarrende details die de student afleiden.

In de wereld van kunstmatige intelligentie noemen we dit RLVR (Reinforcement Learning met Verifieerbare Beloningen). Het idee is simpel: de AI probeert een oplossing, krijgt een "goed" of "fout" signaal, en leert van die feedback. Maar er zit een groot probleem in: vaak faalt de AI niet omdat de puzzel te moeilijk is, maar omdat de opdracht zelf te veel ruis bevat.

De onderzoekers van dit paper hebben ontdekt dat een paar kleine woordjes in de opdracht (die ze "Interferentie Tokens" noemen) de AI volledig in de war kunnen brengen. Het is alsof je iemand vraagt: "Ga naar de winkel, koop melk, en oh ja, vergeet niet dat de buren gisteren ruzie hadden over een blauwe fiets..." Die blauwe fiets heeft niets met de melk te maken, maar het verstoort het denken.

Hier is hoe hun nieuwe methode, LENS, dit oplost, vertaald naar alledaagse taal:

1. Het Probleem: De "Valse Vrienden" in de Opdracht

De AI probeert duizenden keren een oplossing te vinden. Vaak lukt het niet. De onderzoekers keken precies naar waarom het misging. Ze ontdekten dat in veel gevallen, als je gewoon die ene of twee verwarrende woordjes uit de opdracht zou halen, de AI het probleem direct zou oplossen.

Het is alsof je een spoorzoeker bent die een verdwaalde hond zoekt. Als de hond een hoed op heeft die hem verblindt, zoekt hij de verkeerde kant op. Haal je de hoed eraf, dan ziet hij de weg direct.

2. De Oplossing: LENS (Less Noise Sampling Framework)

De onderzoekers hebben een slimme tweestapsmethode bedacht, die we kunnen vergelijken met een tutor die eerst de opdracht scherpstelt voordat de leerling gaat oefenen.

Stap 1: De "Schoonmaakbeurt" (Purification)
Wanneer de AI faalt op een opdracht, kijkt LENS naar de tekst en vraagt zich af: "Welke woorden zorgen voor de meeste verwarring?"

Ze gebruiken een meetlat (de "Interferentie Score") om te zien welke woorden de AI het meest afleiden van de referentie (wat de AI normaal zou doen).
Ze halen die verwarrende woorden eruit.
Het resultaat: De AI krijgt nu een "schone" versie van de opdracht. Omdat de ruis weg is, lukt het oplossen van de puzzel veel vaker.

Stap 2: Het Leren van de "Schone" naar de "Vuil" Versie
Dit is het slimme deel. Je zou denken: "Oké, we gebruiken alleen de schone versies." Maar nee, in de echte wereld zijn opdrachten vaak rommelig.

LENS gebruikt de succesvolle oplossingen van de schone versie als een voorbeeld.
Het zegt tegen de AI: "Kijk, toen we die verwarrende woorden weghaalden, lukte het. Nu ga je leren hoe je diezelfde oplossing kunt vinden, zelfs als die verwarrende woorden er weer bij staan."
De AI leert zo om de "ruis" te negeren en zich te focussen op de kern van het probleem. Het is alsof je een student leert om te werken in een lawaaierige klaslokaal, door eerst te oefenen in een stille kamer en dan geleidelijk het volume op te draaien.

3. Waarom is dit zo geweldig?

Vroeger probeerden onderzoekers het probleem op te lossen door de AI meer te laten proberen (meer rekenkracht) of door de moeilijkste opdrachten helemaal te verwijderen.

Meer proberen is duur en traag (alsof je 10 keer harder roepen tegen de hond die de hoed op heeft).
Moeilijke opdrachten weggooien betekent dat de AI nooit leert om die moeilijke dingen op te lossen.

LENS doet het anders:

Snelheid: De AI leert sneller omdat de signalen duidelijker zijn. De paper laat zien dat het 1,6 keer sneller convergeert (dus sneller "slim" wordt).
Beter resultaat: De AI scoort gemiddeld 3,88% beter op wiskundepuzzels en 1,83% beter op algemene redeneringstaken.
Robuustheid: De AI wordt niet alleen beter in wiskunde, maar leert ook om in de echte wereld (met alle rommel en afleiding) goed te presteren.

Samenvattend in één beeld

Stel je voor dat je een radio hebt die vol zit met statische ruis.

De oude methode was: "Draai het volume harder, misschien hoor je de zanger wel." (Dit kost veel energie en klinkt nog steeds slecht).
De nieuwe methode (LENS) is: "Laat eerst een technicus de storing in de kabels repareren (de verwarrende woorden verwijderen), zodat je een kristalhelder signaal krijgt. Gebruik dat heldere signaal om de radio te kalibreren, zodat hij later ook zonder die reparatie het signaal kan versterken."

Conclusie:
Dit onderzoek laat zien dat we niet altijd harder hoeven te werken (meer rekenkracht), maar dat we soms slimmer moeten kijken naar waar de storing zit. Door een paar kleine "verwarrende woorden" in de instructies te verwijderen en de AI te leren om die te negeren, kunnen we veel slimmere en efficiëntere AI-modellen bouwen.

Probleemstelling

Reinforcement Learning met Verifieerbare Beloningen (RLVR), zoals GRPO (Group Relative Policy Optimization), heeft de redeneercapaciteiten van Large Language Models (LLM's) aanzienlijk verbeterd. Echter, deze methode kampt met fundamentele beperkingen bij complexe taken:

Inefficiënte verkenning: Door de hoge dimensie van de actie-ruimte en de zeldzaamheid van correcte rollouts (sampling), ontstaat er een gebrek aan informatieve leersignalen.
Reward Sparsity: In complexe redeneertaken is de feedback vaak vertraagd en binair (juist/fout), wat leidt tot een hoge frequentie van "zero-reward" prompts.
De Kernoorzaak: De auteurs ontdekten dat veel mislukte verkenningen niet voortkomen uit de moeilijkheid van het probleem zelf, maar uit een klein aantal (minder dan 5%) interferentie-tokens in de prompt. Deze tokens introduceren ruis die de redenering van het model verstoort, waardoor het faalt zelfs bij problemen die het anders zou kunnen oplossen. Bestaande oplossingen (zoals het simpelweg verhogen van het aantal rollouts of het filteren van hele prompts) zijn computatief duur of sluiten moeilijke samples uit.

Methodologie: LENS (Less Noise Sampling Framework)

De auteurs introduceren LENS, een plug-and-play framework dat bestaat uit twee hoofdfasen om de verkenningsefficiëntie te verbeteren zonder de rekenkosten te verhogen.

1. Identificatie en Zuivering van Interferentie-Tokens

Interference Score: Het framework meet de afwijking tussen de huidige beleidspolicy ( $\pi_\theta$ ) en een referentie-model ( $\pi_{ref}$ ) op token-niveau. De Interference Score ( $S_I$ ) wordt gedefinieerd als de absolute waarde van het verschil in log-kans:
$S_I(s, a) = |\log \pi_\theta(a | s) - \log \pi_{ref}(a | s)|$
Tokens met een hoge score wijzen op over-optimisatie of gedrag gedreven door ruis.
Prompt Purification: Voor prompts met een lage succesratio worden de tokens met de hoogste scores geïdentificeerd en verwijderd (gepruned). Dit resulteert in een "denoised" prompt ( $x'_i$ ) die de oorspronkelijke semantiek behoudt maar de storende elementen verwijdert.

2. Calibrated Rollout Policy Optimization (CRPO)

Direct het verwijderen van tokens is niet altijd de beste strategie voor de uiteindelijke training, omdat het model moet leren omgaan met de originele, ruizige prompts. CRPO lost dit op door een overdracht van leersignalen:

Transfer Learning: Als de oorspronkelijke prompt faalt, maar de "denoised" versie succesvol is, worden de succesvolle rollouts van de denoised prompt gebruikt als hoogwaardige supervisie.
Sample Reweighting: De trainingsset wordt aangepast door mislukte rollouts van de originele prompt te vervangen door succesvolle rollouts van de denoised prompt (indien de denoised versie een hogere empirische nauwkeurigheid heeft).
Doelfunctie: Er wordt een gecorrigeerde PPO-achtige doelfunctie gebruikt die belangsweging (importance weighting) toepast om de distributiemismatch tussen de originele en denoised prompts te compenseren. Dit stelt het model in staat om interferentie te negeren en robuust te redeneren, zelfs onder ruizige omstandigheden.

Belangrijkste Bijdragen

Nieuw Inzicht: Het paper identificeert dat een klein aantal interferentie-tokens in instructies een primaire oorzaak is van mislukte RLVR-training, in plaats van de inherent complexiteit van de taak.
Novel Framework: LENS is het eerste framework dat specifiek gericht is op het zuiveren van instructie-tokens en deze zuivere signalen gebruikt om het beleid op de originele, ruizige prompts te kalibreren.
Efficiëntie zonder Kosten: In tegenstelling tot methoden die het aantal rollouts verdubbelen (wat de rekenkosten verhoogt), bereikt LENS betere resultaten binnen hetzelfde computatiebudget.

Resultaten

Experimenten zijn uitgevoerd op diverse model families (Llama-3.2, Qwen-2.5, Qwen-3) en benchmarks (wiskunde, wetenschappelijk redeneren, algemeen redeneren).

Wiskundig Redeneren: LENS presteert significant beter dan GRPO en geavanceerde baselines (zoals DAPO en GRESO).
- Gemiddelde verbetering: +3,88% op zeven wiskunde-benchmarks.
- Snelheid: Een 1,6x versnelling in convergentie (minder gradiëntstappen nodig om dezelfde prestatie te bereiken).
- Voorbeeld: Op de uitdagende OlympiadBench toont LENS een stabielere en continue verbetering, terwijl GRPO fluctuaties vertoont.
Generalisatie: Het model generaliseert goed naar buiten het domein (out-of-domain), met een gemiddelde verbetering van +1,83% op wetenschappelijke (SuperGPQA, GPQA-Diamond) en algemene redeneertaken (BBEH, MMLU-Pro). Dit bewijst dat de methode niet alleen overfit op wiskundige patronen.
Training Dynamics: LENS reduceert de proportie van "zero-reward" prompts aanzienlijk en leidt tot een stabielere toename van de nauwkeurigheid en een snellere opkomst van langere, zelfverzekerde redeneringen ("aha-momenten").

Betekenis en Impact

Dit werk biedt een fundamenteel nieuw perspectief op Reinforcement Learning voor LLM's:

Kwaliteit boven Kwantiteit: Het benadrukt dat het verbeteren van de kwaliteit van de sampling (door ruis te verwijderen) effectiever is dan het simpelweg verhogen van de hoeveelheid data (meer rollouts).
Robuustheid: Door het model te leren interferentie te negeren, wordt de robuustheid van redeneersystemen in real-world scenario's (waar prompts vaak imperfect zijn) versterkt.
Toekomstige Richting: De studie opent de deur voor onderzoek dat zich richt op het "ontstoppen" van instructies in plaats van het filteren van hele taken, wat een efficiëntere weg biedt naar krachtigere redeneermodellen.

Samenvattend biedt LENS een elegante oplossing voor het "signal collapse"-probleem in RLVR door de bron van de ruis (interferentie-tokens) aan te pakken en deze te gebruiken als een leerkracht voor het model.