Design Conditions for Intra-Group Learning of Sequence-Level Rewards: Token Gradient Cancellation

Deze paper introduceert de token-gradiëntannulatie als een noodzakelijke ontwerprichtlijn voor intra-groepleren met sequence-level beloningen, waarbij het herstel van gradiëntuitwisselbaarheid trainingsstabiliteit en sample-efficiëntie verbetert door de structurele drift van oplossingskansen te voorkomen.

De kern

Stel je voor dat je een groep slimme studenten (de AI) traint om wiskundige raadsels op te lossen. Je geeft ze allemaal hetzelfde probleem, en ze komen met verschillende oplossingen. De ene oplossing is perfect, de andere is fout.

In de wereld van kunstmatige intelligentie noemen we dit versterkende leerling (Reinforcement Learning). De AI krijgt een beloning als ze het goed doen. Maar hier zit een groot probleem: de beloning komt pas aan het einde van het verhaal. De AI weet niet precies welke zin of welk woord in haar lange antwoord precies goed was, en welke zin gewoon "vullende tekst" was.

Dit artikel, geschreven door onderzoekers van Alibaba en Tsinghua, legt uit waarom deze training vaak vastloopt en hoe ze dat oplossen.

Het Probleem: De "Leerbelasting" en de "Verkeerde Weg"

Stel je voor dat de studenten in een klas zitten. De leraar zegt: "Jullie hebben het antwoord '20' goed, maar '25' is fout."

• Het oude systeem (zoals GRPO of GSPO): De leraar kijkt naar het hele antwoord van elke student. Als student A een heel lang, ingewikkeld antwoord gaf dat eindigde op '20', en student B een kort antwoord gaf dat ook op '20' eindigde, dan krijgt student A een veel grotere "beloning" voor het hele verhaal dan student B.
• Het gevolg: De AI leert niet alleen dat '20' goed is, maar ook dat de lange, ingewikkelde zinnen die voorafgingen aan '20' goed zijn.
• De ramp: De AI begint steeds vaker die lange, ingewikkelde zinnen te gebruiken, zelfs als ze niets met het antwoord te maken hebben. Ze "leert" woorden die ze niet nodig heeft. Dit noemen de auteurs Learning Tax (een belasting op het leren). Het is alsof je een student dwingt om elke dag 100 pagina's over de geschiedenis van de school te lezen, alleen omdat die pagina's toevallig voor het goede antwoord stonden.
• Entropy Collapse: Uiteindelijk wordt de AI zo vastgepind op die ene manier van praten, dat ze geen andere manieren meer durft te proberen. Ze wordt saai en star.

De Oplossing: De "Gelijke Pot" Methode

De onderzoekers zeggen: "Wacht even. Als twee studenten hetzelfde woord gebruiken op hetzelfde moment (bijvoorbeeld het woord 'de' of 'is'), dan zou dat woord niet moeten tellen voor de beloning. Het is immers hetzelfde woord!"

In het oude systeem werd dit woord echter wel beïnvloed door de rest van het antwoord van die specifieke student. Dat is onlogisch.

De auteurs stellen een nieuwe regel voor: Gradient Cancellation (Gradiënt-annulering).
Dit klinkt ingewikkeld, maar het is simpel:

• Als alle studenten in de groep hetzelfde woord gebruiken, moet de AI die woorden genegeerd worden bij het berekenen van de beloning.
• Alleen de woorden die verschillen tussen de studenten, mogen de AI iets leren.

De Creatieve Analogie: De Orkestrepetitie

Stel je een orkest voor dat een symfonie repeteert.

• Het oude probleem: De dirigent (de AI-algoritme) luistert naar elke muzikant. Als de eerste viool een fout maakt, maar de tweede viool speelt het perfect, en ze spelen precies hetzelfde stuk, dan zou de dirigent moeten zeggen: "Het stuk dat jullie samen spelen, is goed. We hoeven daar niets aan te veranderen."
• Maar in het oude systeem: De dirigent kijkt naar de hele prestatie van de eerste viool. Omdat de eerste viool later in het stuk een fout maakt, zegt de dirigent: "Jouw hele partituur is minderwaardig!" Hierdoor stopt de eerste viool met het spelen van de goede delen, en begint hij te twijfelen aan de goede noten die hij eerder speelde. Dit is de Learning Tax.

De nieuwe methode (DFPO):
De dirigent kijkt alleen naar de noten die verschillen.

1. Als alle violen op hetzelfde moment een 'C' spelen, zegt de dirigent: "Die 'C' is voor iedereen gelijk. Die veranderen we niet." (Dit is annulering).
2. Hij kijkt alleen naar de noten waar de ene viool een 'C' speelt en de andere een 'D'. Daar leert hij van.

Door dit te doen, voorkomt de dirigent dat de violen gaan twijfelen aan de noten die ze al goed spelen. Ze blijven stabiel en leren sneller de moeilijke stukken.

Wat levert dit op?

Door deze simpele, maar slimme aanpassing (ze noemen het "Min-Replace" of "Orth-Proj", wat in feite betekent: "maak de beloning voor iedereen in de groep gelijk voor de gedeelde delen"):

1. Stabielere training: De AI raakt niet in paniek en gaat niet wild heen en weer bewegen.
2. Sneller leren: De AI verspilt geen tijd aan het "leren" van woorden die ze al goed kent of die irrelevant zijn.
3. Beter resultaat: De AI wordt uiteindelijk slimmer en flexibeler, omdat ze niet vastloopt in saai, herhalend gedrag.

Samenvatting in één zin

Deze paper zegt: "Als je een groep AI's traint, zorg dan dat ze niet struikelen over de woorden die ze allemaal al goed kennen; focus alleen op de verschillen, anders leren ze de verkeerde dingen en worden ze dom."

Het is een fundamentele verbetering die zorgt dat AI's niet meer "leren" om te praten als robots die alleen maar herhalen wat ze al wisten, maar echt gaan denken.

Technische samenvatting

Titel: Ontwerpcriteria voor Groepsinterne Lering van Sequence-Level Beloningen: Token-Gradient Cancellatie

Auteurs: Fei Ding, Yongkang Zhang, Youwei Wang, Zijian Zeng (Alibaba Group & Tsinghua University)

---

1. Het Probleem: Instabiliteit bij Groepsinterne Vergelijkingen

Bij het fine-tunen van Large Language Models (LLMs) voor redeneertaken met behulp van versterkingslering (RL) met spaarzame terminatie-beloningen (waarbij alleen de uiteindelijke uitkomst een beloning krijgt), is de paradigma van groepsinterne vergelijkingen (intra-group comparisons) dominant geworden. Methoden zoals GRPO en GSPO vergelijken meerdere trajecten voor dezelfde input om relatieve beloningen te leren.

Hoewel deze methoden in de vroege trainingsfase goed presteren, vertonen ze bij langdurige training ernstige stabiliteitsproblemen:

• Ineffectieve update-accumulatie ("Learning Tax"): Parameters worden bijgewerkt op tokens die geen relatie hebben met de beloning (bijv. algemene template-tokens), wat leidt tot ruis in de gradiënten.
• Drift in oplossingskansen: De kansverdeling verschuift onnodig tussen semantisch equivalente correcte oplossingen.
• Entropie-collaps: Het model verliest diversiteit en convergeert naar een enkel patroon, zelfs als er meerdere correcte antwoorden mogelijk zijn.

De auteurs stellen dat deze problemen niet alleen te wijten zijn aan ruis of sparsiteit, maar aan een structurele beperking in de huidige algoritmen: het verstoren van de uitwisselbaarheid (exchangeability) van token-updates op gradiëntniveau.

---

2. Methodologie en Theoretisch Kader

De Kerntheorie: Gradient Cancellation

Het artikel introduceert een noodzakelijke voorwaarde voor stabiele groepsinterne lering: Token-level gradient exchangeability.

• Het principe: Als meerdere trajecten in een groep dezelfde context en token delen (bijv. een gemeenschappelijk voorvoegsel), maar verschillende beloningen hebben, zouden de gradiënten voor die gedeelde tokens elkaar moeten annuleren (cancel). Dit voorkomt dat het model leert op basis van ruis voor tokens die niets met de uiteindelijke kwaliteit van het antwoord te maken hebben.
• Het probleem: Bestaande methoden (zoals GSPO) gebruiken vaak sequentie-gekoppelde gewichten (sequence-coupled weights). Hierbij wordt de gewichtsfactor voor een token bepaald door het product van alle tokens in het traject. Als trajecten verschillende lengtes of verschillende latere tokens hebben, zijn de effectieve gewichten voor gedeelde tokens niet uitwisselbaar. Hierdoor wordt de annulering verbroken, wat leidt tot systematische drift en "learning tax".

De Oplossing: DFPO (Drift Fixing Policy Optimization)

De auteurs stellen een nieuwe methode voor, DFPO, die geen fundamentele veranderingen aan de RL-architectuur doorvoert, maar een minimale transformatie toepast op de gewichten binnen de groep om de annuleringsstructuur te herstellen.

Ze definiëren twee transformaties:

1. Group-Constant (Min-Replace): Alle trajecten in een groep krijgen hetzelfde gewicht (de minimumwaarde van de groep). Dit elimineert variatie in gewichten binnen de groep, waardoor gedeelde tokens effectief geannuleerd worden.
2. Adv-Orthogonal Reweighting (Orth-Proj): De gewichten worden zo aangepast dat ze orthogonaal zijn op de vector van de voordelen (advantages) binnen de groep, terwijl ze niet-negatief blijven. Dit minimaliseert de correlatie tussen gewichten en voordelen, waardoor systematische bias wordt onderdrukt.

Belangrijke implementatie-details:

• De transformatie wordt uitgevoerd met stop-gradient. De transformatie zelf wordt niet teruggepropageerd; de gewichten worden behandeld als constante coëfficiënten tijdens de backpropagation. Dit voorkomt extra gradiëntkoppeling en instabiliteit.
• De methode is ontworpen om de "structurele asymmetrische termen" te elimineren die door sequentie-gekoppelde gewichten worden geïntroduceerd.

---

3. Belangrijkste Bijdragen

1. Structurele Grenzen van Groepsinterne Lering: Het paper formaliseert een noodzakelijke voorwaarde: voor stabiele lering onder spaarzame beloningen moet het doelwit de token-level uitwisselbaarheid van updates behouden.
2. Unificatie via Gradiëntanalyse: Het biedt een verenigd perspectief dat verklaart waarom verschillende algoritmen (GRPO, GSPO, etc.) dezelfde faalmodi vertonen: ze breken allemaal de gradiënt-annulering voor gedeelde tokens door sequentie-gekoppelde gewichten.
3. Constructieve Validatie: Het introduceert DFPO met minimale transformaties (Min-Replace en Orth-Proj) die de annuleringsstructuur herstellen zonder het kernframe van groepsvergelijkingen te veranderen.
4. Theoretische Bewijzen: Het levert wiskundige bewijzen (Propositie 3.1 en afgeleiden) dat het schenden van deze voorwaarde leidt tot een strikt positieve drift in de verdeling (KL-divergentie) en entropie-collaps.

---

4. Experimentele Resultaten

De auteurs hebben hun methode getest op wiskundige en code-redeneerbenchmarks (HMMT25, AIME25, LiveCodeBench) met modellen zoals Qwen3-32B en Qwen3-Next-80B.

• Verbeterde Sample Efficiency: DFPO bereikt een vast prestatieniveau met minder compute (minder trainingsstappen) dan de baselines (GSPO, GRPO).
• Stabilere Convergentie: De trainingscurves zijn gladder met minder oscillaties (gemeten via "Jitter2").
• Hogere Eindprestaties: DFPO behaalt significant hogere scores op alle benchmarks vergeleken met state-of-the-art baselines.
  • Voorbeeld: Op AIME25 met Qwen3-32B steeg de score van ~76.9% (GSPO) naar ~82.5% (DFPO).
• Mechanisme Validatie: Metingen tonen aan dat DFPO de asymmetrie van gradiëntmodulatie binnen groepen verlaagt en de "energie" (gradiëntgrootte) op frequente, niet-beloningsgerelateerde tokens vermindert, wat de theorie van verminderde "learning tax" bevestigt.

---

5. Betekenis en Conclusie

Dit paper biedt een fundamenteel inzicht in de stabiliteit van versterkingslering voor taalmodellen. Het stelt dat de instabiliteit die vaak wordt toegeschreven aan hyperparameters of ruis, in feite een structureel probleem is van hoe sequentie-gekoppelde beloningen de gradiëntannulering voor gedeelde tokens verstoren.

De belangrijkste implicaties zijn:

• Ontwerprichtsnoer: Voor toekomstige RL-algoritmen is het behoud van gradiënt-uitwisselbaarheid (cancellatie) voor gedeelde tokens een vereiste voor stabiliteit.
• Efficiëntie: Door "learning tax" (ineffectieve updates) te elimineren, kan training sneller en efficiënter plaatsvinden.
• Generalisatie: Het voorkomen van entropie-collaps zorgt ervoor dat het model diverse correcte oplossingen behoudt in plaats van te convergeren naar één oppervlakkig patroon.

De voorgestelde transformaties (DFPO) zijn eenvoudig te implementeren in bestaande frameworks en bieden een directe weg naar stabielere en krachtigere redeneermodellen.