Technische Samenvatting: SALT – Subspace-Adaptive Geometry Plug-in voor Group-Based Policy Optimization

1. Probleemstelling

Reinforcement Learning met Verifieerbare Beloningen (RLVR) is een standaardmethode geworden voor het verbeteren van de redeneercapaciteiten van Large Language Models (LLM's), met name door middel van Group Relative Policy Optimization (GRPO). GRPO verbetert de schaalbaarheid door de critic-netwerk te vervangen door groep-relatieve normalisatie, waarbij meerdere rollouts ($G$) per prompt worden gesampled om leersignalen te construeren.

Echter, het artikel identificeert een kritieke structurele inefficiëntie: het louter verhogen van het aantal rollouts leidt niet betrouwbaar tot sterkere leerprocessen. De auteurs diagnosticeren dat onder GRPO-stijl groep-normalisatie, de policy-gradient features per rollout de neiging hebben om te concentreren in een laag-dimensionale, gesigneerde geometrie.

• Gesigneerde Annulering (Signed Cancellation): Wanneer voordelen (advantages) binnen een groep worden genormaliseerd, tellen ze op tot nul. Als de gradient features van de rollouts sterk gecorreleerd (redundant) zijn en een dominante richting delen, zullen de positieve en negatieve gesigneerde voordelen elkaar tijdens aggregatie opheffen.
• Lage Effectieve Dimensionaliteit: Deze redundantie resulteert in een lage "Effectieve Dimensionaliteit" (gemeten door de Participation Ratio, $PR$) en een lage "Effectieve Steekproefomvang" ($n_{eff}$).
• De Bottleneck: Bijgevolg levert het verhogen van de rollout group size ($G$) vaak afnemende meeropbrengsten op, omdat het geaggregeerde update-signaal alleen afhankelijk is van een klein residu-component, terwijl de gedeelde, redundante componenten worden geannuleerd door het groep-centreringsmechanisme.

2. Methodologie: SALT

Om dit aan te pakken, stellen de auteurs SALT voor (Subspace-Adaptive geometry pLug-in Tcomponent). SALT is een plug-in module die groep-relatieve coëfficiënten herweegt met behulp van sample-specifieke gradient-geometrie, om gesigneerde annulering te mitigeren zonder het beloningsmodel of de rollout-samplingprocedure te wijzigen.

Kernmechanisme

SALT werkt door de geometrie van de mini-batch gradients te analyseren en de update-signalen te deconstrueren in twee kanalen:

1. Dominante Subspace Schatting:

   • SALT berekent een genormaliseerde Gram-matrix van de gradient features (met behulp van een lichtgewicht LM-head gradient proxy om de kosten van volledige model-gradients te vermijden).
   • Het voert een eigenwaardedecompositie uit om een dominante gedeelde subspace ($V_k$) te identificeren op basis van de Participation Ratio ($PR$).
   • Deze subspace vertegenwoordigt de "gemeenschappelijke signalen" die gedeeld worden over rollouts en die gevoelig zijn voor annulering.

2. Dual-Channel Decompositie:

   • Hoofdkanaal ($a_{main}$): De groep-genormaliseerde voordelen worden geprojecteerd op de dominante subspace ($P_k a$). Dit behoudt de kern van de groep-relatieve feedback.
   • Exploratiekanaal ($a_{exp}$): De voordelen worden geprojecteerd op het orthogonale complement ($P_k^\perp$) en gefilterd om alleen de positieve componenten te behouden ($[a]_+$). Dit isoleert de "residu"- of niet-redundante richtingen.

3. Adaptieve Herweging:

   • SALT introduceert een adaptieve mix-coëfficiënt, $\alpha_t$, die omgekeerd gerelateerd is aan de effectieve steekproefomvang ($n_{eff}$) van de huidige batch.
   • Het uiteindelijke hergewogen voordeel is: $a' = a_{main} + \alpha_t a_{exp}$.
   • Logica: Wanneer $n_{eff}$ laag is (wat duidt op ernstige annulering), neemt $\alpha_t$ toe, waardoor het residu (exploratie) kanaal adaptief wordt versterkt om nuttige update-signalen te herstellen die anders verloren zouden gaan.

Computationele Efficiëntie

• Proxy Feature: In plaats van volledige model-gradients te berekenen, gebruikt SALT de gradient van de output-projectie (LM-head) als een proxy. Dit behoudt de noodzakelijke sample-specifieke geometrie terwijl het schaalt met de mini-batch grootte ($m=BG$) in plaats van het totale aantal parameters.
• Kosten: De methode voegt ongeveer 7,7% overhead toe aan de wall-clock trainingstijd vanwege de Gram-matrix berekening en eigensolver stappen, wat wordt beschouwd als een gunstige kosten-batenverhouding gezien de prestatiewinsten.

3. Belangrijkste Bijdragen

Het artikel schetst drie primaire bijdragen:

1. Fenomeen Diagnose: De auteurs demonstreren empirisch dat groep-relatieve RLVR lijdt aan gesigneerde laag-dimensionale redundantie. Ze tonen aan dat per-sample gradient features concentreren in laag-dimensionale subspaces, wat leidt tot een lage $PR$ en $n_{eff}$, wat verklaart waarom het verhogen van rollouts vaak de leerprestaties niet verbetert.
2. Methode Voorstel (SALT): Ze introduceren een subspace-adaptieve plug-in die een dominante gedeelde subspace schat en groep-relatieve coëfficiënten herweegt. Het scheidt expliciet gedeelde signalen van residu-signalen en versterkt de laatstgenoemde adaptief om annulering tegen te gaan.
3. Empirische Validatie: Uitgebreide experimenten op redeneer-benchmarks (AIME, GSM8K, MATH, GPQA) en model-schalen (1.5B, 7B) valideren dat SALT consequent de prestaties en de effectieve update-geometrie verbetert vergeleken met standaard GRPO en DAPO baselines.

4. Experimentele Resultaten

De auteurs evalueerden SALT op diverse redeneer-georiënteerde RLVR-benchmarks met behulp van DeepSeek-Distill-Qwen modellen (1.5B en 7B).

• Prestatiewinsten: SALT presteerde consequent beter dan vanilla GRPO en DAPO. Gemiddeld verbeterde het de nauwkeurigheid met ongeveer +2,54 procentpunt over de verschillende settings. Opvallende winsten werden waargenomen op AIME24 en GPQA.
• Geometrische Verbeteringen: In tegen tegenstelling tot entropie-gebaseerde regularisatiemethoden (die de sampling diversiteit vergroten maar falen in het verbeteren van de update-geometrie), verhoogde SALT zowel de Participation Ratio ($PR$) als de Effectieve Steekproefomvang ($n_{eff}$) aanzienlijk. Dit geeft aan dat SALT erin slaagt om rollouts om te zetten in diverse, niet-cancellerende update-signalen.
• Rollout Schaling: In experimenten met een vaste rollout budget toonde SALT aan dat grotere groep-groottes ($G$) effectief benut kunnen worden. Terwijl baselines afnemende meeropbrengsten vertoonden naarmate $G$ toenam, behield SALT een hoge $n_{eff}$ en bleef de prestaties verbeteren, wat bewijst dat het grotere rollout-groepen "bruikbaar" maakt in plaats van enkel computationeel duur.
• Ablatie-studies: Het verwijderen van ofwel de dual-channel structuur of de adaptieve mix-mechanisme degradeerde de prestaties, wat bevestigt dat zowel de scheiding van gedeelde/residu signalen als de dynamische aanpassing van de mix-sterkte noodzakelijk zijn.

5. Betekenis en Claims

Het artikel claimt dat rollout-inefficiëntie in GRPO niet louter een sampling-probleem is, maar een falen om residuele, niet-redundante signalen te aggregeren.

• Verschuiving in Perspectief: Het werk verschuift de focus van "het behouden van respons-diversiteit" (via entropie-regularisatie) naar "het optimaliseren van de update-geometrie". Het beargumenteert dat zelfs met diverse sequenties, de gradient features redundant kunnen zijn, en dat de oplossing ligt in geometrische herweging.
• Praktische Impact: SALT biedt een manier om rollout-groepen op te schalen zonder evenredige prestatiedegradatie, waardoor er beter gebruik wordt gemaakt van rekenkracht.
• Bescheiden Claims: De auteurs erkennen dat SALT een biased geometry-reweighted surrogate is in plaats van een unbiased herformulering van GRPO. Het succes ervan berust op de afweging waarbij de reductie van gesigneerde annulering zwaarder weegt dan de verstoring geïntroduceerd door de herweging van coëfficiënten. Ze merken ook beperkingen op met betrekking tot het gebruik van LM-head proxies en de potentiële variatie in efficiëntie over verschillende architecturen.

Samenvattend biedt SALT een mechanisme om "meer rollouts betekenisvol te maken" door redundant gedeelde signalen adaptief te onderdrukken en diverse residu-richtingen te versterken, waardoor het effectieve leersignaal in groep-gebaseerde policy-optimalisatie wordt versterkt.