Technische Samenvatting: Impliciete Beloningsoverfitting en Laag-rang Dynamica in RLVR

Probleemstelling

Ondanks het technische succes van Reinforcement Learning met Verifieerbare Beloningen (RLVR) in het verbeteren van de redeneercapaciteiten van Large Language Models (LLMs), blijven de microscopische mechanismen waarmee RL modelparameters aanpast slecht begrepen. Bestaand onderzoek richt zich grotendeels op macroscopische trainingsdynamica of beloningsontwerp, waardoor er een lacune bestaat in het begrijpen van de specifieke structuur en fysieke betekenis van parameterupdates ($\Delta W$).

Recente waarnemingen suggereren dat RLVR-verbeteringen geconcentreerd zijn binnen laag-rang componenten, specifiek Rank-1 updates. Een verstorende bevinding geeft echter aan dat RL mogelijk geen nieuwe onderliggende redeneringslogica aanbrengt, maar eerder samplingstrategieën optimaliseert om latente correcte antwoorden op te wekken. Dit roept kritische vragen op: leert RLVR werkelijk redeneren, of fit het over op de beloningsfunctie? Bovendien, wat is de functionele rol van de niet-Rank-1 componenten in de parameterupdate-matrix?

Methodologie

De auteurs maken gebruik van een combinatie van empirische studies en theoretische analyse, gefocust op de spectrale eigenschappen van gewichtsupdates.

1. Periodieke Rank-1 Substitutie: Om de bijdrage van niet-Rank-1 componenten te onderzoeken, introduceren de auteurs een techniek waarbij, op vaste intervallen (bijvoorbeeld elke 10 stappen), de geaccumuleerde gewichtsupdate wordt ontbonden via Singular Value Decomposition (SVD). Alleen de Rank-1 component (geassocieerd met de grootste singuliere waarde) wordt behouden en toegevoegd aan de basismodelparameters, terwijl de resterende niet-Rank-1 componenten worden verworpen. Het model vervolgt vervolgens de training vanuit deze "Rank-1 gezuiverde" staat.
2. Spectrale Analyse: De auteurs voeren SVD uit op de gewichtsverschilmatrices ($\Delta W$) van met RLVR getrainde modellen om de verdeling van singuliere waarden (singuliere spectra) over lineaire lagen te analyseren.
3. LoRA-Alignementanalyse: Met behulp van LoRA met rang $r=1$ vergelijken de auteurs de geometrische alignement tussen LoRA-adapters en de ware Rank-1 deelruimte van de volledige gewichtsupdate. Zij gebruiken Frobenius-cosinusgelijkheid en Hoofdhoeven (Links en Rechts) om de alignement in input- en outputruimtes te kwantificeren.
4. Theoretische Gradiëntanalyse: Het artikel leidt de gradiëntstructuur van RL-doelstellingen af (GRPO, DAPO, GSPO), en toont aan dat deze kunnen worden geformuleerd als gewogen sommen van rang-1 matrices, wat de empirische observatie van Rank-1 dominantie ondersteunt.

Belangrijkste Bevindingen en Resultaten

1. Impliciete Beloningsoverfitting

De studie onthult een tegenintuïtief fenomeen: Impliciete Beloningsoverfitting. Modellen getraind met Periodieke Rank-1 Substitutie bereiken prestaties op de testset die vergelijkbaar zijn met volledig gefinetuned modellen (Full RL), ondanks dat ze aanzienlijk lagere trainingsbeloningen vertonen.

• Waarneming: Standaard RLVR-training drijft trainingsbeloningen consequent omhoog, maar dit vertaalt zich niet in superieure generalisatie.
• Implicatie: Niet-Rank-1 componenten verhogen trainingsbeloningen aanzienlijk, maar falen in het verbeteren van generalisatie. Het model lijkt zijn samplingstrategie te over-optimaliseren om te passen bij de beloningsverdeling van de trainingsdata, in plaats van robuuste redeneringslogica te leren.

2. Functionele Rol van Niet-Rank-1 Componenten

Hoewel Rank-1 componenten redeneercapaciteiten vastleggen, zijn niet-Rank-1 componenten niet functioneel overbodig.

• Behoud van Algemene Capaciteiten: Het verwijderen van niet-Rank-1 componenten via Rank-1 extractie leidt tot significante degradatie van vaardigheden buiten het domein, waaronder instructie-opvolging (IF-Eval), wereldkennis (MMLU, MMLU-Pro) en veiligheid (SafetyBench).
• Catastrofaal Vergeten: De niet-Rank-1 componenten zijn cruciaal voor het behoud van de algemene kennis en veiligheidsalignement van het model, en voorkomen het catastrofale vergeten dat vaak wordt gezien bij supervised fine-tuning (SFT).

3. Universeel Spectraal Patroon

De singuliere spectra van parameterupdates in met RLVR getrainde modellen volgen een consistent patroon:

• Leidend Piek: Een dominante eerste singuliere waarde ($\sigma_1$) die overeenkomt met de Rank-1 component.
• Zwaarstaartverdeling: Na de initiële piek vertonen de overige singuliere waarden een uniforme, quasi-lineaire afname, waardoor een zware staart ontstaat.
• Energieverdeling: Hoewel de Rank-1 component het redeneren drijft, bevat de niet-Rank-1 staart het merendeel van de "energie" (Frobenius-norm) van de update, en codeert veiligheid, robuustheid en subtiele feature-alignement.

4. Geometrische Asymmetrie in LoRA-dynamica

De analyse van LoRA-trainingsdynamica onthult een Geometrische Asymmetrie tussen input- en output-deelruimtes:

• Outputruimte-alignement: De linker singuliere vectoren (outputruimte) van de Rank-1 component tonen sterke alignement met LoRA-adapters. Dit sluit aan bij de bevinding dat RLVR voornamelijk de samplingstrategie (outputrepresentatie) optimaliseert.
• Inputruimte-misalignement: De rechter singuliere vectoren (inputruimte) tonen zwakkere alignement. Input-updates behelzen complexe herorganisatie van contextuele features die moeilijk vast te leggen zijn met eenvoudige laag-rang matrices.
• Theoretische Basis: Gradiëntanalyse toont aan dat de updaterichting voor de outputvector wordt bepaald door de teruggepropageerde fout (die goed aligneert), terwijl de inputvectorupdate wordt bepaald door sterk contextafhankelijke activaties, wat alignement moeilijk maakt.

Betekenis en Bijdragen

Het artikel claimt een dieper mechanistisch begrip van RLVR te bieden, en daagt de aanname uit dat RL op de traditionele manier inherent "redeneren leert".

• Herformulering van RLVR: De bevindingen suggereren dat RLVR meer fungeert als een mechanisme om sampling-efficiëntie te optimaliseren en latente redeneercapaciteiten op te wekken, in plaats van fundamenteel de onderliggende redeneringslogica van het model te veranderen. Dit verklaart waarom het verhogen van $k$ in pass@k-metrieken soms ertoe leidt dat standaard RL-modellen onderpresteren ten opzichte van basismodellen.
• Ontkoppeling van Capaciteiten: Het werk ontkoppelt succesvol redeneercapaciteit (Rank-1) van algemene kennis en veiligheid (Niet-Rank-1), en biedt een theoretische basis voor waarom "overfitting" op beloningen kan optreden zonder generalisatie te schaden, mits de Rank-1 component behouden blijft.
• Spectrale Inzichten: De identificatie van het "leidend piek + zware staart" spectraal patroon biedt een nieuwe lens voor het analyseren van RL-updates, en suggereert dat RL een sterk gestructureerde spectrale vorm induceert in plaats van een strikt laag-rang update.
• Praktische Implicaties: De bevindingen bieden potentiële inzichten voor het verbeteren van RL-paradigma's, zoals het ontwerpen van trainingsstrategieën die impliciete beloningsoverfitting mitigeren terwijl de niet-Rank-1 componenten die noodzakelijk zijn voor veiligheid en algemene kennis behouden blijven.

De auteurs erkennen beperkingen, en merken op dat hun waarnemingen gebaseerd zijn op specifieke modelgroottes en -architecturen, en dat verder onderzoek nodig is om de universaliteit van deze bevindingen over verschillende parameterschalen en modelfamilies te bepalen.