Technische Samenvatting: RL Drukt Samen, SFT Breidt Uit: Een Vergelijkende Studie van Redenerende LLM's

Probleemstelling

Hoewel Reinforcement Learning met Verifieerbare Beloningen (RLVR) en Supervised Fine-Tuning (SFT) de dominante paradigma's zijn voor het post-trainen van Large Language Models (LLM's) om redeneercapaciteiten te verbeteren, blijven de specifieke mechanismen waarmee deze methoden de onderliggende redeneerprocessen vormgeven, onduidelijk. Eerdere studies hebben zich grotendeels gericht op uitkomstgerichte metrieken (bijv. Pass@k), vaak met de conclusie dat RL slechts bestaande basisvaardigheden aan het licht brengt of dat SFT leidt tot memorisatie terwijl RL generalisatie bevordert. Deze studies missen echter een gedetailleerd inzicht in hoe RL en SFT fundamenteel de structuur van redeneerpaden en de topologie van de redeneerruimte veranderen. Dit artikel adresseert de vraag: Hoe vormgeven RL en SFT het redeneerproces verder dan nauwkeurigheidsmetingen?

Methodologie

De auteurs introduceren een nieuw analysekader dat redeneerpaden kwantificeert en hun kwalitatieve veranderingen onder verschillende trainingsregimes vastlegt. De studie maakt gebruik van modellen van verschillende groottes (1,5B, 7B en 14B parameters) in wiskundige (AIME24, AIME25, AMC23) en code-domeinen (HumanEval). De analyse wordt uitgevoerd op twee niveaus van granulariteit:

1. Traject-niveau Analyse:

   • Methode: Meerdere outputs (M=256) worden gesampled van Base-, RL-, SFT- en SFT+RL-modellen. Unieke redeneertrajecten worden geïdentificeerd door hiërarchische clustering (UPGMA) toe te passen op de outputs op basis van karakter-n-gram-achtigheid (chrF).
   • Doel: Het tellen en vergelijken van het aantal unieke correcte en incorrecte trajecten voor en na training.

2. Stap-niveau Analyse (Redeneergrafieken):

   • Constructie: Modeloutputs worden opgesplitst in zinnen, ingebed in een vectorruimte (met BGE-large-en-v1.5) en geclusterd (K-means) om knopen te definiëren. Overgangen tussen zinnen vormen gerichte randen, waardoor een "redeneergrafiek" voor elk probleem ontstaat.
   • Metrieken: De studie analyseert globale en lokale topologische eigenschappen, waaronder:
     • Exponentiële Vervalraten: Het aanpassen van rangplots van bezoekfrequentie, graad en tussenliggende centraliteit aan een exponentiële wet ($X(R) \propto e^{-\lambda R}$) om de vervalrate $\beta$ te bepalen.
     • Globale Topologie: Randdichtheid, clusteringcoëfficiënt, assortativiteit, modulariteit, Freeman-centralisatie, gemiddelde padlengte, globale efficiëntie en algebraïsche connectiviteit.
     • Lokale Structuur: Graphlet-analyse (tellen van 4-knoop subgrafieken) om cyclische versus acyclische structuren te detecteren.

Belangrijkste Bijdragen

Het artikel vestigt een "redeneerpadperspectief" dat de complementaire rollen van SFT en RL verklaart:

1. Traject-niveau Dynamiek:

   • RL Drukt Samen: RL-training comprimeert het aantal unieke incorrecte trajecten aanzienlijk, waardoor de zoekruimte van fouten effectief wordt gesnoeid. Het vermindert echter ook het aantal unieke correcte trajecten, waardoor de waarschijnlijkheidsmassa op minder paden wordt geconcentreerd.
   • SFT Breidt Uit: SFT-training verhoogt het aantal unieke correcte trajecten en introduceert nieuwe oplossingsstrategieën die afwezig waren in het basismodel. Cruciaal is dat SFT alleen de neiging heeft om incorrecte trajecten te behouden, wat geen verbetering van Pass@1 garandeert.
   • Synergie: Het succes van de twee-traps SFT+RL-aanpak wordt toegeschreven aan het feit dat SFT de ruimte van correcte oplossingen uitbreidt, gevolgd door RL dat de ruimte van incorrecte oplossingen comprimeert.

2. Stap-niveau Structurele Veranderingen:

   • Vervalraten: RL maakt de vervalraten ($\beta$) van verdelingen voor bezoekfrequentie, graad en tussenliggende centraliteit steiler. Dit geeft aan dat RL redeneerfunctionaliteit (bijv. hubs, centrale knopen) consolideert in een kleine subset van stappen. Omgekeerd maakt SFT deze vervalraten vlakker, waardoor functionaliteit wordt gehomogeniseerd over vele diverse stappen.
   • Globale Topologie:
     • Basismodellen: Vertonen hoge modulariteit en lage globale efficiëntie, wat aangeeft dat redeneren vastzit in distincte, zwak verbonden gemeenschappen.
     • RL-modellen: Transformeren grafieken naar hub-gecentraliseerde structuren met hoge randdichtheid en lage modulariteit, waardoor efficiënte traversie via enkele centrale knopen mogelijk wordt.
     • SFT-modellen: Verzwakken gemeenschapsgrenzen om globaal verbonden grafieken te vormen met hoge robuustheid en bereikbaarheidsefficiëntie, hoewel ze mogelijk nog steeds enkele incorrecte paden behouden.
   • Lokale Structuur: Zowel RL als SFT verhogen het aandeel cyclische subgrafieken (wat teruglopen en verificatie weerspiegelt), wat suggereert dat lokale cyclische structuren alleen de prestatieverschillen niet kunnen verklaren; de globale topologie is de differentiator.

Resultaten

• Wiskundige en Code-domeinen: De bevindingen zijn consistent over wiskundedatasets (AIME, AMC) en codegeneratie (HumanEval).
• Pass@k vs. Pass@1: De reductie van unieke correcte trajecten door RL verklaart waarom Basismodellen soms RL-modellen kunnen overtreffen in Pass@k (bij grote $k$) vanwege de bredere dekking van de verdeling van het basismodel, terwijl RL uitblinkt in Pass@1 door massa te concentreren op het meest waarschijnlijke correcte pad.
• Topologische Correlaties: Globale efficiëntie en algebraïsche connectiviteit vertonen een positieve correlatie met Pass@1/Pass@k-ratio's, terwijl modulariteit negatief gecorreleerd is. Dit suggereert dat redeneergrafieken die efficiënte traversie over de hele oplossingsruimte faciliteren, cruciaal zijn voor hoge prestaties.
• Ablatiestudies: De resultaten met betrekking tot vervalraten en topologische verschuivingen blijven robuust over verschillende aantallen clusters ($K$), afstandsmetrieken (Euclidisch versus Cosine) en zin-encoders.

Betekenis en Claims

Het artikel claimt empirische ondersteuning te bieden voor de hypothese "RL drukt samen, SFT breidt uit", en biedt een mechanistische verklaring voor waarom de huidige beste praktijk van twee-traps training (SFT gevolgd door RL) succesvol is.

• Interpretatie van Training: Het stelt dat SFT fungeert als een "uitbreider" van de redeneerruimte (het leren van nieuwe strategieën), terwijl RL fungeert als een "compressor" (het optimaliseren van de verdeling om fouten te onderdrukken en zich te focussen op hoogstwaarschijnlijke correcte paden).
• Data Curation: De bevindingen suggereren dat dataconstructie voor redeneren grafmetrieken moet overwegen (bijv. het waarborgen van lage modulariteit en hoge globale efficiëntie) in plaats van alleen nauwkeurigheid.
• Toekomstige Richtingen: De auteurs suggereren dat het toepassen van RL alleen op functionele stappen (hubs) de efficiëntie zou kunnen verbeteren en dat het onderzoeken of exploratiebonussen in RL "excessieve compressie" voorkomen, een waardevolle richting is.

Het werk claimt niet om nieuwe trainingsalgoritmen te hebben uitgevonden, maar biedt eerder een diagnostisch kader om bestaande te begrijpen, interpreteert waarom huidige post-trainingrecepten werken en suggereert richtingen voor efficiëntere leeraanpakken en datacuration.