Technische Samenvatting: Van Redeneringssporen naar Herbruikbare Modules

Probleemstelling

Post-training pipelines die Supervised Fine-Tuning (SFT) combineren met Reinforcement Learning (RL), hebben recentelijk geleid tot significante verbeteringen in de redeneercapaciteiten van Large Language Models (LLM's). Empirisch gezien leidt SFT alleen vaak tot modellen die canonieke "gouden" redeneringssporen memoriseren, maar falen wanneer ze worden gevraagd om vertrouwde stappen op onbekende manieren te combineren (Out-of-Distribution of OOD-composities). Omgekeerd handelt een combinatie van SFT gevolgd door RL dergelijke OOD-composities betrouwbaarder af. De onderliggende mechanismen die deze gecombineerde successen drijven blijven echter onduidelijk: specifiek, wat zijn de afzonderlijke bijdragen van SFT en RL, en welke dataconfiguraties zijn optimaal voor elke fase?

Methodologie

Theoretisch Kader: Hiërarchisch Latent Selectiemodel

De auteurs formaliseren redeneren als een Hiërarchisch Latent Selectiemodel. In dit kader:

• Problembeschrijving ($P$): De input-prompt induceert een hiërarchie van discrete latente selectievariabelen.
• Latente Variabelen ($S$): Deze variabelen selecteren uit een bibliotheek van herbruikbare atomaire modules:
  • Skills: Lokale operaties (bijv. rekenkundige stappen, herschrijfregels).
  • Routingmechanismen: Beslissingen over hoe intermediaire informatie wordt geselecteerd, hergebruikt en gecomponeerd (bijv. het doorsturen van vorige outputs, vertakkingen).
• Observeerbaar Spoor ($D$): Het uiteindelijke redeneringsspoor wordt gegenereerd door de cascade van deze selecties.

De kernhypothese is dat redeneringssporen worden gegenereerd door het componeren van deze atomaire modules. SFT levert het basismateriaal (sporen die deze modules bevatten), terwijl RL verantwoordelijk is voor het deconstrueren van deze samengestelde sporen om de latente modules te identificeren en hun flexibele recombinatie mogelijk te maken.

Theoretische Bijdragen

Het artikel stelt twee belangrijke theoretische resultaten vast:

1. Identificeerbaarheid (Stelling 3.1): Onder milde voorwaarden (getrouwheid, ranggetrouwheid, beperkte keuzehoeveelheden en nabijheidsdekking) is de latente selectiehiërarchie (skills en routing) identificeerbaar vanuit de observeerbare distributie van sporen.
2. Compositionele Generalisatie (Stelling 3.4): Zodra modules zijn geïdentificeerd, kunnen ze worden gecombineerd in nieuwe composities indien elke lokale configuratie in de nieuwe prompt een "lokaal getuige" heeft in de trainingsdata (dat wil zeggen: de interface tussen modules is tijdens de training geobserveerd).

De auteurs karakteriseren verder de rollen van SFT en RL door middel van support-analyse:

• Beperkingen van SFT (Propositie 3.2): SFT op canonieke sporen laat atomaire modules vaak "verstrengeld" met hun specifieke context omdat het slechts een subset van geldige sporen onthult. Kritieke lokale gebeurtenissen die modules zouden ontwarren, kunnen buiten de support van SFT liggen.
• RL-mechanisme (Propositie 3.3): RL verrijkt de distributie door rollouts te her-samplen op basis van beloning. Als een "verborgen" lokale gebeurtenis (bijv. een specifieke routingkeuze) tot hogere beloningen leidt, verhoogt RL de waarschijnlijkheid hiervan, wat effectief de verstrengelde trace deconstrueert en de atomaire module identificeerbaar maakt.

Empirische Opzet

Om deze theorieën te valideren, voerden de auteurs gecontroleerde experimenten uit op synthetische string-transformatie-taken (gebaseerd op Yuan et al., 2025).

• Atomaire Skills: 24 deterministische string-transformatiefuncties.
• Routingmechanismen: 10 verschillende input-structuurdefinities (die bepalen welke intermediaire outputs naar de volgende stap worden gevoed).
• Protocol: Modellen werden getraind op traces met variërende dieptes ($L$). De studie intervenieerde systematisch op de datastructuur om te testen op:
  • De deconstructie van samengestelde traces naar atomen.
  • De noodzaak van compositionele expositie versus geïsoleerde atomaire expositie.
  • De optimale distributionele relatie tussen SFT- en RL-data (overlap versus disjoint).
• Aanvullend Bewijs: Analyse van open-source modellen (Qwen3-4B) op real-world wiskunde benchmarks (MATH, AIME) om skill-tokenisatie en n-gram diversiteit te observeren.

Belangrijkste Resultaten

1. RL Deconstrueert en Recombineert: Modellen getraind met RL op samengestelde traces ($L=3$) presteerden aanzienlijk beter dan SFT-only modellen op ongeziene composities ($L=4$ tot $L=8$). RL stelde het model in staat om atomaire skills en routingmechanismen te herstellen uit samengestelde traces en deze te recombineren voor generalisatie.
2. Samengestelde Traces zijn Superieur voor RL: Wanneer RL werd getraind op geïsoleerde atomaire modules ($L=1$) versus samengestelde traces ($L=3$), leverde dat laatste een aanzienlijk hogere OOD-nauwkeurigheid op (+37,8% winst versus +10,0% winst). Dit bevestigt dat expositie aan module-interfaces (composities) cruciaal is voor het leren van de recombinatie ervan.
3. Re-injectie Vereist Compositie: Wanneer specifieke atomaire skills of routers werden achtergehouden tijdens de RL-training, daalde de prestatie. Het simpelweg opnieuw injecteren van geïsoleerde atomaire skills ($L=1$) herstelde de prestatie niet. Prestaties werden alleen hersteld wanneer compositionele traces die de achtergehouden atomen bevatten, werden geherinjecteerd, wat bewijst dat atomen binnen een compositionele context moeten worden geleerd om herbruikbaar te zijn.
4. Optimale SFT-RL Data-koppeling: De sterkste OOD-generalisatie trad op wanneer de SFT- en RL-datadistributies disjoint waren ($C_{SFT} \cap C_{RL} = \emptyset$).
   • Rol van SFT: Moet de volledige inventaris van atomaire modules dekken via compositionele traces.
   • Rol van RL: Moet zich richten op nieuwe composities buiten de SFT-support om exploratie te stimuleren en nieuwe interfaces te identificeren.
   • Overlappende data ($C_{SFT} \supset C_{RL}$) resulteerde in de zwakste generalisatie.
5. Bewijs uit Real-World Modellen: Analyse van Qwen3-modellen toonde aan dat RL-getunede modellen een hogere diversiteit vertoonden in korte skill n-grams (n=2, 3), wat duidt op een flexibelere lokale recombinatie van geabstraheerde stappen, consistent met het theoretische model van modulaire hergebruik.

Betekenis en Claims

Het artikel claimt een latent-variabele verklaring te bieden voor het succes van SFT+RL-pipelines in compositioneel redeneren. De primaire betekenis ligt in:

• Formalisering van het Mechanisme: Het gaat verder dan empirische observatie naar een theoretisch kader waar SFT "materialen" levert (verstrengelde traces) en RL "deconstructie" uitvoert (het identificeren van latente modules via beloningsgestuurde support-expansie).
• Curriculumontwerp: Het biedt een concreet protocol voor post-training: SFT moet zorgen voor dekking van alle atomaire modules via composities, terwijl RL zich moet richten op nieuwe composities om nieuwe interfaces te verkennen.
• Identificeerbaarheidsvoorwaarden: Het biedt voldoende voorwaarden waaronder latente redeneringsstructuren kunnen worden hersteld uit geobserveerde data, waarbij het succes van RL wordt gekoppeld aan de verrijking van de "lokale getuigen" die vereist zijn voor compositionele generalisatie.

De auteurs positioneren dit werk als een stap naar het begrijpen van hoe LLM's leren om compositioneel te redeneren, waarbij zij suggereren dat de "black box" van RL effectief een mechanisme is voor het ontdekken en recombineren van herbruikbare atomaire redeneereenheden.