Technische Samenvatting: Kennis is niet voldoende: Inbrengen van RL-vaardigheden voor continue aanpassing

Probleemstelling

Grote Taalmodellen (LLM's) staan voor een fundamentele uitdaging: de "kennis-cutoff". Hun parametrische geheugen is bevroren na pre-training, wat de native internalisatie van nieuwe informatie of hulpmiddelen verhindert. Hoewel Retrieval-Augmented Generation (RAG) probeert dit te mitigeren via externe context, lijdt het aan problemen met het modelleren van lange-afhangafhankelijkheden en inferentie-overhead. Bijgevolg is het onderzoek verschoven naar Parametrische Kennisupdate (bijvoorbeeld Kennisbewerking, Test-Tijd Training).

Er bestaat echter een kritieke beperking in huidige aanpassingsparadigma's: een functionele disconnectie tussen kennis en redeneervaardigheden.

• Supervised Fine-Tuning (SFT) memoriseert effectief feitelijke inhoud (het "wat"), maar leert het model vaak niet hoe het die kennis in downstream-taken moet redeneren of manipuleren. Modellen die via SFT zijn getraind, kunnen feiten "kennen", maar falen in het dynamisch benutten daarvan, wat leidt tot hallucinaties of star gedrag bij het tegenkomen van fouten.
• Versterkend Leren (RL) is essentieel voor het verwerven van robuuste redeneer- en uitvoervaardigheden (het "hoe"), maar de hoge rekenkosten (vereisend voor on-policy exploratie en interactiegegevens) maken het onpraktisch voor efficiënte, continue online aanpassing aan elk nieuw scenario.

Het kernprobleem is hoe een model uit te rusten met nieuwe domeinkennis én de procedurale vaardigheden om die te gebruiken, zonder de prohibitieve kosten van het trainen van RL vanaf nul voor elk nieuw domein.

Methodologie: Parametrische Vaardigheidsoverdracht (PaST)

De auteurs stellen Parametrische Vaardigheidsoverdracht (PaST) voor, een modulair raamwerk dat kennisverwerving ontkoppelt van vaardigheidsverwerving, waardoor redeneercapaciteiten over domeinen kunnen worden overgedragen zonder expliciete RL in het doeldomein.

1. Theoretische Basis: Orthogonaliteit van Updates

De methode vertrouwt op de empirische observatie dat parameterupdates veroorzaakt door SFT ($\Delta W_{SFT}$) en RL ($\Delta W_{RL}$) bijna orthogonaal zijn.

• Empirisch Bewijs: Analyse van cosinussimilariteit over modellagen (bijvoorbeeld op LooGLE- en ToolBench-taken) toont aan dat $\Delta W_{SFT}$ en $\Delta W_{RL}$ in ontkoppelde deelruimten van het parametrische landschap wonen. Hun correlatie is consequent dicht bij nul, terwijl twee onafhankelijke SFT-updates een significante correlatie vertonen.
• Implicatie: Kennis (feitelijke injectie) en Vaardigheden (procedurale logica) kunnen afzonderlijk worden geoptimaliseerd en lineair worden samengesteld zonder destructieve interferentie.

2. Het PaST-raamwerk

PaST werkt in twee fasen:

Fase I: Vaardigheidsextractie uit Brondomein

1. SFT-verankering: Een basismodel wordt fine-getuned op een kenniscorpus van het brondomein ($C_S$) om $\theta^S_{sft}$ te verkrijgen.
2. RL-verfijning: Het SFT-model ondergaat RL-training op interactietrajecten van het bron ($T_S$) om redeneerbeleiden te internaliseren, resulterend in $\theta^S_{rl}$.
3. Extractie van Vaardigheidsvector: Een domeinonafhankelijke Vaardigheidsvector ($v_{skill}$) wordt geëxtraheerd door de SFT-parameters af te trekken van de RL-parameters:
   $$v_{skill} = \theta^S_{rl} - \theta^S_{sft}$$
   Deze vector vangt de "gradiënt"-richting van redeneerverbetering op, ontdaan van domeinspecifieke declaratieve feiten.
   • Verfijning: Om overfitting op specifiek broninhoud te voorkomen, wordt een Iteratieve Bootstrapping-strategie toegepast. Het brondomein wordt opgesplitst in subsets; de vaardigheidsvector wordt iteratief verfijnd over rondes, waarbij de vector van de vorige ronde wordt ingebracht als warm-start voor de volgende RL-fase.

Fase II: Aanpassing Doeldomein

1. Lichtgewicht SFT: Het doelmodel wordt fine-getuned op nieuwe documenten van het doeldomein ($C_T$) om $\theta^T_{sft}$ te verkrijgen. Dit verankert het model met de nieuwe feiten.
2. Lineaire Injectie: De geëxtraheerde vaardigheidsvector wordt lineair in het doelmodel geïnjecteerd:
   $$\theta_{final} = \theta^T_{sft} + \lambda \cdot v_{skill}$$
   (waarbij $\lambda$ een schalingscoëfficiënt is, ingesteld op 1 in experimenten). Dit ent de redeneergeometrie die in het brondomein is geleerd, op het kennismanifold van het doel, waardoor zero-shot-uitvoering van complexe taken mogelijk wordt.

Belangrijkste Bijdragen

1. Identificatie van Redeneer-Kennis Disconnectie: Het artikel benadrukt dat SFT alleen onvoldoende is voor het overdragen van procedurale logica naar nieuwe domeinen, omdat het voornamelijk oppervlakkige memorisatie induceert.
2. Empirisch Bewijs van Orthogonaliteit: De auteurs leveren rigoureus bewijs dat SFT- en RL-updates bijna orthogonale deelruimten bezetten, wat de haalbaarheid valideert van het scheiden en hercombineren van kennis en vaardigheden.
3. PaST-raamwerk: Een nieuwe methode die taakvectorarithmetic gebruikt om RL-geleerde vaardigheden van een brondomein naar een doeldomein over te dragen, waarbij de noodzaak voor dure RL in het doeldomein wordt omzeild.
4. Ontkoppeling en Overdraagbaarheid: Demonstratie dat kennismanipulatie en uitvoervaardigheden effectief kunnen worden ontkoppeld en overgedragen, waardoor robuuste aanpassing in data-schaarse doeldomeinen mogelijk wordt.

Experimentele Resultaten

De auteurs evalueerden PaST over drie benchmarks:

1. Kennisintegratie (SQuAD):

   • Instelling: Closed-book QA waarbij het model een passage via updates op testtijd moet memoriseren en vragen moet beantwoorden zonder context.
   • Resultaat: PaST behaalde 56,9% nauwkeurigheid, wat significant beter is dan de state-of-the-art self-editing-baseline SEAL (47,0%) en een standaard "Train op Passage + Synthetisch"-baseline (39,7%). Dit vertegenwoordigt een absolute verbetering van +17,2% ten opzichte van de synthetische baseline, wat bewijst dat de vaardigheidsvector essentiële inferentielogica biedt.

2. Redeneren met Lange Context (LooGLE):

   • Instelling: QA op documenten die 21k tokens overschrijden.
   • Resultaat: PaST verbeterde de nauwkeurigheid van 30,1% (Standaard SFT) naar 38,1% (+8,0 punten). De methode slaagde erin om te schalen naar massale documentatie, waardoor het model transformeerde van een passieve feitencontainer naar een expert die in staat is tot precieze parametrische retriever.

3. Cross-Domein Gebruik van Hulpmiddelen (ToolBench):

   • Instelling: Closed-book uitvoering waarbij het model API's moet gebruiken uitsluitend op basis van namen (geen context), waarbij vaardigheden worden overgedragen van een "Films"-brondomein naar 20 ongezichte doelprioriteiten.
   • Resultaat: PaST verhoogde het gemiddelde succespercentage van 21,9% (Doel SFT) naar 32,2% (+10,3 punten). Het bereikte zero-shot-activering in domeinen waar de baseline volledig faalde (bijvoorbeeld: Reclame: 0% $\to$ 16,7%).

4. Efficiëntievergelijking:

   • PaST kwam overeen met de prestaties van RL getraind in het doeldomein voor ongeveer 75 stappen (44,0% versus 44,6%), maar veroorzaakte geen extra trainingstijd in het doeldomein. Doel-RL vereiste ongeveer 72 minuten per document, terwijl PaST geen enkele vereiste.

Betekenis en Claims

Het artikel claimt dat PaST een rekenkundig efficiënt en schaalbaar alternatief voor on-policy RL biedt voor continue aanpassing. Door gebruik te maken van de orthogonaliteit van parameterupdates, stelt de methode modellen in staat om nieuwe kennis te verwerven via lichtgewicht SFT, terwijl ze tegelijkertijd robuuste redeneercapaciteiten erven van een voorgeprogrammeerde bron. Dit overbrugt de kloof tussen het "weten" van feiten en het "gebruiken" daarvan, en adresseert een kritieke bottleneck bij het inzetten van LLM's in dynamische, real-world omgevingen waar zowel kennis als redeneervaardigheden snel moeten evolueren.

De auteurs merken bescheiden beperkingen op, waaronder de behoefte aan bredere experimentele domeinen buiten QA en gebruik van hulpmiddelen, het gebruik van een statische schalingscoëfficiënt ($\lambda=1$), en de primaire afhankelijkheid van de Qwen2.5-7B-architectuur, wat suggereert dat toekomstig werk nodig is om deze dynamieken te bevestigen over bredere modelgroottes.