Technische Samenvatting: CRAFT – Adaptatie op Basis van Vergetingsbewuste Interventie voor Continue Leermethoden

1. Probleemstelling

Grote Taalmodellen (LLM's) lijden aan catastrofaal vergeten wanneer ze via fine-tuning worden aangepast aan nieuwe taken. Dit gebeurt omdat standaard fine-tuning dezelfde parameters bijwerkt die eerdere kennis coderen, wat een inherente afweging creëert tussen plasticiteit (het leren van nieuwe taken) en stabiliteit (het behouden van oude taken). Bestaande oplossingen—zoals regularisatie (bijv. EWC), replay-mechanismen of architecturale beperkingen zoals LoRA-pools—opereren binnen de parameterruimte, waar het conflict zijn oorsprong vindt. Deze methoden vereisen vaak geleerde gating-mechanismen (die zelf vatbaar zijn voor vergeten) of vaste referenties die geen vat hebben op evoluerende gedeelde kennis.

Het artikel stelt voor dat continue leermethoden niet als een probleem van parameterconcurrentie moeten worden herformuleerd, maar als de organisatie en controle van interventies op representatieniveau. Door de backbone-weights bevroren te houden en verborgen representaties te bewerken in een low-rank deelruimte, wordt de bron van interferentie op weight-niveau verwijderd. Er blijven echter uitdagingen bestaan bij representatiegebaseerd leren: hoe capaciteit te delen tussen vergelijkbare taken zonder ongerelateerde taken te dwingen te concurreren, hoe taken te routeren zonder een geleerde gate, en hoe vergeten tijdens adaptatie te controleren zonder efficiëntie te beperken.

2. Methodologie: CRAFT

CRAFT (Continual Representation-Anchored Fine-Tuning) is een raamwerk dat routering, adaptatie en samenvoeging volledig uitvoert in de representatieruimte zonder modelweights te wijzigen. Het maakt gebruik van LoReFT (Low-rank Linear Subspace ReFT), dat verborgen toestanden $h^{(l)}$ op specifieke tokenposities bewerkt met een low-rank interventiefunctie $\Phi(h^{(l)}; \phi) = h^{(l)} + R^\top(W h^{(l)} + b - R h^{(l)})$.

Het raamwerk werkt in drie geünificeerde fasen die worden aangedreven door één enkel Kullback–Leibler (KL)-divergentiesignaal:

A. Interventiearchitectuur

CRAFT splitst interventies over twee promptstromen binnen de residustroom:

1. f-stream: Toegepast op de eerste $t_{pos}$ tokens (prefix), die instructies coderen.
2. l-stream: Toegepast op de laatste $t_{pos}$ tokens (suffix), waar de output wordt vastgelegd.
   Taken binnen een vergelijkbare-taakgroep $S_k$ delen een gemeenschappelijke interventiestatus $\phi_{S_k}$, terwijl taken in verschillende groepen geïsoleerd blijven.

B. Deterministische Routering (Geen Geleerde Gate)

In plaats van een trainbare router, gebruikt CRAFT divergentie van de outputverdeling om taken toe te wijzen:

1. Warm-up: Een nieuwe taak $\tau_t$ ondergaat een korte warm-up ($S_{wu}$ stappen) vanuit een gedeelde willekeurige seed om een voorlopige interventie $\tilde{\phi}^{(t)}$ te produceren.
2. Afstandsberekening: De outputverdeling $\pi_{\tilde{\phi}^{(t)}}$ wordt vergeleken met de opgeslagen verdelingen van bestaande groepen $S_k$ met behulp van een genormaliseerde symmetrische KL-afstand:
   $$d(t, k) = \frac{D_{KG_k}}{\max(\min(D_K, D_{G_k}), \epsilon)}$$
   waarbij $D_K$ de afstand van de nieuwe taak tot de baseline is, $D_{G_k}$ de afstand van de groep tot de baseline, en $D_{KG_k}$ de afstand tussen de taak en de groep.
3. Toewijzing: Als $d(t, k) \le \delta$, voegt de taak zich bij groep $S_k$. Anders wordt een nieuwe groep geseed. Dit vereist geen trainbare routeringsparameters of taakidentificatoren.

C. KL-Reguliere Adaptatie en Samenvoeging

Zodra toegewezen aan een groep $S_k$:

1. Ankeren: De huidige status van de groep $\phi_{S_k}$ wordt bevroren als een anker $\phi_{anchor}$.
2. Training: De interventie van de taak $\phi^{(t)}$ wordt getraind op de nieuwe taak met een verliesfunctie:
   $$L_{total} = L_{\tau}(\phi^{(t)}) + \beta \cdot KL(\pi_{\phi_{anchor}} \parallel \pi_{\phi^{(t)}})$$
   De KL-term fungeert als een unificerend signaal dat:
   • Training regulariseert om afwijking van de eerdere kennis van de groep te voorkomen.
   • Vergeten voorspelt: Op basis van empirische wetten (Shenfeld et al., 2025) correleert hoge KL-divergentie met vergeten. Als het gemiddelde KL van het eerste epoch een drempel $\eta$ overschrijdt, wordt de taak uit de groep verwijderd naar een nieuwe groep.
3. Samenvoeging: Bij convergentie overschrijft de getrainde $\phi^{(t)}$ de gedeelde status $\phi_{S_k}$.

3. Belangrijkste Bijdragen

1. Interventie-niveau Continue Leermethoden: CRAFT is het eerste raamwerk dat routering, adaptatie en samenvoeging gezamenlijk volledig in de representatieruimte uitvoert zonder modelweights te wijzigen.
2. Deterministische Routering zonder Geleerde Gates: Het elimineert de behoefte aan trainbare routeringsparameters door een korte warm-up en KL-afstand van outputverdelingen te gebruiken om taken toe te wijzen, waardoor de router robuust is tegen vergeten.
3. Unificerend Vergetenbeheer: Het introduceert één enkel KL-gebaseerd signaal dat tegelijkertijd trainingsafwijking reguleert, vergeten voorspelt en de integratie van nieuwe kennis regelt, waardoor losse heuristieken worden vervangen.
4. Empirische Validatie: De aanpak is gevalideerd over drie verschillende LLM's (Llama-3.2-1B, Gemma-2B, Llama-2-7B) en diverse benchmarks (TRACE, Math-LLM, O-LoRA-sequenties).

4. Experimentele Resultaten

CRAFT werd geëvalueerd tegen sterke baselines, waaronder SeqLoRA, GEM, EWC, L2P, DualPrompt, HiDeLoRA, O-LoRA, TreeLoRA en recente methoden zoals SAPT en TASL.

• Prestatiewinst: CRAFT verbetert de Algemene Prestatie (OP) met maximaal 8,03% (op Llama-3.2-1B) in vergelijking met de beste state-of-the-art methoden.
• Vermindering van Vergeten: Het verlaagt het Backward Transfer (BWT) vergetenpercentage met maximaal 6,49%. Op de 15-takenstroom met Llama-3.2-1B behaalde CRAFT een BWT van 2,60% vergeleken met 6,41% voor TreeLoRA en 10,99% voor O-LoRA.
• Parameter-efficiëntie: CRAFT gebruikt 3,75 keer minder trainbare interventieparameters dan sterke op LoRA gebaseerde baselines. Bijvoorbeeld, op Llama-3.2-1B met 15 taken vereiste CRAFT slechts 4,20M parameters versus 15,73M voor standaard LoRA.
• Robuustheid: De methode blijft robuust over verschillende taakordeningen en is ongevoelig voor variaties in de routeringsdrempel $\delta$ en warm-uplengte $S_{wu}$ binnen een breed plateau.
• Cross-groep Invariantie: Theoretische en empirische analyse bevestigt dat het trainen van een taak in één cluster geen invloed heeft op de inferentie-output van taken in andere clusters, aangezien de optimalisatorscope alleen de interventie van de specifieke groep raakt.

5. Betekenis en Beweringen

Het artikel beweert dat het controleren van adaptatie in de representatieruimte, geleid door divergentie in de outputruimte, een schaalbare en principiële aanpak biedt voor continue leermethoden.

• Herformulering van de Afweging: Door weight-updates te verwijderen, verschuift CRAFT de stabiliteit-plasticiteit-afweging van een parameter-ruimte trek-krachtspel naar een probleem van het organiseren van representatiebewerkingen.
• Principieel Vergetenbeheer: Het gebruik van KL-divergentie als een unificerend signaal stelt het systeem in staat vergeten direct te meten en te controleren in plaats van te vertrouwen op proxies.
• Schaalbaarheid: Het raamwerk schaalt met het aantal ontdekte taakgroepen ($K$) in plaats van het totale aantal taken ($T$), wat een efficiëntere oplossing biedt voor lange taakstromen.
• Beperkingen: De auteurs erkennen dat het routeringsmechanisme moeite kan hebben met taken die dicht bij het plafond liggen of stromen waarin taken bijna-kopieën zijn maar sequentieel worden gepresenteerd (bijv. twee helften van dezelfde dataset), aangezien de symmetrische KL-afstand kan verzadigen. Zij suggereren dat toekomstig werk warm-ups vanuit bestaande clusters zou kunnen seeden om dergelijke gevallen te hanteren.

Kortom, CRAFT demonstreert dat catastrofaal vergeten effectief kan worden gecontroleerd op het niveau van modeloutputen door gestructureerde representatiebewerkingen, zonder de onderliggende basisweights te hoeven beperken of te wijzigen.