Technische Samenvatting: MIITA

Probleemstelling

Continual learning (CL) voor Small Language Models (SLMs) staat voor een kritieke flessenhals in omgevingen met beperkte middelen. Hoewel SLMs essentieel zijn voor lokale, lage-latentie en privacygevoelige toepassingen, maakt hun beperkte parametercapaciteit hen zeer vatbaar voor catastrofaal vergeten wanneer nieuwe gesuperviseerde ervaringen direct in de backbone worden geschreven. Bestaande geheugengebaseerde CL-benaderingen, die primair zijn ontworpen voor Large Language Models (LLMs), vertrouwen op het opslaan van tekstuele voorbeelden, samenvattingen of demonstraties. Deze methoden schieten tekort in de context van SLMs om twee redenen:

1. Opslagefficiëntie: Tekstuele geheugens bewaren oppervlakkige inhoud naast herbruikbare signalen, wat excessieve opslag vereist onder een vast budget.
2. Redeneringsbeperkingen: SLMs missen de sterke in-context redeneercapaciteiten die nodig zijn om effectief af te leiden hoe opgehaalde tekstuele geheugens de voorspellingen moeten beïnvloeden.

Consequentamente presteren huidige methoden ofwel significant slechter naarmate de modelgrootte afneemt, of falen in het mitigeren van vergeten onder strikte opslagbeperkingen.

Methodologie: MIITA

De auteurs stellen MIITA voor (Memory-Induced Inference-Time Adaptation), een framework ontworpen voor gesuperviseerde CL in SLMs onder beperkte persistente opslag. MIITA ontkoppelt kennisretentie van de parameterruimte van het model door ervaringen niet als ruwe tekst op te slaan, maar als compacte functionele correctierichtingen.

Kerncomponenten

1. Richting-georiënteerde Geheugenrepresentatie:

   • In plaats van ruwe voorbeelden $(x, y)$ op te slaan, zet MIITA elke gesuperviseerde ervaring om in een correctierichting $d$ in de pre-LM-head verborgen ruimte. Deze richting vertegenwoordigt de gradiëntupdate die vereist is om de waarschijnlijkheid van de doeloutput te vergroten.
   • Geheugens worden georganiseerd als prototypes $u_j = (d_j, A_j, n_j)$, waarbij $d_j$ de genormaliseerde correctierichting is, $A_j$ een set lichtgewicht semantische ankers (keys) is die uitsluitend voor retrieval wordt gebruikt, en $n_j$ het aantal samengevoegde ervaringen bijhoudt.
   • Dit ontwerp scheidt functionele retentie (de richting) van semantische toegang (het anker), waardoor semantisch uiteenlopende voorbeelden die identieke correcties induceren, kunnen worden samengevoegd.

2. Budgetbewust Geheugenbeheer:

   • Prototype Toewijzing: Nieuwe ervaringen worden samengevoegd met bestaande prototypes als hun correctierichtingen voldoende uitgelijnd zijn (cosine similarity > drempelwaarde $\tau_d$). Zo niet, dan wordt een nieuw prototype aangemaakt.
   • Geheugenherstel: Wanneer het opslagbudget $C_{mem}$ wordt overschreden, snoeit het systeem redundante semantische ankers, voegt het vergelijkbare prototypes samen en verwijdert het minst waardevolle prototype op basis van een waardefunctie die prioriteit geeft aan directionele onderscheidendheid en opslagefficiëntie.

3. Inference-Time Retrieval en Adaptatie:

   • Retrieval: Tijdens inference haalt MIITA relevante prototypes op met behulp van twee cues:
     • Semantische Relevantie: Het matchen van de semantische sleutel van de query tegen opgeslagen ankers.
     • Onzekerheid-gestuurde Directionale Proxy: Omdat de grondwaarheid (ground truth) niet beschikbaar is tijdens inference, berekent MIITA een gradiënt van de beperkte predictieve entropie om een "directionale proxy" te genereren die de steilste daling aangeeft voor het verminderen van onzekerheid.
   • Adaptatie: Gehaalde richtingen worden geaggregeerd tot een query-specifieke correctievector $\bar{d}_q$. Deze vector wordt toegepast via een gegateerde tijdelijke hidden-state update:
     $$p'_t = \text{softmax}(W_{LM}(h^{out}_t + \eta \alpha_t \bar{d}_q))$$
     waarbij $\alpha_t$ een activatie-gate is gebaseerd op de gelijkenis tussen de huidige generatietoestand en de query-toestand. Deze adaptatie is vergankelijk; het vereist geen backpropagation, parameterupdates of prompt-extensies.

Theoretische Inzichten

Het artikel biedt een lokale theoretische analyse die vaststelt dat:

• Correctierichtingen eerste-orde optimaal zijn voor het verlagen van de gesuperviseerde loss.
• Onzekerheid-gestuurde richtingen het steilste pad identificeren voor het reduceren van de lokale predictieve entropie, wat dient als een effectieve label-vrije retrieval-cue.
• Retentie van kennis uit eerdere fasen wordt gecontroleerd door de directionele dekking van het opgeslagen geheugen, in plaats van de dekking van ruwe voorbeelden.

Belangrijkste Bijdragen

1. Richting-georiënteerd Geheugen: Een nieuwe representatie die gesuperviseerde ervaringen opslaat als correctierichting-prototypes met lichtgewicht semantische ankers, wat de opslag- en redeneerkosten van tekstueel geheugen in SLMs overwint.
2. Inference-Time Adaptatiemechanisme: Een methode om opgehaalde historische richtingen toe te passen via gegateerde tijdelijke hidden-state updates, wat het niet-destructieve hergebruik van eerdere supervisie mogelijk maakt zonder test-time backpropagation.
3. Theoretische Analyse: Een lokaal theoretisch framework dat het ontwerp koppelt aan eerste-orde loss-reductie, onzekerheid-gestuurde retrieval en de rol van directionele dekking bij het behouden van kennis.
4. Empirische Validatie: Uitgebreide evaluatie die consistente verbeteringen in de uiteindelijke prestaties en verminderd vergeten aantoont over diverse gesuperviseerde CL-instellingen en model-schalen.

Experimentele Resultaten

Experimenten werden uitgevoerd op vier benchmarks (Banking77, DSC, PAXQA, SuperNI) met behulp van SLMs (Qwen3-0.6B tot 4B, LLaMA-3.2-3B tot 8B) onder een vast geheugenbudget van 1%.

• Prestaties: MIITA behaalde consistent de beste Overall Performance (OP) en Backward Transfer (BWT) over alle benchmarks en modelgroottes, waarbij het zowel parameter-update baselines (bijv. LoRA) als geheugen-gebaseerde LLM baselines (bijv. CIS, FOREVER) overtrof.
• Model Scaling: In tegen tegenstelling tot LLM-centrische geheugenmethoden die significant degraderen naarmate de modelgrootte afneemt, behield MIITA een robuuste prestatie zelfs op de kleinste 0.6B modellen.
• Budgetgevoeligheid: MIITA demonstreerde superieure prestaties in lage-budget regimes (0.1%–2%), terwijl replay-gebaseerde methoden aanzienlijk grotere budgetten nodig hadden om competitief te zijn.
• Ablatie-studies:
  • Functioneel vs. Semantisch: Het opslaan van functionele correctierichtingen (DirectionMem) presteerde significant beter dan het opslaan van ruwe voorbeelden, samenvattingen of semantische embeddings, wat bevestigt dat functionele redundantie verschillend is van semantische redundantie.
  • Retrieval: Het combineren van semantische en onzekerheid-gestuurde retrieval leverde de beste resultaten op, wat het nut van de label-vrije directionale proxy valideert.

Betekenis

Het artikel betoogt dat voor SLMs de sleutel tot continual learning niet louter het gebruik van geheugen is, maar de efficiëntie en functionaliteit van de opgeslagen representatie. Door de focus te verschuiven van het bewaren van ruwe tekst naar het bewaren van compacte functionele correctiesignalen, adresseert MIITA de dubbele bottleneck van beperkte opslag en zwakke in-context redenering. Deze aanpak stelt SLMs in staat om continu aan te passen aan evoluerende behoeften zonder de schaarse parameterruimte te overschrijven of te vertrouwen op destructieve fine-tuning, wat een levensvatbaar pad biedt voor de inzet van aanpasbare AI in omgevingen met beperkte middelen.