Technische Samenvatting: Attributie-gestuurde doorlopende leer voor Groot Taalmodellen

Probleemstelling

Groot Taalmodellen (LLMs) die zijn getraind op statische, breed-domein data, lijden vaak aan catastrofaal vergeten wanneer ze via doorlopende leer worden aangepast aan nieuwe taken. Hoewel bestaande mitigatiestrategieën—zoals data-replay, parameterregulering en het bevriezen van specifieke lagen—enig succes hebben getoond, ontbreekt het hen aan een mechanistisch inzicht in hoe kennis en taakspecifieke gedragingen zijn verdeeld over de interne parameters van LLMs. Bijgevolg kunnen deze methoden niet effectief onderscheid maken tussen welke parameters moeten worden behouden om eerdere kennis te behouden en welke plastisch moeten blijven om nieuwe taken op te vangen. Deze beperking leidt vaak tot interferentie, waarbij updates voor een nieuwe taken onbedoeld parameters wijzigen die cruciaal zijn voor eerdere taken.

Methodologie

De auteurs stellen een attributie-gestuurd doorlopend fijnafstemkader voor dat gebruikmaakt van schatting van parameterbelang om gradiëntupdates te moduleren. De kernmethodologie bestaat uit twee hoofdfasen:

1. Elementsgewijze Schatting van Parameterbelang

Het kader past Layer-wise Relevance Propagation (LRP) aan om de voorspelde logit van de volgende token toe te schrijven aan individuele modelparameters binnen elke Transformer-laag.

• Aanpassing aan Transformers: Standaard LRP schrijft relevantie toe aan invoerfeatures. De auteurs breiden dit uit om de bijdrage van modelparameters (gewichten en bias) in Feed-Forward Networks (FFN) en Multi-Head Attention (MHA)-modules te kwantificeren.
• Bilineaire Attributie: Om de matrixvermenigvuldigingen inherent aan Transformers (zoals $QK^T$ en $WV$) te hanteren, maakt de methode gebruik van een bilineair attributieprincipe (geïnspireerd door AttnLRP). Dit behandelt matrixvermenigvuldiging als een bilineaire operatie, waarbij relevantiescores worden verdeeld tussen de invoeractivaties en de gewichtsmatrices, terwijl een behoudseigenschap wordt gerespecteerd.
• Afleiding:
  • FFN: Relevantie wordt voortgeplant door de twee lineaire lagen en de activatiefunctie, waarbij scores worden afgeleid voor gewichten $W_1, W_2$ en bias $b_1, b_2$.
  • MHA: Relevantie wordt voortgeplant door het attentiemechanisme, waarbij scores worden afgeleid voor query-, key-, value- en output-projectiegewichten ($W_Q, W_K, W_V, W_O$).
  • LoRA-ondersteuning: De methode is ook geformuleerd voor met LoRA aangepaste modellen, waarbij relevantie wordt berekend voor zowel het bevroren backbone als de trainbare LoRA-matrices ($A, B$).

2. Attributie-gestuurde Fijnafstemming

De geschatte belangscores worden gebruikt om een taakspecifieke prior te construeren die het optimalisatieproces voor nieuwe taken leidt.

• Prior-constructie: Voor een nieuwe taak $T_t$ schat de methode eerst een taakspecifieke belangkaart $R(W^{(l,t)})$ door genormaliseerde relevantiescores van correct gegenereerde samples te aggregeren.
• Historische Aggregatie: Tijdens het leren van taak $T_t$ aggregeert het kader belang van alle eerdere taken ($T_1, \dots, T_{t-1}$) door het elementsgewijze maximum van hun belangscores te nemen:
  $$\bar{R}(W^{(l,t)}) = \left[ \max_{\tau < t} R(W^{(l,\tau)}) \right]_+$$
• Gradiëntmodulatie: De geaggregeerde belangkaart fungeert als een gradiëntpoort. De standaardgradiënt $\nabla W$ wordt als volgt gemoduleerd:
  $$\tilde{\nabla} W^{(l,t)} = \left( 1 - \bar{R}(W^{(l,t)}) \right) \odot \nabla W^{(l,t)}$$
  • Parameters met hoog historisch belang (belangrijk voor eerdere taken) ontvangen een poortwaarde dicht bij 0, wat resulteert in kleinere updates.
  • Parameters met laag historisch belang ontvangen een poortwaarde dicht bij 1, waardoor ze vrij kunnen worden bijgewerkt om de nieuwe taak te leren.

Belangrijkste Bijdragen

1. Mechanistisch Inzicht: Het artikel biedt een mechanistische analyse die aantoont dat bij sequentiële doorlopende leer de sets parameters die voor verschillende taken als "belangrijk" worden beschouwd, in het uiteindelijke model sterk overlappen, in tegenstelling tot onafhankelijke single-task fijnafstemming waar ze distinct blijven. Deze overlapping verklaart de interferentie die catastrofaal vergeten veroorzaakt.
2. Attributiekader: Het introduceert een nieuwe toepassing van LRP om relevantie direct toe te schrijven aan LLM-parameters in plaats van alleen aan inputs, waarbij specifieke propagatieregels worden afgeleid voor Transformer-componenten (FFN en MHA).
3. Gradiëntmodulatiestrategie: De voorgestelde methode biedt een dynamische, elementsgewijze aanpak voor doorlopende leer die selectief updates beperkt op basis van geleerd parameterbelang, zonder dat data-replay of rigide parameterbevriezing nodig is.

Experimentele Resultaten

Het kader werd geëvalueerd op benchmarks voor doorlopende leer met Groot Taalmodellen (specifiek Llama-3.2-Instruct-3B) onder zowel volledige supervised fijnafstemming als LoRA-gebaseerde aanpassing.

• Prestaties: De methode presteerde consequent beter dan bestaande doorlopende leer-baselines (inclusief regulering, replay en bevriezingsmethoden).
• Behoud versus Plastisiteit: Het bereikte een superieur behoud van prestaties op eerder geleerde taken, terwijl het concurrerende prestaties op nieuwe taken behield.
• Observatie: De experimenten bevestigden dat de voorgestelde methode de interferentie tussen taken effectief reduceert door de specifieke parameter subsets die cruciaal zijn voor eerdere kennis te behouden.

Betekenis en Claims

Het artikel beweert dat door verder te gaan dan heuristische strategieën (zoals willekeurige replay of laagbevriezing) en in plaats daarvan attributie-gebaseerde belangschattting te gebruiken, doorlopende leer voor LLMs efficiënter en effectiever kan worden gemaakt. De betekenis ligt in:

• Semantisch Bewustzijn: De methode houdt expliciet rekening met de interne verdeling van kennis binnen het model, en maakt onderscheid tussen parameters die behouden moeten worden en die welke kunnen worden aangepast.
• Generaliseerbaarheid: Het kader is toepasbaar op zowel full-parameter fijnafstemming als parameter-efficiënte fijnafstemming (LoRA)-scenario's.
• Theoretische Grondslag: Het overbrugt de kloof tussen uitlegbaarheid (attributiemethoden) en optimalisatie (doorlopende leer), en biedt een principiële manier om catastrofaal vergeten te mitigeren op basis van de eigen geleerde representaties van het model.