Soft-TransFormers for Continual Learning

1. Probleemstelling

Continual Learning (CL) heeft tot doel modellen te trainen op een reeks taken in de loop van de tijd zonder eerder geleerde kennis te vergeten. Een grote uitdaging in CL is Catastrophic Forgetting (CF), waarbij updates voor nieuwe taken parameters overschrijven die essentieel zijn voor oude taken.

Hoewel Prompt-based Continual Learning (bijv. L2P, DualPrompt) is opgekomen als een parameter-efficiënt oplossing door de backbone te bevriezen en lichtgewicht prompts te leren, staat het voor aanzienlijke beperkingen:

• Beperkte Expressiviteit: Prompts modificeren representaties alleen impliciet via input-conditioning, zonder de fijnmazige controle van volledige fine-tuning.
• Schalingsproblemen: Het beheren van grote prompt-pools wordt lastig naarmate het aantal taken groeit.
• Taakinterferentie: Prompts worstelen met het vastleggen van variaties in sterk heterogene of ongecorreleerde taakreeksen.

Bestaande Parameter-Efficient Fine-Tuning (PEFT) methoden zoals Adapters en LoRA bieden betere aanpassing, maar accumuleren vaak taakspecifieke modules of lijden aan interferentie wanneer de taakgelijkenis laag is.

2. Methodologie: Soft-TransFormer (Soft-TF)

De auteurs stellen Soft-TransFormer (Soft-TF) voor, een raamwerk dat de stabiliteit van bevroren backbones combineert met de flexibiliteit van volledige parameteraanpassing, gebaseerd op de Well-initialized Lottery Ticket Hypothesis (WLTH).

Kernhypothese: Well-initialized Lottery Ticket Hypothesis (WLTH)

De hypothese stelt dat een goed geïnitieerd dicht neurale netwerk bevat:

1. Globaal stabiele oplossingen die kennis van eerdere taken behouden.
2. Lokale subruimten (zachte, reëelwaardige subnetwerken) die selectief kunnen worden aangepast voor nieuwe taken zonder de informatie van de bevroren backbone te overschrijven.

Architectuur & Mechanisme

Soft-TF werkt op een bevroren voorgeïnstalleerde Transformer (bijv. ViT) en introduceert twee hoofdcomponenten:

1. Soft Multiplicative Masks (Soft-Subnetworks):

   • In plaats van nieuwe lagen toe te voegen (zoals Adapters) of laag-rang matrices (zoals LoRA), leert Soft-TF reëelwaardige multiplicatieve masks ($m_t$) die direct worden toegepast op de Key ($K$), Query ($Q$), Value ($V$) en Output ($O$) projecties binnen de self-attention lagen.
   • Initialisatie: Masks worden geïnitieerd op 1.0. Dit zorgt ervoor dat aan het begin van het training de berekening identiek is aan het voorgeïnstalleerde model, waardoor de globale structuur behouden blijft.
   • Operatie: Voor een taak $t$ wordt de effectieve gewicht $\theta \odot m_t$. Dit stelt het model in staat om op een "zachte" manier specifieke paden binnen de bevroren gewichten te gaten of te moduleren, waardoor taakspecifieke aanpassing mogelijk is terwijl de backbone vast blijft staan.

2. Dual-Prompt Mechanisme:

   • Soft-TF integreert een lichtgewicht Dual-Prompt systeem bestaande uit:
     • General Prompts (G-Prompts): Gedeeld over alle taken om globale context te behouden.
     • Expert Prompts (E-Prompts): Taakspecifieke prompts ingevoegd op specifieke lagen.
   • Deze combinatie zorgt voor sterke taakscheiding en stabiliteit zonder expliciete taak-ID's tijdens inferentie te vereisen (via taak-inferentiemechanismen).

Optimalisatie & Inferentie

• Training: Alleen de prompts, soft-masks, taakkeys en een lichtgewicht classifier worden bijgewerkt. De backbone blijft bevroren.
• Taak Inferentie: Tijdens het testen infereert het model de taakidentiteit met behulp van:
  • Prompt ID: Het afstemmen van de input query op geleerde taakkeys via cosinus-ähnelijkheid.
  • Gradient ID: Een one-shot inferentiemethode die gewichten toewijst aan subnetwerken en de taak selecteert die de entropie minimaliseert.

3. Belangrijkste Bijdragen

1. Nieuw Raamwerk: Introductie van Soft-TF, een parameter-efficiënt CL paradigma dat compacte, taakspecifieke zachte subnetwerken (masks) binnen bevroren Transformers leert, geïnspireerd door WLTH.
2. Theoretische Fundament: Biedt een theoretische analyse die aantoont dat het initialiseren van masks op 1.0 en het optimaliseren in een laag-dimensionale zachte-parameter ruimte de parameterdrift begrenst, wat convergentie en stabiliteit garandeert.
3. State-of-the-Art Prestaties: Demonstreert dat Soft-TF prompt-gebaseerde (L2P, DualPrompt, NoRGa), adapter-gebaseerde en LoRA-gebaseerde baselines overtreft op meerdere benchmarks.
4. Superioriteit ten opzichte van Gezamenlijke Training: Opmerkelijk bereikt Soft-TF prestaties die de "Joint Upper Bound" (het trainen van alle taken simultaan met een gedeelde oplossing) overtreffen, wat zijn vermogen bewijst om onderscheiden subruimten voor elke taak te isoleren en te optimaliseren.

4. Experimentele Resultaten

De methode werd geëvalueerd op Class-Incremental Learning (CIL) benchmarks met Vision Transformers (ViT).

• Datasets: 10/20-Split-CIFAR100, 10-Split-TinyImageNet, 10-Split-ImageNet-R, en 5-Split-CUB200.
• Prestatiemetingen:
  • Nauwkeurigheid: Soft-TF behaalde consistent de hoogste nauwkeurigheid. Bijvoorbeeld, op 10-Split-CIFAR100 behaalde Soft-TF 92.35% nauwkeurigheid (vs. 86.50% voor DualPrompt en 94.48% voor NoRGa, maar met aanzienlijk minder vergeten).
  • Vergeten: Het verminderde catastrofisch vergeten drastisch. Op 10-Split-CIFAR100 werd vergeten gereduceerd tot 2.98% (vergeleken met 5.77% voor DualPrompt en 1.44% voor NoRGa, maar met veel hogere absolute nauwkeurigheid).
  • Efficiëntie: Ondanks het gebruik van ~6.93M trainbare parameters (vergelijkbaar met LoRA/Adapter), behield het lage inferentielatentie.
• Ablatie Studies:
  • Initialisatie: Uniforme initialisatie (masks instellen op 1.0) leverde de beste resultaten op, wat WLTH valideert.
  • Backbones: Prestaties schaalden met modelgrootte (ViT-Ti tot ViT-L), waarbij ViT-L/16 78.86% nauwkeurigheid behaalde op ImageNet-R met minimaal vergeten.
  • Lagen Selectie: Het toepassen van Soft-TF op hogere lagen (bijv. 10-12) in DualPrompt instellingen leverde optimale resultaten op.

5. Betekenis

Dit artikel adresseert een kritieke kloof in Continual Learning door verder te gaan dan de beperkingen van alleen prompt-conditioning.

• De Kloof Dichten: Het sluit succesvol de kloof tussen de stabiliteit van bevroren backbones en de expressiviteit van volledige fine-tuning.
• Mechanisme Verschuiving: Door te verschuiven van het "toevoegen" van parameters (Adapters/LoRA) of het "conditioneren" van inputs (Prompts) naar het moduleren van bestaande gewichten via zachte masks, biedt het een meer directe en efficiënte manier om voorgeïnstalleerde modellen aan te passen.
• Praktische Impact: Soft-TF biedt een robuuste oplossing voor real-world scenario's waar modellen continu moeten leren van diverse datastromen zonder te vergeten, waarbij bijna-optimale specialisatie voor elke taak wordt bereikt terwijl een enkele, compacte modelstructuur wordt behouden.

Kortom, Soft-TransFormer vertegenwoordigt een significante vooruitgang in PEFT voor Continual Learning, en demonstreert dat goed geïnitieerde, zachte subnetwerken het volledige potentieel van bevroren Transformers voor levenslang leren kunnen ontsluiten.