Technische Samenvatting: Attention Retention voor Continual Learning met Vision Transformers

Probleemstelling

Continual Learning (CL) heeft als doel AI-systemen in staat te stellen stapsgewijs kennis te verwerven uit niet-stationaire datastromen. Echter, catastrofale vergetelheid (catastrophic forgetting) blijft een kritieke barrière, waarbij het leren van nieuwe taken de prestaties op eerder geleerde taken verslechtert. Hoewel er verschillende strategieën bestaan (replay, expansie, regularisatie), identificeert dit artikel een specifiek mechanisme van vergetelheid in Vision Transformers (ViTs): attention drift.

De auteurs observeren dat naarmate ViTs nieuwe taken leren, hun aandachtmechanismen (attention mechanisms) significant afwijken van de discriminerende kenmerken van eerder geleerde visuele concepten. In tegenstelling tot menselijke visuele systemen, die een selectieve aandacht op kernkenmerken behouden zelfs wanneer nieuwe concepten worden verworven, verliezen ViTs deze stabiliteit, wat leidt tot de erosie van geleerde kennis. Bestaande methoden falen vaak in het aanpakken van deze specifieke drift in het aandachtmechanisme van ViTs, met name in replay-vrije settings waar het opslaan van gegevens van vorige taken verboden is.

Methodologie: ARCL-ViT

Het voorgestelde framework, ARCL-ViT (Attention-Retaining Continual Learning with Vision Transformers), pakt attention drift aan door de gradiëntupdates tijdens het leren van nieuwe taken expliciet te beperken. De methode werkt zonder gegevens van vorige taken op te slaan en bestaat uit twee primaire stadia:

1. Adaptieve Maskergeneratie

Na het voltooien van een taak $T_{t-1}$ genereert het model een binair masker om kritieke aandachtregio's te identificeren.

• Layer-wise Rollout: In plaats van ruwe aandachtskaarten van een enkele laag te gebruiken, maakt de methode gebruik van een layer-wise rollout mechanisme. Het aggregeert geactiveerde aandachtmatrices over alle lagen ($L$) om een uitgebreide aandachtskaart $\hat{S}^l_{t-1}$ te berekenen. Dit omvat het vermenigvuldigen van getransformeerde aandachtmatrices ($\tilde{S} = I + S$) om de informatiestroom van de input naar de class token te vangen.
• Instance-Adaptive Thresholding: Om variërende groottes van discriminerende regio's over afbeeldingen heen te verwerken, wordt een vaste drempelwaarde vermeden. De methode sorteert de aandachtswaarden en identificeert een afbuigingspunt (via de tweede-orde afgeleide) waar waarden overgaan van achtergrond naar saillante regio's. Dit bepaalt een adaptieve drempelwaarde $\tau$, wat een binair masker $M$ genereert waarbij regio's met hoge aandacht als 0 worden gemarkeerd (te bewaren) en regio's met lage aandacht als 1.

2. Gradiënt Masking en Optimizer Adaptatie

Tijdens het trainen van de huidige taak $T_t$ wordt het gegenereerde masker gebruikt om updates te onderdrukken die de aandachtspatronen van vorige taken zouden veranderen.

• Gradiënt Nulstellen: Het masker wordt elementgewijs toegepast op de gradiënten van de Query ($Q$), Key ($K$) en Value ($V$) projectiegewichten ($W_q, W_k, W_v$). Specifiek worden gradiënten die overeenkomen met de hoog-aandachtregio's van de vorige taak op nul gezet. Dit voorkomt dat het optimalisatieproces de focus van het model wegstuurt van eerder geleerde concepten.
• Optimizer Compatibiliteit: Het simpelweg op nul zetten van gradiënten kan moderne optimizers (bijv. Adam) verstoren die vertrouwen op momentum en variantiestatistieken, wat potentieel instabiele updates kan veroorzaken. Om dit te mitigeren, stellen de auteurs een schalingsmechanisme voor. De parameterupdate $\Delta W'$ wordt proportioneel geschaald aan de ratio van de gemaskeerde gradiënt tot de originele gradiënt. Dit zorgt ervoor dat de relatieve grootte van de updates behouden blijft, waardoor de optimizer correct kan functioneren terwijl de aandachtbeperkingen toch worden gerespecteerd.

Belangrijkste Bijdragen

1. Identificatie van Attention Drift: Het artikel stelt vast dat attention drift in ViTs een primaire bron is van catastrofale vergetelheid in continual learning, en benadrukt de noodzaak om selectieve aandacht op eerdere visuele concepten te behouden.
2. Nieuw Framework (ARCL-ViT): Er wordt een gradiëntgebaseerd framework geïntroduceerd dat attention drift beperkt zonder de noodzaak van data replay. Het maakt gebruik van een layer-wise rollout voor robuuste extractie van aandachtskaarten en een adaptieve drempelwaarde strategie voor precieze maskergeneratie.
3. Optimizer-Aware Gradiënt Masking: De methode introduceert een schalingstechniek om ervoor te zorgen dat gradiëntmasking compatibel is met adaptieve optimizers, wat optimalisatie-instabiliteit voorkomt terwijl geleerde aandachtspatronen effectief worden behouden.
4. State-of-the-Art Prestaties: De aanpak behaalt superieure resultaten over diverse benchmarks en pre-training schema's, wat een robuuste generaliseerbaarheid aantoont.

Experimentele Resultaten

De methode werd geëvalueerd op vier class-incremental learning benchmarks: 10-split en 20-split ImageNet-R, 10-split CIFAR-100, en 10-split DomainNet.

• Prestaties: ARCL-ViT behaalde state-of-the-art (SOTA) prestaties en presteerde gemiddeld 1,8% tot 3,7% beter in nauwkeurigheid over de benchmarks dan recente methoden (bijv. VPT-CPG, SD-LoRA, BiLoRA).
• Reductie van Vergetelheid: De methode verminderde catastrofale vergetelheid aanzienlijk. Zo behaalde het op 10-split ImageNet-R een nauwkeurigheid van 81,17% met 4,84% vergetelheid, vergeleken met de sequential fine-tuning (Seq-FT) baseline die leed aan 44,31% vergetelheid en slechts 49,43% nauwkeurigheid.
• Ablatiestudies:
  • Mask Constructie: De combinatie van layer-wise rollout en adaptieve drempelwaarde leverde de beste resultaten op, wat beter presteerde dan ruwe aandacht of vaste drempelwaarden.
  • Gemaskeerde Regio's: Het maskeren van de specifieke aandachtregio's van vorige taken bleek essentieel; het maskeren van willekeurige regio's of niet-aandachtregio's resulteerde in aanzienlijk hogere vergetelheid.
• Generalisatie:
  • Pre-training Gewichten: De methode generaliseerde goed over verschillende pre-trained gewichten (DINO-1k en iBOT-1k), en presteerde consistent beter dan baselines met een winst in nauwkeurigheid van ~37% ten opzichte van Seq-FT.
  • Long-Sequence CL: In uitdagende long-sequence settings (50 en 100 splits), behield ARCL-ViT een superieure nauwkeurigheid en bereikte het een betere balans tussen plasticiteit en stabiliteit vergeleken met bestaande SOTA-methoden.
• Visualisatie: Kwantitatieve analyse van attention drift toonde aan dat ARCL-ViT de laagste drift behield (6,0%) vergeleken met Seq-FT (25,9%), wat visueel bevestigt dat de aandacht op belangrijke visuele concepten behouden blijft.

Betekenis en Claims

Het artikel claimt dat door het ViT-aandachtmechanisme af te stemmen op biologische principes van selectieve aandacht, het mogelijk is om catastrofale vergetelheid effectief te beperken zonder de opslagoverhead van replay-gebaseerde methoden. De auteurs positioneren hun werk als een belangrijke stap naar het bouwen van continual learning-systemen die biologische intelligentie nabootsen, specifiek door de "neurale middelen" (aandacht) die aan eerder geleerde concepten zijn toegewezen te stabiliseren. De methode wordt gepresenteerd als een robuuste, data-vrije oplossing die compatibel is met moderne optimalisatietechnieken en generaliseert over diverse pre-training strategieën en langetermijn leerscenario's.