Technische Samenvatting: TRACER – Persistente Regularisatie voor Robuuste Multimodale Finetuning

1. Probleemstelling

Vooraf getrainde multimodale modellen, zoals CLIP, bezitten opmerkelijke zero-shot overdrachtscapaciteiten die voortvloeien uit schaalpretraining. Het aanpassen van deze modellen aan downstream-taken via standaard finetuning leidt echter vaak tot catastrophical forgetting, waarbij het model zijn algemene, out-of-distribution (OOD) robuustheid opoffert om te optimaliseren voor taakspecifieke patronen. Hoewel er diverse strategieën bestaan om deze afweging te mitigeren (bijvoorbeeld gewichtsaveraging, L2-regularisatie, zelfdistillatie), lijden deze vaak onder fundamentele beperkingen.

Een kritieke, grotendeels over het hoofd geziene beperking die in dit werk wordt geïdentificeerd, is het gedrag van standaard Exponential Moving Average (EMA)-docenten die worden gebruikt bij robuuste finetuning. Naarmate het trainingproces convergeert en het studentenmodel de docent nadert, stort de EMA-docent in op het studentenmodel, waardoor het regularisatiesignaal verdwijnt op het moment dat OOD-robustheid het meest kwetsbaar is. Bovendien introduceren statische zelfdistillatiemethoden een "ankerbias" door de docent vast te zetten op de initiële vooraf getrainde gewichten, waardoor het model niet volledig kan convergeren naar de optimale taakoplossing binnen de taaksubruimte.

2. Methodologie: TRACER

De auteurs stellen TRACER (Trajectory-Robust Anchoring for Contrastive Encoder Regularization) voor, een finetuningkader dat is gebaseerd op een nieuwe theoretische analyse van contrastief leren.

2.1 Theoretisch Kader

Het paper ontwikkelt een theoretisch kader voor multimodale contrastieve finetuning door de beeld- en tekstencoders te lineariseren. Belangrijke theoretische inzichten zijn:

• Hervorming van de Contrastieve Doelmatrix: Het gelineariseerde multimodale contrastieve leerdoel (MMCL) wordt hervormd als een matrix-kwadratische foutprobleem dat wordt gedreven door een "contrastieve doelmatrix" ($Y_{FT}$). Dit maakt gesloten-formule oplossingen mogelijk voor diverse finetuningstrategieën.
• Geometrische Decompositie: De analyse onthult dat finetuning twee verschillende geometrische gedragingen omvat:
  1. Orthogonale Behoud: Het behouden van vooraf getrainde kennis in richtingen die orthogonaal zijn aan de finetuningdata.
  2. Menging van Taaksubruimte: Het aanpassen of mengen van kennis binnen de subruimte die wordt opgespannen door de finetuningdata.
• Beperkingen van Bestaande Methoden:
  • Directe Finetuning verworpt vooraf getrainde kennis in de taaksubruimte.
  • L2-regularisatie creëert een complexe, niet-chirurgische mix van oude en nieuwe gewichten.
  • Statische Zelfdistillatie behoudt orthogonale kennis maar introduceert een bias in de taaksubruimte, waardoor convergentie naar de optimale taakoplossing wordt verhinderd.
  • EMA-docenten lijden onder signaalinstorting naarmate docent en student convergeren.

2.2 De WMA-docent

Om de instorting van EMA-docenten en de bias van statische docenten aan te pakken, introduceert TRACER een Weighted Moving Average (WMA)-docent.

• Mechanisme: In tegenstelling tot EMA, dat geschiedenis weegt op basis van recentheid, weegt de WMA-docent de volledige trajectorie van de student op basis van een genormaliseerde tijdskernel (bijvoorbeeld een Beta-verdeling).
• Persistente Regularisatie: Door een kernel te gebruiken die gewicht toekent aan zowel vroege (vooraf getrainde) als late (geconvergeerde) toestanden, handhaaft de WMA-docent een persistente regulariserende kracht over eindige trainingshorizons. Het voorkomt dat de docent-studentkloof te vroeg verdwijnt.
• Bias-vrije Convergentie: De auteurs bewijzen dat de WMA-docent de student in staat stelt te convergeren naar de minimum-norm taakoplossing binnen de taaksubruimte (het verwijderen van de statische ankerbias) terwijl kennis in de orthogonale subruimte strikt wordt behouden.

2.3 Trainingsdoel

TRACER combineert de standaard symmetrische InfoNCE-verliesfunctie met een dynamische zelfdistillatieverliesfunctie die wordt geleid door de WMA-docent:
$$L_{TRACER} = L_{MMCL} + \lambda_{SD} L_{SD-WMA}$$
Het distillatieverlies ($L_{SD-WMA}$) is een compositie van vier perspectieven om de geometrische principes te operationaliseren:

1. Feature Distillatie (FD): Zorgt voor uitlijning van studenten- en docentembeddings.
2. Contrastieve Relationele Distillatie (CRD): Matcht batchgewijze similariteitsverdelingen.
3. Interactief Contrastief Leren (ICL): Moedigt cross-modale uitlijning tussen student en docent aan.
4. Cross Knowledge Distillatie (Cross-KD): Zorgt voor uitlijning van cross-modale logits om relationele structuur over te dragen.

3. Belangrijkste Bijdragen

1. Theoretische Hervorming: Introductie van de "contrastieve doelmatrix" om het gelineariseerde contrastieve verlies te hervormen als een kwadratische foutprobleem, wat gesloten-formule oplossingen en een geometrische decompositie van finetuningstrategieën mogelijk maakt.
2. Identificatie van Docentinstorting: Bewezen dat standaard EMA-docenten lijden onder inherente instorting, waardoor regularisatie verzwakt op het moment dat OOD-robustheid het meest fragiel is.
3. WMA-docent & Bias-vrije Convergentie: Aangetoond dat een Weighted Moving Average-docent een persistent regularisatiesignaal handhaaft en bias-vrije convergentie bereikt in de taaksubruimte terwijl orthogonale kennis wordt behouden.
4. TRACER-implementatie: Deze principes geïnstancierd in een praktische methode die contrastief leren combineert met door WMA geleide multi-perspectief distillatie.

4. Experimentele Resultaten

De auteurs hebben TRACER geëvalueerd op CLIP-modellen (ViT-B/16, ViT-L/14, ResNet50) die zijn gefinetuned op ImageNet-1K en getest op vijf OOD-distributieverschuivingen (IN-V2, IN-R, IN-A, IN-S, ObjectNet).

• OOD-prestaties: TRACER presteerde consequent beter dan state-of-the-art baselines (waaronder LP-FT, FLYP, Lipsum-FT, CaRot en Model Stock) in gemiddelde OOD-nauwkeurigheid. Bijvoorbeeld, op ViT-B/16 behaalde TRACER 64,07% gemiddelde OOD-nauwkeurigheid, vergeleken met 62,54% voor CaRot en 59,91% voor LP-FT.
• Calibratie: TRACER behaalde de laagste Expected Calibration Error (ECE) over OOD-datasets, wat wijst op verbeterde probabilistische betrouwbaarheid onder distributieverschuivingen.
• Geometrisch Behoud: Layer-wise representational similarity analyse (CKA en SVCCA) toonde aan dat terwijl Directe Finetuning aanzienlijke drift veroorzaakte in diepere lagen (vergeten), TRACER een similariteit > 0,97 behield met het vooraf getrainde model over alle lagen heen.
• Ablatiestudies: Uitgebreide ablaties bevestigden dat:
  • De componenten voor multi-perspectief distillatie complementair zijn.
  • Matige distillatiesterkte ($\lambda_{SD} \approx 1,0-2,0$) de beste ID-OOD-afweging biedt.
  • De methode robuust is voor docent-updatefrequenties (in tegenstelling tot CaRot, dat een breekbaar schema vereist).
  • Arcsin-achtige weging (Beta(0,5, 0,5)) het meest effectief is voor de kernel.
• Efficiëntie: TRACER is computationeel efficiënter dan CaRot, door de $O(d^3)$ spectrale regularisatiekosten te vermijden, met een overhead van slechts $O(B^2)$ voor distillatie.

5. Betekenis en Claims

Het paper stelt dat TRACER de kloof overbrugt tussen de geometrie van finetuning en het praktische ontwerp van robuuste methoden. Door theoretisch aan te tonen dat trajectoriregularisatie met een WMA-docent de instorting van het regularisatiesignaal voorkomt, biedt de methode een principiële oplossing voor catastrophical forgetting in multimodale modellen.

De auteurs benadrukken dat hun werk puur defensief is, gericht op het verbeteren van de betrouwbaarheid van foundation-modellen in real-world toepassingen waar invoer kan afwijken van trainingsdata (bijvoorbeeld medische beeldvorming, autonome systemen). Zij stellen expliciet dat de methode geen schadelijke capaciteiten versnelt, maar juist overfitting mitigeert en generalisatie verbetert. De theoretische analyse is momenteel ontwikkeld in een gelineariseerd regime, met toekomstig werk voorgesteld voor uitbreidingen naar Neural Tangent Kernel (NTK) en random-feature settings voor grotere niet-lineaire modellen.