Sintesi Tecnica: TRACER – Regularizzazione Persistente per un Finetuning Robusto Multimodale

1. Enunciato del Problema

I modelli multimodali preaddestrati, come CLIP, possiedono notevoli capacità di trasferimento zero-shot derivate da un preaddestramento su larga scala. Tuttavia, l'adattamento di questi modelli a compiti downstream tramite finetuning standard porta spesso a una dimenticanza catastrofica, in cui il modello sacrifica la sua robustezza generale, fuori distribuzione (OOD), per ottimizzare pattern specifici del compito. Sebbene esistano varie strategie per mitigare questo compromesso (ad esempio, media dei pesi, regolarizzazione L2, autodistillazione), esse soffrono spesso di limitazioni fondamentali.

Una limitazione critica, in gran parte trascurata, identificata in questo lavoro è il comportamento dei docenti Media Mobile Esponenziale (EMA) standard utilizzati nel finetuning robusto. Man mano che l'addestramento converge e il modello studente si avvicina al docente, il docente EMA collassa sullo studente, facendo sì che il segnale di regolarizzazione svanisca proprio quando la robustezza OOD è più vulnerabile. Inoltre, i metodi di autodistillazione statica introducono un "bias di ancoraggio" fissando il docente ai pesi preaddestrati iniziali, impedendo al modello di convergere completamente alla soluzione ottimale del compito all'interno del sottospazio del compito.

2. Metodologia: TRACER

Gli autori propongono TRACER (Trajectory-Robust Anchoring for Contrastive Encoder Regularization), un framework di finetuning fondato su una nuova analisi teorica dell'apprendimento contrastivo.

2.1 Quadro Teorico

Il documento sviluppa un quadro teorico per il finetuning contrastivo multimodale linearizzando gli encoder di immagine e testo. Le principali intuizioni teoriche includono:

• Riformulazione della Matrice Target Contrastiva: L'obiettivo dell'apprendimento contrastivo multimodale linearizzato (MMCL) è riformulato come un problema di minimi quadrati guidato da una "matrice target contrastiva" ($Y_{FT}$). Ciò consente soluzioni in forma chiusa per varie strategie di finetuning.
• Decomposizione Geometrica: L'analisi rivela che il finetuning coinvolge due comportamenti geometrici distinti:
  1. Preservazione Ortogonale: Mantenere la conoscenza preaddestrata nelle direzioni ortogonali ai dati di finetuning.
  2. Miscelazione nel Sottospazio del Compito: Adattare o miscelare la conoscenza all'interno del sottospazio generato dai dati di finetuning.
• Limiti dei Metodi Esistenti:
  • Il Finetuning Diretto scarta la conoscenza preaddestrata nel sottospazio del compito.
  • La Regolarizzazione L2 crea una fusione complessa e non chirurgica di pesi vecchi e nuovi.
  • L'Autodistillazione Statica preserva la conoscenza ortogonale ma introduce un bias nel sottospazio del compito, impedendo la convergenza alla soluzione ottimale del compito.
  • I Docenti EMA soffrono di collasso del segnale man mano che docente e studente convergono.

2.2 Il Docente WMA

Per affrontare il collasso dei docenti EMA e il bias dei docenti statici, TRACER introduce un docente Media Mobile Ponderata (WMA).

• Meccanismo: A differenza dell'EMA, che pesa la storia in base alla recenza, il docente WMA pesa l'intera traiettoria dello studente basandosi su un kernel di tempo normalizzato (ad esempio, una distribuzione Beta).
• Regolarizzazione Persistente: Utilizzando un kernel che assegna peso sia agli stati iniziali (preaddestrati) che a quelli finali (convergenti), il docente WMA mantiene una forza regolarizzante persistente su orizzonti di addestramento finiti. Impedisce che il divario docente-studente svanisca troppo presto.
• Convergenza Senza Bias: Gli autori dimostrano che il docente WMA permette allo studente di convergere alla soluzione del compito a norma minima all'interno del sottospazio del compito (rimuovendo il bias di ancoraggio statico) preservando rigorosamente la conoscenza nel sottospazio ortogonale.

2.3 Obiettivo di Addestramento

TRACER combina la perdita InfoNCE simmetrica standard con una perdita di autodistillazione dinamica guidata dal docente WMA:
$$L_{TRACER} = L_{MMCL} + \lambda_{SD} L_{SD-WMA}$$
La perdita di distillazione ($L_{SD-WMA}$) è una composizione di quattro prospettive per operationalizzare i principi geometrici:

1. Distillazione delle Caratteristiche (FD): Allinea gli embedding dello studente e del docente.
2. Distillazione Relazionale Contrastiva (CRD): Corrisponde alle distribuzioni di similarità per batch.
3. Apprendimento Contrastivo Interattivo (ICL): Favorisce l'allineamento incrociato tra studente e docente.
4. Distillazione della Conoscenza Incrociata (Cross-KD): Allinea i logit incrociati per trasferire la struttura relazionale.

3. Contributi Chiave

1. Riformulazione Teorica: Introduzione della "matrice target contrastiva" per riformulare la perdita contrastiva linearizzata come un problema di minimi quadrati, consentendo soluzioni in forma chiusa e una decomposizione geometrica delle strategie di finetuning.
2. Identificazione del Collasso del Docente: Dimostrazione che i docenti EMA standard soffrono di un collasso intrinseco, indebolendo la regolarizzazione proprio quando la robustezza OOD è più fragile.
3. Docente WMA e Convergenza Senza Bias: Dimostrazione che un docente a Media Mobile Ponderata mantiene un segnale di regolarizzazione persistente e raggiunge una convergenza senza bias nel sottospazio del compito preservando la conoscenza ortogonale.
4. Implementazione TRACER: Istanziamento di questi principi in un metodo pratico che combina apprendimento contrastivo con distillazione multi-perspettiva guidata da WMA.

4. Risultati Sperimentali

Gli autori hanno valutato TRACER su modelli CLIP (ViT-B/16, ViT-L/14, ResNet50) sottoposti a finetuning su ImageNet-1K e testati su cinque shift di distribuzione OOD (IN-V2, IN-R, IN-A, IN-S, ObjectNet).

• Prestazioni OOD: TRACER ha superato costantemente le linee di base dello stato dell'arte (inclusi LP-FT, FLYP, Lipsum-FT, CaRot e Model Stock) nella precisione OOD media. Ad esempio, su ViT-B/16, TRACER ha raggiunto una precisione OOD media del 64,07% rispetto al 62,54% di CaRot e al 59,91% di LP-FT.
• Calibrazione: TRACER ha ottenuto l'Errore di Calibrazione Atteso (ECE) più basso su tutti i dataset OOD, indicando un'affidabilità probabilistica migliorata sotto shift di distribuzione.
• Preservazione Geometrica: L'analisi della similarità rappresentazionale per livello (CKA e SVCCA) ha mostrato che, mentre il Finetuning Diretto ha causato una significativa deriva negli strati più profondi (dimenticanza), TRACER ha mantenuto una similarità > 0,97 con il modello preaddestrato su tutti gli strati.
• Studi di Ablazione: Ablazioni complete hanno confermato che:
  • I componenti di distillazione multi-perspettiva sono complementari.
  • Una forza di distillazione moderata ($\lambda_{SD} \approx 1,0-2,0$) offre il miglior compromesso ID-OOD.
  • Il metodo è robusto alle frequenze di aggiornamento del docente (a differenza di CaRot, che richiede una pianificazione fragile).
  • Una ponderazione simile all'arcoseno (Beta(0,5, 0,5)) è la più efficace per il kernel.
• Efficienza: TRACER è computazionalmente più efficiente di CaRot, evitando il costo di regolarizzazione spettrale $O(d^3)$, con un sovraccarico di soli $O(B^2)$ per la distillazione.

5. Significato e Affermazioni

Il documento afferma che TRACER colma il divario tra la geometria del finetuning e la progettazione pratica di metodi robusti. Dimostrando teoricamente che la regolarizzazione della traiettoria con un docente WMA previene il collasso del segnale di regolarizzazione, il metodo offre una soluzione principiale alla dimenticanza catastrofica nei modelli multimodali.

Gli autori sottolineano che il loro lavoro è puramente difensivo, mirato a migliorare l'affidabilità dei modelli fondazionali nelle applicazioni reali in cui gli input possono differire dai dati di addestramento (ad esempio, imaging medico, sistemi autonomi). Affermano esplicitamente che il metodo non accelera capacità dannose, ma piuttosto mitiga l'overfitting e migliora la generalizzazione. L'analisi teorica è attualmente sviluppata in un regime linearizzato, con futuri lavori suggeriti per estensioni al Kernel Tangente Neurale (NTK) e a impostazioni di caratteristiche casuali per modelli non lineari più grandi.