Sintesi Tecnica: KALE – Allineamento del Kernel con Equilibrio della Perdita

Definizione del Problema

L'allineamento basato su kernel dell'encoder visivo di CLIP verso un insegnante centrato sulla visione come DINOv2 (noto come KUEA) ha dimostrato successo su dati curati su scala ImageNet. Questo approccio migliora le rappresentazioni visive e le prestazioni di linear probing, preservando al contempo la compatibilità con l'encoder testuale di CLIP. Tuttavia, gli autori indagano se questo metodo sia trasferibile a dati web-scale rumorosi (nello specifico, il dataset CC12M).

Essi riscontrano che la strategia a peso di trade-off fisso utilizzata in KUEA fallisce a questa scala. Su CC12M, la perdita di allineamento (il termine che guida lo studente verso l'insegnante DINOv2) diventa di ordini di grandezza più piccola della perdita "pulita" (il termine che penalizza la deviazione dalle feature originali di CLIP). Di conseguenza, sotto un peso fisso, il contributo del termine di allineamento scende a circa lo 0,2% della perdita totale, rendendo il suo gradiente di fatto inerte. Riutilizzare ingenuamente il peso fisso dagli esperimenti su ImageNet risulta in un addestramento instabile o inefficace, poiché il segnale di allineamento svanisce.

Metodologia: Controller KALE

Per affrontare il grave squilibrio della perdita alla scala web, gli autori introducono KALE (Kernel Alignment with Loss Equilibration), un controller dinamico che riscala adattivamente il peso dell'allineamento durante l'addestramento.

Meccanismo Core

L'obiettivo di addestramento rimane una somma pesata di due perdite:

1. Perdita di Allineamento ($L_{align}$): Minimizza la discrepanza tra le matrici di similarità del kernel delle embedding dello studente (CLIP) e dell'insegnante (DINOv2).
2. Perdita Pulita ($L_{clean}$): Penalizza la distanza L2 tra le embedding dello studente e le embedding originali congelate di CLIP per preservare la compatibilità testuale.

Invece di uno scalare fisso $\lambda_a$, KALE utilizza un controller che aggiorna $\lambda_a$ ogni $\Delta$ passi (ad esempio, ogni 100 passi) basandosi sul rapporto tra le due perdite.

Dinamica del Controller

Il controller mantiene medie mobili esponenziali (EMA) di entrambe le perdite per smorzare il rumore dei batch. Calcola il rapporto corrente $\rho$ tra il contributo pesato dell'allineamento e il contributo della perdita pulita:
$$\rho^{(t)} = \frac{\lambda_a^{(t)} \cdot \hat{\ell}_{align}^{(t)}}{\lambda_c \cdot \hat{\ell}_{clean}^{(t)}}$$
Il peso viene aggiornato per guidare questo rapporto verso un target $\tau$ (ad esempio, 0,8):
$$\lambda_a^{(t+1)} = \lambda_a^{(t)} \cdot \sqrt{\frac{\tau}{\rho^{(t)}}}$$
Lo smorzamento tramite radice quadrata evita la sovra-correzione, permettendo all'ottimizzatore di adattarsi prima dell'aggiornamento successivo. Questo crea un ciclo di feedback in cui il controller aumenta $\lambda_a$ quando il segnale di allineamento è debole rispetto alla perdita pulita, e lo diminuisce se l'allineamento inizia a dominare, garantendo che entrambi i termini rimangano influenti.

Regime di Ottimizzazione

Gli autori caratterizzano le condizioni di ottimizzazione necessarie per la stabilità:

• Learning Rate: È richiesto un alto picco di learning rate affinché il controller possa tracciare il segnale di allineamento, ma esiste un limite superiore netto; i tassi troppo elevati causano il collasso dell'addestramento (drift incontrollato e collasso del rango).
• Schedule: Uno schema di decadimento cosine con un floor non nullo moderato è essenziale. Un learning rate piatto permette al drift di CLIP di crescere senza controllo, mentre uno schema che decade a zero rende il passo troppo piccolo affinché il controller mantenga l'equilibrio nelle fasi finali.

Contributi Chiave

1. Estensione alla Scala Web: Gli autori estendono con successo l'allineamento del kernel CLIP→DINOv2 da ImageNet-1K curato a dati web-scale rumorosi CC12M introducendo il controller KALE, che mantiene influente la perdita di allineamento senza necessità di tuning del peso per ogni dataset.
2. Analisi della Dinamica di Addestramento: Forniscono uno studio dettagliato dell'allineamento KALE, dimostrando che l'allineamento su scala web richiede un inviluppo di stabilità specifico: un alto picco di learning rate, uno schema di decadimento con un floor moderato e un controller che equilibra invece di divergere.
3. Nuovo Punto Operativo: Dimostrano che l'addestramento su CC12M rumoroso produce un punto operativo downstream differente rispetto al KUEA addestrato su ImageNet, ottenendo miglioramenti nelle prestazioni di zero-shot e linear probing pur preservando le capacità di retrieval.

Risultati Sperimentali

Gli esperimenti sono stati condotti su un sottoinsieme casuale di 3,3M di CC12M utilizzando uno studente CLIP ViT-L/14 e un insegnante DINOv2 ViT-L/14 congelato.

• Classificazione Zero-Shot: Il modello allineato con KALE ha migliorato la media standard su 11 dataset del +2,00% rispetto all'originale CLIP, superando il baseline KUEA addestrato su ImageNet (+1,29%).
• Linear Probing: Il modello ha migliorato in modo riproducibile il linear probing SVHN del +5,73% rispetto a CLIP (superando il +4,19% di KUEA). Tuttavia, i risultati sui task CLEVR hanno mostrato un'alta varianza tra le diverse esecuzioni.
• Retrieval: Le prestazioni di retrieval immagine-testo sono state preservate, eguagliando i guadagni visti in KUEA (+1,54% vs +1,63%).
• Stabilità: Il controller ha equilibrato con successo le perdite, richiedendo un aumento del peso dell'allineamento di circa quattro ordini di grandezza (da 0,5 a circa 10.000–47.000) per ripristinare l'equilibrio, un valore dipendente dalla configurazione e impossibile da fissare staticamente.

Significato e Rivendicazioni

Il paper sostiene che il contributo primario sia rendere l'allineamento basato su kernel addestrabile su scala web senza la necessità di tuning del peso per ogni dataset. Gli autori sottolineano che la formulazione a peso fisso fallisce sui dati rumorosi a causa dello squilibrio della perdita, e il controller KALE è il meccanismo che ripristina il segnale.

Gli autori sono modesti nelle loro rivendicazioni riguardo alla ampiezza del dominio. Affermano esplicitamente che l'addestramento su scala web con CC12M non ha prodotto miglioramenti su ampi domini rispetto al baseline addestrato su ImageNet; ad esempio, le prestazioni sul remote sensing (EuroSAT) sono peggiorate, e i risultati CLEVR erano dominati dalla varianza. La significatività risiede nella fattibilità e stabilità del processo di allineamento su dati rumorosi, piuttosto che in un miglioramento universale della competenza downstream in tutti i domini.

Il lavoro conclude che il controller KALE permette a un obiettivo ausiliario di piccola entità (allineamento) di rimanere influente contro una perdita dominante (pulita) in un regime ad alto rumore, un meccanismo di controllo che potrebbe essere applicabile oltre l'allineamento visione-linguaggio.