Riassunto Tecnico: BiCo – Allineamento Bilineare delle Coordinate per il Transfer di Vettori di Attività Senza Addestramento

Enunciato del Problema

Il paradigma prevalente nel machine learning moderno consiste nell'adattare modelli pre-addestrati su larga scala a compiti specializzati downstream tramite fine-tuning. Tuttavia, man mano che le famiglie di modelli pre-addestrati si espandono con nuove varianti che differiscono per scala, dati di pre-addestramento o ricette di addestramento, l'expertise acquisita tramite fine-tuning diventa vincolata alla specifica parametrizzazione del modello originale. Di conseguenza, quando viene rilasciata una nuova versione del modello, la conoscenza fine-tunata non può essere riutilizzata direttamente, rendendo necessari processi di fine-tuning costosi e ripetitivi.

Gli approcci esistenti per trasferire questa expertise di "vettore di attività" (definita come la differenza di parametri $\tau = \theta_{ft} - \theta_{pre}$) tra modelli diversi affrontano limitazioni significative. I metodi che si basano sull'allineamento nello spazio dei parametri (ad esempio, il re-basin tramite simmetrie di permutazione) richiedono una compatibilità architetturale rigorosa e dimensioni corrispondenti. I recenti metodi senza addestramento che utilizzano segnali specifici del compito, come attivazioni o gradienti (ad esempio, THESEUS, GradFix), forniscono corrispondenze parziali ma mostrano ancora un divario di prestazioni sostanziale rispetto al fine-tuning diretto del modello target. La sfida fondamentale è trasferire vettori di attività tra modelli con larghezze, profondità e configurazioni di pre-addestramento diverse, senza aggiornamenti aggiuntivi dei parametri.

Metodologia: BiCo

Gli autori propongono BiCo (allineamento bilineare delle coordinate), un framework senza addestramento che riformula il transfer di vettori di attività come un problema di allineamento in doppio spazio.

1. Insight Teorico: Formazione Bilineare dei Vettori di Attività

Gli autori riesaminano la formazione meccanica di un vettore di attività. Analizzando la regola di aggiornamento della discesa del gradiente, dimostrano che un vettore di attività $\tau^{(l)}$ per un livello $l$ è l'accumulo di interazioni bilineari tra le attivazioni lato input ($x_t$) e i gradienti lato output ($g_t$) lungo la traiettoria di fine-tuning:
$$\tau^{(l)} = -\sum_{t=1}^{T} \eta_t (g_t^{(l)})^\top x_t^{(l)}$$
Questa formulazione implica che un vettore di attività non è semplicemente uno spostamento di parametri, ma un accoppiamento di due spazi di coordinate distinti: lo spazio delle attivazioni di input e lo spazio dei gradienti di output. Gli autori sostengono che un transfer efficace richiede l'allineamento di entrambi gli spazi per preservare la geometria sottostante dell'aggiornamento, piuttosto che allineare solo le attivazioni o solo i parametri.

2. Il Framework BiCo

BiCo stima mappature di Procrustes ortogonali sia per lo spazio di input che per quello di output utilizzando un piccolo set di calibrazione ($N$ campioni) e un singolo passaggio forward–backward attraverso modelli pre-addestrati congelati. Nessun parametro del modello target viene aggiornato.

• Allineamento lato Input: Il metodo assume che le attivazioni pre-addestrate servano come proxy efficaci per le attivazioni della traiettoria. Calcola la covarianza incrociata tra le attivazioni pre-addestrate sorgente ($\bar{X}_{A,pre}$) e le attivazioni pre-addestrate target ($\bar{X}_{B,pre}$). Una soluzione di Procrustes ortogonale ($R_{in}$) viene derivata tramite Scomposizione ai Valori Singoli (SVD) per mappare le coordinate di input sorgente allo spazio di input target preservando la geometria relazionale (misurata tramite Centered Kernel Alignment, CKA).
• Allineamento lato Output: Analogamente, il metodo calcola i gradienti rispetto agli output del livello all'inizializzazione pre-addestrata ($\bar{G}_{A,pre}$ e $\bar{G}_{B,pre}$). Viene stimata una seconda soluzione di Procrustes ortogonale ($R_{out}$) per allineare le coordinate dei gradienti di output. Questo passaggio è cruciale perché le dimensioni di output spesso differiscono tra modelli sorgente e target, e le direzioni "sensibili al compito" possono essere codificate in basi diverse.
• Transfer del Vettore di Attività: Il vettore di attività sorgente $\tau_A^{(l)}$ viene trasformato nell'aggiornamento compatibile con il target $\hat{\tau}_B^{(l)}$ applicando le mappature apprese a entrambi i lati della struttura bilineare:
  $$\hat{\tau}_B^{(l)} = (R_{out}^{(l)})^\top \tau_A^{(l)} R_{in}^{(l)}$$
  Il modello target finale viene aggiornato come $\hat{\theta}_{B,ft} = \theta_{B,pre} + \hat{\tau}_B$.

3. Gestione delle Discrepanze Strutturali

• Discrepanza di Larghezza: La formulazione di Procrustes gestisce naturalmente i casi in cui le dimensioni di input/output differiscono (ad esempio, transfer da stretto a largo o da largo a stretto) trovando la proiezione ortogonale ottimale.
• Discrepanza di Profondità: Per modelli con un numero diverso di livelli, viene adottata una semplice strategia di corrispondenza discreta degli indici dei livelli, mappando il livello target $j$ al livello sorgente più vicino $i(j)$.

Contributi Chiave

1. Riesame della Formazione dei Vettori di Attività: Il documento stabilisce che i vettori di attività sono accumuli di interazioni bilineari tra le attivazioni di input e i gradienti di output, motivando un approccio di allineamento in doppio spazio piuttosto che un allineamento in singolo spazio o nello spazio dei parametri.
2. Framework BiCo: Introduzione di un metodo senza addestramento che utilizza l'allineamento di Procrustes ortogonale sia sulle attivazioni di input che sui gradienti di output per trasferire vettori di attività. Richiede un singolo passaggio forward–backward su un piccolo set di calibrazione e non comporta aggiornamenti di parametri o sintonizzazione degli iperparametri.
3. Validazione Empirica: Esperimenti estesi su benchmark di visione artificiale (8-Vision benchmark) e elaborazione del linguaggio naturale (suite GLUE) dimostrano che BiCo supera costantemente le baseline esistenti senza addestramento (ad esempio, THESEUS, GradFix, TransFusion) e riduce il divario di prestazioni rispetto al fine-tuning diretto, anche tra modelli con larghezze, profondità e distribuzioni di pre-addestramento variabili.

Risultati

• Scalabilità della Larghezza: Nel transfer da un ViT-B/16 a un ViT-B/16-plus più largo, BiCo supera significativamente il padding ingenuo e THESEUS. Con soli 100 campioni di calibrazione, BiCo ottiene un guadagno medio di accuratezza di +18,88% rispetto alla baseline zero-shot, rispetto al +3,81% di THESEUS.
• Architettura Identica: Anche quando le architetture corrispondono ma i dati di pre-addestramento differiscono (da Datacomp-XL a LAION-2B), il transfer ingenuo degrada le prestazioni. BiCo migliora l'accuratezza media di +17,81% rispetto alla baseline zero-shot con 5 esempi per classe, superando notevolmente GradFix e THESEUS.
• Scalabilità di Profondità e Larghezza: In scenari impegnativi che coinvolgono sia discrepanze di profondità che di larghezza (da ViT-B/16 a ViT-L/14), BiCo migliora la baseline zero-shot del +12,89%, dimostrando generalizzabilità strutturale.
• Generalizzazione NLP: Applicato ai modelli T5 (da T5-3B a T5-Large), BiCo mostra miglioramenti robusti nell'accuratezza del linear probing attraverso i task GLUE, scalando efficacemente con il numero di campioni di calibrazione.
• Studi di Ablazione: L'analisi conferma che allineare solo il lato input o solo il lato output è insufficiente. La combinazione di entrambi, in particolare l'uso dei gradienti per il lato output, è critica per le prestazioni. L'allineamento solo lato input può persino degradare le prestazioni al di sotto della baseline zero-shot nei livelli profondi.

Significato e Affermazioni

Il documento afferma che BiCo affronta l'inefficienza del ri-addestramento dei modelli consentendo il riutilizzo diretto dell'expertise specifica del compito tra diverse varianti di modello. Interpretando i vettori di attività come interazioni bilineari, gli autori sostengono che preservare la geometria sia dello spazio delle attivazioni di input che dello spazio dei gradienti di output è essenziale per un transfer efficace.

Il significato di questo lavoro risiede nella sua capacità di:

• Ridurre il Sovraccarico Computazionale: Eliminare la necessità di un fine-tuning iterativo dei modelli target, richiedendo un singolo passaggio forward–backward per la calibrazione.
• Abilitare un Riutilizzo Scalabile: Facilitare il transfer di conoscenza tra modelli con diverse larghezze, profondità e configurazioni di pre-addestramento, aspetto critico man mano che le famiglie di modelli fondazione evolvono.
• Colmare il Divario di Prestazioni: Ridurre sostanzialmente il divario tra il transfer senza addestramento e il fine-tuning diretto, offrendo un'alternativa pratica e plug-and-play per l'adattamento dei modelli.

Gli autori mantengono una modestia riguardo alle limitazioni, notando che il metodo assume strutture interne sufficientemente compatibili (ad esempio, all'interno della stessa famiglia di backbone) e che rimane un piccolo divario rispetto al fine-tuning diretto, suggerendo che l'allineamento lineare delle coordinate da solo potrebbe non catturare tutte le informazioni specifiche del compito. Notano inoltre che il metodo non corregge intrinsecamente i bias presenti nel vettore di attività sorgente o nei dati di calibrazione.