Riepilogo Tecnico: RADAR (Divergenza Angolare Relativa tra Rappresentazioni)

Enunciato del Problema

Nell'apprendimento automatico moderno, l'espansione dei dataset di addestramento con domini sorgente ausiliari è una strategia standard per affrontare i vincoli sui dati. Tuttavia, questa pratica non garantisce un miglioramento delle prestazioni a valle e può portare a un trasferimento negativo, dove l'incorporazione di informazioni sorgente degrada attivamente le prestazioni sul target. Identificare quali domini sorgente produrranno un trasferimento positivo è difficile, poiché la valutazione empirica di ogni candidato richiede un costoso riaddestramento completo del modello. Le metriche di trasferibilità esistenti spesso si basano su rappresentazioni statiche a un singolo livello o richiedono un pre-addestramento sul dataset target, fallendo nel catturare l'evoluzione strutturale dinamica delle rappresentazioni attraverso la gerarchia del modello.

Metodologia: RADAR

Gli autori propongono RADAR (Divergenza Angolare Relativa tra Rappresentazioni), una metrica fondata geometricamente progettata per stimare la trasferibilità cross-dominio utilizzando esclusivamente feature congelate da modelli fondazione. Il metodo opera analizzando l'evoluzione strato per strato delle rappresentazioni anziché istantanee statiche.

Meccanismo Principale

1. Estrazione della Traiettoria Strato per Strato: Per un modello fondazione pre-addestrato $\Phi$, le rappresentazioni di feature intermedie $h^{(l)}(x)$ vengono estratte a ogni strato $l$.
2. Costruzione Geometrica del Triangolo: Per un campione di riferimento $x$ e un campione secondario $x'$ (entrambi nello stesso dominio o tra domini diversi), il metodo costruisce un triangolo geometrico di vettori di spostamento che copre gli strati $l$ e $l+1$:
   • Separazione ($v_{sep}$): Il vettore tra $h^{(l)}(x)$ e $h^{(l)}(x')$.
   • Deviazione ($v_{detour}$): Il vettore da $h^{(l)}(x')$ a $h^{(l+1)}(x)$.
   • Traiettoria ($v_{traj}$): Lo spostamento diretto da $h^{(l)}(x)$ a $h^{(l+1)}(x)$.
   • Nota: Il documento dimostra che $v_{sep} + v_{detour} = v_{traj}$ esattamente.
3. Calcolo dei Descrittori: Il metodo calcola due descrittori chiave per questi triangoli:
   • Allineamento Angolare ($\theta$): La similarità coseno tra i vettori di separazione e deviazione.
   • Distanza Relativa ($d$): La lunghezza del percorso in eccesso normalizzata del percorso a due passi di deviazione rispetto alla traiettoria diretta ($d = \frac{\|v_{sep}\| + \|v_{detour}\| - \|v_{traj}\|}{\|v_{traj}\|}$).
   • Adattamento Topologico: Sebbene la metrica possa essere definita su distanze geodetiche per spazi ipersferici (ad esempio, feature DINO), gli autori adottano una formulazione unificata nello spazio euclideo poiché si è dimostrata la più robusta attraverso le modalità, in particolare per il testo.
4. Modellazione della Distribuzione:
   • Il metodo campiona coppie per calcolare distribuzioni empiriche di $\theta$ e $d$ per coppie intra-dominio e coppie cross-dominio.
   • Per garantire la fattibilità computazionale, viene utilizzata una strategia di campionamento stratificato, ponderando le coppie in base alla loro distanza dai centroidi delle classi (catturando sia le dinamiche intra-classe che quelle intra-estranee).
   • Vengono adattati Modelli a Mixture Gaussiane (GMM) a queste distribuzioni per modellare le densità di probabilità continue delle dinamiche intra-dominio e cross-dominio.
5. Misura della Divergenza: Il punteggio finale di trasferibilità è derivato dalla divergenza simmetrica di Kullback-Leibler (KL) tra i due GMM. Una divergenza inferiore indica una maggiore similarità strutturale e, di conseguenza, una trasferibilità prevista più elevata.
6. Traiettorie Estese: Per catturare spostamenti strutturali olistici, la metrica concatena i descrittori attraverso una finestra di strati (ad esempio, da $l-6$ a $l+6$), creando un vettore di feature ad alta dimensionalità prima di adattare il GMM.

Contributi Chiave

1. Evoluzione Strutturale Dinamica, Strato per Strato: RADAR è la prima metrica a valutare la trasferibilità misurando la divergenza tra distribuzioni continue dinamiche di traiettorie geometriche (angoli e distanze relative) attraverso gli strati della rete, anziché distribuzioni di feature statiche.
2. Prestazioni Predittive Altamente Competitive: La metrica ottiene prestazioni tra le prime tre in 7 configurazioni su 10 attraverso benchmark di visione e testo, assicurando la prestazione assoluta migliore in 6 di esse. Supera costantemente o eguaglia le baseline state-of-the-art come LEEP, LogME, NCE, TransRate e S-OTDD.
3. Stima Robusta ed Efficiente: Attraverso estesi studi di ablazione, gli autori dimostrano che RADAR è robusto rispetto alle scelte degli iperparametri (dimensione del campione, raggio della finestra, temperatura) ed è computazionalmente efficiente, superando spesso le baseline in ambienti solo CPU grazie alla sua dipendenza da feature congelate e sottocampionamento.

Risultati Sperimentali

Gli autori hanno valutato RADAR su:

• Modalità Visive: Backbone CLIP e DINOv3 su DomainNet, OfficeHome e PACS.
• Modalità Testuali: Qwen3-Embedding e EmbeddingGemma su EuroEval e AmazonReviews.

Risultati Chiave:

• Prestazioni: RADAR ha ottenuto la Migliore Miglioramento della Correlazione Media (MCI) su DomainNet sia per CLIP che per DINOv3, e su OfficeHome per CLIP. Nel testo, ha ottenuto i migliori risultati su EuroEval per EmbeddingGemma (superando la baseline successiva migliore di oltre 30 punti percentuali) ed è stato competitivo su AmazonReviews.
• Regimi di Separazione del Dominio: RADAR eccelle quando le transizioni di dominio sono lisce (bassa corruzione/separazione) o nettamente separate (alta corruzione/separazione). Le sue prestazioni peggiorano nei regimi "intermedi" (ad esempio, dataset PACS) dove i domini mostrano una separazione dispersa e non uniforme che non è né abbastanza liscia per l'allineamento delle traiettorie né abbastanza distinta per una stima pulita della divergenza.
• Differenze di Modalità: Le rappresentazioni testuali favoriscono rigorosamente lo spazio euclideo e le feature angolari, mentre le rappresentazioni visive mostrano robustezza sia agli spazi euclidei che a quelli pseudo-cartesiani.
• Robustezza alla Corruzione: Su ImageNet-C, RADAR ha dimostrato un'eccezionale robustezza a livelli di corruzione estremi (Severità 5), dove le metriche statistiche statiche fallivano, sebbene abbia mostrato vulnerabilità al rumore sintetico moderato (Severità 3).

Significato e Affermazioni

Il documento afferma che la struttura geometrica strato per strato trasporta un segnale di trasferibilità significativo che le metriche statiche a singolo strato non riescono a catturare. Misurando la divergenza di come le rappresentazioni evolvono attraverso gli strati, RADAR fornisce un modo principiato ed efficiente dal punto di vista computazionale per prevedere i ranking di guadagno di trasferimento senza riaddestrare i modelli.

Gli autori sottolineano che il loro approccio è motivato dall'Ipotesi di Raddrizzamento Percettivo e dall'osservazione che le rappresentazioni più informative nei modelli fondazione non si trovano sempre nello strato finale. Sostengono che RADAR offre un framework unificato cross-modale per le decisioni di apprendimento per trasferimento, particolarmente efficace quando gli spostamenti di dominio sono ben definiti. Tuttavia, riconoscono modestamente i limiti, notando che il potere predittivo della metrica degrada in scenari con strutture di dominio sovrapposte e disperse e che la dipendenza dai GMM presenta un collo di bottiglia computazionale per il filtraggio in tempo reale.