Sintesi Tecnica: Miglioramento delle Rappresentazioni Relative tramite Ancore Apprese e Prodotto Internosbiancato

1. Definizione del Problema

I modelli neurali addestrati indipendentemente spesso convergono verso rappresentazioni latenti che sono incompatibili a causa di differenze in rotazione, scalatura anisotropa e traslazione. Ciò crea una barriera fondamentale alla costruzione di sistemi di IA altamente modulari in cui encoder e decoder possano essere scambiati senza riaddestramento.

Le Rappresentazioni Relative (RR) affrontano questo problema mappando gli embedding assoluti in uno spazio condiviso definito dalle somiglianze con un insieme comune di punti ancora (anchor), piuttosto che fare affidamento su coordinate assolute. Tuttavia, le implementazioni standard di RR soffrono di due limitazioni primarie:

1. Campionamento Casuale delle Ancore: I metodi tradizionali utilizzano punti dati campionati casualmente come ancore. Ciò spesso porta a una scarsa copertura del manifold dei dati, ridondanza e caratteristiche relative a basso rango, causando una perdita di informazioni rilevanti per il task.
2. Similitudine del Coseno: La metrica di similitudine standard si basa esclusivamente sulle relazioni angolari, scartando l'informazione sulla magnitudo (che può codificare la confidenza della caratteristica) e non tiene conto delle geometrie anisotrope comuni nelle moderne architetture come i Transformer. È inoltre instabile sotto shift affini e vicino all'origine.

Queste limitazioni risultano in un scarso allineamento tra gli spazi e in una perdita di preservazione dell'informazione, impedendo un efficace "stitching" (cucitura) zero-shot tra modelli eterogenei.

2. Metodologia

Gli autori propongono un framework robusto composto da due componenti core: PARAM (Parameterized Anchor Representations via Adaptive Matrices) e WIP (Whitened Inner Product).

2.1 PARAM: Apprendere le Ancore come Miscele Convesse

Invece di trattare le ancore come un sottoinsieme fisso e casualmente campionato di dati, PARAM apprende le ancore come miscele convesse di un set di supporto di punti dati paralleli.

• Meccanismo: Una matrice di miscela condivisa $P$ è ottimizzata per generare ancore $A_i$ per ogni spazio encoder $i$ tramite $A_i = P X_{sub}^i$, dove $X_{sub}^i$ è un sottoinsieme di embedding.
• Vincoli: $P$ è vincolata a essere row-stochastica, garantendo che le ancore rimangano all'interno dell'inviluppo convesso dei dati.
• Vantaggi: Questo approccio fornisce un effetto di denoising attraverso la media, creando prototipi semantici stabili. Permette un posizionamento continuo delle ancore all'interno dello spazio latente, evitando i limiti della selezione discreta dei punti dati.
• Obiettivi di Addestramento: La matrice $P$ è ottimizzata utilizzando una somma pesata di perdite:
  • Obiettivi a spazio singolo: Copertura ($L_{cov}$, soft k-means), Ortogonalità ($L_{orth}$, che penalizza le ancore correlate) e Controllo della Lunghezza ($L_{len}$, che vincola le norme).
  • Obiettivo a spazio multiplo: Symmetric InfoNCE ($L_{symNCE}$) per allineare le coordinate relative attraverso diversi encoder utilizzando campioni accoppiati.

2.2 WIP: Prodotto Interno sbiancato (Whitened Inner Product)

Per affrontare le distorsioni geometriche (shift della media e scalatura anisotropa) tra spazi addestrati indipendentamente, gli autori sostituiscono la similitudine del coseno con il Prodotto Interno sbiancato.

• Meccanismo: Per ogni spazio di embedding, viene rimossa la media empirica $\mu_i$ e viene applicata una trasformazione di sbiancamento simmetrica $L_i = (\Sigma_i)^{-1/2}$ basata sulla matrice di covarianza $\Sigma_i$.
• Formula: La similitudine è definita come $s_{WIP}(x, a_r^i) = \langle L_i(x - \mu_i), L_i(a_r^i - \mu_i) \rangle$.
• Vantaggi: Questa metrica è robusta alle distorsioni affini (soddisfacendo l'Allineamento tra Spazi) pur preservando sia le informazioni angolari che quelle di magnitudo (soddisfacendo la Preservazione dell'Informazione), il che è critico per il segnale discriminativo.

3. Contributi Chiave

1. Ancore Apprese (PARAM): Un metodo per apprendere le ancore come miscele convesse di dati, garantendo una robusta copertura semantica e stabilità attraverso gli spazi di embedding, sostituendo il campionamento casuale.
2. Similitudine Consapevole della Geometria (WIP): Una metrica di similitudine consapevole della covarianza che è invariante rispetto agli shift affini e preserva l'informazione sulla magnitudo, affrontando l'anisotropia delle moderne architetture.
3. Framework Unificato: Un approccio congiunto che migliora significativamente le prestazioni di stitching zero-shot tra architetture altamente eterogenee (ad esempio, CNN vs Transformer, e diverse scale di Modelli di Linguaggio).

4. Risultati Sperimentali

Il framework è stato valutato su compiti di stitching zero-shot attraverso modalità di visione e linguaggio, confrontandolo con un baseline di ancore casuali con similitudine del coseno.

• Classificazione delle Immagini (CIFAR-100): Quando si effettua lo stitching tra encoder basati su CNN (RexNet) e Transformer (ViT), il metodo proposto PARAM-WIP ha ottenuto un trasferimento quasi privo di perdite. Ad esempio, addestrare un classificatore sulle feature di ViT e testarlo sulle feature di RexNet ha prodotto un F1 score del 80,94% (PARAM Multi) rispetto al 56,67% del baseline Random-Cosine. In molti casi, le prestazioni zero-shot hanno eguagliato le prestazioni assolute dello spazio latente originale.
• Classificazione del Testo (MARC): Nell'analisi del sentiment cross-lingue (ad esempio, inglese, tedesco, francese, spagnolo, cinese), il framework ha superato costantemente il baseline. Ad esempio, lo stitching di francese a encoder inglesi ha portato a un F1 del 93,75% (PARAM Multi) rispetto al 92,06% (Random-Cosine).
• Piccoli Modelli di Linguaggio (SLM): In un compito di retrieval zero-shot tra modelli di scale diverse (GPT-2, TinyLlama, Gemma), il baseline ha mostrato un'estrema instabilità (R@1 $\approx$ 0,5% - 10%). Al contrario, PARAM-WIP ha raggiunto score R@1 tra l'87% e il 95% e score R@5 vicini al 100%, dimostrando un allineamento geometrico stabile anche tra modelli con dimensionalità nascoste vastamente differenti.
• Studi di Ablazione: I risultati hanno confermato che entrambi i componenti sono necessari. Mentre WIP migliora la qualità del retrieval, i suoi guadagni di accuratezza sono massimizzati quando combinati con ancore apprese. Viceversa, ancore casuali con WIP hanno spesso performato peggio di ancore casuali con il coseno a causa della sensibilità al rumore vicino all'origine.

5. Significato e Rivendicazioni

Il paper sostiene che la dipendenza dal campionamento casuale e dalla proiezione angolare (similitudine del coseno) sia un limite fondamentale nella ricerca attuale sulle rappresentazioni relative, particolarmente per famiglie di modelli eterogenee.

• Robustezza: Il framework proposto consente un trasferimento di informazioni quasi privo di perdite e una comunicazione zero-shot stabile tra encoder che prima erano incompatibili.
• Modularità: Formalizzando la relazione tra geometria latente e sistemi di coordinate relative, questo lavoro fornisce una via pratica verso architetture di IA modulari in cui encoder e decoder possono essere scambiati senza costosi riaddestramenti.
• Comprensione Geometrica: I risultati suggeriscono che preservare l'informazione sulla magnitudo e tenere conto delle distorsioni affini siano critici per allineare gli spazi di embedding moderni e anisotropi, un requisito che la standard similitudine del coseno non riesce a soddisfare.

Gli autori segnalano limitazioni, tra cui la dipendenza della capacità rappresentativa dalla dimensione del sottoinsieme di supporto e la necessità di una stima stabile della covarianza per lo sbiancamento. Suggeriscono che il lavoro futuro potrebbe esplorare la selezione adattiva dei sottoinsiemi, la sparsità strutturata e funzioni di similitudine non lineari.