Sintesi Tecnica: I Modelli di Ragionamento Migliorano i Modelli di Embedding?

Definizione del Problema

I modelli di embedding testuale allo stato dell'arte sono sempre più costruiti adattando modelli linguistici di grandi dimensioni (LLM) decoder-only tramite apprendimento contrastivo. Parallelamente, è emersa una nuova classe di "modelli di ragionamento", addestrati tramite Reinforcement Learning con Verifiable Rewards (RLVR) per ottenere prestazioni superiori nella risoluzione di problemi complessi. Un'ipotesi naturale sorge spontanea: la capacità di ragionamento potenziata dei modelli ottimizzati tramite RLVR si traduce in uno spazio di rappresentazione semantica superiore quando questi modelli fungono da backbone per compiti di embedding? Intuitivamente, un modello che "pensa" più profondamente dovrebbe strutturare le relazioni semantiche in modo più efficace. Tuttavia, le osservazioni empiriche iniziali suggeriscono un paradosso: i modelli di embedding inizializzati da backbone ottimizzati con RLVR presentano prestazioni statisticamente identiche a quelli inizializzati da modelli base dopo l'addestramento contrastivo, nonostante i salti qualitativi dei modelli di ragionamento nelle attività di ragionamento.

Metodologia

Per risolvere questo paradosso e diagnosticare la dinamica interna di queste rappresentazioni, gli autori introducono la Hierarchical Representation Similarity Analysis (HRSA), un framework che estende la Representational Similarity Analysis (RSA). HRSA decompone la similarità del modello in tre livelli annidati di astrazione, ciascuno con specifiche proprietà di invarianza:

1. Livello di Rappresentazione (Representation Level): Si concentra sulla base di coordinate e sulla corrispondenza delle feature. Le metriche includono la Correlazione per Dimensione (per testare il matching delle feature allineate agli assi) e l'Analisi di Procruste Ortogonale (per testare l'equivalenza lineare globale tramite trasformazioni ortogonali). Questo livello è sensibile alle rotazioni e alle permutazioni del sistema di coordinate.
2. Livello Geometrico (Geometry Level): Si concentra sulla forma del manifold latente, invariante rispetto ai cambiamenti della base di coordinate ma sensibile alle deformazioni. Le metriche includono l'Allineamento del Kernel Centrato Lineare (Linear CKA) per la geometria globale e la Sovrapposizione dei k-Nearest Neighbors (k-NN Overlap) per la preservazione della geometria locale.
3. Livello Funzionale (Function Level): Si concentra sulle mappature input-output e sulla risolvibilità dei task a valle. Ciò viene valutato utilizzando Sonde Lineari Cross-Modello (Cross-Model Linear Probes), dove un readout lineare addestrato su un modello viene testato su un altro per determinare se le stesse decisioni di confine siano valide attraverso le rappresentazioni.

Configurazione Sperimentale:
Gli autori hanno condotto uno studio di benchmarking sistematico confrontando LLM base ($M_{base}$) con i loro corrispondenti di ragionamento ottimizzati tramite RLVR ($M_{reason}$). Hanno perfezionato (fine-tuning) diverse coppie di questi backbone in modelli di embedding ($M_{Emb}^{base}$ e $M_{Emb}^{reason}$) utilizzando architetture identiche e ricette di apprendimento contrastivo (loss InfoNCE). La valutazione è stata eseguita sugli benchmark MTEB (Multilingual e Code) e BRIGHT. Lo studio ha incluso anche modelli sottoposti a Supervised Fine-Tuning (SFT) come controllo per evidenziare le differenze tra le strategie di ottimizzazione.

Risultati Chiave

1. Effetto Nullo sulle Prestazioni di Embedding

Contrariamente all'ipotesi che il ragionamento potenziato migliori gli embedding, i risultati mostrano un effetto nullo. I modelli di embedding inizializzati da backbone ottimizzati con RLVR raggiungono la parità di prestazioni con quelli inizializzati da modelli base in tutti i benchmark (MTEB Multilingual, MTEB Code e BRIGHT). I gap di prestazione ($\Delta$) sono prossimi allo zero, mentre i modelli con backbone ottimizzati tramite SFT mostrano spesso deviazioni significative.

2. Risultati HRSA: Riallineamento della Rappresentazione

L'HRSA rivela comportamenti strutturali distinti tra RLVR e SFT:

• Livello di Rappresentazione: L'RLVR preserva ampiamente la base di coordinate. Le correlazioni per dimensione rimangono elevate e l'analisi di Procruste Ortogonale produce matrici vicine a matrici di permutazione (basso mixing delle feature). Al contrario, l'SFT causa un mixing distruttivo delle feature.
• Livello Geometrico:
  • Geometria Globale: L'RLVR agisce come una trasformazione quasi isometrica, preservando la forma globale del manifold latente (alto Linear CKA).
  • Geometria Locale: L'RLVR induce una riorganizzazione irreversibile della struttura dei vicini locali (moderata sovrapposizione k-NN), suggerendo un raggruppamento (re-clustering) dei passaggi di ragionamento senza alterare la mappa semantica globale.
• Livello Funzionale: Le sonde lineari cross-modello mostrano una forte trasferibilità, indicando che le direzioni di readout lineare rilevanti per il task rimangono stabili sotto RLVR.

3. Fenomeno del Riallineamento del Manifold

Un risultato critico è il Riallineamento del Manifold (Manifold Realignment). Quando i backbone ottimizzati con RLVR vengono adattati in modelli di embedding tramite apprendimento contrastivo, il processo di addestramento guida un forte allineamento tra i modelli inizializzati con il modello base e quelli inizializzati con il modello di ragionamento. Questo riallineamento corregge efficacementmente la deriva reversibile della base di coordinate osservata durante l'addestramento prolungato con RLVR, risultando in spazi di embedding indistinguibili.

Contributi Chiave

1. Benchmarking Sistematico: Il primo confronto controllato che dimostra che gli attuali metodi RLVR non migliorano intrinsecamente la qualità degli embedding quando usati come backbone, nonostante il loro successo nei compiti di ragionamento.
2. Il Framework HRSA: Uno strumento diagnostico gerarchico unificato (Rappresentazione, Geometria, Funzione) che disseziona la deriva della base di coordinate, i cambiamenti della geometria del manifold e la stabilità del readout funzionale. Questo framework offre un toolkit per futuri studi di interpretabilità.
3. Scoperta del Riallineamento del Manifold: L'identificazione del fatto che l'RLVR ottimizza le traiettorie all'interno di un esistente paesaggio semantico piuttosto che ristrutturarlo fondamentalmente. Nello specifico, l'RLVR preserva la geometria globale e i readout lineari pur riorganizzando i vicinati locali, e il successivo apprendimento contrastivo può sovrascrivere le derive reversibili per riallineare i manifold.

Significato e Rivendicazioni

Il paper sostiene che l'RLVR funzioni principalmente come un'ottimizzazione di traiettoria all'interno di un esistente paesaggio semantico, piuttosto che come una ristrutturazione fondamentale del paesaggio stesso. A differenza del Supervised Fine-Tuning (SFT), che può causare un mixing distruttivo e una ristrutturazione globale, l'RLVR affina la policy del modello per attraversare il manifold latente preservando la ricca conoscenza del mondo e le relazioni semantiche globali stabilite durante il pre-training.

Gli autori postulano che il "ragionamento potenziato" dei modelli RLVR sia ottenuto riorganizzando la geometria locale (come i stati vicini si relazionano tra loro) e ottimizzando le traiettorie decisionali, lasciando intatte la base di coordinate su larga scala e le direzioni di readout lineare. Di conseguenza, per i compiti che si basano sulla similarità semantica globale (come l'embedding e il retrieval), il vantaggio dell'RLVR non si manifesta come un superiore spazio di embedding, ma piuttosto come una robusta preservazione del backbone rappresentativo del modello base. Il paper suggerisce che questo "Riallineamento del Manifold" possa essere un fenomeno generale nell'apprendimento delle rappresentazioni, estendendosi oltre il testo alla visione e all'audio, e propone che comportamenti simili potrebbero potenzialmente essere ottenuti tramite SFT aumentato da regolarizzazione consapevole della geometria.