Sintesi Tecnica: MENTIS – Misurare la Torsione Latente Multi-Scala nei Modelli di Linguaggio

1. Definizione del Probleamento

Sebbene l'allineamento delle preferenze (PA - Preference Alignment) abbia migliorato significativamente il comportamento osservabile dei Large Language Models (LLM), i cambiamenti geometrici interni indotti dalla trasformazione di un modello Instruction-Tuned (IT) in un modello PA rimangono poco chiari. Le attuali valutazioni a livello comportamentale (ad esempio, resistenza al jailbreak, tassi di rifiuto) sono insufficienti perché i sistemi allineati presentano comunque fallimenti in condizioni avversarie come il prompt injection.

Il problema centrale affrontato è la mancanza di un framework diagnostico per misurare come l'allineamento riorganizzi il calcolo interno. Nello specifico, il paper pone le seguenti domande:

• Quali strutture geometriche cambiano quando un modello IT diventa un modello PA?
• Dove si concentrano questi cambiamenti attraverso la profondità (layer)?
• Quanto selettivamente variano questi cambiamenti tra concetti, prompt e famiglie di modelli?

Gli autori sostengono che il post-training debba lasciare tracce misurabili nel calcolo interno, andando oltre i probe statici degli stati latenti o gli audit comportamentali per comprendere la riorientazione direzionale condizionata dal task del modello.

2. Metodologia: Il Framework MENTIS

MENTIS (Measuring Multi-Scale Latent Torsion in Language Models) è un framework basato sulla geometria progettato per confrontare coppie di checkpoint IT e PA. Definisce la "credenza" non come una proposizione simbolica, ma come una direzione interna condizionata dal task—la direzione locale nello spazio degli stati latenti che aumenta il supporto per una continuazione target sotto un determinato prompt.

2.1 Definizioni Core

• Campo Direzionale per Layer ($v_\ell$): Definito come il gradiente del log-probabilità di un token target $y$ rispetto allo stato latente $h_\ell$ al layer $\ell$. Rappresenta la direzione locale più ripida che aumenta il supporto per il target.
• Spostamento Indotto dall'Allineamento: La differenza tra i campi direzionali del modello PA ($v^{(1)}$) e del modello IT ($v^{(0)}$), misurata in magnitudo ($\Delta mag$) e angolo ($\Delta ang$).

2.2 Metriche di Torsione

MENTIS quantifica la "rotazione" di questi campi direzionali attraverso la profondità della rete:

1. Torsione Angolare ($T$): La somma cumulativa degli angoli di rotazione tra layer adiacenti ($\omega_\ell$) lungo la traiettoria di profondità. Lo spostamento indotto dall'allineamento è $\Delta T = T^{(PA)} - T^{(IT)}$.
2. Torsione di Matrice ($T_1$): Una norma basata sulla covarianza per layer derivata dalla componente antisimmetrica della matrice di covarianza degli stati latenti tra i layer. Misura l'energia rotazionale totale in un layer.
3. Torsione Spettrale ($T_2$): Un secondo diagnostico che misura la varianza nella distribuzione del segnale rotazionale attraverso i modi spettrali.
4. Energy-Radiance-Activation (ERA): Una metrica di localizzazione che normalizza il profilo di differenza per layer ($\Delta \tau_\ell$) per identificare il layer di picco ($\ell^\star$) dove la torsione indotta dall'allineamento è più concentrata.

2.3 Misurazione Multi-Scala

Il framework opera a tre scale:

• Livello di Parola (Word Level): Analisi degli spostamenti di torsione condizionati dal concetto per determinare quali concetti semantici subiscono la maggiore riorientazione.
• Livello di Prompt: Confronto tra gli spostamenti di torsione tra famiglie di prompt sicuri e non sicuri.
• Livello di Modello: Esame dei profili per layer per determinare se gli effetti siano superficiali, nei layer medi, nei layer profondi o distribuiti.

2.4 Setup Sperimentale

• Modelli: Quattro coppie di modelli da 7–8 miliardi di parametri (OLMo-2-1124-7B, Mistral-7B-v0.3, Llama-3.1-8B, Tülu-3-8B).
• Benchmark: LITMUS, un benchmark di allineamento strutturato per concetti con 20.439 prompt, 18 concetti rappresentativi e etichette esplicite safe/unsafe.
• Baseline: Confrontato con CKA (similarità rappresentazionale), Cosine Distance (drift del checkpoint) e RepE (direzioni di steering lineare).

3. Risultati Chiave

3.1 La Torsione Separa l'Allineamento dal Drift Generico

MENTIS dimostra una capacità di discriminazione superiore rispetto alle baseline standard.

• Discriminazione dei Concetti: MENTIS raggiunge un Coefficiente di Variazione (CV) di 0.64 tra i concetti, superando significativamente CKA (0.08) e RepE (0.21).
• Discriminazione Safe/Unsafe: MENTIS raggiunge un AUC di 0.89 per distinguere prompt sicuri da non sicuri, rispetto allo 0.64 della distanza del coseno.
• Verifica del Null: I confronti tra lo stesso modello (IT→IT) producono spostamenti di torsione inferiori a $10^{-4}$, confermando che gli spostamenti IT→PA osservati non sono artefatti numerici.

3.2 Selettività Semantica

La riorganizzazione indotta dall'allineamento è selettiva, non uniforme.

• Normativo vs Fattuale: I concetti normativi esibiscono spostamenti di torsione significativamente maggiori ($\Delta T_1 = 1.74$) rispetto ai concetti fattuali ($\Delta T_1 = 1.47$).
• Variazione Fine-Grained: Anche all'interno di concetti normativi correlati (es. GIUSTIZIA, PACE, PROTESTA), gli spostamenti di torsione variano, indicando che MENTIS cattura la riorientazione direzionale oltre le partizioni semantiche grossolane.
• Sensibilità al Framing: La metrica traccia il framing saliente per l'allineamento piuttosto che limitarsi a riprodurre le etichette del dataset (es. il concetto "GUERRA", etichettato come fattuale, mostra il singolo spostamento di concetto più grande).

3.3 Correlazione con l'Entropia

La torsione è negativamente correlata con l'entropia contestuale.

• Contesti con entropia più alta (maggiore incertezza) sono associati a norme di torsione inferiori.
• Le riorganizzazioni indotte dall'allineamento più forti avvengono in contesti semanticamente strutturati e con entropia medio-bassa, suggerendo che l'allineamento modifichi direzioni stabili condizionate dal task piuttosto che amplificare l'incertezza.

3.4 Localizzazione della Profondità (ERA)

Gli effetti dell'allineamento si localizzano in bande di profondità specifiche per architettura, non in layer universali.

• OLMo-2-1124-7B & Tülu-3-8B: Picco ai layer 29–30.
• Llama-3.1-8B: Picco al layer 20.
• Mistral-7B-v0.3: Picco al layer 14.
  Ciò indica che l'aggiornamento IT→PA interagisce con l'organizzazione rappresentazionale specifica di ogni famiglia di modelli.

3.5 Prompt Sicuri vs Non Sicuri

Contrariamente all'ipotesi che i prompt non sicuri guidino il maggior cambiamento interno (tramite meccanismi di rifiuto), i prompt sicuri inducono spostamenti di torsione maggiori in tutte e quattro le architetture.

• Gli autori interpretano questo come il fatto che i prompt sicuri richiedano al modello di preservare l'utilità e una struttura coerente con le norme senza collassare nel rifiuto, inducendo una riorganizzazione interna più ampia rispetto ai percorsi stereotipati innescati dai prompt non sicuri.

4. Significato e Rivendicazioni

Il paper sostiene che MENTIS fornisca la prima firma geometrica strutturata e localizzata nella profondità dell'allineamento delle preferenze.

• Oltre il Comportamento: I risultati suggeriscono che l'allineamento lasci tracce geometriche interne che le valutazioni a livello comportamentale da sole non possono rivelare.
• Definizione Operativa di Credenza: Definendo la credenza come una direzione interna condizionata dal task, il paper offre un modo misurabile per tracciare il "cambio di credenza", distinto dalla revisione filosofica delle credenze.
• Utilità Diagnostica: Il framework identifica che l'allineamento non è un offset globale, ma una riorganizzazione selettiva concentrata in concetti rilevanti per i valori e in specifici layer architettonici.
• Limitazioni: Gli autori dichiarano esplicitamente che MENTIS è un framework diagnostico, non una teoria causale. Identifica correlati geometrici dell'allineamento, ma non prova che i layer o i concetti ad alta torsione siano causalmente necessari per il comportamento allineato. Gli effetti assololi sono piccoli ($\Delta \tau \in [0.002, 0.008]$), sottolineando che il contributo risiede nella struttura dello spostamento (selettività, correlazione con l'entropia, localizzazione della profondità) piuttosto che nella magnitudo del movimento grezzo.

Il paper conclude che l'allineamento delle preferenze riorganizza il calcolo interno in un modo che è selettivo tra i concetti, strutturato dall'entropia e localizzato in profondità specifiche per l'architettura, fornendo una nuova lente per comprendere la meccanica interna degli LLM allineati.