A Gravitational Interpretation of Fine-Tuning Reversion

Sintesi Tecnica: Un'Interpretazione Gravitazionale della Reversione del Fine-Tuning

Definizione del Problema
Il documento affronta il fenomeno per cui il fine-tuning di grandi modelli linguistici (LLM) su dati benigni e innocui può parzialmente annullare i comportamenti di sicurezza acquisiti durante le fasi di addestramento precedenti. Questa "erosione della sicurezza" si manifesta come la riemersione di capacità dannose, il trasferimento di tratti latenti attraverso la supervisione non correlata e la fragilità in contesti generativi che vanno oltre la standard sicurezza text-to-text. Mentre la letteratura esistente stabilisce che l'allineamento della sicurezza occupa uno spazio sottile a basso rango e che i modelli rimangono sicuri solo entro limitati bacini locali, manca una spiegazione meccanicistica unificata sul perché gli aggiornamenti post-allineamento benigni producano così frequentemente questi effetti di reversione in diversi setting. Gli autori sostengono che queste non siano semplicemente nuove capacità acquisite non siano semplicemente nuove capacità in conflitto con quelle vecchie, proponendo invece che rappresentino un ritorno a regioni comportamentali precedenti e dominanti.

Metodologia
Gli autori propongono un' "interpretazione gravitazionale" della reversione del fine-tuning, basata sull'asimmetria geometrica della storia dell'addestramento. È importante chiarire che la terminologia "gravitazionale" è una metafora geometrica e di ottimizzazione che descrive un bias indotto dalla storia dell'addestramento, e non una legge dinamica fisica letterale. L'ipotesi centrale è che le grandi fasi iniziali di addestramento (pre-training, ampio fine-tuning di utilità) creino manifold comportamentali dominanti, mentre le fasi successive di allineamento o specializzazione agiscano come spostamenti superficiali da tali manifold. Il successivo fine-tuning benigno ha l'ipotesi di ereditare una persistente "componente di reversione" che punta verso la regione dominante precedente.

Per operazionalizzare ciò, il documento definisce oggetti specifici nello spazio delle attivazioni:

1. Direzione di Reversione Definita dal Testimone ($v_{rev}$): Invece di osservare direttamente il manifold latente, gli autori costruiscono "testimoni di sola utilità" ($\theta_H$). Questi sono checkpoint derivati dal modello base tramite brevi fasi di fine-tuning focalizzate esclusivamente sull'utilità. Il vettore $v_{rev}$ è definito come lo spostamento nello spazio delle attivazioni dal modello di partenza allineato alla sicurezza ($\theta_S$) verso un testimone utile ($\theta_H$).
2. Decomposizione della Traiettoria: Gli autori ipotizzano che il gradiente di un obiettivo benigno si decomponga in una componente di task ($g_{task}$) e una componente di reversione ($g_{rev}$) allineata con $v_{rev}$.
3. Setup Sperimentale:
   • Modelli: Gli esperimenti principali utilizzano Llama-3.1-8B; i test di supporto utilizzano Llama-3.2-3B e Qwen2.5-3B.
   • Sonde: Un set fisso di 16 prompt AdvBench funge da famiglia di sonde per misurare gli spostamenti nello spazio delle attivazioni.
   • Fine-tuning: Il fine-tuning benigno viene eseguito su Alpaca (istruzioni), HumanEvalPack (codice) e GSM8K (matematica) utilizzando sia LoRA che full fine-tuning.
   • Intervento: Gli autori introducono una perdita ausiliaria durante il fine-tuning benigno per bloccare o amplificare selettivamente il movimento lungo $v_{rev}$, testando la rilevanza causale di questa direzione.

Risultati Chiave

1. Emergenza Direzionale: Nel setting principale 8B, l'allineamento tra la traiettoria del fine-tuning e $v_{rev}$ aumenta rapidamente. La similarità del coseno passa da $0.429 \pm 0.052$ dopo il primo aggiornamento a $0.647 \pm 0.021$ al passo 20. Questo allineamento è statisticamente significativo, superando il $p_{99}$ di un nulla isotropo dello spazio delle attivazioni in ogni coppia di run-step osservata.
2. Stabilità e Convergenza: La direzione $v_{rev}$ è stabile attraverso diverse costruzioni di testimoni di sola utilità (LoRA e full fine-tuning con molteplici seed). Inoltre, diversi task benigni (ad esempio, codice vs matematica) che inducono aggiornamenti dei pesi quasi ortogonali convergono verso spostamenti altamente allineati nello spazio delle attivazioni lungo l'asse $v_{rev}$ (media del coseno pairwise $\approx 0.82$).
3. Accoppiamento Comportamentale: Nei run di baseline, la crescita dell'allineamento con $v_{rev}$ co-evolve con la deriva insicura. L'allineamento geometrico predice la degradazione a valle con una correlazione di Spearman di $r = 0.877$. Ad esempio, il full fine-tuning su Alpaca porta a un tasso di pericolosità del $19.0\% \pm 4.0\%$ al passo 100, mentre gli aggiornamenti LoRA mostrano una varianza dipendente dal task.
4. Intervento Causale: Bloccare selettivamente il movimento lungo $v_{rev}$ durante il fine-tuning benigno altera significativamente gli esiti. Nel setting 8B, bloccare $v_{rev}$ riduce la pericolosità dal $19.0\% \pm 4.0\%$ (baseline) all' $8.5\% \pm 1.5\%$ al passo 100, mantenendo stabile la performance del task (la perplessità rimane stabile). Al contrario, spingere lungo $v_{rev}$ aumenta la pericolosità al $59.0\%$. I controlli a direzione casuale non riproducono questo effetto, confermando la specificità di $v_{rev}$.
5. Generalizzazione: La direzione di reversione persiste anche quando il punto di partenza è spostato da una specializzazione non legata alla sicurezza (ad esempio, modelli specializzati nel codice), suggerendo che il fenomeno sia guidato dall'asimmetria della storia di addestramento piuttosto che essere unico dell'allineamento della sicurezza.

Significatività e Rivendicazioni
Il documento sostiene di fornire una lente meccanicistica unificata per comprendere la fragilità post-allineamento. I suoi contributi primari sono:

• Rifocalizzazione: Postula che la degradazione della sicurezza non sia solo un modo di fallimento ristretto, ma un caso di un fenomeno più ampio di reversione dipendente dalla storia, dove l'ottimizzazione segue naturalmente un percorso di ritorno verso le regioni comportamentali precedenti e dominanti.
• Identificazione di un Mediatore Causale: Identifica una direzione concreta, definita dalla storia ($v_{rev}$), che il successivo fine-tuning segue naturalmente. Fondamentalmente, il documento dimostra che manipolare questa direzione cambia causalmente gli esiti di sicurezza a valle.
• Validità Operativa: Gli autori dichiarano esplicitamente di non pretendere di osservare direttamente il manifold dominante, né di asserire che $v_{rev}$ sia l'unica direzione di sicurezza. Piuttosto, identificano una direzione robusta, definita dal testimone, che spiega e controlla parzialmente le dinamiche di reversione precoce.

Il documento conclude che il bias "gravitazionale" indotto da storie di addestramento diseguali (grandi fasi iniziali rispetto a fasi successive superficiali) è una conseguenza strutturale che deve essere affrontata nelle strategie di allineamento, poiché le semplici correzioni superficiali potrebbero essere insufficienti a contrastare la persistente componente di reversione.