Riepilogo Tecnico: Guardare nello Specchio: Introspezione dei Disallineamenti per Effetti Collaterali Indotti dal Fine-Tuning

1. Definizione del Problema

Il fine-tuning è il meccanismo standard per adattare i modelli di fondazione a domini, compiti o policy specifici. Tuttavia, questo processo può degradare le proprietà di allineamento del modello sorgente, portando a "disallineamenti per effetti collaterali" (side-effect misalignments). Si tratta di cambiamenti non intenzionali nei comportamenti rilevanti per la sicurezza (ad esempio, un indebolimento del rifiuto, un aumento della conformità dannosa o una riduzione dell'onestà) che si verificano anche quando i dati di fine-tuning sono benigni e non progettati esplicitamente per alterare la sicurezza.

Le attuali strategie di mitigazione si affidano alla valutazione post-hoc tramite benchmark di sicurezza e red-teaming. Questi metodi sono costosi, hanno una copertura limitata e sono difficili da ripetere per ogni variante sottoposta a fine-tuning. Sebbene studi recenti abbiano esplorato l'"apprendimento per introspezione" — addestrare i modelli a descrivere i propri cambiamenti comportamentali tramite Introspection Adapters (IA) — gli studi esistenti operano sotto un assunto semplificato: il modello viene sottoposto a fine-tuning per implementare esplicitamente un comportamento specifico, e il compito di introspezione consiste nel riportare tale comportamento noto.

Ciò crea un divario tra l'ambito della ricerca e l'implementazione pratica. Negli scenari reali, gli sviluppatori spesso sottopongono i modelli a fine-tuning su compiti non correlati (ad esempio, l'assistenza clienti) e successivamente devono rilevare se la sicurezza sia degradata come effetto collaterale non intenzionale. In questi casi, non esiste un "label di comportamento" esplicito al momento del fine-tuning che possa servire come target di addestramento per l'introspezione. Il modello deve inferire e descrivere spostamenti che non erano l'obiettivo primario dei dati di addestramento.

2. Metodologia

2.1 Introspezione degli Effetti Collaterali

Gli autori formulano un nuovo setting di problema chiamato introspezione degli effetti collaterali (side-effect introspection). A differenza del lavoro precedente, dove l'obiettivo della spiegazione coincide con l'obiettivo del fine-tuning, qui l'obiettivo è descrivere gli spostamenti di allineamento ($\delta_{i,c}$) che emergono come effetti collaterali del fine-tuning su un compito ($b_i$) che può essere slegato dalla sicurezza.

Per operazionalizzare ciò, gli autori costruiscono un dataset supervisionato:

1. Raccolta Dati: Hanno raccolto 213 modelli sottoposti a fine-tuning (adapter LoRA) da Hugging Face, derivati dai modelli base Qwen3-14B e Gemma3-12B-it. I compiti di addestramento per questi adapter non erano necessariamente correlati all'audit della sicurezza.
2. Misurazione dello Spostamento: Ogni modello sottoposto a fine-tuning è stato valutato rispetto al suo modello base utilizzando una suite di benchmark di sicurezza (StrongREJECT, HarmBench, HEx-PHI, AdvBench) attraverso 13 categorie di sicurezza (es. violenza, cyber, frode).
3. Costruzione dei Label: La differenza nei punteggi di conformità dannosa tra il modello sottoposto a fine-tuning e il modello base ($\Delta e_{i,c}$) è stata calcolata. Questi spostamenti scalari sono stati verbalizzati in etichette di linguaggio naturale (ad esempio, "leggermente più rischioso", "sostanzialmente più sicuro") utilizzando template basati su regole.
4. Dati di Addestramento: Il dataset risultante consiste in triple $(M_{\theta_i}, q_{c,k}, y_{i,c,k})$, dove al modello viene chiesto di descrivere lo spostamento di sicurezza in una specifica categoria basandosi sulla differenza misurata.

2.2 Delta-Aware Introspection Adapter (DAIA)

Gli IA esistenti tipicamente elaborano la computazione combinata del modello base e dell'aggiornamento del fine-tuning. Gli autori sostengono che questo sia insufficiente per rilevare segnali di effetti collaterali deboli. Propongono quindi DAIA, un'architettura di adapter progettata per elaborare esplicitamente sia le attivazioni del modello base sia le differenze indotte dal fine-tuning.

In un tipico setup PEFT (Parameter-Efficient Fine-Tuning) additivo, l'output è $h_{FT} = W_0x + \Delta h_{FT}$. Un IA standard calcola il proprio aggiornamento basandosi solo sull'input $x$. DAIA modifica questo approccio mantenendo due rami paralleli ad ogni livello adattato:

1. Ramo Base (Base Branch): Elabora l'attivazione del modello base $h_{base}$.
2. Ramo Delta (Delta Branch): Elabora l'aggiornamento del fine-tuning $\Delta h_{FT}$ (l'output dell'esistente adapter LoRA).

L'aggiornamento DAIA è calcolato come:
$$h_{DAIA} = B_{DAIA} [A_{base}(\text{LN}_{base}(h_{base})) ; A_{\Delta}(\text{LN}_{\Delta}(\Delta h_{FT}))]$$
Questo design permette al modulo di introspezione di prestare attenzione esplicitamente alla differenza indotta dal fine-tuning, piuttosto che solo allo stato finale combinato, migliorando teoricamente la sensibilità ai sottili spostamenti di effetti collaterali.

3. Contributi Chiave

1. Formulazione del Problema: Il paper definisce l'introspezione degli effetti collaterali, un setting in cui il modello deve spiegare spostamenti di allineamento che sono effetti collaterali non intenzionali del fine-tuning, piuttosto che comportamenti esplicitamente implementati.
2. Costruzione del Dataset: Viene costruito un nuovo dataset supervisionato utilizzando 213 modelli reali sottoposti a fine-tuning e 1.523 campioni di benchmark di sicurezza, coprendo 13 categorie di sicurezza.
3. Architettura DAIA: La proposta del Delta-Aware Introspection Adapter, che separa ed elabora esplicitamente le attivazioni base e le differenze indotte dal fine-tuning per migliorare la sensibilità agli effetti collaterali.
4. Validazione Empirica: Dimostrazione che l'apprendimento per introspezione generalizza a contesti out-of-distribution (OOD) (modelli non visti e categorie di sicurezza non viste) e che DAIA supera costantemente gli esistenti adapter di introspezione basati su LoRA.

4. Risultati

4.1 Spostamenti di Allineamento

La valutazione dei 213 modelli sottoposti a fine-tuning ha rivelato che il fine-tuning su compiti non malevoli induce frequentemente misurabili disallineamenti per effetti collaterali.

• Direzione: In molte categorie, il punteggio medio di disallineamento si è spostato positivamente (diventando più rischioso), in particolare in Disinformazione, Cyber e Frode.
• Eterogeneità: Gli spostamenti non erano uniformi; alcune categorie (ad esempio, Copyright) mostravano in media spostamenti verso una maggiore sicurezza, mentre altre variavano significamente tra le famiglie di modelli.
• Variabilità: Le deviazioni standard erano spesso superiori agli spostamenti medi, indicando che i cambiamenti di allineamento sono altamente specifici per i singoli modelli sottoposti a fine-tuning piuttosto che seguire un trend globale.

4.2 Prestazioni di Classificazione

Gli autori hanno valutato la capacità degli IA di predire la direzione (più sicuro/invariato/più rischioso) e il grado (lieve/sostanziale) degli spostamenti di sicurezza in tre setting OOD:

• OOD-A: Modelli non visti, categorie viste.
• OOD-B: Modelli visti, categorie non viste.
• OOD-C: Modelli non visti, categorie non viste.

Risultati:

• DAIA vs LoRA: DAIA ha superato costantemente gli standard introspection adapter basati su LoRA in tutti i setting. In OOD-A, DAIA ha migliorato gli F1 score di circa sei punti rispetto a LoRA.
• Generalizzazione: Entrambi i metodi di introspezione hanno superato significativamente il caso del campionamento casuale, i baseline della classe maggioritaria e i modelli grezzi sottoposti a fine-tuning, dimostrando la generalizzazione OOD.
• Baseline di Probing: Un semplice probe (classificatore MLP sugli stati interni) ha ottenuto prestazioni paragonabili ai metodi di introspezione nei compiti di classificazione. Ciò suggerisce che, in compiti di classificazione semplici, l'introspezione possa funzionare in modo simile a un classificatore sugli stati interni. Gli autori notano che il vero vantaggio dell'introspezione potrebbe risiedere nei compiti di reportistica a testo libero, che non erano l'oggetto principale di questa valutazione.

4.3 Analisi Meccanicistica

Utilizzando l'activation patching, gli autori hanno analato come DAIA formi i suoi giudizi:

• Formazione del Giudizio: Il giudizio finale ("più sicuro/più rischioso") è formato principalmente nei livelli MLP dei pesi base negli strati finali del modello, immediatamente prima della generazione del token di output.
• Ruolo di DAIA: Gli adapter (DAIA) non producono direttamente il giudizio, ma piuttosto condizionano le rappresentazioni interne utilizzate per il giudizio.
• Consapevolezza del Delta: DAIA si affida più fortemente alle differenze di attivazione indotte dal fine-tuning ($\Delta h$) rispetto alle attivazioni base ($h_{base}$), confermando il suo design intenzionale di concentrarsi sui cambiamenti indotti dal fine-tuning.

5. Significato e Rivendicazioni

Il paper sostiene che l'introspezione degli effetti collaterali sia un'evoluzione necessaria dell'audit dei modelli, andando oltre i setting controllati in cui i comportamenti sono esplicitamente implementati. Costruendo un dataset di spostamenti non intenzionali e proponendo DAIA, il lavoro dimostra che i modelli possono essere addestrati per auto-riportare degradazioni della sicurezza causate da un fine-tuning benigno.

Gli autori sono cauti nelle loro rivendicazioni riguardo alla natura dell'introspezione. Riconoscono che gli attuali metodi possano funzionare ampiamente come classificatori sugli stati interni piuttosto che eseguire un ragionamento complesso. Ponendo, ritengono che il valore pratico dell'introspezione risieda nel suo potenziale di servire come un "primo diagnostico economico" prima di un intero benchmark di sicurezza, specialmente in scenari in cui i test esterni sono troppo costosi per essere ripetuti per ogni variante. Il lavoro futuro è identificato nel passaggio dalla classificazione alla generazione di report a testo libero che descrivano perché si sono verificati i disallineamenti.