Sintesi Tecnica: Sidecar di Processo per la Revocabilità della Memoria Appresa

Definizione del Problema

I modelli linguistici di grandi dimensioni (LLM) distribuiti subiscono spesso una pipeline di addestramento a più stadi: un modello base viene adattato per competenze pubbliche, viene poi perfezionato su fatti privati o proprietari (la "fase di memoria") e infine sottoposto ad addestramento di sicurezza (la "fase di sicurezza") per apprendere comportamenti di rifiuto relativi a tali entità specifiche. Una sfida critica sorge quando la memoria privata deve essere revocata (ad esempio, per la conformità alla privacy) dopo che la fase di sicurezza è stata applicata.

L'obiettivo è produrre un "oracolo controfattuale" ($\theta_{AS}$): un modello che abbia subito esattamente lo stesso addestramento di sicurezza dell'artefatto distribuito ($\theta_{AMS}$), ma che non abbia mai appreso la memoria privata in primo luogo. L'editing dello spazio dei pesi standard, specificamente l'aritmetica dei task (sottraendo il delta della memoria $\Delta M = \theta_{AM} - \theta_A$ da $\theta_{AMS}$), fallisce in questo contesto. Questo perché l'ottimizzatore di sicurezza agisce come una mappa non lineare $T$ che "trasporta" la direzione della memoria. La direzione presente nel modello finale è $DT(\theta_A)\Delta M$, non semplicemente $\Delta M$. L'aritmetica dei task ingenua assume implicitamente che il Jacobiano $DT(\theta_A)$ sia l'identità, ignorando come l'addestramento di sicurezza curvi la direzione della memoria.

Metodologia: Sidecar di Processo

Il documento introduce i sidecar di processo, una famiglia di edit a due coefficienti progettata per stimare e cancellare la direzione della memoria trasportata. L'edit è definito come:
$$\hat{\theta}(\lambda, \gamma) = \theta_{AMS} - \lambda \Delta M - \gamma \hat{R}_{S \leftarrow M}$$
dove $\hat{R}_{S \leftarrow M}$ è una stima della direzione residua del trasporto.

Stimare la Direzione del Trasporto

Il metodo stima il prodotto Jacobiano-vettore (JVP) $J_S(\Delta M) = DT(\theta_A)\Delta M$ utilizzando una secante centrata attraverso il processo realizzato di addestramento alla sicurezza. Invece di calcolare il Jacobiano esatto dell'intero tracciato di ottimizzazione AdamW, il metodo calcola:
$$\hat{J}_{S,\epsilon}(\Delta M) = \frac{T(\theta_A + \epsilon \Delta M) - T(\theta_A - \epsilon \Delta M)}{2\epsilon}$$
L'implementazione imposta $\epsilon = 1$, corrispondente alla scala naturale dell'edit della memoria. Poiché $T(\theta_A + \Delta M) = \theta_{AMS}$ è l'artefatto spedito, il metodo richiede solo il calcolo di un ulteriore tracciato di sicurezza a $\theta_A - \Delta M$. Il sidecar residuo è quindi $\hat{R}_{S \leftarrow M} = \hat{J}_{S,\epsilon}(\Delta M) - \Delta M$.

La Famiglia Bidimensionale

La famiglia di edit ricerca due coefficienti:

1. $\lambda$: Controlla la sottrazione del delta di memoria grezzo.
2. $\gamma$: Controlla la sottrazione della direzione di trasporto stimata.

Questa famiglia comprende:

• Aritmetica dei Task Ingenua: $\gamma = 0$.
• Linea Process-JVP: $\gamma = \lambda$ (sottrazione della direzione di trasporto completa).
• Famiglia 2D Completa: Permette a $\gamma$ di variare indipendentemente, consentendo correzioni fuori diagonale che tengono conto degli effetti di curvatura finita nel paesaggio di validazione.

Un selettore distribuibile sceglie $(\lambda, \gamma)$ da una griglia memorizzata basandosi su metriche di validazione (AUC del segreto, ritenzione delle competenze e margine di rifiuto) senza accedere all'oracolo controfattuale o ai dati di test.

Contributi Chiave

1. Dimostrazione Teorica della Necessità del Primo Ordine

Il documento dimostra che ogni volta che l'addestramento di sicurezza curva la direzione della memoria (ovvero $DT(\theta_A)\Delta M \neq \Delta M$), qualsiasi edit scalare limitato alla linea della memoria grezza lascia un errore controfattuale del primo ordine.

• Teorema 2: Mostra che l'edit sidecar esatto a $(\lambda, \gamma) = (1, 1)$ recupera l'oracolo controfattuale $\theta_{AS}$ fino all'errore del secondo ordine ($O(\|\Delta M\|^2)$), trattando AdamW come una mappa a stato aumentato su parametri e momenti.
• Teorema 3: Dimostra che per qualsiasi edit di aritmetica dei task scalare, l'errore è limitato inferiormente dalla componente della direzione trasportata ortogonale alla linea della memoria grezza. Il sidecar di processo fornisce esattamente questa componente mancante.

2. Vantaggio del Secondo Ordine della Famiglia 2D

Il documento dimostra che la famiglia 2D completa offre vantaggi rispetto alla linea Process-JVP ($\gamma = \lambda$) al secondo ordine.

• Teorema 4: Stabilisce un confine quadratico locale. Se l'obiettivo di validazione ha specifiche proprietà di curvatura (anisotropia dell'Essiana e proiezioni fuori diagonale), la famiglia 2D può trovare una correzione fuori diagonale ($\zeta = \lambda - \gamma \neq 0$) che migliora strettamente la linea Process-JVP 1D. Questo vantaggio è guidato dalla selezione della validazione a curvatura finita, non solo dalla cancellazione del primo ordine.

3. Critica dell'Unlearning tramite Gradiente Ascendente

Il documento identifica un modo di fallimento locale per l'unlearning tramite gradiente ascendente (FT-unlearn).

• Proposizione 5: Una volta che l'addestramento di sicurezza riduce il gradiente di sicurezza del primo ordine, le direzioni di ascesa della memoria con curvatura di sicurezza positiva causano l'aumento della perdita di sicurezza al secondo ordine. Ciò spiega perché l'FT-unlearn spesso provoca il collasso del comportamento di rifiuto mentre tenta di dimenticare.

Risultati Sperimentali

Il metodo è stato valutato su tre scale di modello (Qwen-2.5-0.5B, Qwen-2.5-1.5B, Llama-3.2-1B) e una sonda da 9B, con 20 prove indipendenti per scala.

• Preservazione del Rifiuto: Il sidecar di processo 2D selezionato dalla validazione ha migliorato la chiusura del rifiuto (recupero del margine di rifiuto dell'oracolo di sola sicurezza) rispetto all'aritmetica dei task ingenua in 60/60 prove.
• Dimenticanza del Segreto: Entrambi i metodi hanno ottenuto un AUC del segreto comparabile (distinguibilità vicina al caso), indicando che il miglioramento del rifiuto non è stato ottenuto sacrificando la dimenticanza.
• 2D vs 1D: La famiglia 2D completa ha superato la linea Process-JVP corrispondente (fetta diagonale $\gamma = \lambda$) in 60/60 prove accoppiate.
• Significatività Statistica: Aggregando per cluster di modello-dato, sono stati ottenuti 15 medi di blocco positivi con un test esatto di segno $p = 2^{-15} \approx 3.05 \times 10^{-5}$. Una replica confermativa fresca su seed non visti (70 prove totali) ha riprodotto l'effetto con $p \approx 9.5 \times 10^{-7}$.
• Performance del Baseline: L'unlearning tramite gradiente ascendente (FT-unlearn) ha prodotto una chiusura del rifiuto negativa (es. da -15 a -55), indicando un completo collasso della politica di sicurezza. I baseline di model merging (TIES, DARE) non sono riusciti a recuperare la direzione trasportata, ereditando l'incompletezza del primo ordine dell'aritmetica dei task ingenua.

Significato e Rivendicazioni

Il documento sostiene che i sidecar di processo sono la famiglia di edit geometricamente corretta per revocare la memoria appresa sotto l'addestramento di sicurezza successivo.

• Correttezza del Primo Ordine: Sono necessari per cancellare la direzione della memoria trasportata, un compito che l'aritmetica dei task scalare non può eseguire.
• Accuratezza del Secondo Ordine: L'ideale sidecar recupera l'oracolo controfattuale fino all'errore del secondo ordine.
• Robustezza Empirica: La famiglia 2D fornisce guadagni pratici rispetto alle linee 1D sfruttando la validazione a curvatura finita, superando costantemente i baseline di aritmetica dei task ingenua e Process-JVP attraverso diverse scale di modelli e architetture.
• Fattibilità della Distribuzione: Il metodo opera come un edit in loco utilizzando solo l'artefatto spedito, il delta della memoria e un ulteriore tracciato di sicurezza, senza richiedere il retraining o l'accesso all'oracolo controfattuale.

Gli autori sottolineano che il coefficiente fuori diagonale ($\zeta$) è una quantità locale determinata dalla geometria di validazione, non una legge di scala universale, e che il successo del metodo dipende dal "tracciato realizzato" specifico del processo di addestramento alla sicurezza.