Riepilogo Tecnico: Dimenticanza Geometrica per LLM con Minima Divulgazione di Dati

Enunciato del Problema

Man mano che i Modelli Linguistici di Grandi Dimensioni (LLM) vengono implementati in sistemi reali, affrontano vincoli normativi e di governance crescenti che richiedono la rimozione a posteriori di contenuti specifici (ad esempio, dati personali, argomenti sensibili) preservando al contempo l'utilità generale. Questo è noto come dimenticanza selettiva.

Gli approcci esistenti si basano tipicamente su pipeline guidate dai dati che richiedono l'accesso al corpus di addestramento originale. Questi metodi rientrano generalmente in due categorie:

1. Ottimizzazione del rifiuto a livello di output: Induzione di rifiuti o risposte non corrispondenti tramite ingegneria dei prompt o interventi al momento dell'inferenza.
2. Aggiornamenti dei parametri: Utilizzo di procedure basate sul gradiente su dataset designati di "dimenticanza" e "conservazione".

Tuttavia, queste strategie affrontano una tensione critica: spesso richiedono l'accesso ai dati di addestramento originali (che potrebbero non essere disponibili a causa di vincoli di privacy, licenza o governance) e rischiano di ri-esporre dati sensibili durante il processo di dimenticanza. Inoltre, fare affidamento su grandi flussi di conservazione corrispondenti alla distribuzione per prevenire il degrado collaterale è spesso poco pratico negli ambienti implementati. Il lavoro ipotizza la necessità di una dimenticanza selettiva senza corpus originale che ottenga una forte soppressione del target con minima divulgazione di dati.

Metodologia: Dimenticanza Geometrica (GU)

Gli autori propongono la Dimenticanza Geometrica (GU), un approccio a livello di rappresentazione che opera direttamente sugli stati di pianificazione al momento del prompt del modello, senza accedere al corpus di addestramento originale. Il metodo si fonda sull'osservazione che le rappresentazioni nascoste degli LLM nella fase del prompt codificano segnali decodificabili linearmente predittivi delle proprietà della risposta, e che i fattori semantici di alto livello sono spesso strutturati in sottospazi lineari a bassa dimensionalità.

GU procede in tre fasi fondamentali:

1. Costruzione della Geometria di Pianificazione del Target

Invece di utilizzare i dati di addestramento originali, GU definisce un piccolo insieme di prompt di riferimento sicuri ($D_{ref}$) progettati per elicitarre comportamenti sicuri desiderati (ad esempio, template di rifiuto o risposte "Non lo so").

• Il modello elabora questi prompt per estrarre stati nascosti al momento del prompt ($h^{pr}_{\ell}$) a livelli specifici.
• Un sottospazio a basso rango (la "geometria di pianificazione sicura") viene stimato tramite PCA su queste attivazioni centrate.
• Viene calcolato un proiettore ortogonale $P_{\ell}$ per mappare i vettori su questo sottospazio sicuro, mentre $P^{\perp}_{\ell}$ proietta sul complemento ortogonale. Questi buffer vengono precalcolati e congelati.

2. Prompt Virtuali Condizionati da Ancore

Per evitare di richiedere un dataset completo di dimenticanza, GU genera un insieme compatto di prompt virtuali ($D_{virt}$) utilizzando punti di ancoraggio (ad esempio, l'entità o l'argomento specifico da dimenticare).

• Le ancore vengono inserite in modelli contestuali diversificati (biografici, istruttivi, comparativi, ecc.) per creare prompt sintetici.
• Per ogni prompt, viene identificata una finestra locale di token che circonda l'occorrenza dell'ancora.
• Il modello elabora questi prompt per raccogliere stati nascosti all'interno di questa finestra.

3. Allineamento Geometrico e Stabilizzazione

Il modello viene fine-tuned per allineare gli stati nascosti dei prompt virtuali alla geometria sicura congelata, preservando al contempo l'utilità non target.

• Obiettivo Principale di Dimenticanza: Per ogni hit dell'ancora, lo stato nascosto aggregato della finestra viene scomposto in componenti dentro il sottospazio e fuori dal sottospazio. La funzione di perdita ($L_{core}$) è composta da:
  • Attrazione del Centroide ($L_{cent}$): Minimizzazione della distanza dello stato dalla media di riferimento.
  • Confinamento a Ripiegamento ($L_{fold}$): Penalizzazione dell'energia della componente residua ortogonale al sottospazio sicuro. Ciò viene ottenuto riflettendo lo stato attraverso il sottospazio e minimizzando la dissimilarità del coseno, forzando efficacemente lo stato a giacere all'interno della varietà sicura.
• Stabilizzazione lato Conservazione: Per prevenire la deriva collaterale (degrado delle conoscenze non target), il metodo impiega un modello insegnante congelato (inizializzato dallo stesso checkpoint).
  • Perdita di Mantenimento in Sfondo: Allinea l'output dello studente sui token non finestra dei prompt target con quello dell'insegnante.
  • Distillazione di Conservazione Sintetica: Allinea lo studente con l'insegnante su un pool sintetico separato di prompt non target (inclusi nomi confondibili per prevenire l'iper-generalizzazione).

Contributi Chiave

1. Framework Senza Corpus Originale: GU elimina la necessità di accedere al corpus di pre-addestramento originale o a grandi dataset di conservazione, affrontando una barriera primaria per l'implementazione pratica.
2. Intervento a Livello di Rappresentazione: Invece di modificare direttamente le probabilità di output o i pesi tramite discesa del gradiente sui dati, GU manipola la struttura direzionale degli stati di pianificazione nascosti per indurre uno stato "sfocato" o incerto per gli argomenti target.
3. Efficienza dei Dati: Il metodo ottiene una dimenticanza efficace utilizzando solo un insieme minimo di prompt sintetici generati da ancore e un piccolo insieme di prompt di riferimento sicuri.
4. Regolarizzazione Geometrica: L'introduzione del confinamento a ripiegamento e della proiezione ortogonale fornisce un meccanismo matematicamente fondato per indirizzare le rappresentazioni in un sottospazio sicuro preservando al contempo i contenuti ortogonali.

Risultati Sperimentali

Gli autori hanno valutato GU su due benchmark orientati alla privacy: ToFU (dimenticanza fattuale) e UnlearnPII (dimenticanza di informazioni personali identificabili), utilizzando i modelli LLaMA-2-7B e LLaMA-3.2-1B.

• Efficacia della Dimenticanza: GU ha ottenuto una forte soppressione del target (bassa Forza di Estrazione e ROUGE di Dimenticanza), paragonabile o superiore a baseline basate sul gradiente come GA e GradDiff.
• Preservazione dell'Utilità: GU ha mantenuto un'alta utilità del modello su compiti non target, superando i metodi che inducevano output "vuoti" o "incomprensibili".
• Rischio di Privacy: Negli Attacchi di Inferenza dell'Appartenenza (MIA), GU ha ridotto il rischio di privacy (misurato dalla deviazione dall'AUC casuale) a livelli prossimi allo zero, indicando che i dati dimenticati sono diventati indistinguibili dai dati non di addestramento.
• Caratteristiche dell'Output: A differenza delle baseline che spesso producono risposte "sostitutive" (non correlate) o risposte "vuote", GU ha prodotto coerentemente output in stile rifiuto (ad esempio, "Non sono sicuro"), rappresentando un comportamento di dimenticanza più strutturato e conforme alla sicurezza.
• Studi di Ablazione:
  • Budget di Campioni: 20–30 campioni sintetici per ancora hanno fornito il miglior equilibrio tra forza di dimenticanza e preservazione dell'utilità.
  • Selezione del Livello: L'allineamento degli ultimi uno o due livelli ha prodotto il miglior compromesso, poiché gli stati di pianificazione degli strati tardivi sono più direttamente accoppiati alla politica di generazione.

Significato e Affermazioni

Il lavoro afferma che una dimenticanza efficace può essere ottenuta con minima divulgazione di dati sintetici, supportando un paradigma "Meno è Più". Operando sulla struttura geometrica degli stati di pianificazione al momento del prompt, GU bypassa la necessità di ri-esporre dati di addestramento sensibili.

Gli autori sottolineano che, sebbene GU ottenga prestazioni elevate su valutazioni standard basate sull'estraibilità, è più efficace quando i target sono richiamati in modo affidabile dalle ancore. Riconoscono limitazioni riguardo a alias, varianti multilingue e menzioni indirette, notando che il metodo non certifica una cancellazione rappresentazionale completa sotto audit white-box più rigorosi. Tuttavia, il lavoro dimostra che il controllo di un piccolo insieme di stati al momento del prompt tramite allineamento geometrico è una strategia vitale ed efficiente per la dimenticanza selettiva in ambienti vincolati e sensibili alla privacy.