One Mask to Rule Them All: On Hidden Facts after Editing and How to Find Them

Riepilogo Tecnico: "Una Maschera per Governarle Tutte: Su Fatti Nascosti dopo l'Editing e Come Trovarli"

Enunciato del Problema
I metodi di editing della conoscenza (KE), in particolare gli approcci di localizzazione e modifica come ROME e MEMIT, mirano ad aggiornare le associazioni fattuali nei modelli transformer modificando direttamente i pesi degli strati MLP. Questi metodi operano sotto l'ipotesi che gli strati MLP funzionino come memorie associative in cui aggiornamenti mirati possono sovrascrivere fatti specifici. Tuttavia, i meccanismi interni di queste modifiche rimangono poco esplorati. Esiste un enigma concettuale: se la conoscenza fattuale nei transformer è distribuita attraverso percorsi ridondanti (l'"effetto Idra"), come può la modifica di un singolo strato o di un piccolo intervallo di strati sovrascrivere con successo il recupero della conoscenza? Le valutazioni attuali si basano esclusivamente sul comportamento di output (cioè, il modello produce il nuovo fatto?), lasciando irrisolta la questione se la conoscenza sia realmente sovrascritta o semplicemente soppressa.

Metodologia
Gli autori ipotizzano che ROME e MEMIT non sovrascrivano la conoscenza originale, ma ne sopprimano il recupero iniettando segnali amplificati che dirottano l'attenzione a valle. Per verificare ciò, propongono di isolare un sottospazio funzionale comune critico per il mantenimento delle modifiche su fatti diversi.

1. Addestramento della Maschera Condivisa: Il metodo centrale consiste nell'addestrare una maschera binaria compatta ($K$) sulle matrici di pesi modificate ($\hat{W}$) di molteplici modifiche diverse simultaneamente. La maschera è parametrizzata da parametri addestrabili $\Theta$ e applicata elemento per elemento ($\hat{W} \odot K$) durante un passaggio in avanti condizionale.
2. Obiettivo di Ottimizzazione: La maschera è addestrata per soddisfare tre vincoli tramite una funzione di perdita combinata:
   • Ripristino: Il modello potato ($M_p$) deve preferire l'oggetto originale ($o$) rispetto all'oggetto modificato ($o^*$).
   • Minimalità: La maschera dovrebbe potare il più piccolo sottoinsieme possibile di pesi (vincolo di sparsità).
   • Conservazione del Comportamento: Le capacità linguistiche generali del modello potato (misurate dalla divergenza KL rispetto al modello originale) devono rimanere intatte.
3. Configurazione Sperimentale: Lo studio utilizza il dataset CounterFact su tre modelli (GPT-2 XL, LLaMA-3.2, Qwen2.5) e due metodi di editing (ROME per modifiche singole, MEMIT per modifiche in batch). La maschera è addestrata su un insieme di modifiche e valutata sia su insiemi di addestramento che su insiemi di test tenuti da parte, incluse relazioni fuori distribuzione (OOD).

Risultati Chiave

• Inversione Universale: Una singola maschera binaria sparsa (che pota tipicamente <10% dei pesi) inverte con successo oltre l'80% delle modifiche sull'insieme di addestramento e oltre il 70% sulle modifiche di test non viste. Questa generalizzazione vale per diversi modelli e metodi di editing, suggerendo un meccanismo strutturale condiviso.
• Identificazione del Meccanismo: La decomposizione del flusso residuo rivela che la maschera inverte le modifiche eliminando l'overattention (eccessiva attenzione) negli strati successivi. Mentre i modelli modificati mostrano picchi massicci nei contributi di attenzione a valle dello strato di modifica, i modelli potati ripristinano i livelli di attenzione per corrispondere al modello originale. Crucialmente, i percorsi MLP, che continuano a codificare la conoscenza originale, rimangono largamente inalterati dalla maschera.
• Necessità del Meccanismo: L'iniezione della maschera appresa durante il processo di editing (bloccando il sottospazio identificato) fa crollare il tasso di successo dell'editing dal 98% al 38%. Ciò conferma che il sottospazio di pesi identificato non è solo sufficiente per l'inversione, ma è strutturalmente necessario affinché le modifiche abbiano successo.
• Ripristino delle Capacità: L'applicazione della maschera recupera le capacità generali di modellazione del linguaggio (perplessità) che erano state degradate dalle modifiche ROME, riducendo spesso i picchi di perplessità da milioni ai livelli di base.

Significato e Affermazioni
Il documento afferma di riformulare fondamentalmente la comprensione dei metodi di localizzazione e modifica:

1. Soppressione vs. Sovrascrittura: ROME e MEMIT non sovrascrivono la conoscenza archiviata; ne sopprimono il recupero dirottando i meccanismi di attenzione. I fatti originali rimangono codificati nei percorsi MLP ma vengono impediti di emergere a causa di un'attenzione sproporzionata al segnale modificato.
2. Sottospazio Funzionale Condiviso: Nonostante i cambiamenti specifici dei pesi legati ai fatti, modifiche diverse si basano su un sottoinsieme comune e piccolo di pesi per mantenere la modifica. Questo meccanismo condiviso spiega perché questi metodi falliscono nel propagare i cambiamenti a fatti correlati (effetti a cascata) e perché sono vulnerabili all'inversione.
3. Difesa e Rilevamento: L'esistenza di un meccanismo condiviso implica che le modifiche lasciano una firma comune. Una singola maschera sparsa può non solo invertire modifiche indesiderate, ma anche "bloccare" un modello contro future modifiche bloccando il sottospazio necessario. Ciò fornisce un percorso pratico per difendere i modelli a pesi aperti da editing malevolo e rilevare fatti modificati in base alla loro impronta strutturale condivisa.

Gli autori concludono che l'ipotesi della memoria associativa che motiva questi metodi è incompleta; sebbene i fatti possano essere archiviati negli MLP, il recupero dipende fortemente dall'attenzione, che i metodi di editing attuali sfruttano piuttosto che aggiornare. Questo limite suggerisce un limite superiore a ciò che i metodi di localizzazione e modifica possono raggiungere: possono sopprimere il recupero ma non possono realmente modificare il grafo della conoscenza sottostante.