Disentangling Knowledge Representations for Large Language Model Editing

1. Il Problema: La Preservazione della Conoscenza Irrilevante Fine-Grained

L'editing della conoscenza (Knowledge Editing) nei Large Language Models (LLM) mira a aggiornare o correggere fatti specifici senza dover riaddestrare l'intero modello. Sebbene i metodi esistenti (come ROME, MEMIT, MEND) siano efficaci nell'iniettare nuove conoscenze e nel preservare fatti completamente non correlati (conoscenza coarse-grained), falliscono nel mantenere intatta la conoscenza irrelevante fine-grained.

• Definizione: La conoscenza irrelevante fine-grained si riferisce a fatti che condividono lo stesso soggetto della conoscenza da modificare, ma differiscono per relazione e oggetto (es. modificare "Il presidente degli USA è Biden" in "Il presidente degli USA è Trump" non dovrebbe alterare il fatto "La capitale degli USA è Washington").
• La Causa Radice: Le rappresentazioni del soggetto nei modelli LLM codificano intrinsecamente molteplici attributi. Di conseguenza, la conoscenza target e quella fine-grained irrilevante risultano intrecciate (entangled) nello spazio delle rappresentazioni. Quando i metodi attuali modificano la rappresentazione del soggetto per aggiornare un fatto, alterano involontariamente anche gli altri attributi collegati allo stesso soggetto, causando "effetti collaterali" indesiderati.

2. Metodologia: DiKE (Disentangling Knowledge Representations for LLM Editing)

Gli autori propongono DiKE, un approccio che separa (disentangle) le rappresentazioni della conoscenza prima di eseguire la modifica. Il framework si articola in due fasi principali e due componenti chiave:

A. Modulo di Disentanglement della Rappresentazione della Conoscenza (KRD)

Questo modulo è pre-addestrato per decomporre la rappresentazione del soggetto ($h_s$) in due vettori distinti:

1. $z^r_e$ (Target-knowledge-related): Componente legata al fatto da modificare.
2. $z^u_e$ (Target-knowledge-unrelated): Componente che codifica le informazioni fine-grained irrilevanti (da preservare).

Il KRD è composto da:

• Knowledge Disentangler: Una rete neurale che prende in input le rappresentazioni del soggetto e della relazione, producendo i due vettori disaccoppiati.
• Knowledge Recomposer: Ricostruisce la rappresentazione originale del soggetto dai due componenti disaccoppiati per garantire la coerenza semantica.

Funzione di Loss: L'addestramento del KRD utilizza tre obiettivi combinati:

1. Contrastive Loss: Massimizza l'informazione reciproca tra i componenti e il soggetto originale, trattando i due componenti come una coppia negativa per forzarne la separazione nello spazio latente.
2. Constraint Loss: Assicura che il componente "relativo al target" possa predire l'oggetto modificato, mentre il componente "irrilevante" preservi la capacità di predire gli oggetti delle conoscenze fine-grained.
3. Reconstruction Loss: Minimizza l'errore quadratico medio tra la rappresentazione originale e quella ricostruita.

B. Modulo di Editing della Conoscenza basato su Disentanglement (DKE)

Una volta addestrato, il modulo KRD viene congelato e utilizzato durante la fase di editing.

• Iniezione del Target: L'aggiornamento dei parametri avviene solo sul componente $z^r_e$ (relativo al target), lasciando invariato $z^u_e$.
• Aggiornamento Rank-One Chiuso: Derivando dalla teoria delle matrici, gli autori formulano un problema di ottimizzazione vincolato che include:
  1. L'aggiornamento per il nuovo fatto target.
  2. La preservazione della conoscenza non correlata coarse-grained (vincoli standard).
  3. Nuovo vincolo: La preservazione della rappresentazione disaccoppiata $z^u_e$ per la conoscenza fine-grained.
• Soluzione: Viene derivata una formula di aggiornamento dei pesi in forma chiusa (rank-one update) che soddisfa tutti i vincoli simultaneamente, garantendo efficienza computazionale e minimizzazione dell'invasività.

3. Contributi Chiave

1. Categorizzazione e Identificazione del Problema: Distinzione formale tra conoscenza irrelevante coarse-grained e fine-grained, identificando quest'ultima come il punto debole critico degli attuali metodi di editing.
2. Architettura DiKE: Introduzione di un metodo basato sul disentanglement delle rappresentazioni che permette di modificare selettivamente solo gli attributi rilevanti, isolando quelli irrilevanti.
3. Soluzione Matematica: Derivazione di una soluzione analitica (closed-form) per l'aggiornamento dei parametri che integra vincoli di disentanglement, evitando la necessità di ottimizzazione iterativa complessa.
4. Nuovo Benchmark (FINE-KED): Creazione di un dataset specifico per valutare la preservazione della conoscenza fine-grained, classificando le istanze in tre livelli di difficoltà (Easy, Middle, Hard) basati sulla similarità semantica tra le relazioni.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su modelli di diverse dimensioni (GPT-2 XL, GPT-J, LLaMA-3) utilizzando i benchmark FINE-KED, COUNTERFACT e MQUAKE-3K.

• Preservazione Fine-Grained: DiKE supera significativamente gli stati dell'arte (ROM, MEMIT, AlphaEdit, MEND) nella metrica Relational Locality. Su FINE-KED, mostra miglioramenti fino all'8.3% rispetto ai baseline nella preservazione della conoscenza fine-grained, mantenendo al contempo un'efficacia di editing (Efficacy Score) competitiva (spesso >97%).
• Robustezza in Batch: In scenari di editing batch con soggetti condivisi (dove le interferenze sono massime), DiKE mantiene prestazioni elevate, mentre metodi come ROME degradano drasticamente.
• Generalizzazione: Il modulo KRD dimostra forte capacità di generalizzazione, funzionando bene anche su soggetti e relazioni non visti durante l'addestramento (Out-of-Distribution).
• Efficienza: L'approccio richiede solo un pre-addestramento una tantum del modulo KRD; la fase di editing è rapida e non richiede ri-addestramento per ogni nuova modifica.

5. Significato e Impatto

Il lavoro DiKE rappresenta un passo avanti fondamentale nell'editing dei modelli linguistici. Dimostra che la semplice aggiunta di vincoli su dati non correlati (come fatto dai metodi precedenti) non è sufficiente per proteggere le conoscenze strettamente legate allo stesso soggetto.

• Affidabilità: Permette di aggiornare i fatti nei LLM con maggiore precisione, riducendo il rischio di "corruzione" di informazioni vicine, cruciale per applicazioni che richiedono alta fedeltà fattuale (es. assistenti medici, legali o finanziari).
• Scalabilità: La soluzione in forma chiusa rende il metodo scalabile e pratico per l'uso in produzione.
• Nuova Direzione: Introduce il concetto di "disentanglement delle rappresentazioni" come strategia primaria per la gestione della conoscenza nei modelli generativi, aprendo la strada a future ricerche su come strutturare internamente la memoria dei LLM.

In sintesi, DiKE risolve il problema dell'interferenza fine-grained separando semanticamente ciò che deve essere cambiato da ciò che deve essere preservato, offrendo un metodo di editing più sicuro, preciso ed efficiente.