Riassunto Tecnico: Il Fine-Tuning può cancellare le modifiche? Sulla fragile coesistenza tra Knowledge Editing e Fine-tuning

Definizione del Problema

I Large Language Models (LLM) vengono tipicamente adattati a nuovi domini tramite due distinte interazioni post-training: il Fine-Tuning (FT), che aggiorna i parametri del modello su dataset specifici per il compito (inclusi i metodi di Parameter-Efficient Fine-Tuning o PEFT come LoRA e DoRA), e il Knowledge Editing (KE), che aggiorna la conoscenza fattuale con dati e calcolo limitati. Sebbene entrambe le tecniche siano ampiamente adottate, sono state storicamente studiate isolatamente.

Questo articolo affronta una lacuna critica nella pipeline di deployment degli LLM: l'interazione tra questi due processi. Nello specifico, gli autori indagano se le modifiche alla conoscenza sopravvivano al successivo fine-tuning. Questa domanda è motivata da due preoccupazioni pratiche:

1. Sicurezza: Se le modifiche persistono dopo il fine-tuning, le modifiche malevole (ad esempio, backdoor, iniezione di bias o disinformazione) introdotte in un modello base potrebbero propagarsi silenziosamente alle applicazioni a valle.
2. Efficienza: Se il fine-tuning compromette o cancella le modifiche benefiche, gli operatori sarebbero costretti a ri-modificare i modelli dopo ogni fase di adattamento, rendendo il KE inefficiente.

Metodologia

Gli autori hanno condotto uno studio empirico completo che copre 254 configurazioni sperimentali indipendenti. Lo studio ha quantificato sistematicamente il decadimento delle modifiche alla conoscenza dopo il fine-tuning attraverso varie dimensioni:

• Modelli: Sono stati valutati cinque LLM, tra cui GPT-J-6B, GPT2-XL, Llama2-7B, Llama3.1-8B e DeepSeek (escluso a causa delle scarse prestazioni di KE).
• Metodi di Knowledge Editing (KE): Sono stati testati tre rappresentativi metodi di modifica dei parametri:
  • MEMIT: Un metodo di multi-modifica scalabile.
  • AlphaEdit: Vincola le perturbazioni agli spazi nulli per minimizzare l'interferenza.
  • MEND: Un approccio basato su hypernetwork che utilizza reti di editing ausiliarie.
• Metodi di Fine-Tuning (FT): Sono stati confrontati tre approcci:
  • Full-parameter fine-tuning.
  • LoRA (Low-Rank Adaptation).
  • DoRA (Weight-Decomposed Low-Rank Adaptation).
• Dataset:
  • Editing: CounterFact (CF) e Zero-Shot Relation Extraction (zsRE).
  • Fine-Tuning: Dataset di ragionamento del senso comune e HotpotQA (per compiti ad alta intensità di conoscenza).
• Metriche di Valutazione:
  • Metriche standard di KE: Efficacy Success (ES), Paraphrase Success (PS) e Neighborhood Success (NS).
  • Nuova Metrica: Edit Flip Ratio (EFR), definito come la proporzione di modifiche che erano andate a buon fine dopo il KE ma sono diventate fallimentari dopo il fine-tuning. Questa metrica isola specificamente la stabilità delle modifiche di successo.
• Analisi Meccanicistica: Gli autori hanno analato gli spazi di attivazione utilizzando cambiamenti di magnitudo layer-wise, deriva direzionale (similarità del coseno) e Uniform Manifold Approximation and Projection (UMAP) per comprendere perché le modifiche decadono.

Contributi Chiave

1. Studio Empirico Sistematico: La prima investigazione su larga scala dell'impatto del FT sul KE, che copre 254 configurazioni tra modelli, dataset e metodi.
2. Framework di Valutazione: Introduzione dell'Edit Flip Ratio (EFR) per quantificare precisamente il degrado delle modifiche di successo, andando oltre le metriche di performance aggregate.
3. Analisi Meccanicistica Multi-livello:
   • Identificazione di quattro categorie comportamentali post-fine-tuning: Modifiche Stabili, Modifiche Cancellate, Modifiche Emergenti (modifiche precedentemente fallite che ora hanno successo) e Modifiche Impossibili.
   • Dimostrazione che il fine-tuning induce spostamenti rappresentazionali significativamente più grandi e coerenti nello spazio di attivazione rispetto al KE, spiegando la cancellazione delle modifiche.
4. Strategie Pratiche per la Rimozione delle Modifiche: Scoperta che il fine-tuning solo dei layer modificati o solo dei layer non modificati può rimuovere efficacemente le modifiche, spesso in modo più efficace rispetto al full-layer fine-tuning, offrendo nuove strategie per neutralizzare le modifiche malevole.

Risultati Chiave

1. Decadimento Generale delle Modifiche

Il fine-tuning generalmente compromette le modifiche alla conoscenza. Lo studio ha rilevato che le modifiche decadono sostanzialmente dopo il successivo fine-tuning in la maggior parte delle configurazioni.

• Entità del Decadimento: Il full-parameter fine-tuning ha causato la maggiore frazione di fallimento delle modifiche (diminuzione media del 38,10%), seguito da LoRA (28,71%) e DoRA (29,88%).
• Sensibilità del Modello: GPT-J ha mostrato la maggiore robustezza strutturale (minore diminuzione media del 15,93%), mentre GPT2-XL e Llama2 hanno mostrato maggiore variabilità e un maggiore decadimento.
• Sensibilità del Metodo: AlphaEdit ha mostrato il maggiore decadimento. Ad esempio, su GPT-J con il benchmark zsRE, il 25,27% delle modifiche precedentemente andate a buon fine con AlphaEdit è diventato infruttuoso dopo il fine-tuning. Gli autori attribuiscono ciò alla vulnerabilità del meccanismo di archiviazione nello spazio nullo, che è quasi ortogonale allo spazio della conoscenza esistente e quindi non penalizzato durante il calcolo della perdita del fine-tuning.

2. Impatto di Dataset e Scala

• Dataset: Le modifiche sul dataset zsRE hanno generalmente subito un declino delle prestazioni maggiore rispetto a CounterFact (CF). Ciò è attribuito ai criteri di valutazione più severi di zsRE (che richiedono una generazione esatta) rispetto a CF (basato su ranking).
• Scala: Un numero maggiore di modifiche ha generalmente esacerbato il decadimento, in particolare per AlphaEdit.

3. Fine-Tuning Selettivo dei Layer

Una scoperta controintuitiva è stata che il fine-tuning solo dei layer non modificati ha portato a un maggiore decadimento delle modifiche rispetto al fine-tuning di tutti i layer.

• Ordine di Rimozione delle Modifiche: L'efficacia della rimozione delle modifiche ha seguito l'ordine: Fine-tuning dei layer modificati > Fine-tuning dei layer non modificati > Fine-tuning di tutti i layer.
• Compromesso: Sebbene il fine-tuning dei soli layer modificati fosse più efficace nel rimuovere le modifiche, ha comportato una maggiore degradazione delle prestazioni nei task a valle rispetto al fine-tuning dei soli layer non modificati.
• Meccanismo: Questo si allinea all'ipotesi della rappresentazione distribuita; le modifiche sono memorizzate attraverso più layer. Concentrare gli aggiornamenti dei pesi su meno layer (sia quelli modificati che quelli non modificati) causa perturbazioni per layer più grandi che interrompono la struttura coordinata che supporta le modifiche.

4. Approfondimenti Meccanicistici (Spazio di Attivazione)

• Magnitudo: Il fine-tuning induce cambiamenti di magnitudo di attivazione sostanzialmente più grandi in tutti i layer rispetto al KE, che induce perturbazioni limitate e localizzate.
• Direzione: Lo spostamento direzionale indotto dal fine-tuning è quasi ortogonale allo spostamento indotto dal KE.
• Analisi UMAP: Nello spazio di rappresentazione, il cluster dei modelli fine-tuned ($M_{ft}$) e dei modelli fine-tuned-e-poi-modificati ($M_{ed\_ft}$) si sovrappone sostanzialmente, mentre entrambi sono chiaramente separati dal modello solo-modificato ($M_{ed}$). Ciò indica che il fine-tuning riporta le rappresentazioni interne del modello verso la direzione del fine-tuning, sovrascrivendo efficacementamente i cambiamenti sottili introdotti dal KE.

Significato e Rivendicazioni

L'articolo conclude che gli esistenti metodi di KE non riescono a produrre modifiche costantemente stabili che persistano sotto il successivo fine-tuning. Gli autori affermano che questo evidenzia una critica fragilità nell'attuale pipeline di applicazione degli LLM.

• Implicazioni per la Sicurezza: Il rischio di "eredità" delle modifiche malevole è reale; se le modifiche persistono, i modelli fine-tuned possono propagare bias nascosti o backdoor. Al contrario, se le modifiche vengono cancellate, l'utilità del KE per correggere i comportamenti dannosi del modello base è compromessa.
• Guida al Deployment: Lo studio sottolinea la necessità di valutare il KE all'interno del contesto più ampio del ciclo di vita dell'LLM, non in isolamento.
• Direzioni Future: Gli autori suggeriscono che la ricerca futura sul KE debba esplicitamente tenere conto dell'adattamento a valle. Propongono potenziali strategie di mitigazione, come l'incorporazione di regolarizzazione per penalizzare gli spostamenti di attivazione nei layer modificati o la proiezione degli aggiornamenti del FT sullo spazio ortogonale dei parametri del KE, sebbene queste siano presentate come direzioni per lavori futuri piuttosto che soluzioni implementate in questo studio.

Gli autori mantengono un tono modesto, notando che, sebbene le loro scoperte siano robuste in tutte le architetture testate (che condividono il backbone Transformer), i gradi specifici di decadimento possono variare con altri modelli o configurazioni. Forniscono il loro codice e i risultati per servire come baseline per la ricerca futura sulla robustezza della modifica dei modelli.