Sintesi Tecnica: Comprendere la Memorizzazione Verbatim nei LLM attraverso la Scoperta dei Circuiti

Definizione del Problema

Sebbene i Large Language Models (LLM) abbiano dimostrato capacità straordinarie, i meccanismi sottostanti della memorizzazione verbatim — la riproduzione esatta dei dati di addestramento — rimangono scarsamente compresi. La ricerca esistente sull'interpretabilità ha identificato che la memorizzazione è distribuita tra i livelli (i livelli iniziali promuovono i token, i livelli superiori amplificano la confidenza) e coinvolge specifici head di attenzione, ma manca di una spiegazione meccanicistica su come il modello decida di recuperare una sequenza memorizzata rispetto alla generazione di contenuti nuovi. Inoltre, i metodi standard di scoperta dei circuiti, che si basano su dataset contrastivi (esempi puliti vs. corrotti), sono stati ampiamente limitati a compiti piccoli e ben definiti (ad esempio, l'Identificazione dell'Oggetto Indiretto) a causa della difficoltà di costruire tali dataset per compiti aperti come la memorizzazione.

Metodologia

Gli autori affrontano questo problema utilizzando l'interpretabilità meccanicistica, specificamente il framework dei circuiti, per isolare i sottografi computazionali minimi responsabili della memorizzazione.

1. Costruzione del Dataset

• Fonte: Lo studio utilizza il subset Wikipedia del dataset The Pile, elaborato utilizzando il modello GPT-Neo-125M.
• Selezione della Memorizzazione: I campioni sono stati filtrati per un punteggio di memorizzazione esattamente pari a 1.0 (corrispondenza perfetta a livello di token con la verità di base), risultando in 4.047 campioni.
• Punti di Divergenza: Gli autori hanno accorciato algoritmicamente le lunghezze del contesto finché la generazione del modello non è divergente dal percorso memorizzato (rilevato tramite un calo del punteggio BLEU al di sotto di 0.3). Questi punti definiscono la transizione dalla memorizzazione alla generazione di contenuti nuovi.
• Dataset Contrastivi: Sono stati creati due distinti dataset per isolare diversi aspetti della memorizzazione:
  • Dataset della Decisione di Memorizzazione: Progettato per identificare i componenti che attivano la decisione iniziale di recuperare contenuti memorizzati. Contrasta contesti "puliti" (un token lontano dall'attivare la memorizzazione) con contesti "corrotti" (semanticamente simili ma che portano a token non memorizzati).
  • Dataset di Confronto dei Rami (Branch Comparison): Progettato per identificare i componenti responsabili del mantenimento di un percorso memorizzato una volta che la decisione è stata presa. Contrasta contesti che proseguono lungo il percorso memorizzato rispetto a quelli che divergono verso il token non memorizzato a più alta probabilità del modello.

2. Scoperta dei Circuiti

• Tecnica: Lo studio impiega l'Edge Attribution Patching con Integrated Gradients (EAP-IG). Questo metodo utilizza i gradienti per approssimare gli effetti del patching delle attivazioni, riducendo il costo computazionale da migliaia di passaggi in avanti a soli due passaggi in avanti e un passaggio all'indietro.
• Strategie di Intervento:
  • Noising (Corrotto $\to$ Pulito): Patching delle attivazioni da input corrotti in input puliti per identificare i componenti che, se interrotti, rompono la memorizzazione.
  • Denoising (Pulito $\to$ Corrotto): Patching delle attivazioni da input puliti in input corrotti per identificare i componenti che ripristinano o inducono la memorizzazione.
• Metrica di Fedeltà (Faithfulness): I circuiti sono valutati in base a un punteggio di fedeltà normalizzato, garantendo che il sottografo esegua $\ge$ 85% delle prestazioni del modello completo nel compito.

Contributi Chiave

1. Creazione del Dataset: La costruzione di due dataset contrastivi specializzati che affrontano l'iniziazione (Decisione) e la continuazione (Confronto dei Rami) della memorizzazione.
2. Scoperta dei Circuiti: L'identificazione di circuiti compatti (che contengono $\le$ 5% degli edge del modello) responsabili di questi specifici compiti di memorizzazione. In particolare, il circuito di Confronto dei Rami è risultato estremamente minimale (solo 14 edge, ovvero lo 0.04% del modello).
3. Verifica Rigorosa: Un framework di valutazione multifaccettato che include confronti con baseline casuali, generalizzazione cross-task, generalizzazione cross-corpus e test contro metodi di patching alternativi (zero ablation, mean ablation).
4. Intuizioni Meccanicistiche:
   • Asimmetria nel Controllo: I circuiti capaci di attivare la memorizzazione possono anche mantenerla una volta avviata. Tuttavia, i circuiti che solo mantengono la memorizzazione non possono attivarne l'iniziazione.
   • Differenze di Generalizzazione: I meccanismi che prevengono la memorizzazione (circuiti di interruzione) si trasferiscono robustamente attraverso diversi domini testuali (GitHub, Enron Emails, Common Crawl). Al contrario, i meccanismi che inducono la memorizzazione sono altamente dipendenti dal contesto e non generalizzano bene tra i domini.

Risultati

• Dimensione del Circuito: Il compito di Confronto dei Rami ha prodotto un circuito sorprendentemente piccolo (14 edge, 0.04% del modello) con un'alta fedeltà (1.00). Il compito di Decisione di Memorizzazione ha richiesto circuiti più grandi (ad esempio, 141 edge, 0.43%) per livelli di fedeltà simili.
• Generalizzazione Cross-Task:
  • I circuiti di Decisione di Memorizzazione hanno controllato con successo se il modello continuasse lungo i percorsi memorizzati nel compito di Confronto dei Rami (fedeltà 1.00).
  • I circuiti di Confronto dei Rami hanno performato scarsamente quando applicati al compito di Decisione di Memorizzazione, indicando che i meccanismi per continuare una sequenza memorizzata sono distinti da quelli che rendono la decisione iniziale di memorizzare.
• Generalizzazione Cross-Corpus:
  • Prevenzione: I circuiti di noising (progettati per rompere la memorizzazione) hanno ridotto efficacementamente l'accuratezza della memorizzazione attraverso diversi domini (ad esempio, riducendo l'accuratezza dal 90.5% al 4.5% su Common Crawl).
  • Induzione: I circuiti di denoising (progettati per indurre la memorizzazione) hanno mostrato una trasferibilità limitata. Sebbene i punteggi di fedeltà rimanessero alti, l'effettiva induzione della memorizzazione in nuovi domini era debole (ad esempio, aumentando l'accuratezza dal 5.2% a solo il 23.8% su Common Crawl).
• Robustezza: I circuiti identificati hanno mostrato un'alta dipendenza dalle specifiche coppie clean-corrupt utilizzate per la scoperta. Quando testati con metodi di patching alternativi (zero o mean ablation), la fedeltà è diminuita significamente, suggerendo che i circuiti dipendano da attivazioni controfattuali specifiche piuttosto che da proprietà strutturali generali.

Significato e Rivendicazioni

Il paper sostiene di fornire una comprensione meccanicistica di come gli LLM transitino tra memorizzazione e generazione. Il significato primario risiede nella scoperta di un'asimmetria nei circuiti di memorizzazione:

• Trigger vs. Mantenimento: La capacità di iniziare la memorizzazione comprende la capacità di mantenerla, ma il contrario non è vero. Ciò suggerisce una struttura di controllo gerarchica dove un circuito di "trigger" specifico decide di accedere alle informazioni memorizzate, mentre meccanismi separati gestiscono la continuazione.
• Prevenzione vs. Induzione: Lo studio suggerisce che la prevenzione della memorizzazione sia un meccanismo più generalizzabile tra i domini testuali rispetto all'induzione della memorizzazione. Ciò implica che gli interventi di sicurezza che prendono di mira i meccanismi di "trigger" potrebbero essere più efficaci e robusti rispetto ai tentativi di indurre o sopprimere la memorizzazione in modo agnostico rispetto al dominio.
• Contraddizione con il Lavoro Precedente: I risultati contrastano con Stoehr et al. (2024), i quali hanno scoperto che i passaggi memorizzati sono difficili da corrompere. Gli autori ipotizzano che questa differenza derivi dal fatto che loro prendono in bersaglio specifici percorsi computazionali (circuiti) piuttosto che i pesi implicati dai gradienti. Propongono un modello in cui un circuito di "trigger" è facilmente interrompibile, mentre la memorizzazione sottostante delle informazioni rimane robusta.

Gli autori rimangono modesti, notando limitazioni come l'affidamento a un singolo modello piccolo (GPT-Neo-125M), l'uso di metodi di approssimazione (EAP-IG) invece del patching diretto, e il potenziale della specificità delle loro scoperte rispetto al subset Wikipedia di The Pile. Concludono che, sebbene questi circuiti offrano una finestra sulla memorizzazione, è necessaria un'ulteriore validazione attraverso diverse dimensioni di modelli e architetture.