Alignment Whack-a-Mole : Finetuning Activates Verbatim Recall of Copyrighted Books in Large Language Models

1. Il Problema

Le aziende che sviluppano modelli linguistici di frontiera (Frontier LLM) hanno ripetutamente assicurato a tribunali e regolatori che i loro modelli non memorizzano copie dei dati di addestramento. Si basano su strategie di allineamento alla sicurezza (RLHF, prompt di sistema, filtri di output) per bloccare la "rigurgitazione" letterale di opere protette da copyright, citando l'efficacia di queste misure nelle loro difese legali contro le accuse di violazione del copyright.

Tuttavia, questo studio dimostra che queste protezioni sono fragili. Il problema centrale è che il fine-tuning (l'addestramento aggiuntivo su compiti specifici) può bypassare completamente questi meccanismi di sicurezza, attivando la memorizzazione latente di interi libri protetti da copyright, anche quando il modello non viene mai esplicitamente addestrato su quel testo specifico durante la fase di inferenza.

2. Metodologia

Gli autori hanno progettato un esperimento per testare la vulnerabilità dei modelli attraverso un compito di fine-tuning apparentemente legittimo, simile a quello utilizzato dagli assistenti alla scrittura commerciale.

• Compito di Fine-tuning: Il modello viene addestrato a espandere riassunti della trama (generati semanticamente) in testo verbale completo (verbatim) di un libro.
  • Input: Un riassunto dettagliato di un estratto del libro (senza il testo originale).
  • Output: Un paragrafo che emula lo stile dell'autore e riproduce il testo esatto dell'estratto corrispondente.
• Dataset: Sono stati selezionati 81 libri protetti da copyright di 47 autori contemporanei (inclusi premi Pulitzer, Booker e Nobel) appartenenti a vari generi (fiction, thriller, fantascienza, ecc.).
• Modelli Testati: Tre modelli di frontiera di provider diversi:
  • GPT-4o (OpenAI)
  • Gemini-2.5-Pro (Google)
  • DeepSeek-V3.1 (DeepSeek)
• Protocollo Sperimentale:
  1. Baseline: I modelli allineati mostrano una memorizzazione quasi nulla se interrogati solo con riassunti.
  2. Fine-tuning: I modelli vengono addestrati su libri di un autore specifico (es. Haruki Murakami) o su dati di pubblico dominio/sintetici.
  3. Inferenza: Si testa il modello su libri non inclusi nel fine-tuning (held-out books), fornendo solo riassunti della trama come prompt.
  4. Metriche:
     • bmc@k (Book Memorization Coverage): Percentuale di parole del libro coperte da estratti estratti.
     • Lunghezza dei blocchi: Lunghezza massima di sequenze contigue memorizzate.
     • Span rigurgitati: Numero di estratti verbatim lunghi (>20 parole) generati in una singola risposta.

3. Contributi Chiave e Risultati

A. Il Fine-tuning sblocca la memorizzazione latente

Prima del fine-tuning, i modelli allineati producono quasi zero contenuto verbatim. Dopo il fine-tuning su un compito di espansione da riassunto a testo, i modelli riescono a riprodurre fino all'85-90% di libri protetti da copyright tenuti fuori dal set di addestramento.

• In alcuni casi, i modelli hanno riprodotto il 60% di un intero libro.
• Sono stati osservati singoli span verbatim che superano le 460 parole.

B. Generalizzazione Cross-Autore (L'effetto "Whack-a-Mole")

Uno dei risultati più allarmanti è la generalizzazione trasversale. Addestrando il modello esclusivamente sui libri di un autore (es. Haruki Murakami), il modello è stato in grado di estrarre testi verbatim da oltre 30 autori completamente diversi e non correlati.

• Questo dimostra che il fine-tuning non sta solo "insegnando" uno stile, ma sta riattivando percorsi di recupero (retrieval pathways) per contenuti memorizzati da altri autori presenti nel pre-training.
• La vulnerabilità non è specifica a un autore o a un corpus: coppie di autori casuali producono risultati comparabili.

C. Origine dei Dati: Sovrapposizione con il Pre-training

Per determinare se l'estrazione derivasse dal formato del compito o dai dati di pre-training:

• Dati di Pubblico Dominio: Il fine-tuning su Virginia Woolf (pubblico dominio) ha prodotto tassi di estrazione comparabili a quelli dei dati protetti da copyright.
• Dati Sintetici: Il fine-tuning su testi generati sinteticamente (senza sovrapposizione con libri reali) ha prodotto un'estrazione quasi nulla.
• Conclusione: Il fattore determinante è la sovrapposizione dei dati di pre-training. I modelli contengono copie compressi di interi libri (spesso provenienti da collezioni pirata come LibGen o Books3) nei loro pesi.
• Provenienza: Il 61% degli estratti estratti (e il 90% di quelli >150 parole) non è stato trovato in due enormi corpus web (DCLM-Baseline e Common Crawl), suggerendo che i libri sono stati addestrati su copie complete piratate e non solo su frammenti web.

D. Convergenza Cross-Modello

Nonostante architetture e provider diversi, i tre modelli mostrano pattern di memorizzazione quasi identici:

• Correlazione di Pearson r ≥ 0.90 nei tassi di estrazione libro per libro.
• Sovrapposizione a livello di parole del 90-97% tra le regioni memorizzate dai diversi modelli.
• Questo indica che la vulnerabilità è sistemica e guidata da dati di addestramento condivisi nell'industria, non da difetti specifici di un singolo modello.

E. Struttura Semantica Associativa

I modelli organizzano il contenuto memorizzato come una struttura semantica associativa. Quando si fornisce un riassunto della trama, il modello recupera non solo l'estratto corrispondente, ma spesso testi da altri paragrafi dello stesso libro (o di libri diversi) che sono semanticamente simili.

• In Midnight's Children di Salman Rushdie, un singolo estratto è stato attivato da 23 prompt diversi provenienti da tutto il libro.
• Questo suggerisce che chiavi come "descrizione della trama" o "identità dell'autore" mappano direttamente su testo verbale memorizzato.

4. Significato e Implicazioni

Implicazioni Tecniche

Lo studio smonta l'idea che l'allineamento (RLHF) e i filtri di output siano sufficienti a prevenire la violazione del copyright. Il fine-tuning, anche su compiti benigni (come gli assistenti alla scrittura), agisce come un "cancello" che riattiva la memorizzazione latente, rendendo inefficaci le difese attuali.

Implicazioni Legali

I risultati hanno un impatto diretto sui casi di Fair Use (uso equo) in corso contro OpenAI, Anthropic, Google e Meta:

1. Esistenza di Copie: Dimostra che i pesi del modello contengono effettivamente "copie" delle opere protette, sfidando la difesa secondo cui i modelli "non memorizzano dati".
2. Danni al Mercato: Se gli utenti possono estrarre facilmente grandi porzioni di testo verbatim tramite prompt semplici (riassunti), questo crea un sostituto diretto per l'opera originale, minando il mercato di licenza.
3. Sicurezza dei Sistemi: I tribunali hanno spesso basato le sentenze favorevoli sul fatto che le aziende abbiano implementato misure di sicurezza adeguate. Questo studio dimostra che tali misure falliscono sistematicamente di fronte al fine-tuning, spostando l'onere della prova sugli sviluppatori di dimostrare che le loro copie sono sicure e non estraibili.

In sintesi, il paper evidenzia una vulnerabilità strutturale nell'industria degli LLM: finché i dati di pre-training contengono opere protette da copyright e i modelli possono essere fine-tunati, il percorso dalla memorizzazione all'estrazione verbatim rimarrà aperto, rendendo le attuali difese legali e tecniche inadeguate.