Memorization Dynamics of Fill-in-the-Middle Pretraining

Riepilogo Tecnico: Dinamiche della Memorizzazione nel Preaddestramento Fill-in-the-Middle

Enunciato del Problema
È noto che i grandi modelli linguistici (LLM) riproducono i dati di addestramento in modo letterale, incluse informazioni private e testi protetti da copyright. Sebbene la ripetizione sia un predittore primario della memorizzazione, l'impatto specifico degli obiettivi di preaddestramento su questo fenomeno rimane poco esplorato. I modelli linguistici causali standard utilizzano un obiettivo da sinistra a destra (LTR), prevedendo i token basandosi esclusivamente sul contesto precedente. Al contrario, Fill-in-the-Middle (FIM) è un obiettivo ampiamente utilizzato per le capacità di riempimento (ad esempio, in Code Llama, StarCoder), in cui viene previsto un segmento centrale target utilizzando sia il contesto del prefisso che quello del suffisso, separati da token sentinella. Questo articolo indaga come l'obiettivo FIM alteri le dinamiche della memorizzazione letterale rispetto all'addestramento LTR standard, chiedendosi specificamente se FIM modifichi la distribuzione di probabilità degli estratti, il ruolo del contesto (prefisso vs. suffisso) e la dipendenza dai conteggi di ripetizione.

Metodologia
Gli autori conducono uno studio controllato confrontando modelli Llama 3.2 abbinati (con scale di 3B e 1B parametri) addestrati su fonti di dati e architetture identiche ma con obiettivi di preaddestramento diversi.

• Costruzione dei Dati: Il corpus di addestramento combina FineWeb (100B token) e un sottoinsieme controllato di estratti di Project Gutenberg. Per isolare gli effetti della memorizzazione, gli estratti di Gutenberg sono stati filtrati per rimuovere finestre pre-memorizzate o valori anomali e poi suddivisi in 12 "bucket di ripetizione" che vanno da 1 a 128 esposizioni.
• Regimi di Addestramento: Sono stati costruiti due corpora dagli stessi dati. Il corpus LTR ha mantenuto l'ordine autoregressivo standard. Il corpus FIM ha riscritto gli esempi in un formato prefisso–suffisso–centrale utilizzando token sentinella, con punti di divisione casuali per le copie FIM ripetute per garantire un'esposizione a livello di documento piuttosto che a span fissi. I modelli sono stati addestrati per un'epoca (~103B token) con una divisione FineWeb/Gutenberg del 95%/5%.
• Valutazione:
  • Prestazioni a valle: Valutate su 8 task dell'LM Evaluation Harness per garantire che le differenze di memorizzazione non fossero dovute a lacune nelle capacità generali.
  • Sondaggio solo prefisso: I modelli sono stati interrogati con 100 token di prefisso per prevedere uno span target di 32 token. Le metriche includevano la probabilità di estrazione esatta ($p_z$) e i punteggi ROUGE-L.
  • Sondaggio FIM nativo: I modelli sono stati interrogati nel loro formato FIM nativo, variando il rapporto tra contesto di prefisso e suffisso (ad esempio, 100/0, 50/50, 0/100) per determinare il contributo di ciascun lato alla memorizzazione.
  • Analisi dell'attenzione: I pesi di attenzione sono stati analizzati per comprendere come i modelli allocano il focus tra prefisso, suffisso e token target precedentemente generati.

Principali Contributi e Risultati
Lo studio rivela profili di memorizzazione distinti per i modelli FIM e LTR:

1. Profili di Estrazione Divergenti:

   • Modelli LTR: Mostrano una distribuzione "a coda pesante" delle probabilità. Sono più propensi ad assegnare un'alta confidenza a continuazioni lunghe ed esatte. Di conseguenza, i modelli LTR raggiungono tassi più elevati di estrazione esatta rigorosa ($p_z \ge 0.1\%$) in generale.
   • Modelli FIM: Distribuiscono la massa di probabilità in modo più ampio su ricostruzioni parziali. Sebbene estraggano meno finestre secondo criteri di esattezza rigorosi, dimostrano un recupero più forte con alta sovrapposizione (ROUGE-L) e tassi di supporto top-k più elevati, in particolare per span più brevi o ad alti conteggi di ripetizione.
   • Dinamiche di Ripetizione: L'estrazione LTR mostra rendimenti decrescenti (crescita logaritmica) all'aumentare delle ripetizioni. L'estrazione FIM cresce in modo più lineare con le ripetizioni. Tuttavia, la lunghezza dello span richiesta affinché FIM superi LTR nei tassi di estrazione aumenta con la lunghezza dello span target; span più lunghi favoriscono la distribuzione a coda pesante di LTR.

2. Dipendenza dal Contesto nel FIM Nativo:

   • Contrariamente all'intuizione secondo cui FIM utilizza entrambi i lati in modo uguale, il contesto del prefisso è il motore dominante della memorizzazione nei modelli FIM.
   • Il sondaggio FIM nativo mostra che il supporto alla memorizzazione migliora in modo monotono man mano che il budget di contesto si sposta dal suffisso al prefisso.
   • Sostituire il prefisso reale con uno span distrattore sopprime quasi completamente la memorizzazione, mentre sostituire il suffisso ha un effetto significativamente minore. Ciò indica che, anche nell'addestramento FIM, il richiamo letterale rimane fortemente ancorato al contesto del prefisso, simile ai modelli LTR.

3. Meccanismi di Attenzione:

   • I modelli FIM allocano più attenzione al prefisso e meno ai token target già visti rispetto ai modelli LTR.
   • Quando il contesto del prefisso è scarso, i modelli FIM compensano prestando maggiore attenzione ai token precedenti dello span target, ma ciò non recupera completamente la forza di memorizzazione fornita da un prefisso reale.

Significato e Affermazioni
Il documento afferma che l'obiettivo di preaddestramento modella fondamentalmente come si accumula la memorizzazione. Sebbene FIM sia progettato per migliorare l'utilità del riempimento, non si limita ad "aggiungere" il contesto del suffisso alla memorizzazione LTR; piuttosto, crea un profilo di memorizzazione diverso in cui:

• La memorizzazione è inizialmente più lenta ad accumularsi ma può superare le prestazioni LTR nell'estrazione di span brevi ad alti conteggi di ripetizione.
• La natura "a coda pesante" della memorizzazione LTR (che favorisce corrispondenze esatte lunghe) è sostituita da una distribuzione più ampia in FIM (che favorisce corrispondenze parziali).
• Crucialmente, lo studio dimostra che valutare la memorizzazione utilizzando solo una lunghezza di span o un formato di sondaggio (ad esempio, solo prefisso) può trascurare sfumature importanti. Un modello potrebbe apparire meno soggetto alla memorizzazione sotto un'estrazione esatta rigorosa ma altamente soggetto al recupero ad alta sovrapposizione sotto un sondaggio FIM.

Gli autori concludono che per i modelli con capacità di riempimento, i rischi di memorizzazione non sono uniformi; sono ancorati al contesto del prefisso ma si manifestano in modo diverso a seconda della geometria di estrazione e della storia delle ripetizioni. Ciò suggerisce che la curatela dei dati e gli audit sulla memorizzazione per i modelli con capacità di riempimento devono tenere conto di queste dinamiche specifiche piuttosto che affidarsi esclusivamente a metriche basate su LTR.

Limitazioni
Gli autori notano che il loro studio è limitato a modelli di scala frontier (3B e 1B parametri) e non si estende a modelli frontier più grandi. I conteggi di ripetizione sono limitati a 128, impedendo l'analisi dei limiti asintotici. Inoltre, a causa della decomposizione casuale degli esempi FIM durante l'addestramento, lo studio non può tracciare le esposizioni esatte per span specifici sondati, limitando la capacità di eseguire un'attribuzione granulare di istanze di addestramento specifiche.