💬 NLP

Memorization Dynamics of Fill-in-the-Middle Pretraining

Dit artikel onderzoekt de memorisatiedynamiek van Fill-in-the-Middle (FIM) pretraining in vergelijking met standaard links-naar-rechts doelen, waarbij wordt geopenbaard dat FIM, hoewel het uitmunt in het herstellen van korte of gedeeltelijke spannen, sterk afhankelijk blijft van prefixcontext voor letterlijke herinnering en een lineaire groei in memorisatie vertoont bij herhaling van de data.

Oorspronkelijke auteurs: Tobias von Arx, Tanguy Dieudonné

Gepubliceerd 2026-05-25

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Tobias von Arx, Tanguy Dieudonné

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een student leert een lang verhaalboek uit het hoofd te leren. Je wilt zien hoe goed ze specifieke delen van het verhaal woord voor woord kunnen opzeggen. Meestal leer je ze dit door het verhaal van begin tot eind te lezen, woord na woord. Dit heet Left-to-Right (LTR)-training.

Maar er is nog een andere manier om ze te leren, vaak gebruikt voor coderen of het invullen van gaten. Je geeft ze het begin van een alinea en het einde van een alinea, en vraagt hen te raden wat er in het midden staat. Dit heet Fill-in-the-Middle (FIM)-training.

Dit artikel stelt een simpele vraag: Maakt het leren een student om "het midden in te vullen" dat ze het boek anders uit het hoofd leren dan wanneer je ze leert rechtstreeks te lezen?

De onderzoekers stelden een gecontroleerd experiment op. Ze namen twee identieke AI-modellen (als tweelingen) en leerden hen exact dezelfde uittreksels uit het boek. De ene tweeling leerde de manier van "rechtstreeks lezen" (LTR), en de andere leerde de manier van "gaten invullen" (FIM). Ze herhaalden deze specifieke boekfragmenten ergens tussen de 1 en 128 keer om te zien hoe herhaling het geheugen beïnvloedt.

Hier is wat ze vonden, uitgelegd met enkele alledaagse analogieën:

1. De "Zware Staart" versus de "Stabiele Klimmer"

Toen de onderzoekers de modellen vroegen een stuk tekst op te zeggen dat alleen begon bij het begin (het voorvoegsel):

De LTR-tweeling (Rechtse Lezer): Deze tweeling is als iemand die een toespraak perfect uit het hoofd leert als ze het vaak genoeg hoort. Zodra ze een bepaalde drempel van herhaling hebben overschreden, kunnen ze lange, exacte zinnen met zeer groot vertrouwen opzeggen. Ze hebben een "zware staart" van geheugen – ze zijn goed in lange, perfecte opzeggingen.
De FIM-tweeling (Gateninvuller): Deze tweeling is een beetje anders. Ze zijn minder geneigd een hele lange zin perfect op te zeggen. In plaats daarvan zijn ze beter in het onthouden van kortere fragmenten of gedeeltelijke overeenkomsten. Hun geheugen groeit meer gestaag en lineair naarmate ze de tekst vaker horen, maar ze bereiken zelden dat "perfecte lange opzegging"-piek zo gemakkelijk als de rechtse lezer.

Analogie: Stel je voor dat je probeert een liedje te onthouden.

De LTR-student is geweldig in het zingen van het hele refrein perfect zodra ze het vaak genoeg hebben gehoord, maar als je vraagt om te beginnen in het midden, raken ze misschien vast te zitten.
De FIM-student is goed in het fluiten van een paar maten of het herkennen van een melodie als je hen een hint geeft van het begin of het einde, maar ze slaan misschien niet de volledige 30-seconden refrein zo perfect neer als de LTR-student.

2. Het "Anker" van het Voorvoegsel

Vervolgens testten de onderzoekers het FIM-model in zijn natuurlijke omgeving: ze gaven het zowel het begin (voorvoegsel) als het einde (achtervoegsel) van een zin en vroegen het om het midden in te vullen.

Ze ontdekten iets verrassends: Het einde van de zin (achtervoegsel) helpt niet veel.

Hoewel het FIM-model het einde van de zin ziet, vertrouwt het bijna volledig op het begin van de zin (voorvoegsel) om het middendeel te onthouden.
Als je het echte begin van de zin verwisselt met een willekeurige, niet-gerelateerde zin, vergeet het model het midden bijna direct.
Als je het einde van de zin verwisselt met een willekeurige, onthoudt het model het midden nog steeds vrij goed, zolang het begin maar correct is.

Analogie: Denk aan het FIM-model als een detective die een misdaad probeert op te lossen.

Het voorvoegsel is de foto van de misdaadplek.
Het achtervoegsel is een getuigenverklaring over wat er na de misdaad is gebeurd.
De studie vond dat de detective (het model) de zaak (het onthouden van de tekst) bijna volledig oplost op basis van de foto van de misdaadplek. De getuigenverklaring (achtervoegsel) is nuttig, maar als je de foto wegneemt, is de detective verloren, zelfs als de getuige nog steeds praat.

3. Waarom het Verschil?

Waarom gedraagt de "Gateninvuller"-student zich zo?

LTR-training: Elke keer dat de student het verhaal hoort, is het hetzelfde beeld: Begin $\rightarrow$ Midden $\rightarrow$ Einde. Dit versterkt één specifiek pad, waardoor het geheugen van de hele keten zeer sterk wordt.
FIM-training: Elke keer dat de student het verhaal hoort, wordt het "midden"-gedeelte anders opgehakt. Soms is het midden de eerste 10 woorden, soms de volgende 10. Dit spreidt het geheugen uit. De student leert stukken van het verhaal te herkennen vanuit vele verschillende hoeken, maar ze vergrendelen zich niet zo strak op één enkele, lange, perfecte keten.

De Conclusie

Het artikel concludeert dat hoe je een model traint, verandert hoe het uit het hoofd leert.

Als je een model wilt dat lange, exacte passages tekst kan opzeggen, is Left-to-Right-training sterker.
Als je Fill-in-the-Middle-training gebruikt, wordt het model beter in het onthouden van korte stukjes of gedeeltelijke overeenkomsten, maar blijft het zwaar afhankelijk van het begin van de tekst om dat geheugen te activeren.

De onderzoekers merkten ook op dat als je slechts één specifieke manier van het model vragen test (bijvoorbeeld alleen lange zinnen testen of alleen korte fragmenten), je deze belangrijke verschillen misschien mist. Het is als het beoordelen van het zwemvermogen van een vis alleen op basis van hoe goed hij uit het water springt; je moet het op verschillende manieren testen om zijn ware aard te begrijpen.

Technische Samenvatting: Memoriseringsdynamiek van Fill-in-the-Middle Pretraining

Probleemstelling
Grote taalmodellen (LLM's) staan bekend om het verbatim reproduceren van trainingsdata, inclusief privé-informatie en auteursrechtelijk beschermde tekst. Hoewel herhaling een primaire voorspeller is van memorisatie, blijft de specifieke impact van pretraining-doelstellingen op dit fenomeen onderbelicht. Standaard causale taalmodellen maken gebruik van een left-to-right (LTR) doelstelling, waarbij tokens worden voorspeld op basis van uitsluitend de voorafgaande context. Daarentegen is Fill-in-the-Middle (FIM) een veelgebruikte doelstelling voor invulcapaciteiten (bijvoorbeeld in Code Llama, StarCoder), waarbij een doel-middensegment wordt voorspeld met behulp van zowel prefix- als suffix-contexten, gescheiden door sentinel-tokens. Dit artikel onderzoekt hoe de FIM-doelstelling de dynamiek van verbatim-memorisatie verandert in vergelijking met standaard LTR-training, met name door te vragen of FIM de waarschijnlijkheidsverdeling van geëxtraheerde segmenten verandert, de rol van context (prefix versus suffix), en de afhankelijkheid van herhalingsaantallen.

Methodologie
De auteurs voeren een gecontroleerde studie uit waarbij gekoppelde Llama 3.2-modellen (schaal van 3B en 1B parameters) worden vergeleken die zijn getraind op identieke databronnen en architecturen, maar met verschillende pretraining-doelstellingen.

Dataconstructie: Het trainingscorpus combineert FineWeb (100B tokens) en een gecontroleerde subset van Project Gutenberg-fragmenten. Om memorisatie-effecten te isoleren, werden Gutenberg-fragmenten gefilterd om vooraf gememoriseerde of afwijkende vensters te verwijderen en vervolgens opgesplitst in 12 "herhalingsbakken" variërend van 1 tot 128 blootstellingen.
Trainingsregimes: Twee corpora werden geconstrueerd uit dezelfde data. Het LTR-corpus behield de standaard autoregressieve volgorde. Het FIM-corpus herschreef voorbeelden naar een prefix–suffix–middle formaat met behulp van sentinel-tokens, met willekeurige splitsingspunten voor herhaalde FIM-kopieën om documentniveau-blootstelling te garanderen in plaats van vaste-segment-blootstelling. De modellen werden getraind voor één epoch (~103B tokens) met een 95%/5% FineWeb/Gutenberg-verdeling.
Evaluatie:
- Downstream-prestaties: Beoordeeld op 8 taken uit de LM Evaluation Harness om ervoor te zorgen dat verschillen in memorisatie niet het gevolg waren van algemene capaciteitskloven.
- Prefix-only Probing: Modellen werden bevraagd met 100 prefix-tokens om een 32-token doel-segment te voorspellen. Metrieken omvatten de exacte extractiewaarschijnlijkheid ( $p_z$ ) en ROUGE-L-scores.
- Native FIM Probing: Modellen werden bevraagd in hun native FIM-formaat, waarbij de verhouding van prefix- tot suffix-context werd gevarieerd (bijvoorbeeld 100/0, 50/50, 0/100) om de bijdrage van elke kant aan memorisatie te bepalen.
- Attention-analyse: Attention-weights werden geanalyseerd om te begrijpen hoe modellen focus toewijzen tussen prefix, suffix en eerder gegenereerde doel-tokens.

Belangrijkste Bijdragen en Resultaten
De studie onthult distincte memoriseringsprofielen voor FIM- en LTR-modellen:

Divergente Extractieprofielen:
- LTR-modellen: Vertonen een "heavy-tailed" verdeling van waarschijnlijkheden. Ze zijn waarschijnlijker om hoge zekerheid toe te kennen aan lange, exacte voortzettingen. Bijgevolg bereiken LTR-modellen over de hele linie hogere rates van strikte exacte extractie ( $p_z \ge 0,1\%$ ).
- FIM-modellen: Verdelen de waarschijnlijkheidsmassa breder over gedeeltelijke reconstructies. Hoewel ze minder vensters extraheren onder strikte exacte criteria, tonen ze sterkere recovery bij hoge overlapping (ROUGE-L) en hogere top-k-ondersteuningsrates, met name voor kortere segmenten of bij hoge herhalingsaantallen.
- Dynamiek van Herhaling: LTR-extractie vertoont afnemende meeropbrengst (logaritmische groei) naarmate herhalingen toenemen. FIM-extractie groeit meer lineair met herhalingen. De lengte van het segment die nodig is voor FIM om LTR te overtreffen in extractierates, neemt echter toe met de lengte van het doel-segment; langere segmenten komen de heavy-tailed verdeling van LTR ten goede.
Contextafhankelijkheid in Native FIM:
- In tegenstelling tot de intuïtie dat FIM beide kanten gelijk gebruikt, is de prefix-context de dominante drijver van memorisatie in FIM-modellen.
- Native FIM-probing toont aan dat de ondersteuning voor memorisatie monotoon verbetert naarmate het contextbudget verschuift van suffix naar prefix.
- Het vervangen van de echte prefix door een afleidingssegment onderdrukt memorisatie bijna volledig, terwijl het vervangen van de suffix een aanzienlijk kleiner effect heeft. Dit geeft aan dat zelfs bij FIM-training verbatim-herinnering sterk verankerd blijft in de prefix-context, vergelijkbaar met LTR-modellen.
Attention-mechanismen:
- FIM-modellen wijzen meer attention toe aan de prefix en minder aan reeds geziene doel-tokens in vergelijking met LTR-modellen.
- Wanneer prefix-context schaars is, compenseren FIM-modellen door zwaarder te letten op de voorafgaande tokens van het doel-segment, maar dit herstelt de memorisatiesterkte die door een echte prefix wordt geboden niet volledig.

Betekenis en Claims
Het artikel claimt dat de pretraining-doelstelling fundamenteel vormgeeft aan hoe memorisatie zich ophoopt. Hoewel FIM is ontworpen om de nuttigheid van invullen te verbeteren, "voegt" het niet simpelweg suffix-context toe aan LTR-memorisatie; het creëert in plaats daarvan een ander memoriseringsprofiel waarbij:

Memoriseren aanvankelijk trager ophoopt maar op hoge herhalingsaantallen de prestaties van LTR kan overtreffen bij extractie van korte segmenten.
De "heavy-tailed" aard van LTR-memorisatie (die lange exacte matches begunstigt) wordt vervangen door een bredere verdeling in FIM (die gedeeltelijke matches begunstigt).
Cruciaal toont de studie aan dat het evalueren van memorisatie met slechts één segmentlengte of één probing-formaat (bijvoorbeeld alleen prefix) belangrijke nuances kan missen. Een model kan minder vatbaar lijken voor memorisatie onder strikte exacte extractie, maar zeer vatbaar voor recovery bij hoge overlapping onder FIM-probing.

De auteurs concluderen dat voor modellen met invulcapaciteiten de risico's van memorisatie niet uniform zijn; ze zijn verankerd in de prefix-context, maar manifesteren zich verschillend afhankelijk van de extractiegeometrie en de geschiedenis van herhalingen. Dit suggereert dat data-curatie en audits van memorisatie voor modellen met invulcapaciteiten rekening moeten houden met deze specifieke dynamiek in plaats van uitsluitend te vertrouwen op op LTR gebaseerde metrieken.

Beperkingen
De auteurs merken op dat hun studie beperkt is tot modellen op de voorgrond (3B en 1B parameters) en niet wordt geëxtrapoleerd naar grotere modellen op de voorgrond. Herhalingsaantallen zijn begrensd tot 128, wat analyse van asymptotische limieten verhindert. Bovendien kan de studie, vanwege de willekeurige decompositie van FIM-voorbeelden tijdens training, geen exacte blootstellingen traceren voor specifieke bevraagde segmenten, wat de mogelijkheid beperkt om fijnmazige attributie van specifieke trainingsinstanties uit te voeren.

1. De "Zware Staart" versus de "Stabiele Klimmer"

2. Het "Anker" van het Voorvoegsel

3. Waarom het Verschil?

De Conclusie

Technische Samenvatting: Memoriseringsdynamiek van Fill-in-the-Middle Pretraining

Meer zoals dit