💬 NLP

Memorization Dynamics of Fill-in-the-Middle Pretraining

Ce papier examine la dynamique de mémorisation du préentraînement Fill-in-the-Middle (FIM) par rapport aux objectifs standard de gauche à droite, révélant que, bien que le FIM excelle à récupérer des segments courts ou partiels, il reste fortement dépendant du contexte préfixe pour le rappel mot à mot et présente une croissance linéaire de la mémorisation avec la répétition des données.

Auteurs originaux : Tobias von Arx, Tanguy Dieudonné

Publié 2026-05-25

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Tobias von Arx, Tanguy Dieudonné

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous enseigniez à un élève comment mémoriser un long livre d'histoires. Vous souhaitez évaluer dans quelle mesure il peut réciter des parties spécifiques de l'histoire mot pour mot. Habituellement, vous lui enseignez en lisant l'histoire du début à la fin, un mot après l'autre. Cela s'appelle l'entraînement de gauche à droite (LTR).

Mais il existe une autre méthode pour lui enseigner, souvent utilisée pour la programmation ou pour remplir des trous. Vous lui donnez le début d'un paragraphe et la fin d'un paragraphe, et vous lui demandez de deviner ce qui se trouve au milieu. Cela s'appelle l'entraînement Remplir le Milieu (FIM).

Cet article pose une question simple : Est-ce qu'enseigner à un élève de « remplir le milieu » le fait mémoriser le livre différemment de lui apprendre à lire directement ?

Les chercheurs ont mis en place une expérience contrôlée. Ils ont pris deux modèles d'IA identiques (comme des jumeaux) et leur ont appris exactement les mêmes extraits de livre. L'un des jumeaux a appris la méthode de « lecture directe » (LTR), et l'autre a appris la méthode de « remplissage de trous » (FIM). Ils ont répété ces extraits de livre spécifiques entre 1 et 128 fois pour observer comment la répétition affecte la mémoire.

Voici ce qu'ils ont découvert, expliqué avec quelques analogies du quotidien :

1. La « Queue Lourde » vs le « Grimpeur Régulier »

Lorsque les chercheurs ont demandé aux modèles de réciter un bloc de texte en commençant uniquement par le début (le préfixe) :

Le Jumeau LTR (Lecteur Direct) : Ce jumeau est comme une personne qui mémorise un discours parfaitement si elle l'entend suffisamment de fois. Une fois qu'elle franchit un certain seuil de répétition, elle peut réciter de longues phrases exactes avec une très grande confiance. Elle possède une « queue lourde » de mémoire : elle excelle dans les récitations longues et parfaites.
Le Jumeau FIM (Remplisseur de Trous) : Ce jumeau est un peu différent. Il est moins susceptible de réciter une phrase entière longue parfaitement. Au lieu de cela, il est meilleur pour se souvenir de bribes plus courtes ou de correspondances partielles. Sa mémoire croît de manière plus régulière et linéaire à mesure qu'il entend le texte plus souvent, mais il atteint rarement ce pic de « récitation longue parfaite » aussi facilement que le lecteur direct.

Analogie : Imaginez essayer de vous souvenir d'une chanson.

L'élève LTR est excellent pour chanter tout le refrain parfaitement une fois qu'il l'a entendu suffisamment, mais si vous lui demandez de commencer par le milieu, il pourrait rester bloqué.
L'élève FIM est bon pour fredonner quelques mesures ou reconnaître une mélodie si vous lui donnez un indice du début ou de la fin, mais il pourrait ne pas maîtriser l'ensemble du refrain de 30 secondes aussi parfaitement que l'élève LTR.

2. L'« Ancre » du Préfixe

Les chercheurs ont ensuite testé le modèle FIM dans son environnement naturel : en lui donnant à la fois le début (préfixe) et la fin (suffixe) d'une phrase et en lui demandant de remplir le milieu.

Ils ont découvert quelque chose de surprenant : La fin de la phrase (suffixe) n'aide pas beaucoup.

Même si le modèle FIM voit la fin de la phrase, il repose presque entièrement sur le début de la phrase (préfixe) pour se souvenir de la partie du milieu.
Si vous remplacez le vrai début de la phrase par une phrase aléatoire et sans rapport, le modèle oublie le milieu presque instantanément.
Si vous remplacez la fin de la phrase par une fin aléatoire, le modèle se souvient encore très bien du milieu, tant que le début est correct.

Analogie : Pensez au modèle FIM comme à un détective essayant de résoudre un crime.

Le Préfixe est la photo de la scène du crime.
Le Suffixe est un témoignage sur ce qui s'est passé après le crime.
L'étude a révélé que le détective (le modèle) résout l'affaire (se souvient du texte) presque entièrement en se basant sur la photo de la scène du crime. Le témoignage (suffixe) est utile, mais si vous retirez la photo, le détective est perdu, même si le témoin continue de parler.

3. Pourquoi cette différence ?

Pourquoi l'élève « Remplisseur de Milieu » se comporte-t-il ainsi ?

Entraînement LTR : Chaque fois que l'élève entend l'histoire, c'est la même vue : Début $\rightarrow$ Milieu $\rightarrow$ Fin. Cela renforce un chemin spécifique, rendant la mémoire de la chaîne entière très forte.
Entraînement FIM : Chaque fois que l'élève entend l'histoire, la partie « milieu » est découpée différemment. Parfois le milieu correspond aux 10 premiers mots, parfois aux 10 suivants. Cela étale la mémoire. L'élève apprend à reconnaître des morceaux de l'histoire sous de nombreux angles différents, mais il ne se verrouille pas aussi étroitement sur une seule chaîne longue et parfaite.

La Conclusion

L'article conclut que la façon dont vous entraînez un modèle change comment il mémorise.

Si vous voulez un modèle capable de réciter de longs passages exacts de texte, l'entraînement de gauche à droite est plus fort.
Si vous utilisez l'entraînement Remplir le Milieu, le modèle devient meilleur pour se souvenir de courts morceaux ou de correspondances partielles, mais il reste fortement dépendant du début du texte pour déclencher cette mémoire.

Les chercheurs ont également noté que si vous ne testez qu'une seule façon spécifique de demander au modèle (comme ne tester que des phrases longues ou ne tester que des bribes courtes), vous pourriez manquer ces différences importantes. C'est comme juger de la capacité de nage d'un poisson uniquement par la façon dont il saute hors de l'eau ; vous devez le tester de différentes manières pour comprendre sa véritable nature.

Résumé technique : Dynamiques de mémorisation du préentraînement Fill-in-the-Middle

Énoncé du problème
Les grands modèles de langage (LLM) sont connus pour reproduire à l'identique les données d'entraînement, y compris les informations privées et les textes protégés par le droit d'auteur. Bien que la répétition soit un prédicteur principal de la mémorisation, l'impact spécifique des objectifs de préentraînement sur ce phénomène reste sous-exploré. Les modèles de langage causaux standards utilisent un objectif de gauche à droite (LTR), prédisant des jetons uniquement sur la base du contexte précédent. En revanche, Fill-in-the-Middle (FIM) est un objectif largement utilisé pour les capacités de remplissage (par exemple, dans Code Llama, StarCoder), où une séquence cible du milieu est prédite en utilisant à la fois les contextes de préfixe et de suffixe séparés par des jetons sentinelles. Cet article examine comment l'objectif FIM modifie les dynamiques de mémorisation à l'identique par rapport à l'entraînement LTR standard, en demandant spécifiquement si FIM modifie la distribution de probabilité des séquences extraites, le rôle du contexte (préfixe vs suffixe) et la dépendance aux comptes de répétition.

Méthodologie
Les auteurs mènent une étude contrôlée comparant des modèles Llama 3.2 appariés (échelles de 3 milliards et 1 milliard de paramètres) entraînés sur des sources de données et des architectures identiques, mais avec des objectifs de préentraînement différents.

Construction des données : Le corpus d'entraînement combine FineWeb (100 milliards de jetons) et un sous-ensemble contrôlé d'extraits du Projet Gutenberg. Pour isoler les effets de mémorisation, les extraits Gutenberg ont été filtrés pour éliminer les fenêtres pré-mémorisées ou aberrantes, puis divisés en 12 « buckets de répétition » allant de 1 à 128 expositions.
Régimes d'entraînement : Deux corpus ont été construits à partir des mêmes données. Le corpus LTR a maintenu l'ordre autorégressif standard. Le corpus FIM a réécrit les exemples dans un format préfixe–suffixe–milieu en utilisant des jetons sentinelles, avec des points de division aléatoires pour les copies FIM répétées afin d'assurer une exposition au niveau du document plutôt qu'une exposition à une séquence fixe. Les modèles ont été entraînés pendant un epoch (~103 milliards de jetons) avec une répartition FineWeb/Gutenberg de 95 %/5 %.
Évaluation :
- Performance en aval : Évaluée sur 8 tâches du LM Evaluation Harness pour s'assurer que les différences de mémorisation ne sont pas dues à des écarts de capacités générales.
- Sondage uniquement préfixe : Les modèles ont été interrogés avec 100 jetons de préfixe pour prédire une séquence cible de 32 jetons. Les métriques comprenaient la probabilité d'extraction exacte ( $p_z$ ) et les scores ROUGE-L.
- Sondage FIM natif : Les modèles ont été interrogés dans leur format FIM natif, en faisant varier le ratio de contexte préfixe/suffixe (par exemple, 100/0, 50/50, 0/100) pour déterminer la contribution de chaque côté à la mémorisation.
- Analyse de l'attention : Les poids d'attention ont été analysés pour comprendre comment les modèles allouent l'attention entre le préfixe, le suffixe et les jetons cibles précédemment générés.

Contributions et résultats clés
L'étude révèle des profils de mémorisation distincts pour les modèles FIM et LTR :

Profils d'extraction divergents :
- Modèles LTR : Présentent une distribution de probabilités « à queue lourde ». Ils sont plus susceptibles d'attribuer une haute confiance à des continuations exactes et longues. Par conséquent, les modèles LTR atteignent des taux plus élevés d'extraction exacte stricte ( $p_z \ge 0,1\%$ ) dans l'ensemble.
- Modèles FIM : Distribuent la masse de probabilité plus largement sur des reconstructions partielles. Bien qu'ils extraient moins de fenêtres selon des critères exacts stricts, ils démontrent une récupération à fort chevauchement (ROUGE-L) plus forte et des taux de support top-k plus élevés, en particulier pour des séquences plus courtes ou à des comptes de répétition élevés.
- Dynamiques de répétition : L'extraction LTR montre des rendements décroissants (croissance logarithmique) à mesure que les répétitions augmentent. L'extraction FIM croît de manière plus linéaire avec les répétitions. Cependant, la longueur de séquence requise pour que FIM dépasse LTR en termes de taux d'extraction augmente avec la longueur de la séquence cible ; les séquences plus longues favorisent la distribution à queue lourde du LTR.
Dépendance au contexte dans le FIM natif :
- Contrairement à l'intuition selon laquelle le FIM utilise les deux côtés de manière égale, le contexte de préfixe est le moteur dominant de la mémorisation dans les modèles FIM.
- Le sondage FIM natif montre que le soutien à la mémorisation s'améliore de manière monotone lorsque le budget de contexte passe du suffixe au préfixe.
- Le remplacement du vrai préfixe par une séquence distracteur supprime presque entièrement la mémorisation, tandis que le remplacement du suffixe a un effet nettement plus faible. Cela indique que même dans l'entraînement FIM, le rappel à l'identique reste fortement ancré dans le contexte de préfixe, de manière similaire aux modèles LTR.
Mécanismes d'attention :
- Les modèles FIM allouent plus d'attention au préfixe et moins aux jetons cibles déjà vus par rapport aux modèles LTR.
- Lorsque le contexte de préfixe est rare, les modèles FIM compensent en accordant une attention plus forte aux jetons précédents de la séquence cible, mais cela ne récupère pas entièrement la force de mémorisation fournie par un vrai préfixe.

Signification et affirmations
L'article affirme que l'objectif de préentraînement façonne fondamentalement la manière dont la mémorisation s'accumule. Bien que le FIM soit conçu pour améliorer l'utilité du remplissage, il ne fait pas simplement « ajouter » le contexte de suffixe à la mémorisation LTR ; il crée plutôt un profil de mémorisation différent où :

La mémorisation s'accumule plus lentement au départ mais peut dépasser les performances LTR sur l'extraction de séquences courtes à des comptes de répétition élevés.
La nature « à queue lourde » de la mémorisation LTR (favorisant les correspondances exactes longues) est remplacée par une distribution plus large dans le FIM (favorisant les correspondances partielles).
Crucialement, l'étude démontre que l'évaluation de la mémorisation en utilisant une seule longueur de séquence ou un seul format de sondage (par exemple, uniquement préfixe) peut manquer des nuances importantes. Un modèle peut sembler moins sujet à la mémorisation sous une extraction exacte stricte mais très sujet à une récupération à fort chevauchement sous un sondage FIM.

Les auteurs concluent que pour les modèles dotés de capacités de remplissage, les risques de mémorisation ne sont pas uniformes ; ils sont ancrés dans le contexte de préfixe mais se manifestent différemment selon la géométrie d'extraction et l'historique des répétitions. Cela suggère que la curation des données et les audits de mémorisation pour les modèles capables de remplissage doivent tenir compte de ces dynamiques spécifiques plutôt que de se fier uniquement à des métriques basées sur le LTR.

Limites
Les auteurs notent que leur étude est limitée aux modèles de pointe (3 milliards et 1 milliard de paramètres) et ne s'étend pas aux modèles de pointe plus grands. Les comptes de répétition sont limités à 128, empêchant l'analyse des limites asymptotiques. De plus, en raison de la décomposition aléatoire des exemples FIM pendant l'entraînement, l'étude ne peut pas tracer les expositions exactes pour des séquences sondées spécifiques, limitant la capacité de réaliser une attribution fine d'instances d'entraînement spécifiques.

1. La « Queue Lourde » vs le « Grimpeur Régulier »

2. L'« Ancre » du Préfixe

3. Pourquoi cette différence ?

La Conclusion

Résumé technique : Dynamiques de mémorisation du préentraînement Fill-in-the-Middle

Articles similaires