💻 computer science

Hierarchical Memorization in Large Language Models: Evidence from Citation Generation

Cette étude révèle que l'hallucination de citations par les LLM n'est pas un échec binaire mais un processus hiérarchique de mémorisation où l'exactitude factuelle évolue de manière log-linéaire avec la redondance des données d'entraînement, présentant des seuils distincts et des schémas de rappel spécifiques aux composants, les titres et les auteurs étant appris avant les lieux de publication, les années ou les champs numériques.

Auteurs originaux : Junichiro Niimi

Publié 2026-05-06

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Junichiro Niimi

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

L'Idée Principale : La « Bibliothèque des Livres Oubliés »

Imaginez une bibliothèque massive (le Modèle de Langage à Grande Échelle, ou LLM) qui a lu presque tout ce qui se trouve sur Internet. Lorsque vous lui demandez une recommandation de livre, il tente de retirer un livre de l'étagère depuis sa mémoire.

Le problème est que cette bibliothèque ne possède pas un catalogue parfait. Parfois, elle invente un livre qui n'existe pas (une « hallucination »). Ce document se demande : Pourquoi cette bibliothèque se souvient-elle parfaitement de certains livres mais en invente-t-elle d'autres ?

Les chercheurs ont découvert que la mémoire de la bibliothèque n'est pas un simple interrupteur « marche/arrêt ». Au lieu de cela, elle fonctionne comme une hiérarchie de familiarité basée sur le nombre de fois où un livre a été mentionné dans les notes, les critiques et les discussions d'autres personnes (nombre de citations).

Les Principales Découvertes

1. La Popularité Compte (L'Effet du « Livre Célèbre »)

Plus un document est cité (mentionné par d'autres documents), plus il est probable que l'IA s'en souvienne correctement.

L'Analogie : Pensez à une célébrité. Si vous demandez à une personne au hasard : « Qui est le Président ? », elle aura probablement raison car tout le monde en parle. Si vous demandez : « Qui est le maire d'un tout petit village ? », elle pourrait deviner ou inventer quelque chose.
La Découverte : L'IA est beaucoup meilleure pour se souvenir des documents célèbres et très cités. Pour les documents rarement mentionnés, l'IA invente souvent des détails.

2. Deux « Nombres Magiques » (Les Seuil)

Les chercheurs ont découvert que la mémoire s'active à deux niveaux spécifiques de popularité :

Le Point de « Réveil » (90 Citations) : En dessous de ce nombre, l'IA devine principalement. Une fois qu'un document atteint environ 90 citations, l'IA commence à passer de « l'invention » à « l'effort de souvenir ».
Le Point de « Mémoire Parfaite » (1 200 Citations) : Une fois qu'un document dépasse 1 200 citations, l'IA s'en souvient presque parfaitement, mot pour mot. C'est comme si le livre était si célèbre que tout le personnel de la bibliothèque l'a mémorisé.

3. La Mémoire « En Couches » (L'Analogie du Sandwich)

C'est la partie la plus intéressante. Même lorsque l'IA se souvient d'un document, elle ne s'en souvient pas de la même manière pour chaque partie. Elle se souvient des couches « supérieures » en premier et des couches « inférieures » en dernier.

Imaginez un document comme un sandwich :

Le Pain (Couche Supérieure) : Le Titre et le Nom du Premier Auteur. Ce sont les parties les plus célèbres. L'IA s'en souvient même lorsque le document n'est pas très célèbre.
La Viande (Couche Intermédiaire) : Les Co-auteurs et le Nom de la Revue. L'IA a besoin que le document soit très célèbre (environ 1 000 citations) avant de s'en souvenir correctement.
La Laitue (Couche Inférieure) : Le Volume, les Numéros de Page et l'Année. Ce sont les éléments les plus difficiles à retenir. Même pour les documents très célèbres, l'IA se trompe souvent sur l'année ou les numéros de page.
La Sauce Secrète : L'Année est le pire élément. L'IA semble deviner l'année en fonction de la période où le sujet était populaire, plutôt que de se souvenir de l'année réelle où le document a été écrit.

4. Le Problème de « Mélange » (L'Analogie des Jumeaux)

Parfois, même pour des documents très célèbres, l'IA se trompe.

L'Analogie : Imaginez deux jumeaux célèbres qui se ressemblent exactement et ont des noms similaires. Si vous demandez à un ami de décrire l'un d'eux, il pourrait accidentellement confondre leurs vêtements ou leur école.
La Découverte : Si deux documents ont des titres similaires et le même auteur principal, l'IA peut les fusionner. Elle crée une citation « Frankenstein » qui semble réelle mais qui est en fait un mélange de deux documents réels différents. Les chercheurs appellent cela une « interférence d'attracteur fallacieux », ce qui signifie essentiellement que la mémoire de l'IA s'emmêle entre deux souvenirs similaires.

Pourquoi Cela Se Produit-il ?

Le document suggère que l'IA ne « réfléchit » pas ou ne « comprend » pas les documents. Au lieu de cela, elle agit comme un adaptateur de motifs statistiques.

Si un document apparaît partout (forte redondance), l'IA a vu exactement la même structure de phrase tellement de fois qu'elle la répète simplement (mémorisation littérale).
Si un document est rare, l'IA doit deviner les pièces manquantes en fonction de ce qui s'y trouve habituellement, ce qui conduit à des citations fictives.

Résumé

Le document conclut que l'hallucination (inventer des choses) et la mémorisation (se souvenir des choses) sont les deux faces d'une même pièce. Elles dépendent toutes deux de la fréquence à laquelle l'IA a vu l'information.

Faible popularité : L'IA devine et invente des détails.
Popularité moyenne : L'IA se souvient du titre et de l'auteur mais devine le reste.
Forte popularité : L'IA se souvient de tout parfaitement, sauf si elle se trompe à cause d'un document « jumeau » avec un nom similaire.

L'étude nous met en garde contre le fait de faire confiance à une IA pour nous fournir une bibliographie parfaite simplement parce qu'elle semble confiante. Nous devons vérifier les détails, en particulier les dates et les numéros de page, car la mémoire de l'IA est en couches et imparfaite.

Résumé technique : Mémoire hiérarchique dans les grands modèles de langage

Énoncé du problème

Les grands modèles de langage (LLM) présentent un mode de défaillance critique dans la génération de citations académiques : la fabrication de références inexistantes. Bien que les LLM démontrent une fluidité dans tous les domaines, ils hallucinent fréquemment des notices bibliographiques qui semblent structurellement correctes mais sont factuellement fausses. Cette étude postule que l'hallucination et la mémorisation littérale ne sont pas des phénomènes distincts, mais des résultats opposés d'un même processus d'apprentissage probabiliste. Plus précisément, l'article examine comment la redondance d'une notice bibliographique dans le corpus de préformation — approchée par son nombre de citations — détermine la capacité du modèle à la rappeler avec exactitude. Le problème central consiste à caractériser la structure interne de ce processus de mémorisation : s'agit-il d'un état binaire (mémorisé vs halluciné) ou d'un phénomène gradué et hiérarchique où différents composants d'une notice sont rappelés à des niveaux de redondance distincts ?

Méthodologie

L'étude a adopté une conception expérimentale en système fermé utilisant GPT-4.1 (date de coupure des connaissances : juin 2024) pour générer des notices bibliographiques sans accès à des outils de récupération externes.

Conception expérimentale : Le modèle a été invité à générer cinq articles académiques récents dans 20 domaines distincts de l'informatique (par exemple, Vision Transformers, Modèles de diffusion, LoRA), aboutissant à 100 échantillons au total.
Vérification des données : Les notices générées ont été vérifiées manuellement contre Google Scholar (en octobre 2025) pour déterminer leur existence et recueillir les nombres de citations. Google Scholar a été choisi pour sa couverture étendue des prépublications, des actes de conférences et des discussions en ligne, ce qui approxime mieux la diversité des corpus de préformation des LLM que les bases de données académiques traditionnelles.
Métriques d'évaluation :
- Évaluation manuelle : Les notices ont été classées comme entièrement correctes (Score 2), partiellement hallucinées (Score 1) ou entièrement hallucinées (Score 0).
- Évaluation computationnelle : Pour les notices existantes, la similarité cosinus (utilisant des embeddings Sentence-BERT) a été calculée entre les métadonnées générées et authentiques pour mesurer la fidélité factuelle sur une échelle continue.
- Analyse au niveau des champs : Pour les notices partiellement hallucinées ( $n=68$ ), l'exactitude de sept champs de métadonnées spécifiques (titre, premier auteur, co-auteurs, année, revue, volume, pages) a été évaluée individuellement pour cartographier les trajectoires de mémorisation.

Contributions clés

Cette étude étend des travaux préliminaires en reformulant la dichotomie hallucination-mémorisation comme un phénomène gradué et hiérarchiquement stratifié. Les contributions principales sont :

Échelle log-linéaire : Établir que l'exactitude factuelle évolue de manière log-linéaire avec le nombre de citations, servant d'indicateur de la redondance des données d'entraînement.
Seuils de mémorisation : Identifier deux seuils empiriquement distincts dans la transition de la synthèse probabiliste à la rappel littéral.
Mémorisation hiérarchique : Démontrer que, au sein d'une seule notice bibliographique, différents champs de métadonnées franchissent le seuil de mémorisation à des niveaux de citations très différents.
Interférence mnésique : Caractériser un mode de défaillance où des notices à forte citation sémantiquement similaires sont confondues, interprété à travers le prisme des attracteurs spurius dans les réseaux de Hopfield modernes.

Résultats

1. Fréquence des citations et exactitude factuelle

Une forte corrélation positive ( $r = 0,75, p < .001$ ) existe entre les nombres de citations transformés par logarithme et la similarité cosinus. Les articles très cités obtiennent des scores factuels nettement supérieurs à ceux des articles peu cités (d de Cohen = 1,02). La relation n'est pas linéaire mais présente un comportement de seuil :

Point d'inflexion (~90 citations) : Le point où le modèle passe d'un comportement purement génératif (synthèse de tokens basée sur des associations) à un comportement basé sur la mémoire (rappel croissant de notices spécifiques).
Point de saturation (~1 248 citations) : Au-delà de ce seuil, les notices bibliographiques sont reproduites presque mot pour mot (similarité cosinus $\approx 1,0$ ) avec une variance résiduelle minimale, indiquant un rappel déterministe.

2. Modèles de mémorisation hiérarchique

L'analyse des notices partiellement hallucinées révèle que la mémorisation n'est pas uniforme à travers les champs de métadonnées. Les champs sont rappelés dans un ordre spécifique basé sur leur redondance dans le corpus d'entraînement :

Mémorisés en premier : Les titres et les premiers auteurs montrent une augmentation régulière de l'exactitude dès les faibles nombres de citations.
Mémorisation intermédiaire : Les co-auteurs et les noms de revues ne commencent à être reproduits avec exactitude qu'autour du seuil de saturation (~1 000 citations).
Mémorisation tardive/peu fiable : Les volumes et les numéros de pages restent bruyants même à des nombres de citations élevés.
Non mémorisés : L'année de publication montre essentiellement aucune corrélation avec le nombre de citations ( $r = 0,038$ ). Le modèle semble générer des années basées sur des priors au niveau du domaine (estimation d'une période plausible en fonction de l'activité du champ) plutôt que de récupérer l'année spécifique de la notice.

3. Interférence mnésique

Même pour les articles très cités, des erreurs peuvent survenir en raison de la confusion entre des notices similaires. Un cas notable impliquait une citation générée pour un article de revue sur les GAN qui combinait la liste des auteurs d'un article séminal de 2014 avec la formulation du titre d'une enquête de 2020. Cela suggère que lorsque plusieurs motifs de haute fréquence se chevauchent (titres/auteurs similaires), leurs « attracteurs » dans le paysage énergétique du modèle fusionnent, créant un attracteur spurius — une notice composite plausible mais inexistante.

Importance et affirmations

L'article soutient que la mémorisation dans les LLM n'est pas un état binaire marche/arrêt mais un continuum façonné par la distribution inégale des connaissances dans le corpus de préformation.

Reformulation de l'hallucination : L'hallucination n'est pas simplement un manque de connaissances, mais une reconstruction probabiliste de données à faible redondance, tandis que le rappel littéral est une forme de surajustement aux données à haute redondance.
Structure interne : L'étude fournit des preuves que la « mémoire » d'un LLM est structurée hiérarchiquement en son sein. Une notice peut être « partiellement mémorisée », où le titre et l'auteur sont rappelés mot pour mot, mais le lieu de publication et l'année sont hallucinés.
Implications pour la fiabilité : Les résultats suggèrent que, dans des scénarios en système fermé (sans récupération externe), la fiabilité des données structurées générées par les LLM est fondamentalement limitée par la redondance du matériel source. Même les notices très citées sont sujettes à l'interférence si elles partagent des caractéristiques sémantiques avec d'autres notices de haute fréquence.
Cadre théorique : L'article interprète ces motifs d'interférence à travers le cadre des réseaux de Hopfield modernes, où le mécanisme d'attention agit comme un processus de minimisation d'énergie qui peut converger vers des attracteurs spurius formés par le chevauchement de motifs de haute fréquence.

L'étude conclut que la compréhension de ces seuils hiérarchiques et des motifs d'interférence est essentielle pour caractériser les limites de la mémorisation des LLM et évaluer la fiabilité des notices factuelles générées dans des domaines tels que les citations académiques, les précédents juridiques et les références de brevets.