💬 NLP

Predictable Confabulations: Factual Recall by LLMs Scales with Model Size and Topic Frequency

Ce papier établit que la récupération de faits dans les grands modèles de langage suit une loi d'échelle sigmoïde prévisible, pilotée par les effets combinés du nombre de paramètres du modèle et de la fréquence des sujets dans les données d'entraînement, expliquant jusqu'à 94 % de la variance des performances au sein de familles de modèles spécifiques.

Auteurs originaux : Matthew L. Smith, Jonathan P. Shock, Samuel T. Segun, Iyiola E. Olatunji, Tegawendé F. Bissyandé

Publié 2026-05-19

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Matthew L. Smith, Jonathan P. Shock, Samuel T. Segun, Iyiola E. Olatunji, Tegawendé F. Bissyandé

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous avez une bibliothèque géante à l'intérieur du cerveau d'un robot. Ce robot est une intelligence artificielle, et sa tâche consiste à répondre à des questions en extrayant des faits de cette bibliothèque. Parfois, le robot a raison. D'autres fois, il invente des faits qui semblent réels mais qui ne sont pas vrais. Les auteurs de cet article appellent ces faits inventés des « confabulations ».

Cet article pose une question simple : Qu'est-ce qui fait que le robot dit la vérité plus souvent ?

Les chercheurs ont testé 38 modèles d'IA différents (de petits aux massifs) et leur ont demandé de lister 10 articles académiques réels pour 24 sujets différents. Certains sujets étaient très populaires (comme « le changement climatique »), tandis que d'autres étaient très de niche (comme « la prévention de l'abandon scolaire dans les zones rurales »). Ils ont ensuite vérifié si les articles listés par les robots existaient réellement.

Voici ce qu'ils ont découvert, expliqué avec quelques analogies du quotidien :

1. Les deux ingrédients de la vérité

L'article a découvert que trouver la bonne réponse dépend de deux éléments principaux, fonctionnant ensemble comme une recette :

La taille du cerveau (taille du modèle) : La taille de l'IA. Pensez-y comme à la taille des étagères de la bibliothèque. Une bibliothèque plus grande peut contenir plus de livres sans qu'ils ne soient écrasés ou mélangés.
La notoriété du sujet (fréquence du sujet) : À quelle fréquence ce sujet spécifique apparaît dans les livres que l'IA a lus pendant son apprentissage. Pensez-y comme au nombre d'exemplaires d'un livre spécifique dans la bibliothèque. Si un sujet est mentionné dans des milliers de livres, l'IA le connaît bien. S'il n'est mentionné que dans quelques-uns, l'IA pourrait avoir des difficultés.

2. La bataille « Signal contre Bruit »

Les auteurs utilisent un concept appelé rapport signal/bruit pour expliquer comment cela fonctionne. Imaginez que vous essayez d'entendre un ami chuchoter dans une pièce bondée et bruyante.

Le signal : C'est la « vérité » concernant un sujet. Si le sujet est très courant dans les données d'entraînement (comme « le changement climatique »), le signal est fort et clair.
Le bruit : C'est l'interférence causée par la mémoire limitée de l'IA. Si l'IA est petite, sa « pièce » est très encombrée par d'autres faits, créant beaucoup de parasites.
Le résultat : Pour entendre la vérité (se souvenir d'un fait), le signal (la notoriété du sujet) doit être assez fort pour percer le bruit (la petitesse de la mémoire de l'IA).

3. La « courbe en S » du succès

La découverte la plus intéressante est que la relation n'est pas une ligne droite. C'est une courbe en S (sigmoïde). Imaginez une rampe qui a un fond plat, un milieu raide et un sommet plat.

Le fond plat (le plancher) : Lorsque l'IA est très petite ou que le sujet est très obscur, le « bruit » est trop fort. L'IA ne peut pas du tout entendre la vérité. Au lieu de deviner, elle commence à inventer des modèles. Elle pourrait dire « Smith (1990) a écrit sur X » encore et encore, en utilisant des noms courants comme « Smith » juste pour remplir l'espace. Elle ne cherche pas à mentir ; elle manque simplement de vraies données.
Le milieu raide (la rampe) : À mesure que l'IA grossit ou que le sujet devient plus populaire, le signal commence à percer le bruit. C'est là que l'IA s'améliore considérablement très rapidement. Une petite augmentation de la taille ou de la fréquence des données entraîne un grand bond dans la véracité.
Le sommet plat (le plafond) : Finalement, l'IA devient si grande et le sujet si courant qu'elle atteint une limite. Elle se souvient déjà presque de tout ce qu'elle peut sur ce sujet. Rendre l'IA encore plus grande n'aide pas beaucoup car il n'y a plus de faits à trouver.

4. Le problème de la « longue traîne »

L'article met en évidence une inégalité majeure. L'IA est excellente pour se souvenir des choses populaires (la « tête » de la courbe) mais terrible pour se souvenir des choses rares (la « queue »).

L'analogie : Imaginez une station de radio qui passe les 40 meilleurs tubes en boucle. Vous entendrez toujours les tubes clairement. Mais si vous essayez d'écouter une chanson qui n'a été jouée qu'une seule fois en 1995, les parasites l'effaceront.
La découverte : Même les plus grands modèles d'IA testés (avec des billions de paramètres) ont eu des difficultés avec les sujets les plus rares. Pour faire en sorte que l'IA se souvienne d'un fait très rare aussi bien que d'un fait populaire, il faudrait rendre l'IA 30 fois plus grande que la plus grande qu'ils ont testée. C'est un énorme bond !

5. Ce que cela signifie pour l'avenir (selon l'article)

Les auteurs concluent que les « hallucinations » (inventer des choses) ne sont pas des erreurs aléatoires. Elles sont le résultat prévisible de la tentative de comprimer un monde massif et inégal d'informations dans une mémoire finie.

Ce n'est pas aléatoire : Si un sujet est rare et que l'IA est petite, elle fera des erreurs.
C'est structurel : L'IA ne « ment » pas ; c'est simplement que le signal pour ce fait est trop faible pour surmonter le bruit de sa mémoire limitée.
La solution : Pour résoudre cela pour les sujets rares, vous devez soit rendre l'IA massivement plus grande (ce qui est coûteux), soit, comme le suggère l'article, utiliser une stratégie différente comme l'« augmentation par récupération » (donner à l'IA un moteur de recherche pour trouver la réponse au lieu de s'appuyer sur sa mémoire).

En résumé : L'article prouve que la capacité d'une IA à dire la vérité est un mélange mathématiquement prévisible de sa taille et de la popularité du sujet. Si le sujet est obscur et que l'IA est petite, attendez-vous à ce qu'elle invente des choses. Si le sujet est célèbre et que l'IA est énorme, elle aura probablement raison.

Résumé Technique : Confabulations Prévisibles

Énoncé du Problème
Les erreurs de rappel factuel, ou confabulations, restent un mode de défaillance critique des grands modèles de langage (LLM). Alors que des recherches antérieures ont établi que la performance agrégée des modèles suit des lois d'échelle liées à la taille du modèle, à la taille de l'ensemble de données et à la puissance de calcul, aucun cadre unique n'a relié la qualité du rappel factuel à la fois à la taille du modèle et à la composition des données d'entraînement (spécifiquement, la fréquence des sujets). Les travaux existants traitent l'échelle du modèle et la fréquence des connaissances comme des facteurs indépendants, mais manquent d'une forme fonctionnelle prédictive qui les unifie.

Méthodologie
Les auteurs ont évalué 38 LLMs (couvrant 1 milliard à 1,6 trillion de paramètres, incluant des modèles denses, des mélanges d'experts et des modèles propriétaires) sur 24 sujets académiques. Les sujets ont été sélectionnés pour couvrir cinq ordres de grandeur en termes de représentation dans les données d'entraînement, mesurée par le nombre d'œuvres académiques OpenAlex ( $S$ ).

Génération de Données : Chaque modèle a été invité à générer 10 références académiques par sujet à l'aide d'un prompt standardisé.
Pipeline de Vérification : Un système automatisé, SourceVerify, a authentifié les références générées par rapport à OpenAlex, Google Scholar et les registres DOI. Il a produit un score d'authenticité continu basé sur des correspondances au niveau des champs (titre, auteurs, année, lieu de publication, identifiant).
Métrique de Qualité : La qualité finale du rappel a été définie comme le produit de l'authenticité (vérifiée par SourceVerify) et de la pertinence (jugée par un agent automatisé et validée par des évaluateurs humains).
Analyse Statistique : Les auteurs ont ajusté une fonction sigmoïde aux données, modélisant la qualité comme une fonction de la combinaison log-linéaire du nombre de paramètres du modèle ( $P$ ) et de la fréquence de représentation du sujet ( $S$ ).

Cadre Théorique
L'étude propose un modèle de rapport signal-sur-bruit (SNR) inspiré de la « superposition ».

Signal : La force de la représentation d'un concept augmente avec sa fréquence dans les données d'entraînement ( $S$ ).
Bruit : Le plancher d'interférence est déterminé par la capacité du modèle ( $P$ ). Selon la théorie de la superposition, où les modèles encodent plus de caractéristiques que de dimensions, la récupération d'un concept implique une interférence provenant d'autres représentations qui se chevauchent. À mesure que la capacité du modèle augmente, ce plancher d'interférence s'abaisse.
La Sigmoïde : Le rappel se produit lorsque le signal dépasse le plancher de bruit. Les auteurs postulent que la qualité du rappel suit une fonction sigmoïde de la somme logarithmique de ces facteurs :
$\text{qualité} = \sigma(\alpha \log_{10} P + \beta \log_{10} S + \gamma)$
où $\sigma$ est la fonction logistique.

Résultats Clés

Échelle Sigmoïde : Le modèle sigmoïde proposé s'ajuste aux données sur 16 modèles denses provenant de quatre familles indépendantes (Llama, Gemma, Mistral, Qwen) avec un $R^2$ de 0,599. Lorsqu'analysés au sein de familles individuelles, l'ajustement s'améliore considérablement ( $R^2$ allant de 0,74 à 0,94).
Facteurs Indépendants : La taille du modèle ( $P$ ) et la fréquence des sujets ( $S$ ) contribuent indépendamment à la qualité du rappel. La taille du modèle seule explique 42,1 % de la variance, tandis que la fréquence des sujets ajoute 17,8 % supplémentaires.
Trois Régimes : La courbe sigmoïde révèle trois régimes opérationnels distincts :
- Plancher : Les petits modèles ou les sujets rares entraînent une « fabrication par modèle », où les modèles recyclent des noms de famille fréquents ou des modèles génériques plutôt que de rappeler des faits spécifiques.
- Rampe : Une région d'amélioration log-linéaire où l'augmentation de la capacité ou de la fréquence produit des gains proportionnels en rappel.
- Plafond : Une saturation se produit lorsque la capacité dépasse l'inventaire des concepts, et la qualité se stabilise.
Gradient de Citations : Les modèles plus grands rappellent des références avec moins de citations (connaissances à longue traîne) par rapport aux modèles plus petits, qui sont limités aux articles très cités (haute fréquence). Cela soutient l'hypothèse que les modèles plus grands abaissent le plancher de bruit suffisamment pour récupérer des signaux plus faibles.
Décalages Familiaux : Des décalages systématiques existent entre les familles de modèles (par exemple, les modèles Llama surpassent généralement Gemma et Qwen pour des nombres de paramètres similaires), suggérant que les procédures d'entraînement et la curation des données déplacent l'ordonnée à l'origine ( $\gamma$ ) sans modifier la pente d'échelle.

Signification et Revendications
L'article prétend fournir la première loi d'échelle prédictive unifiée pour le rappel factuel qui intègre à la fois l'échelle du modèle et la composition des données d'entraînement. En redéfinissant les confabulations non pas comme des erreurs aléatoires mais comme une conséquence prévisible de la compression de connaissances distribuées de manière non uniforme dans une capacité représentative finie, les auteurs offrent un cadre quantitatif pour estimer la fiabilité.

Les auteurs soulignent que les benchmarks agrégés masquent souvent des disparités systématiques ; un modèle peut bien performer sur des sujets à haute fréquence tout en échouant sur des concepts à longue traîne. Le cadre suggère que l'extension du rappel fiable aux sujets à faible fréquence nécessite des augmentations disproportionnées de la capacité du modèle, tandis que la curation des données et le pré-entraînement ciblé peuvent être plus efficaces pour les concepts proches du seuil de rappel. L'étude conclut que pour les concepts à très faible fréquence, l'augmentation par récupération reste l'alternative nécessaire au rappel paramétrique.

Limites
Les auteurs notent plusieurs contraintes : l'étude est observationnelle (corrélative) plutôt que causale ; le proxy des données d'entraînement ( $S$ ) est indirect ; l'analyse est limitée à l'anglais et aux références académiques ; et les paramètres d'échelle spécifiques peuvent ne pas se généraliser à d'autres domaines factuels comme le sens commun ou les connaissances procédurales.