💬 NLP

Popular but Wrong: Understanding and Mitigating LLM Overconfidence through Knowledge Popularity

Cet article révèle que les grands modèles de langage font preuve de surconfiance dans leurs réponses incorrectes lorsque celles-ci sont très populaires ou co-occurrent fréquemment avec la requête, et démontre que l'incorporation de signaux de popularité des connaissances atténue efficacement cette surconfiance tout en améliorant considérablement la précision de l'estimation de la confiance.

Auteurs originaux : Shiyu Ni, Keping Bi, Jiafeng Guo, Xueqi Cheng

Publié 2026-09-01

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Shiyu Ni, Keping Bi, Jiafeng Guo, Xueqi Cheng

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Dans le bourdonnement discret d'une ferme de serveurs, une nouvelle forme d'intelligence est apparue, capable d'écrire de la poésie, de résoudre des équations et de répondre à des questions avec une fluidité qui semble presque humaine. Ces grands modèles de langage sont entraînés sur des océans de textes, apprenant à prédire le mot suivant dans une phrase en reconnaissant des motifs dans la connaissance humaine. Mais il y a un piège : ces machines ne « savent » pas vraiment les faits comme nous le faisons. Elles n'ont pas de mémoire du monde, seulement un sens statistique de quels mots apparaissent habituellement ensemble. Lorsqu'elles sont incertaines, elles ne l'admettent souvent pas. Au lieu de cela, elles produisent fréquemment des réponses incorrectes avec une certitude absolue, un phénomène que les chercheurs appellent l'excès de confiance. C'est un problème critique pour quiconque compte sur ces outils pour la sécurité, la médecine ou la finance, car un mensonge assuré est bien plus dangereux qu'une vérité hésitante. La question fondamentale pour les scientifiques a été de savoir pourquoi ces modèles font si profondément confiance à leurs propres erreurs. S'agit-il d'un bug aléatoire, ou existe-t-il un motif caché dans leur apprentissage qui les rend certains de choses erronées ?

Une équipe de chercheurs s'est lancée dans l'investigation de ce mystère en examinant le concept de popularité. Ils se sont demandé si les modèles favorisaient simplement des réponses célèbres ou fréquemment vues dans leurs données d'entraînement, même lorsque ces réponses étaient fausses pour la question spécifique posée. Pour tester cela, ils se sont concentrés sur un type spécifique de tâche : des questions factuelles sur des entités du monde réel, comme demander qui a réalisé un film spécifique ou où un joueur de basket est né. Ils ont rassemblé des milliers de ces questions et ont comparé les bonnes réponses aux mauv'aises réponses générées par les modèles. Ils ont mesuré la « popularité » des personnes et des lieux impliqués en comptant combien de liens pointaient vers eux sur Internet et la fréquence à laquelle ils apparaissaient ensemble dans des documents écrits. Cette approche leur a permis de voir si les modèles gravitaient vers les noms les plus familiers plutôt que vers les bons.

Les chercheurs ont découvert que lorsque ces modèles font des erreurs, celles-ci sont loin d'être aléatoires. Au lieu de deviner des noms obscurs ou improbables, les modèles ont tendance à halluciner des réponses qui sont plus populaires que les faits corrects. Par exemple, si un modèle ne connaît pas le réalisateur d'un film moins connu, il est plus susceptible de nommer avec assurance un réalisateur célèbre qu'il a vu de nombreuses fois auparavant, plutôt qu'un inconnu quelconque. De plus, les modèles choisissent souvent des réponses qui apparaissent fréquemment dans les mêmes phrases que la question, même si cette connexion est incorrecte. Un modèle pourrait répondre à une question sur un réalisateur de cinéma en nommant le producteur, simplement parce que ces deux rôles sont souvent mentionnés ensemble dans les articles. L'étude a révélé que ces alternatives populaires mais erronées ne sont pas seulement communes ; elles sont aussi celles auxquelles le modèle accorde le plus de confiance. Même lorsque la réponse est incorrecte, le modèle attribue un niveau de confiance plus élevé à la réponse populaire et familière qu'à une réponse moins célèbre mais correcte.

Ce schéma se vérifie à travers différents types de questions et différentes tailles de modèles, suggérant une faille fondamentale dans la manière dont ces systèmes traitent la connaissance. Les chercheurs ont constaté que plus une information est répétée dans les données d'entraînement, plus le modèle est susceptible de la générer et plus il sera confiant, peu importe qu'il s'agisse de la bonne réponse pour la requête spécifique. Cela crée une boucle de rétroaction dangereuse où la réponse incorrecte la plus familière est traitée comme la vérité la plus probable. L'étude souligne que les lacunes substantielles de connaissances de domaine sont associées à une génération encore plus fortement biaisée par la popularité, ce qui signifie que lorsque les modèles en savent moins sur un sujet spécifique, ils sont plus susceptibles de s'appuyer sur des associations familières mais incorrectes. Les conclusions révèlent de fortes associations systématiques entre popularité et excès de confiance, bien que les chercheurs notent que celles-ci sont corrélationnelles plutôt que causales, signifiant qu'elles montrent un lien clair sans prouver que la popularité seule cause les prédictions excessivement confiantes.

Pour remédier à cela, les chercheurs ont développé une méthode pour aider les modèles à reconnaître quand leur confiance pourrait être mal placée. Ils ont créé un système qui examine la popularité de la réponse et la relation entre la question et la réponse avant d'accepter le score de confiance du modèle. En tenant compte de la popularité de la réponse et de la fréquence à laquelle elle apparaît avec la question, le système peut ajuster la confiance du modèle à la baisse lorsqu'il est trop sûr d'une réponse populaire mais probablement fausse. Lorsqu'ils ont testé cette approche sur six modèles différents, les résultats ont été frappants. La confiance moyenne que les modèles plaçaient sur leurs réponses incorrectes a chuté de manière spectaculaire, passant d'un haut de 0,765 à 0,254. Parallèlement, la précision globale de la confiance du modèle s'est considérablement améliorée, ce qui signifie que le modèle est devenu bien meilleur pour savoir quand il a raison et quand il a tort.

L'étude conclut que la popularité est un moteur clé de l'excès de confiance de l'intelligence artificielle. Les modèles ne font pas que deviner ; ils suivent un chemin de moindre résistance vers les noms et les associations les plus familiers. En comprenant ce biais, il est possible de construire de meilleurs garde-fous qui empêchent ces systèmes de paraître autoritaires lorsqu'ils sont en réalité erronés. Les chercheurs ont noté que bien que leur travail se soit concentré sur des questions factuelles concernant des entités spécifiques, le principe s'étend probablement à d'autres domaines où les modèles pourraient favoriser des motifs communs plutôt que des vérités spécifiques. Ils ont également reconnu que leurs mesures de popularité étaient basées sur des données publiques d'Internet, qui servent de substitut de ce que les modèles ont vu pendant leur entraînement, et que la relation qu'ils ont trouvée est une forte corrélation plutôt qu'une preuve de cause à effet. Néanmoins, la capacité d'utiliser ces signaux de popularité pour calmer l'excès de confiance de la machine offre une étape pratique pour rendre ces outils puissants plus fiables et dignes de confiance pour un usage quotidien.

Résumé technique : Populaire mais faux : Comprendre et atténuer la surconfiance des LLM à travers la popularité de la connaissance

Énoncé du problème

Les grands modèles de langage (LLM) font fréquemment preuve de surconfiance, attribuant des probabilités de génération élevées à des réponses incorrectes. Bien que les recherches existantes aient établi que les LLM sont souvent mal calibrés, les facteurs spécifiques à l'origine de cette surconfiance restent insuffisamment compris. Les études antérieures se sont largement concentrées sur la popularité du côté de la « vérité terrain » (c'est-à-dire la fréquence à laquelle la réponse correcte apparaît dans les données d'entraînement) pour expliquer quand les modèles réussissent. Cependant, cette approche n'explique pas pourquoi les modèles génèrent avec assurance des réponses incorrectes. Ce document postule que le décalage entre la correction de la réponse et la confiance attribuée provient de la structure de fréquence de la connaissance apprise par les LLM, plus précisément de la popularité de la réponse générée elle-même, plutôt que de la simple exactitude de la vérité terrain.

Méthodologie

Tâche et données

L'étude se concentre sur le questionnement factuel (QA) centré sur les entités dérivé de triplets Wikidata (Sujet, Relation, Objet). Les modèles sont interrogés pour générer l'objet étant donné un sujet et une relation.

Jeux de données : Trois jeux de données construits par des travaux antérieurs (Yuksekgonul et al., 2023) couvrant les Films (Réalisateurs), les Chansons (Interprètes) et le Basketball (Lieux de naissance des joueurs). Ces jeux de données varient en termes de popularité de la connaissance et de précision du modèle.
Modèles : Les expériences ont été menées sur six LLM, incluant des modèles open-source (Llama 3-8B, Qwen2-7B, Qwen2.5-7B/14B/32B) et un modèle boîte noire (ChatGPT/GPT-3.5-Turbo).

Métriques de popularité de la connaissance

Puisque les données d'entraînement sont inaccessibles, les auteurs utilisent des statistiques externes comme substituts de la fréquence de la connaissance :

Popularité de l'entité ($Pop$) : Mesurée par le nombre de liens de sites Wikipedia pointant vers une entité.
Nombre de cooccurrences ($RPop$) : Mesuré par le nombre de documents Wikipedia où l'entité de la question et l'entité de la réponse apparaissent ensemble.
Signaux définis :
- $Pop_Q$ : Popularité de l'entité de la question.
- $Pop_{GT}$ : Popularité de la réponse de vérité terrain (ground-truth).
- $RPop_{GT}$ : Cooccurrence entre la question et la vérité terrain.
- $Pop_{Ge}$ : Popularité de la réponse générée.
- $RPop_{Ge}$ : Cooccurrence entre la question et la réponse générée.

Analyse et approche de calibration

Analyse de corrélation : Les auteurs analysent la relation entre ces signaux de popularité et la confiance du modèle (définie comme la moyenne géométrique des probabilités de génération de jetons) pour les prédictions correctes et incorrectes en utilisant des coefficients de corrélation de Spearman partiels.
Stratégie de calibration : Pour atténuer la surconfiance, les auteurs proposent un estimateur de confiance sensible à la popularité.
- Modèle : Un perceptron multicouche (MLP) léger prend en entrée la confiance brute du modèle ( $c$ ) et les signaux de popularité ( $p$ ) pour prédire la correction de la vérité terrain ( $y$ ).
- Signaux : Le système teste les signaux individuels ( $Pop_Q, Pop_{Ge}, RPop_{Ge}$ ) ainsi qu'un paramètre combiné.
- Popularité auto-générée : Pour réduire la dépendance aux corpus externes, les auteurs explorent également l'utilisation du LLM lui-même pour estimer les signaux de popularité ( $\hat{Pop}$ ).

Principales conclusions

1. Les hallucinations sont non aléatoires et populaires

Lorsque les LLM hallucinent, ils ne génèrent pas des réponses fausses arbitraires. Au lieu de cela, ils ont tendance à générer des réponses qui sont :

Plus populaires que la réponse de vérité terrain ( $Pop_{Ge} > Pop_{GT}$ ).
Plus fortement associées à l'entité de la question que la vérité terrain ( $RPop_{Ge} > RPop_{GT}$ ).
Ce schéma est plus prononcé dans les domaines où le rappel factuel du modèle est plus faible (par exemple, le jeu de données Basketball), suggérant que lorsque la connaissance est rare, les modèles reviennent par défaut à des entités globalement populaires ou à forte cooccurrence.

2. La popularité dirige la confiance dans les erreurs

Il existe une forte corrélation positive entre la popularité d'une réponse générée et la confiance qui lui est attribuée, même lorsque la réponse est incorrecte.

Prédictions incorrectes : La confiance est fortement pilotée par la cooccurrence question-réponse ( $RPop_{Ge}$ ) et la popularité de la réponse ( $Pop_{Ge}$ ).
Prédictions correctes : La confiance est uniformément élevée car les réponses correctes impliquent généralement des connaissances hautement populaires et fortement associées, ce qui rend les corrélations plus difficiles à détecter en raison de la faible variance.
Mise à l'échelle (Scaling) : L'augmentation de l'échelle du modèle (par exemple, de 7B à 32B paramètres) n'élimine pas cette corrélation ; les modèles plus grands restent surconfiants dans les réponses populaires mais incorrectes.

3. Atténuation via les signaux de popularité

L'incorporation de signaux de popularité de la connaissance améliore considérablement la calibration de la confiance :

Réduction de la surconfiance : La confiance moyenne sur les réponses incorrectes ( $Conf_w$ ) est passée de 0,765 (probabilité classique) à 0,254 lors de l'utilisation de tous les signaux de popularité.
Qualité de la calibration : L'erreur de calibration attendue (ECE) est passée de 0,356 à 0,050.
Alignement : La capacité à distinguer correctement les réponses correctes des réponses incorrectes (Alignement) s'est améliorée de 77,08 % à 83,72 %.
Efficacité des signaux : Parmi les signaux individuels, le $RPop_{Ge}$ (cooccurrence question-réponse) est le prédicteur autonome le plus efficace.
Signaux auto-générés : L'utilisation du LLM pour estimer les signaux de popularité a également amélioré la calibration, bien qu'avec des gains légèrement inférieurs à ceux obtenus avec les corpus externes.

Signification et revendications

Le document affirme fournir une compréhension systématique du phénomène « populaire mais faux », révélant que la surconfiance n'est pas simplement un échec de la récupération de connaissances, mais un biais systématique vers des entités familières et à haute fréquence.

Mécanisme : Les conclusions suggèrent que les LLM attribuent une confiance élevée aux réponses incorrectes parce que ces réponses possèdent des signaux de popularité forts (haute fréquence d'entité ou forte cooccurrence avec la requête), ce que le modèle interprète comme un signe de correction.
Utilité pratique : L'étude démontre que ces signaux de popularité peuvent être exploités comme un mécanisme de calibration post-hoc. En modélisant explicitement la relation entre la popularité et la correction, il est possible de réduire considérablement la surconfiance et d'améliorer la fiabilité des décisions basées sur la confiance sans nécessiter l'accès aux états internes du modèle ou un réentraînement.
Limites : Les auteurs notent modestement que leurs conclusions sont corrélationnelles et non causales, et que leur étude est limitée au QA factuel en mode fermé et centré sur les entités. L'applicabilité à la génération ouverte ou aux tâches de raisonnement complexe reste une question ouverte.

En résumé, l'article soutient que la popularité de la connaissance est un facteur critique, jusqu'ici sous-exploré, de la surconfiance des LLM, et que la prise en compte de la popularité des réponses générées offre une voie viable pour obtenir des modèles mieux calibrés.