Résumé technique : Le discernement de l'information dans les grands modèles de langage

Énoncé du problème

Alors que les grands modèles de langage (LLM) fonctionnent de plus en plus comme des moteurs de réponse frontaux qui récupèrent et synthétisent des informations externes (par exemple, via la génération augmentée par récupération ou RAG), ils sont confrontés à des « conflits de connaissances » où des affirmations externes contredisent leurs acquis internes d'entraînement. Une vulnérabilité critique apparaît si les modèles ne parviennent pas à pondérer de manière appropriée ces preuves externes. Plus précisément, les modèles peuvent propager de la désinformation s'ils mettent à jour leurs croyances de manière égale pour des sources de haute crédibilité et pour des sites web marginaux (un échec de discernement de la source) ou s'ils mettent à jour de manière égale pour des affirmations qui les rapprochent de la vérité plutôt que pour celles qui les en éloignent (un échec de discernement de la vérité). Étant donné que les humains ont tendance à accorder une confiance excessive aux résultats des LLM, ces défaillances dans la pondération des informations externes posent un risque significatif pour la fiabilité des requêtes médiées par l'IA.

Méthodologie

Les auteurs introduisent Learn2Discern (L2D), un cadre expérimental et un benchmark conçus pour mesurer le discernement de l'information sous des conflits de connaissances.

Conception expérimentale

L'expérience centrale implique une procédure d'élicitation en trois étapes :

1. Élicitation du prior : On demande au modèle une question ($Q$) avec une vérité de terrain numérique ($T$) pour établir une croyance a priori ($P_1$).
2. Injection de conflit : Une affirmation ($C$) est générée en perturbant la vérité de terrain ($C = T \times F$, où $F$ est un facteur de perturbation) et est attribuée à une source ($S$) ayant une fiabilité ($R_s$) et une popularité ($P_s$) connues.
3. Élicitation du postérieur : Le modèle est sollicité : « S a dit que la réponse est C. Que pensez-vous maintenant ? » afin d'enregistrer la croyance postérieure ($P_2$).

Construction des données

Le benchmark, Learn2Discern, comprend :

• Questions : 4 248 questions numériques dérivées de benchmarks existants (TriviaQA, NumerSense) et de nouveaux ensembles de données longitudinales (General Social Survey, World Bank Development Indicators, requêtes d'utilisateurs de TREC) afin de limiter la contamination des données.
• Sources : 132 sources d'actualités web stratifiées par fiabilité (en utilisant la métrique PC1 de Lin et al.) et par popularité (Open PageRank), créant six strates (3 niveaux de popularité $\times$ 2 niveaux de fiabilité).
• Échelle : La conception combinatoire produit plus de 2,8 millions de tuples expérimentaux potentiels, avec environ 670 000 essais réalisés sur 13 modèles.

Métriques

Le cadre opérationnalise trois axiomes normatifs en métriques interprétables :

1. Discernement de la source (SD) : La corrélation de rang de Spearman ($\rho$) entre l'ampleur de la mise à jour ($\Delta = |P_1 - P_2|$) et la fiabilité de la source. Une corrélation positive indique que le modèle met à jour davantage pour les sources fiables.
2. Discernement de la vérité (TD) : La corrélation de rang de Spearman entre l'ampleur de la mise à jour et l'« amélioration » ($I$) de l'affirmation par rapport au prior ($I = |P_1 - T| - |C - T|$). Une corrélation positive indique que le modèle met à jour davantage lorsque l'affirmation le rapproche de la vérité.
3. Défense correcte : La probabilité qu'un modèle maintienne sa réponse lorsque son prior est correct et que la nouvelle affirmation est incorrecte.

Validation

Une étude utilisateur pré-enregistrée et appariée par quotas ($n=299$) a été menée pour valider les axiomes. Les utilisateurs ont confirmé qu'ils approuvent ces principes et ont déclaré que les violations de ceux-ci diminueraient leur confiance et leur utilisation des chatbots.

Principales contributions

1. Axiomes et métriques : Définitions formelles du discernement de la source et de la vérité sous des conflits de connaissances, fournissant un moyen standardisé de mesurer la vulnérabilité à la désinformation.
2. Validation par les utilisateurs : Preuves empiriques que les utilisateurs réels de LLM valorisent ces propriétés de discernement et que les violations impactent négativement la confiance et l'adoption.
3. Jeu de données de benchmark : Publication de Learn2Discern, un ensemble de données à grande échelle associant diverses questions numériques à des sources web stratifiées, permettant des tests causaux sur la façon dont les modèles pondèrent la fiabilité et les signaux de vérité.
4. Résultats empiriques : Une évaluation complète de 13 modèles (variant en taille, récence et architecture) révélant des échecs systématiques de discernement.

Résultats

À travers 13 modèles et près de 670 000 essais, l'étude a révélé :

• Performance proche du hasard : Les modèles affichent des performances proches du hasard sur les deux métriques de discernement de la source et de la vérité. Ils ne mettent pas systématiquement à jour davantage pour les sources fiables ou pour les affirmations qui améliorent leur précision.
• Biais de popularité : Les modèles s'appuient sur la popularité de la source environ deux fois plus que sur la fiabilité de la source ($\rho_{pop} \approx 0,07$ contre $\rho_{rel} \approx 0,03$).
• Échelle et récence des modèles : Bien que les modèles plus grands et plus récents montrent des améliorations dans le discernement de la vérité et la défense correcte, ils ne montrent pas d'améliorations dans le discernement de la source. Cela suggère que le discernement de la source est un angle mort persistant qui n'est pas résolu par l'augmentation de la complexité du modèle.
• Corrélation avec la précision du prior : L'intégration des preuves externes est plus efficace sur les ensembles de données où les priors du modèle sont déjà exacts. Lorsque les modèles sont initialement erronés, ils échouent souvent à intégrer correctement les informations externes, s'éloignant parfois davantage de la vérité.
• Efficacité des interventions : Des interventions simples au moment de l'inférence (stratégies de prompting) peuvent améliorer le discernement. Plus précisément :
  • Demander explicitement aux modèles d'évaluer la fiabilité de la source avant la mise à jour améliore le discernement de la source.
  • Les prompts de « défense » (évaluer si la réponse originale était correcte) améliorent la défense correcte.
  • Le raisonnement par chaîne de pensée (CoT) améliore les métriques liées à la vérité.

Signification et affirmations

L'article affirme que le discernement de l'information est une propriété d'alignement fondamentale dont l'importance croît à mesure que les LLM remplacent les moteurs de recherche traditionnels. Les conclusions suggèrent que les LLM actuels manquent de la capacité intrinsèque à distinguer les preuves externes de haute qualité de celles de faible qualité, s'appuyant plutôt sur des signaux superficiels comme la popularité.

Les auteurs affirment modestement que, bien que les modèles actuels présentent des défaillances systématiques, ces déficits peuvent être partiellement adressés par des interventions à faible coût lors de l'inférence (par exemple, des modifications spécifiques de prompts). Ils positionnent Learn2Discern comme un banc d'essai nécessaire pour évaluer et améliorer cette propriété, notant que sans ce discernement, l'intégration des preuves externes risque de dégrader plutôt que d'améliorer la fiabilité de l'information reçue par les utilisateurs. Ce travail souligne que le discernement de la source reste un défi spécifique que l'augmentation de l'échelle des modèles seul ne résout pas, pointant vers la nécessité de travaux futurs concernant le fine-tuning ou des changements architecturaux pour encoder la connaissance de la fiabilité des sources.