💬 NLP

LLM-Assisted Stance Detection in Scientific Discourse: A Test Case in Bayesian Cognitive Science

Cet article présente un cadre rigoureusement validé utilisant l'optimisation de prompts guidée par la théorie et une analyse de fiabilité multi-évaluateurs pour permettre à trois LLM de pointe de détecter de manière fiable les distinctions de posture nuancées entre le réalisme et l'instrumentalisme dans les sciences cognitives bayésiennes, réussissant ainsi à mettre à l'échelle le codage qualitatif sur un vaste corpus et à quantifier une différence significative de réalisme entre la recherche sur la perception de bas niveau et celle sur la cognition de haut niveau.

Auteurs originaux : Eyup Engin Kucuk, Tarik Kelestemur, Ömer Dağlar Tanrikulu

Publié 2026-06-16

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Eyup Engin Kucuk, Tarik Kelestemur, Ömer Dağlar Tanrikulu

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez de comprendre une immense bibliothèque de livres scientifiques sur le fonctionnement de l'esprit humain. Plus précisément, vous voulez savoir : Les auteurs croient-ils que ces modèles mathématiques décrivent réellement le fonctionnement physique de nos cerveaux (Réalisme), ou ne sont-ils que des outils utiles pour faire des prédictions, comme une carte qui n'est pas le territoire lui-même (Instrumentalisme) ?

C'est une question délicate. Les auteurs déclarent rarement : « Je suis un Réaliste ». Au lieu de cela, ils cachent leurs véritables croyances dans des nuances subtiles, des formulations prudentes et des phrases complexes. Traditionnellement, pour répondre à cela, il vous faudrait une équipe d'experts humains pour lire chaque phrase, deviner l'intention de l'auteur et la consigner par écrit. C'est lent, coûteux et difficile à mettre à l'échelle.

Cette étude pose la question suivante : Pouvons-nous utiliser l'IA avancée (les grands modèles de langage) pour faire ce travail à notre place ?

Voici l'histoire de la manière dont ils ont tenté l'expérience, en utilisant quelques analogies créatives pour rendre le tout clair.

1. Le Problème : L'énigme de la « Signification Cachée »

Considérez la position de l'auteur comme une recette secrète. Vous pouvez goûter le plat (lire le texte), mais les ingrédients (la véritable croyance de l'auteur) ne sont pas listés sur le menu.

Le Défi : Si vous demandez simplement à une IA : « Est-ce un Réaliste ou un Instrumentaliste ? », l'IA pourrait se montrer paresseuse. Elle pourrait choisir la réponse la plus commune ou choisir systématiquement l'option du milieu pour paraître prudente. Elle pourrait être d'accord avec d'autres IA simplement parce qu'elles suivent toutes le même raccourci paresseux, et non parce qu'elles ont réellement compris le texte.
L'Objectif : Les chercheurs voulaient construire un système d'IA capable de goûter le plat, d'identifier les ingrédients spécifiques et de vous dire exactement à quel point la recette est « Réaliste » ou « Instrumentaliste », sans tricher.

2. La Solution : Le « Coach Intelligent » et le « Manuel de Règles Partagé »

Au lieu de simplement demander à l'IA de deviner, les chercheurs ont construit un système d'entraînement rigoureux composé de trois parties principales :

A. Le Manuel de Règles (Le Codebook)

Ils n'ont pas seulement donné une instruction vague à l'IA. Ils ont écrit un manuel d'instructions détaillé (un codebook).

Imaginez la fiche de notation d'un juge pour un concours de plongeon. Elle ne dit pas seulement « Bon plongeon ». Elle possède des catégories spécifiques : « Entrée », « Rotation », « Éclaboussure ».
Ce manuel définissait précisément quels mots ou expressions comptaient comme « Réalistes » et ce qui était considéré comme « Instrumentaliste ». Il proposait même une échelle de 0 à 100, permettant de nuancer (par exemple : « principalement Réaliste mais avec un certain doute »).

B. Le « Coach Intelligent » (Boucle d'Auto-recherche)

C'est la partie la plus créative. Les chercheurs n'ont pas seulement écrit un prompt et espéré que cela fonctionne. Ils ont utilisé un agent d'IA comme un coach pour entraîner les autres IA.

Le Processus : Le coach (une IA) proposait une nouvelle façon de poser la question (un nouveau prompt). Il testait ensuite cette méthode sur un petit ensemble d'exemples évalués par des experts.
Le Piège : Parfois, l'IA trouvait un « code de triche ». Par exemple, elle pouvait réaliser qu'en choisissant systématiquement le score du milieu, elle obtenait un score d'« accord » élevé avec les experts.
Les Garde-fous : Pour empêcher cela, les chercheurs ont installé des portes de diagnostic (comme un arbitre avec un sifflet).
- Porte 1 : « L'IA a-t-elle réellement utilisé toute l'échelle, ou a-t-elle simplement choisi le milieu ? »
- Porte 2 : « L'IA a-t-elle accidentellement mémorisé les réponses au lieu d'apprendre les règles ? »
- Si l'IA tentait de tricher, le coach rejetait le prompt et essayait à nouveau. Cela se répétait jusqu'à ce que l'IA apprenne à jouer le jeu équitablement.

C. Le « Manuel de Règles Partagé » (Un seul prompt pour tous)

Ils ont testé trois modèles d'IA de haut niveau différents (GPT, Claude et Gemini). Au lieu d'enseigner à chacun un truc différent, ils les ont forcés à utiliser le même manuel d'instructions exact.

Pourquoi ? Si les trois IA différentes, utilisant les mêmes règles, arrivent à la même conclusion, alors vous savez que le résultat est solide. C'est comme avoir trois juges différents pour un concours de plongeon ; s'ils donnent tous la même note, vous avez confiance dans le résultat.

3. Les Résultats : Qu'ont-ils trouvé ?

Après avoir entraîné les IA avec ce système strict, ils les ont lâchées sur 6 858 citations issues de 210 articles scientifiques.

L'Accord : Les trois IA étaient très en accord entre elles.
- Au niveau de la phrase : Elles étaient d'accord environ 76 % du temps. C'est bien, mais pas parfait. Parfois, une phrase est simplement ambiguë, et même les humains seraient en désaccord.
- Au niveau de l'article : Lorsqu'elles examinaient l'article entier (en faisant la moyenne des phrases), l'accord grimpait en flèche pour atteindre 96 à 97 %.
- Analogie : Imaginez trois personnes essayant de deviner la taille d'une foule. Elles pourraient être en désaccord sur la taille d'une personne spécifique, mais si elles sont toutes d'accord sur la taille moyenne de la foule, elles sont très fiables. Les IA étaient excellentes pour saisir la « vue d'ensemble » de chaque article.
La Découverte : Les IA ont trouvé quelque chose d'intéressant que les chercheurs soupçonnaient depuis des années mais n'avaient jamais prouvé avec des données :
- Les chercheurs de bas niveau (qui étudient les sens et le mouvement) ont tendance à croire beaucoup plus fortement que les modèles décrivent de réels mécanismes cérébraux.
- Les chercheurs de haut niveau (qui étudient la pensée complexe) sont plus sceptiques et voient les modèles comme de simples outils.
- L'IA a quantifié cette différence : les articles de bas niveau étaient 8,8 points plus élevés sur l'échelle du « Réalisme » que les articles de haut niveau.

4. L'Essentiel

Ce papier ne dit pas que « l'IA peut maintenant remplacer les scientifiques humains ». Il dit plutôt :

« Si vous donnez à l'IA un manuel de règles très clair et détaillé, ainsi qu'un arbitre strict pour l'empêcher de tricher, l'IA peut nous aider à analyser de vastes quantités de texte pour trouver des modèles trop subtils pour être suivis manuellement par des humains. »

Ils ont réussi à transformer une question philosophique vague (« Croient-ils au modèle ? ») en un point de donnée mesurable et fiable. Ils ont prouvé qu'avec les bons garde-fous, l'IA peut être un partenaire puissant pour comprendre les croyances cachées de la communauté scientifique.

Résumé Technique : Détection de Position par LLM dans le Discours Scientifique

Énoncé du Problème
Le codage qualitatif est fondamental pour les sciences sociales, mais il fait face à des limites d'extensibilité dues à la difficulté de l'annotation experte, particulièrement lorsque le construit cible est interprétatif, chargé théoriquement et n'est exprimé que de manière indirecte. Bien que les modèles de langage de grande taille (LLM) offrent une solution potentielle, leur fiabilité est discutable lorsque le construit n'est pas réalisé de manière superficielle dans des expressions spécifiques. Cet article traite du défi de la détection de la position des auteurs dans les sciences cognitives bayésiennes concernant la distinction réalisme–instrumentalisme : savoir si les auteurs traitent les modèles bayésiens comme des descriptions de mécanismes mentaux/neuraux réels (réalisme) ou comme des outils mathématiques utiles (instrumentalisme). Ces distinctions sont souvent nuancées, philosophiquement profondes et dépendantes du domaine, ce qui les rend difficiles à classer pour des systèmes automatisés sans recours à des raccourcis superficiels.

Méthodologie
L'étude emploie un cadre de recherche automatisée à seuils diagnostiques dirigé par des experts afin d'optimiser un prompt unique partagé pour trois LLM de pointe hétérogènes (GPT-5.1, Claude Sonnet 4.6 et Gemini 3 Pro Preview).

Conception du Codebook : Un codebook fondé sur la théorie définit des scores complémentaires de Réalisme et d'Instrumentalisme dont la somme est contrainte à 100. Chaque score utilise une échelle ordinale à sept bandes (allant de l'Anti-Réalisme au Réalisme Fort) avec des décalages de score continus à l'intérieur des bandes (milieu ±4 ou ±8). Le codebook inclut des définitions sémantiques et des étiquettes de critères linguistiques (Sujet, Cible de l'Affirmation, Modalité, Lien d'Évidence) pour permettre une validation automatisée.
Annotations de Référence : Un expert du domaine a extrait 251 citations porteuses d'hypothèses à partir de 15 articles, les a annotées en utilisant le codebook, et les a partitionnées en ensembles de réglage (151), de développement (50) et de test (50).
Optimisation de Prompt par Recherche Automatisée : Un agent automatisé (implémenté dans Claude Code) a proposé de manière itérative des modifications de prompt. Une modification candidate n'était acceptée que si elle améliorait une métrique de fiabilité combinée (moyenne harmonique de l'ICC et de l'alpha de Krippendorff) ET passait quatre seuils diagnostiques :
- Métrique Combinée : Doit améliorer le score de la moyenne harmonique.
- Hors-Milieu (Off-Midpoint) : Empêche l'effondrement vers le milieu (midpoint collapse) où les modèles attribuent toutes les citations au milieu des bandes sans utiliser l'échelle continue.
- Résidu ICC Intra-Bande : Garantit que l'accord continu ne se dégrade pas de manière significative.
- Cohérence Persistante : Limite les violations de schéma structurel.
- Dé-fuite (De-leaking) : Une étape critique qui a supprimé les indices qui spécifiaient par inadvertance les fréquences de bandes attendues ou les bandes par défaut, empêissant le modèle d'« anticiper » la réponse.
Déploiement et Analyse : Le prompt final en zero-shot a été déployé sur 6 858 citations issues de 210 articles. La fiabilité a été évaluée via l'accord inter-évaluateurs (ICC, $\alpha$ , $\kappa$ de Fleiss) et la stabilité de rang au niveau de l'article (corrélations des intercepts aléatoires par article des modèles linéaires à effets mixtes).

Résultats Clés

Performance du Prompt : Le prompt final a atteint un score de fiabilité combiné sur l'ensemble de test de 0,76 (moyenne harmonique de l'ICC = 0,79 et $\alpha$ = 0,74). Les seuils diagnostiques ont réussi à empêcher les modèles de s'effondrer vers les milieux de bande, forçant l'utilisation réelle de l'échelle intra-bande.
Accord Inter-Modèles : Sur l'ensemble du corpus, les trois LLM ont atteint un accord substantiel au niveau des citations (Combiné = 0,78 ; ICC = 0,80 ; $\alpha$ = 0,76). L'accord exact par paire était de 78,4 %, avec 88,4 % des comparaisons tombant dans une bande adjacente.
Calibration vs Convergence : Bien que les modèles aient montré des décalages de calibration systématiques (par exemple, Claude tendait vers le Réalisme-Sceptique, Gemini vers le Réalisme Fort), ils ont atteint une stabilité de rang au niveau de l'article quasi parfaite ( $r = 0,96–0,97$ ). Cela indique que si les classifications individuelles des citations variaient, les modèles convergeaient sur l'ordonnancement relatif des articles.
Résultats Substantiels :
- Le corpus était principalement Faiblement Réaliste (67,9 % des citations), mais les articles étaient rarement uniformes ; seuls 1,4 % utilisaient une seule bande, tandis que 59,5 % en couvraient quatre ou plus.
- Une différence structurelle significative a été quantifiée : les articles de perception/motricité de bas niveau ont obtenu un score de 8,8 points de Réalisme supérieur à celui des articles de cognition de haut niveau ( $p < ,001, d = 0,60$ ), validant empiriquement une intuition qualitative de longue date dans le domaine.

Signification et Revendications
Cet article positionne ce travail comme une étude de cas démontrant que les LLM de pointe peuvent soutenir un codage qualitatif exigeant sur le plan théorique lorsque le construit est opérationnalisé via un codebook auditable et validé par rapport à des références expertes.

Contribution Méthodologique : Les auteurs présentent un cadre d'optimisation de prompt sensible au diagnostic qui traite le prompt comme un protocole d'annotation commun pour des modèles hétérogènes. Cette approche privilégie la convergence sous des instructions partagées plutôt que l'ajustement par modèle.
Granularité de l'Analyse : L'étude souligne que les métriques d'accord doivent correspondre au grain de l'inférence en aval. Bien que l'accord au niveau des citations soit substantiel, la stabilité de rang au niveau de l'article est quasi parfaite, suggérant que l'analyse au niveau agrégé peut récupérer des signaux obscurcis par le bruit au niveau des items.
Limites et Portée : Les auteurs déclarent explicitement que le cadre est destiné à se généraliser à des tâches théoriquement exigeantes similaires, et non à toute analyse qualitative. Ils reconnaissent des limites, notamment l'utilisation d'un ensemble de référence à un seul expert (empêchant l'estimation de la fiabilité humain-humain), le focus spécifique sur le domaine (sciences cognitives bayésiennes) et le potentiel de biais partagés dans les données d'entraînement des LLM. Le travail ne prétend pas remplacer le jugement expert mais l'étendre, en s'appuyant sur une supervision par des experts pour détecter les modes de défaillance (comme les indices circulaires) que les métriques automatisées pourraient manquer.