💬 NLP

Correct codes for the wrong reasons? validating LLMs as measurement instruments for theoretical constructs

Cet article propose le « calibrage de grain », une méthode qui valide les grands modèles de langage en tant qu'instruments de mesure en décomposant les construits théoriques en composantes au niveau de la proposition et en appliquant des règles explicites, dérivées de la théorie, pour garantir que les modèles mesurent les construits visés plutôt que de simplement corréler avec les annotations humaines.

Auteurs originaux : Manuel Pita

Publié 2026-06-30

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Manuel Pita

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Le gros problème : Obtenir la bonne réponse pour les mauvaises raisons

Imaginez que vous passez un examen. Vous obtenez toutes les bonnes réponses et votre professeur vous donne un A. Mais plus tard, vous réalisez que vous n'avez pas réellement compris les mathématiques ; vous avez simplement mémorisé un modèle. Par exemple, vous avez remarqué que chaque fois que la question contenait le mot « pomme », la réponse était « rouge ». Vous ne saviez pas pourquoi les pommes sont rouges ; vous connaissiez juste le modèle.

Cet article soutient que les Grands Modèles de Langage (LLM) — les outils d'IA que nous utilisons pour analyser du texte — font souvent exactement cela. Lorsqu'une IA est d'accord avec un expert humain sur la façon de coder un texte (comme étiqueter un tweet comme « en colère » ou « favorable »), nous supposons que l'IA comprend le concept. Mais l'article dit : L'accord ne suffit pas. L'IA pourrait obtenir la bonne étiquette en repérant un raccourci (une « caractéristique de surface ») plutôt qu'en comprenant réellement la théorie profonde derrière le concept.

L'histoire du « Robot dans la grotte »

Pour expliquer cela, l'auteur raconte l'histoire d'un robot nommé B9 et d'un garçon entrant dans une grotte. Ils trouvent une inscription sur le mur :

« Trois marchèrent sur le chemin profond. La pierre se referma derrière eux là où l'eau parle. Leur dernier souffle porte encore. »

Le Robot (B9) : Il scanne les mots. Il voit « mort », « eau », « pierre » et « souffle ». Il conclut immédiatement : « C'est un avertissement ! Danger ! » Il réagit aux mots effrayants (caractéristiques de surface).
Le Garçon : Il connaît les règles des rituels anciens. Il réalise que, bien que les mots parlent de mort, l'intention est différente. L'inscription ne vous dit pas de faire demi chef ; elle vous dit de suivre les morts vers leur source. C'est une « consécration » (un acte sacré), et non un avertissement.

Le robot a échoué parce qu'il a regardé les mots au lieu de la relation entre les mots. Il n'a pas pu faire la différence entre un avertissement et une bénédiction parce qu'il ne comprenait pas la théorie derrière le rituel.

Les trois « angles morts » (opacités)

L'article affirme que les outils de codage par IA actuels possèdent trois « angles morts » qui cachent la façon dont ils prennent leurs décisions :

La définition aveugle : On donne un nom à l'IA (comme « Soin »), mais on ne lui donne pas les règles spécifiques de ce qui compte comme « Soin ». Elle devine simplement en fonction de ce qu'elle pense que le « Soin » représente habituellement.
La preuve invisible : L'IA donne une réponse, mais elle ne montre pas quelle partie du texte l'a amenée à décider cela. C'est comme un juge rendant un verdict sans présenter les preuves.
La recette secrète : L'IA combine différents indices pour arriver à une réponse finale en utilisant une formule secrète que nous ne pouvons pas voir. Nous ne savons pas si elle a ignoré un indice crucial ou si elle a trop mis l'accent sur un détail infime.

La solution : Le « Grain Calibration » (Calibrage du grain)

L'auteur propose une nouvelle méthode appelée Grain Calibration. Voyez cela comme le fait de prendre une recette complexe et de la décomposer en étapes minuscules et testables afin de voir exactement comment le gâteau est cuit.

Au lieu de demander à l'IA : « Est-ce que ce texte est du "Soin" ? », la méthode la force à répondre à une série de questions binaires spécifiques (clauses) basées sur la théorie :

Détection : « Le texte mentionne-t-il un être en souffrance ? » (Oui/Non)
Distinction : « Cette souffrance est-elle traitée comme un enjeu moral, ou juste comme un fait triste ? » (Oui/Non)
Posture : « L'auteur prend-il une position morale sur cette souffrance ? » (Oui/Non)

Comment cela fonctionne :

L'humain dans la boucle : Un chercheur humain établit ces questions basées sur la théorie.
La preuve : L'IA doit pointer la phrase exacte dans le texte qui répond par « Oui » ou « Non » pour chaque question.
La règle : Une règle mathématique claire et simple (comme un score pondéré) combine ces réponses. Par exemple : Si (Souffrance = Oui) ET (Enjeu Moral = Oui) ET (Posture = Oui), ALORS c'est du "Soin".

Comment ça marche :

L'humain dans la boucle : Un chercheur humain établit ces questions basées sur la théorie.
La preuve : L'IA doit pointer la phrase exacte dans le texte qui répond par « Oui » ou « Non » pour chaque question.
La règle : Une règle mathématique claire et simple (comme un score pondéré) combine ces réponses. Par exemple : Si (Souffrance = Oui) ET (Enjeu Moral = Oui) ET (Posture = Oui), ALORS c'est du "Soin".

Pourquoi cela change tout

Si l'IA obtient la bonne réponse avec cette méthode, nous savons pourquoi elle l'a obtenue.

Si l'IA dit « Oui » à « Souffrance » mais « Non » à « Enjeu Moral », et que le code final est « Pas de Soin », nous savons que l'IA suit réellement la théorie.
Si l'IA obtient le code final correct mais que la question sur l'« Enjeu Moral » est fausse, nous savons que l'IA triche (en utilisant un raccourci).

L'article appelle cela le « Grain Calibration » car il ajuste le « grain » (la taille des morceaux) de l'analyse jusqu'à ce que l'IA soit contrainte d'utiliser les règles théoriques, et non de simples motifs de mots.

L'essentiel

L'article conclut que nous ne pouvons pas faire confiance à une IA simplement parce qu'elle est d'accord avec les humains. Nous devons construire un système où l'IA est obligée de montrer son raisonnement étape par étape.

Avant : « L'IA dit que c'est du "Soin" parce qu'elle est d'accord avec l'humain. » (Nous ne savons pas si l'IA est intelligente ou simplement chanceuse).
Après (Grain Calibration) : « L'IA dit que c'est du "Soin" parce qu'elle a trouvé une personne en souffrance, a identifié un enjeu moral et a pris une position. » (Nous savons que l'IA mesure réellement le concept qui nous importe).

Le but n'est pas de rendre l'IA plus intelligente, mais de rendre son processus transparent afin que nous puissions être sûrs qu'elle mesure la bonne chose.

Résumé Technique : Des codes corrects pour de mauvaises raisons ? Valider les LLM en tant qu'instruments de mesure de construits théoriques

Énoncé du problème
L'article traite d'une lacune critique dans l'utilisation des grands modèles de langage (LLM) comme instruments de codage dans les sciences sociales et comportementales. Bien que les LLM atteignent fréquemment des scores d'accord élevés (fiabilité) avec les annotateurs humains sur des tâches de codage de texte, cet accord ne garantit pas la validité de construit. Le problème central est que les LLM peuvent produire des codes corrects pour les « mauvaises raisons ». Au lieu d'inférer un construit basé sur sa définition théorique (le réseau nomologique), un instrument théoriquement naïf peut s'appuyer sur des caractéristiques de surface (par exemple, des motifs lexicaux spécifiques, la valence sentimentale ou des indices obliques) qui ne font que corréler avec le construit.

L'article identifie trois opacités cumulatives qui empêchent les chercheurs de vérifier si un LLM mesure réellement un construit théorique :

Opacité définitionnelle : Les composantes théoriques du construit ne sont pas externalisées ; le LLM ne reçoit que le nom du construit et s'appuie sur ses associations internes.
Opacité inférentielle : L'instrument ne rapporte pas quelles preuves textuelles spécifiques soutiennent chaque composante du construit.
Opacité compositionnelle : La règle combinant les scores des composantes en un code final est implicite dans le passage génératif du modèle, ce qui rend impossible l'audit de la manière dont la décision finale a été prise.

Par conséquent, les méthodes de validation actuelles, qui reposent sur des mesures d'accord (par exemple, F1, $\kappa$ de Cohen) par rapport à une vérité terrain humaine, ne parviennent pas à distinguer une mesure authentique d'une exploitation de corrélations spécieuses.

Méthodologie : Calibrage du grain (Grain Calibration)
L'article propose le calibrage du grain, une procédure itérative conçue pour combler l'écart entre la compétence distributionnelle (ce que les LLM peuvent inférer à partir des associations de mots) et la structure théorique (ce qu'un construit exige). La méthode repose sur le postulat qu'un construit doit être décomposé en unités testables de manière indépendante avant la génération du code final.

La procédure implique trois étapes architecturales :

Décomposition en clauses : Le construit théorique est décomposé en ses composantes constituantes telles que définies par son réseau nomologique. Chaque composante est ensuite divisée en clauses — des questions binaires sur ce que le texte doit montrer (par exemple, « Le texte fait-il référence à la souffrance ? » vs « La souffrance est-elle traitée comme étant moralement pertinente ? »).
Ancrage extractif : Chaque clause est testée par rapport au texte d'entrée pour produire un score accompagné d'un segment extractif (un segment de texte spécifique) qui justifie le score. Cela ferme l'opacité inférentielle en fournissant une preuve auditable pour chaque composante.
Règle d'intégration explicite : Les scores des clauses sont combinés en un code final en utilisant une règle énoncée et explicite (par exemple, une régression logistique régularisée ou une règle linéaire) plutôt qu'un passage génératif opaque. Cette règle est ajustée aux codes humains comme vérité terrain, mais les poids sont interprétés par rapport à la théorie, et non seulement pour maximiser l'accord.

Contributions clés

Diagnostic de la naïveté théorique : L'article établit que l'accord est une mesure de fiabilité, et non de validité. Il démontre que les LLM peuvent correspondre aux codes humains en suivant des raccourcis (corrélats de surface) qui échouent à engager les relations théoriques définissant le construit.
Opérationnalisation de la validité substantielle : S'appuyant sur le cadre de Messick, l'article opérationnalise l'« aspect substantiel » de la validité de construit. Il soutient que la validité n'est pas gagnée par le score de sortie, mais par la preuve que le processus de l'instrument traverse le réseau théorique du construit.
Le cadre de calibrage du grain : L'article introduit une architecture spécifique et reproductible (Décomposition $\rightarrow$ Test au niveau des clauses $\rightarrow$ Intégration explicite) qui transforme une tâche de codage boîte noire en un processus transparent et auditable.
Distinction entre construction et validation : L'article pose que la construction et la validation sont des actes simultanés dans ce cadre. La même décomposition qui construit l'instrument est celle qui rend sa validité inspectable.

Résultats et affirmations
L'article ne présente pas de nouvelles données empiriques ou d'étude de cas avec des résultats inédits ; il synthétise plutôt la littérature existante pour démontrer les modes de défaillance des pratiques actuelles de codage par LLM (par exemple, l'expérience de pensée du « robot dans la caverne », les erreurs de codage des fondements moraux, et la détection de posture).

La thèse principale est que le calibrage du grain est la procédure nécessaire pour distinguer la mesure valide de la corrélation spécieuse. L'article soutient que :

Un instrument qui ferme les trois opacités expose les composantes, la preuve et la règle d'intégration.
Les « poids » de la règle d'intégration servent d'outil de diagnostic. Si un poids attribué à une clause théoriquement essentielle est proche de zéro, ou si une clause de caractéristique de surface domine la décision, l'instrument est théoriquement naïf.
La méthode permet l'itération : si les poids ou les résidus (l'écart entre le prompt opaque et la décomposition explicite) indiquent un décalage avec la théorie, le chercheur peut réviser les clauses ou la décomposition jusqu'à ce que le comportement de l'instrument s'aligne sur les exigences théoriques du construit.

Signification
L'article revendique une importance modeste mais fondamentale. Il ne propose pas une nouvelle théorie du sens et ne prétend pas que les LLM possèdent ou non une compréhension. Au lieu de cela, il s'attaque à un angle mort méthodologique : le domaine a accepté la fiabilité (l'accord) comme un substitut de la validité parce qu'une procédure pour tester le processus de codage manquait.

En fournissant un mécanisme pour auditer le chemin inférentiel, le calibrage du grain permet au domaine de ne pas seulement demander « Le LLM est-il d'accord avec l'humain ? », mais « Le LLM est-il d'accord avec l'humain pour les raisons spécifiées par le construit ? ». L'article conclut que cette procédure définit la limite des problèmes de codage solubles, distinguant les construits qui peuvent être validement opérationnalisés par cette méthode de ceux qui ne le peuvent pas (par exemple, les construits générés purement à partir de données sans un réseau théorique préalable). Il positionne l'« aspect substantiel » de la validité comme la pièce manquante dans le paysage actuel de l'évaluation des LLM.