💬 NLP

Structured Disagreement in Health-Literacy Annotation: Epistemic Stability, Conceptual Difficulty, and Agreement-Stratified Inference

Cette étude démontre que la désagrégation des annotations de littératie en santé, au lieu de les agréger, révèle une structure de désaccord épistémiquement stable liée à la difficulté conceptuelle des tâches et permet de détecter des effets sociologiques qui varient ou s'inversent selon le niveau d'accord entre annotateurs.

Auteurs originaux : Olga Kellert, Sriya Kondury, Candice Koo, Nemika Tyagi, Steffen Eikenberry

Publié 2026-04-23

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Olga Kellert, Sriya Kondury, Candice Koo, Nemika Tyagi, Steffen Eikenberry

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

🌍 Le Contexte : Un Quiz de Santé en Équateur et au Pérou

Imaginez que vous avez organisé un grand concours de connaissances sur le COVID-19 auprès de milliers de personnes vivant dans des villages d'Équateur et du Pérou. Ces personnes parlent espagnol ou des langues locales (quechua/kichwa). On leur a posé des questions ouvertes du type : "Comment le virus se transmet-il ?" ou "Faut-il réutiliser les masques ?".

Au lieu de répondre par "Oui" ou "Non", les gens ont donné des réponses complètes. Ensuite, quatre experts (des étudiants) ont lu ces réponses pour les noter.

🎯 Le Problème : Qui a raison quand on ne s'accorde pas ?

Habituellement, dans les ordinateurs intelligents (l'IA), on pense qu'il y a une seule vérité cachée pour chaque réponse. Si deux experts ne sont pas d'accord, on dit : "L'un des deux s'est trompé, on va faire la moyenne et on oublie le désaccord." C'est comme si on disait que le désaccord est du "bruit" ou une erreur.

Mais les auteurs de ce papier disent : "Attendez ! Ce désaccord est peut-être très important !"

Ils appellent cela une approche "perspectiviste". C'est comme regarder un diamant sous plusieurs angles : selon l'angle, vous voyez des facettes différentes. Aucune n'est fausse, elles sont juste différentes.

🔍 Ce qu'ils ont découvert (Les Analogies)

Voici les trois grandes découvertes de l'étude, expliquées simplement :

1. Ce n'est pas la faute des juges, c'est la faute des questions 🧩

Les chercheurs ont analysé pourquoi les experts ne s'accordaient pas.

L'ancienne idée : "Ah, l'expert A est trop sévère, l'expert B est trop gentil."
La réalité trouvée : C'est plutôt que certaines questions sont intrinsèquement difficiles.
L'analogie : Imaginez un jeu de puzzle.
- Si vous avez un puzzle facile (ex: "Le soleil est-il chaud ?"), tout le monde s'accorde vite.
- Si vous avez un puzzle très complexe (ex: "Comment le virus se cache-t-il sans symptômes ?"), même les meilleurs experts vont hésiter et donner des notes différentes.
- Conclusion : Le désaccord vient de la difficulté de la question, pas de l'incompétence de la personne qui note.

2. La vérité change selon le niveau d'accord 🎭

C'est la partie la plus surprenante. Les chercheurs ont trié les questions en trois groupes : celles où les experts étaient d'accord, celles où ils étaient moyennement d'accord, et celles où ils étaient en désaccord.

Ensuite, ils ont regardé si l'éducation ou le lieu de vie (ville vs campagne) changeait les résultats.

Le résultat fou : Parfois, les conclusions s'inversent !
- Exemple avec l'éducation : Dans les questions où les experts étaient d'accord, les gens très éduqués avaient de meilleures réponses. Mais dans les questions où les experts étaient en désaccord, l'éducation ne comptait plus du tout, ou pire, les gens moins éduqués semblaient parfois mieux répondre !
L'analogie : Imaginez que vous mesurez la hauteur de gens avec une règle qui se plie.
- Si la règle est droite (accord fort), vous voyez que les grands sont grands.
- Si la règle est tordue (désaccord), vous pourriez conclure que les petits sont grands, ou que la taille ne compte pas.
- Le danger : Si vous mélangez tout (agréger les données), vous cachez cette réalité et vous tirez de fausses conclusions sur la société.

3. Le désaccord révèle les inégalités de savoir 📚

Le papier suggère que quand les experts ne s'accordent pas, ce n'est pas parce que la réponse est floue, mais parce que les connaissances des gens sont floues.

L'analogie : Imaginez un brouillard.
- Parfois, le brouillard est épais (la question est difficile, la connaissance est partielle). Les experts ne savent pas exactement comment noter.
- Ce "brouillard" dans les notes nous dit quelque chose de très important : dans certaines communautés, les gens ont des connaissances partielles (ils savent un peu la réponse, mais pas tout).
- Si on force une seule note (0 ou 1), on efface cette nuance précieuse.

💡 Pourquoi est-ce important ? (La Leçon)

Ce papier nous dit deux choses essentielles :

Arrêtons de tout moyeniser : Quand on évalue des réponses complexes (comme en santé ou en politique), on ne doit pas juste faire une moyenne et dire "c'est fini". Le désaccord entre les juges contient des informations vitales.
L'IA doit être plus subtile : Pour que les ordinateurs comprennent le monde réel, ils doivent apprendre à gérer ces zones grises. Ils doivent comprendre qu'une réponse peut être "partiellement vraie" et que cette partialité dépend du contexte (ville, école, pays).

En résumé :
Ce n'est pas un problème si les experts ne sont pas d'accord. C'est un signal ! Ce désaccord nous montre où les connaissances sont fragiles et où les inégalités sociales jouent un rôle. Au lieu de jeter ces désaccords à la poubelle pour avoir une "vérité unique", nous devrions les étudier pour mieux comprendre la réalité complexe de la santé publique.

1. Problématique et Contexte

Les pipelines d'annotation en Traitement Automatique du Langage (TAL/NLP) reposent traditionnellement sur l'hypothèse d'une vérité latente unique par instance. Dans ce paradigme dominant, les désaccords entre annotateurs sont considérés comme du bruit ou une erreur, et sont résolus par des méthodes d'agrégation (comme le vote majoritaire).

Cependant, les approches perspectivistes remettent en cause cette vision en traitant le désaccord comme une information potentielle plutôt que comme une erreur. Alors que le perspectivisme a été largement étudié dans des tâches subjectives (toxicité, détection de stance), il est moins appliqué aux tâches d'interprétation graduée plus objectives, comme l'évaluation de la littératie en santé.

Le problème central de cet article est de déterminer si le désaccord dans l'évaluation de réponses ouvertes à des questions de santé publique reflète une instabilité épistémique inhérente à la tâche (difficulté conceptuelle, nuances d'interprétation) ou simplement une fiabilité insuffisante des annotateurs. L'étude se concentre sur des données provenant de communautés andines (Équateur et Pérou), où les variations linguistiques et l'accès inégal à l'information sanitaire complexifient l'évaluation.

2. Méthodologie

Données et Collecte :

Corpus : 6 323 réponses ouvertes à des questions sur le COVID-19, collectées auprès de 299 participants dans des communautés Quechua/Kichwa et hispanophones.
Annotation : Chaque réponse a été annotée indépendamment par 4 annotateurs (étudiants en sciences des données et santé) utilisant une échelle de correction proportionnelle sur 5 points : {0, 0.25, 0.5, 0.75, 1.0}.
Référence : Les scores sont basés sur l'alignement avec les directives de l'OMS et des ministères de la santé nationaux.
Volume : 17 305 observations au niveau de l'annotation.

Approche Analytique :
L'étude adopte une approche perspectiviste forte, évitant l'agrégation immédiate des étiquettes pour analyser la distribution complète des jugements.

Décomposition de la variance : Utilisation de modèles à effets mixtes pour quantifier la part de variance attribuable à la difficulté conceptuelle de la question versus l'identité de l'annotateur.
Modélisation de base : Un classifieur de régression logistique basé sur TF-IDF a été entraîné pour prédire la binarité (correct/incorrect) afin d'établir une ligne de base lexicale.
Inférence stratifiée par accord : Les questions ont été stratifiées selon leur niveau d'accord inter-annotateurs (mesuré par le $\kappa$ pondéré de Fleiss) en trois catégories : Élevé ( $\kappa > 0.60$ ), Moyen ( $0.40 \le \kappa \le 0.60$ ) et Faible ( $\kappa < 0.40$ ).
Analyse des effets sociodémographiques : Comparaison de l'impact de variables comme le pays, l'éducation et l'urbanisation à travers ces strates d'accord.

3. Résultats Clés

A. Structure du Désaccord (Décomposition de la Variance)

La variance totale des scores est de 0,132.
Difficulté conceptuelle (Niveau Question) : Explique 33,73 % de la variance.
Identité de l'annotateur : N'explique que 1,14 % de la variance.
Conclusion : Le désaccord est principalement structuré par la complexité de la tâche elle-même (questions nécessitant un raisonnement biomédical ou une interprétation de connaissances partielles) et non par l'incohérence des annotateurs.

B. Prédictibilité Lexicale vs Stabilité Épistémique

Un modèle de base (TF-IDF + Régression Logistique) atteint une précision de 83,98 % pour prédire la correction binaire.
Cependant, cette prédictibilité lexicale élevée ne garantit pas la stabilité épistémique. Les résidus de variabilité restent fortement liés à la difficulté conceptuelle des questions, indiquant que le signal lexical ne capture pas toute la complexité interprétative.

C. Inférence Stratifiée par Accord (Résultats Majeurs)
L'analyse révèle que les conclusions sociales changent radicalement selon le niveau d'accord entre annotateurs :

Effet Pays (Équateur vs Pérou) :
- Accord élevé : L'Équateur surpasse nettement le Pérou.
- Accord moyen : La tendance s'inverse (le Pérou surpasse l'Équateur).
- Accord faible : La différence s'atténue mais reste modérée.
Effet Éducation :
- Accord élevé : Un gradient éducatif fort et significatif ( $p < .001$ ).
- Accord moyen : L'effet disparaît totalement ( $p = .837$ ).
- Accord faible : L'effet réapparaît mais avec une amplitude réduite.
Effet Urbain-Rural :
- Accord élevé : Les urbains surpassent les ruraux.
- Accord moyen : La tendance s'inverse (les ruraux surpassent les urbains).
- Accord faible : Aucune différence significative.

Ces résultats démontrent que l'agrégation des données masque des variations importantes et peut même conduire à des conclusions erronées (inversion de direction des effets) dans les zones de désaccord modéré.

4. Contributions Principales

Preuve Empirique du Désaccord Structuré : L'article démontre que dans les tâches d'évaluation de la littératie en santé, le désaccord n'est pas du bruit aléatoire, mais une structure épistémique liée à la difficulté conceptuelle des questions et aux inégalités de connaissances sociales.
Critique de l'Agrégation : Il montre que l'agrégation des étiquettes (moyenne, vote majoritaire) dans les tâches interprétatives graduées peut obscurcir, atténuer ou inverser des effets sociodémographiques réels.
Extension du Perspectivisme : L'étude étend le cadre perspectiviste au-delà des tâches purement subjectives (comme la toxicité) vers des tâches factuelles mais interprétatives, prouvant que l'instabilité épistémique existe même avec des règles de notation normatives.
Ressource de Données : Publication d'un jeu de données majeur reliant des jugements de littératie en santé gradués à des métadonnées sociodémographiques de communautés autochtones andines (Quechua/Kichwa), une ressource rare pour le TAL en langues à faibles ressources.

5. Signification et Implications

Pour le TAL (NLP) : Les modèles doivent intégrer le désaccord comme une variable explicite plutôt que de l'éliminer. Une modélisation perspectiviste forte est statistiquement nécessaire pour une inférence valide dans les tâches d'interprétation graduée. Les approches hiérarchiques ou sensibles à l'accord permettent de distinguer les connaissances stables des zones d'incertitude interprétative.
Pour la Santé Publique : L'accord inter-annotateurs doit servir d'indicateur diagnostique de la stabilité épistémique. Les évaluations de connaissances dans des contextes multilingues et à faibles ressources doivent tenir compte de la manière dont la difficulté conceptuelle interagit avec les facteurs sociaux (éducation, lieu de résidence).
Conclusion Générale : La stabilité épistémique ne doit pas être supposée, mais modélisée explicitement. Ignorer la structure du désaccord risque de produire des biais systématiques dans la compréhension des inégalités de santé et des connaissances publiques.