Can LLMs Capture Expert Uncertainty? A Comparative Analysis of Value Alignment in Ethnographic Qualitative Research

Cette étude évalue la capacité des grands modèles de langage à capturer l'incertitude des experts dans l'analyse qualitative de valeurs humaines selon la théorie de Schwartz, révélant qu'ils atteignent des performances proches du niveau humain sur des métriques d'ensemble mais divergent dans leurs structures d'incertitude et leurs biais systématiques, bien que l'agrégation de modèles et l'utilisation de modèles comme Qwen améliorent significativement l'alignement.

L'essentiel

🕵️‍♂️ Le Grand Défi : Les Robots peuvent-ils lire entre les lignes ?

Imaginez que vous êtes un détective (un chercheur en sciences humaines) qui écoute des heures d'interviews avec des gens ordinaires. Ces gens ne disent pas toujours ce qu'ils pensent directement. Ils parlent de leur travail, de leurs enfants, de leurs peurs. Votre mission ? Deviner quelles sont leurs valeurs profondes (comme la sécurité, la liberté, la tradition, etc.) en écoutant ce qu'ils racontent entre les lignes. C'est un travail difficile, subjectif et qui demande beaucoup de temps.

Aujourd'hui, on a des Intelligences Artificielles (IA) très puissantes, les "LLM", qui peuvent lire ces textes à toute vitesse. Mais la question est : Est-ce que l'IA est aussi bonne que l'humain pour comprendre les nuances, les doutes et les incertitudes ?

C'est exactement ce que cette équipe de chercheurs a voulu tester.

---

🧪 L'Expérience : Un concours de "Lecture de Pensée"

Les chercheurs ont pris 12 longues interviews (faites en Chine) et ont demandé à plusieurs IA (comme Qwen, Llama, Mistral) de faire le même travail que des experts humains :

1. Écouter l'histoire.
2. Identifier les 3 valeurs principales qui motivent la personne.
3. Les classer par ordre d'importance.

Ensuite, ils ont comparé le travail des robots avec celui d'une équipe d'experts humains (anthropologues, économistes).

🏆 Les Résultats : Qui gagne ?

1. La précision brute : Les robots sont de bons "trappeurs"

Si l'on regarde juste la liste des valeurs trouvées (sans se soucier de l'ordre), les IA sont très proches des humains. C'est comme si un robot et un humain regardaient un panier de fruits et s'accordaient pour dire : "Il y a des pommes, des poires et des bananes".

• Le gagnant : Le modèle Qwen est celui qui ressemble le plus aux experts humains.

2. Le classement : Les robots sont moins bons "juges"

Par contre, quand il faut dire quelle valeur est la plus importante (la pomme n°1 ou la poire n°1 ?), les IA commettent plus d'erreurs. Elles ont du mal à comprendre la hiérarchie subtile.

• L'analogie : C'est comme un élève qui connaît bien la liste des capitales du monde, mais qui se trompe quand on lui demande de les ranger par ordre de population.

3. Le mystère de l'incertitude : Le robot ne "doute" pas comme nous

C'est le point le plus intéressant. Quand des humains analysent un texte ambigu, ils ne sont pas toujours d'accord. Parfois, un expert dit "C'est de la sécurité", un autre dit "C'est de la tradition". Cette incertitude est normale et saine.

• Le problème des IA : Elles ne reproduisent pas ce type de doute.
  • Certaines IA sont trop sûres d'elles (elles donnent toujours la même réponse, même quand le texte est flou).
  • D'autres sont trop chaotiques (elles changent d'avis selon la façon dont on leur pose la question).
  • Constat : Les robots ne "sentent" pas l'ambiguïté de la même manière que les humains.

4. Le biais caché : L'obsession pour la "Sécurité"

Curieusement, toutes les IA ont tendance à voir de la Sécurité partout, beaucoup plus que les humains.

• L'image : Imaginez un détective qui, à chaque fois qu'il voit un cadenas, pense qu'il s'agit d'un cambriolage, alors que c'est juste une porte fermée. Les IA semblent avoir un "préjugé" qui les pousse à tout interpréter comme un besoin de sécurité.

---

🤝 La Solution : La force du groupe (L'Ensemble)

Les chercheurs ont eu une idée brillante : au lieu de demander la réponse à un seul robot, ils ont demandé à plusieurs robots de travailler ensemble, puis ils ont pris la moyenne de leurs réponses (comme un vote à main levée).

• Résultat : Cette méthode a considérablement amélioré la précision. C'est comme si vous demandiez l'avis de 4 experts différents pour prendre une décision : le résultat est souvent plus fiable que celui d'un seul expert.

---

💡 En résumé : Que faut-il retenir ?

1. Les IA sont de superbes assistants, capables de lire des tonnes de textes et de repérer les grandes idées aussi bien que des humains.
2. Mais elles ne sont pas encore des "experts" complets. Elles manquent de la subtilité humaine pour classer les idées par ordre d'importance et pour comprendre les zones d'ombre (l'incertitude).
3. Elles ont leurs propres "tics", comme une obsession pour la sécurité, qu'il faut surveiller.
4. Le meilleur moyen de les utiliser ? Les faire travailler en équipe (plusieurs modèles ensemble) et garder un œil humain pour vérifier le travail final.

La conclusion en une phrase : L'IA est un excellent stagiaire qui lit vite et bien, mais elle a encore besoin d'un superviseur humain pour comprendre les nuances profondes et les doutes qui font la richesse de la recherche humaine.

Résumé technique

Résumé Technique : LLMs et Incertitude d'Expert en Recherche Ethnographique

1. Problématique et Contexte

L'analyse qualitative d'entretiens ouverts est fondamentale dans la recherche ethnographique et économique pour identifier les valeurs, motivations et comportements financiers des individus. Cependant, ce processus est intrinsèquement subjectif, chronophage et dépendant de l'interprétation humaine. Les chercheurs font face à un défi majeur : l'ambiguïté inhérente de la tâche. Les valeurs humaines sont souvent implicites, contextuelles et partiellement exprimées, ce qui entraîne une variabilité naturelle (désaccords) même entre experts humains.

La question centrale de cette étude est la suivante : Les Grands Modèles de Langage (LLMs) peuvent-ils non seulement identifier ces valeurs avec précision, mais aussi reproduire les structures d'incertitude et les motifs de désaccord observés chez les experts humains ? La plupart des évaluations actuelles se concentrent sur les métriques de performance agrégée, négligeant la complexité de l'incertitude qualitative.

2. Méthodologie

Données et Annotation :

• Corpus : 12 entretiens ouverts de 2 heures chacun, réalisés avec des résidents locaux en Chine. Les entretiens (en chinois) ont été traduits et transcrits en anglais par des experts.
• Cadre Théorique : Identification des trois principales orientations de valeurs exprimées, basées sur la Théorie des Valeurs de Base de Schwartz (10 types motivationnels dérivés de 58 valeurs spécifiques).
• Référence (Ground Truth) : Six experts multidisciplinaires (anthropologues, économistes, spécialistes de l'investissement) ont annoté indépendamment chaque entretien. La vérité terrain est définie par un vote majoritaire (top 3 valeurs).
• Ambiguïté de la tâche : Le coefficient d'accord inter-annotateurs (Krippendorff's $\alpha$) est de 0,389, confirmant la forte ambiguïté inhérente à l'attribution des valeurs.

Modèles Évalués :
Quatre modèles LLM open-source de pointe (contexte $\ge$ 32k tokens) ont été testés :

1. DeepSeek-R1-Distill-Llama-8B
2. Qwen3-30B-A3B-Instruct-2507
3. Llama-3.3-70B-Instruct
4. Mistral-Small-3.2-24B-Instruct

Stratégies d'Évaluation :

• Ingénierie de Prompt (Prompting) : Comparaison de quatre approches :
  • Baseline : Demande directe de priorisation.
  • Contrainte de Biais (BC) : Instruction d'objectivité stricte.
  • Prompting enrichi par le profil (PEP) : Ajout du contexte biographique de l'interviewé.
  • Approche Bottom-Up (BUP) : Agrégation depuis les 58 sous-valeurs vers les 10 valeurs principales.
• Segmentation : Analyse sur le texte complet vs. segmentation en blocs de ~5 000 tokens.
• Méthodes d'Ensemble : Agrégation des prédictions de plusieurs modèles via Vote Majoritaire, Compte de Borda et Kemeny-Young.

Métriques :

• Performance : F1-score (F1@3), Similarité de Jaccard (Jaccard@3), et Recouvrement Biaisé par le Rang (RBO@3) pour évaluer la précision du classement.
• Incertitude et Alignement :
  • Cosinus : Similarité entre la distribution moyenne des valeurs prédites par le modèle et celle des experts.
  • Corrélation de Spearman ($\rho$) : Alignement entre la variabilité des prédictions du modèle (sur différents prompts) et le désaccord entre les experts.
  • Écart-type médian : Mesure de l'ampleur absolue de l'incertitude du modèle.

3. Résultats Clés

A. Performance de Prédiction :

• Les LLMs atteignent un plafond proche de celui des experts sur les métriques de jeu (F1 et Jaccard), indiquant une bonne capacité à identifier le bon ensemble de valeurs.
• En revanche, ils peinent à reproduire le classement exact, avec des scores RBO significativement plus bas que ceux des experts.
• Qwen3 se distingue comme le modèle le plus performant, avec un F1 moyen de 56,6 et une Jaccard de 43,96, se rapprochant le plus du plafond humain (F1 58,2).
• DeepSeek montre une performance très variable et faible, avec une sensibilité extrême aux variations de prompts.

B. Influence du Prompting et de la Segmentation :

• L'approche PEP (Profile-Enhanced Prompting) sur le texte entier obtient les meilleurs résultats.
• L'approche Bottom-Up (BUP) s'est révélée moins efficace.
• La variabilité intra-modèle (sensibilité aux prompts) est souvent supérieure à la variabilité inter-experts, suggérant une fiabilité interne modérée.

C. Analyse de l'Incertitude et de l'Alignement :

• Distribution Moyenne : La plupart des modèles (sauf DeepSeek) reproduisent bien la distribution globale des valeurs des experts (Cosinus > 0,79).
• Structure d'Incertitude : C'est ici que l'écart est le plus marquant.
  • Qwen3 présente la meilleure corrélation avec les motifs de désaccord des experts ($\rho = 0,457$), bien que modérée.
  • Llama est le plus cohérent (faible variance), mais cela indique un excès de confiance systématique (sous-estimation de l'incertitude réelle).
  • DeepSeek a une magnitude d'incertitude proche de celle des experts, mais une structure de désaccord totalement décorrélée.
• Biais Systématique : Tous les modèles surestiment systématiquement la valeur "Sécurité" (Security) par rapport aux experts, révélant un biais potentiel induit par le modèle ou les données d'entraînement.

D. Méthodes d'Ensemble :

• L'agrégation via Vote Majoritaire ou Compte de Borda améliore significativement les performances (gain de +8 à +10 points sur F1 et RBO, +6 à +8 sur Jaccard) par rapport aux modèles individuels.

4. Contributions Principales

1. Évaluation Nuancée de l'Incertitude : L'étude dépasse les métriques de précision classiques pour analyser si les LLMs capturent la nature de l'incertitude humaine (désaccords productifs) dans des tâches qualitatives ambiguës.
2. Benchmark sur Données Longues et Non Structurées : Contrairement aux études précédentes utilisant de courts extraits, cette recherche évalue les modèles sur des entretiens complets et complexes, nécessitant une inférence contextuelle profonde.
3. Analyse Comparative des Modèles et des Stratégies : Identification de Qwen3 comme le modèle le plus aligné et démonstration de l'efficacité des méthodes d'ensemble pour stabiliser les résultats.
4. Détection de Biais de Valeur : Mise en évidence d'un biais systématique vers la "Sécurité" et proposition d'une méthodologie pour distinguer les biais de distribution des biais de structure d'incertitude.

5. Signification et Implications

Cette recherche démontre que les LLMs sont des collaborateurs prometteurs pour l'analyse ethnographique qualitative, capables d'atteindre un niveau de performance proche de l'humain sur la détection de valeurs. Cependant, ils ne reproduisent pas encore fidèlement les structures d'incertitude des experts humains, souvent en étant soit trop confiants (Llama), soit en ayant des motifs de désaccord incohérents.

Implications pratiques :

• Les LLMs doivent être utilisés comme des outils de complémentarité (offrant des perspectives alternatives, comme la sur-représentation de la sécurité) plutôt que comme des substituts directs aux experts.
• L'utilisation de méthodes d'ensemble est cruciale pour atténuer la variabilité des modèles individuels.
• La recherche future doit se concentrer sur la correction des biais induits par les modèles et l'élargissement des évaluations à des modèles propriétaires et des corpus plus vastes pour généraliser les résultats.

En conclusion, bien que les LLMs ne capturent pas parfaitement l'incertitude experte, leur capacité à fournir des analyses cohérentes et à révéler des biais potentiels en fait des outils puissants pour enrichir, et non remplacer, le processus d'interprétation qualitative.