💬 NLP

Aligning LLM Uncertainty with Human Disagreement in Subjectivity Analysis

Ce papier propose le cadre DPUA (Perception du Désaccord et Alignement de l'Incertitude), une approche en deux phases qui améliore l'analyse de la subjectivité des grands modèles de langage en modélisant explicitement le désaccord humain pour aligner l'incertitude du modèle sur les variations de jugement du monde réel, réduisant ainsi la surconfiance et améliorant la généralisation.

Auteurs originaux : Junyu Lu, Deyi Ji, Xuanyi Liu, Lanyun Zhu, Bo Xu, Liang Yang, Xian-Sheng Hua, Hongfei Lin

Publié 2026-05-14

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Junyu Lu, Deyi Ji, Xuanyi Liu, Lanyun Zhu, Bo Xu, Liang Yang, Xian-Sheng Hua, Hongfei Lin

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Le Problème Central : « L'Expert Trop Confiant »

Imaginez que vous demandez à un robot super-intelligent (un Modèle de Langage à Grande Échelle, ou LLM) de juger une blague.

L'Ancienne Méthode du Robot : Le robot a été entraîné en observant des milliers d'exemples où des humains votaient pour savoir si quelque chose était « drôle » ou « pas drôle ». Si 90 % des humains disaient « drôle », le robot apprenait que c'était 100 % drôle. Si 51 % disaient « drôle », le robot apprenait toujours que c'était « drôle », mais il agissait comme s'il en était 100 % certain.
Le Défaut : Dans les tâches subjectives (comme détecter l'ironie, l'offense ou le sentiment), les humains sont souvent en désaccord. Une personne peut trouver un commentaire offensant, tandis qu'une autre le trouve drôle. Lorsque nous forçons le robot à choisir une seule réponse, il ignore le fait que les humains sont perplexes. Le résultat ? Le robot devient trop confiant. Il donne une réponse définitive à une question épineuse, même lorsque la question elle-même est ambiguë. C'est comme un météorologue qui déclare « Il pleuvra certainement » alors que le ciel est en réalité un mélange de nuages et de soleil.

La Solution : DPUA (Le « Détective Humble »)

Les auteurs proposent un nouveau cadre appelé DPUA (Perception du Désaccord et Alignement de l'Incertitude). Au lieu d'enseigner simplement au robot quelle est la réponse, ils lui apprennent à quel point il devrait être incertain lorsque les humains sont en désaccord.

Pensez au DPUA comme à la formation d'un détective en deux phases spécifiques :

Phase 1 : Apprendre à Repérer le « Brouillard » (Perception du Désaccord)

Dans cette phase, le robot apprend à reconnaître quand une situation est « brumeuse » (ambiguë).

L'Analogie : Imaginez un professeur corrigeant des dissertations. Pour les dissertations claires (fort accord), le professeur donne un A direct. Mais pour les dissertations où l'intention de l'élève est floue (faible accord), le professeur ne donne pas seulement une note ; il écrit une note disant : « C'est délicat. Certains pourraient le voir comme X, d'autres comme Y. »
Comment ça marche : Le robot est entraîné à prêter une attention particulière à ces cas « brumeux ». Il apprend à générer un « raisonnement » (une explication) qui admet : « Je comprends pourquoi certains pensent que c'est offensant, mais je vois aussi pourquoi d'autres pourraient ne pas le penser. » Il cesse d'essayer de forcer une réponse unique et rigide sur des données désordonnées.

Phase 2 : Régler le « Cadran de Confiance » (Alignement de l'Incertitude)

Dans cette phase, le robot apprend à ajuster son « cadran de confiance » pour correspondre au degré réel de désaccord parmi les humains.

L'Analogie : Imaginez une balance qui mesure à quel point vous êtes sûr.
- Si 100 personnes sont d'accord pour dire qu'une affirmation est vraie, le robot tourne le cadran à 100 %.
- Si seulement 51 personnes sont d'accord (et 49 sont en désaccord), le robot tourne le cadran vers le bas à 55 %.
- Si les humains sont partagés à 50/50, le robot tourne le cadran à 50 % (le plus bas possible), disant efficacement : « Je n'en sais rien, et c'est acceptable. »
Comment ça marche : Les chercheurs utilisent un système de récompense spécial (comme un score de jeu vidéo) pour punir le robot s'il agit avec trop de confiance lorsque les humains sont perplexes, et pour le récompenser s'il agit avec prudence lorsque les données sont désordonnées.

Que Ont-ils Découvert ?

Le papier a testé cela sur trois tâches : détecter l'ironie, repérer le langage offensant et analyser le sentiment (positif/négatif).

Il n'a pas perdu son intelligence : Le robot ne s'est pas moins bien débrouillé pour donner la bonne réponse. En fait, il est resté tout aussi bon pour prédire l'étiquette.
Il est devenu plus honnête : Le robot a cessé de faire semblant d'être sûr quand il ne devrait pas l'être. Sur les cas « limites » délicats (où les humains sont en désaccord), le score de confiance du robot a baissé pour correspondre à la confusion humaine.
Il s'est généralisé mieux : Lorsque le robot a été testé sur de nouveaux types de problèmes subjectifs qu'il n'avait jamais vus, il les a mieux gérés que les anciens modèles. Il a appris une compétence générale de « savoir ce qu'il ne sait pas ».

La Conclusion

Le papier soutient que pour les tâches subjectives, l'incertitude n'est pas un bug ; c'est une fonctionnalité.

En enseignant à l'IA d'exprimer l'incertitude d'une manière qui reflète le désaccord humain, nous obtenons des modèles plus fiables. Au lieu d'un robot qui donne confusément la mauvaise réponse à une blague épineuse, nous obtenons un robot qui dit : « C'est probablement une blague, mais je comprends pourquoi certaines personnes pourraient être offensées, donc je ne suis sûr qu'à 60 %. » Cela fait de l'IA un meilleur partenaire pour les humains dans la prise de décision complexe et nuancée.

Résumé Technique : Alignement de l'incertitude des LLM avec le désaccord humain dans l'analyse de la subjectivité

Énoncé du Problème
Les modèles de langage actuels (LLM) dédiés à l'analyse de la subjectivité (par exemple, l'analyse de sentiments, la détection de l'ironie, la détection de l'offensivité) sont généralement entraînés sur des étiquettes agrégées dérivées d'un vote majoritaire. Ce paradigme comprime les variations intrinsèques du jugement humain en un signal de supervision unique. Par conséquent, il néglige l'incertitude inhérente aux échantillons à faible accord, induisant souvent des prédictions trop confiantes et des frontières de décision rigides. Cette limitation compromet la fiabilité et la généralisation des modèles dans des contextes subjectifs complexes où les frontières sémantiques sont floues et les interprétations humaines varient. Le problème central abordé est de savoir comment permettre aux modèles non seulement de prédire des étiquettes, mais aussi d'exprimer une incertitude reflétant fidèlement la distribution du désaccord humain.

Méthodologie : Le Cadre DPUA
Les auteurs proposent un cadre en deux phases appelé Perception du Désaccord et Alignement de l'Incertitude (DPUA) pour opérationnaliser l'analyse de la subjectivité consciente de l'incertitude. Ce cadre exige que les modèles effectuent conjointement la prédiction d'étiquettes, la génération de justifications et l'estimation de la confiance.

Phase 1 : Perception du Désaccord (Apprentissage Découplé Adaptatif)
- Objectif : Améliorer la sensibilité du modèle aux signaux de désaccord tout en préservant les performances de la tâche.
- Mécanisme : Les auteurs introduisent une stratégie d'apprentissage découplé adaptatif lors du Finetuning Supervisé (SFT). L'objectif d'entraînement est réévalué en fonction du score d'accord humain ( $C^h_i$ $C_{i}^{h}$ ) de chaque échantillon.
  - Échantillons à haut accord : Bénéficient d'une supervision plus forte pour la prédiction d'étiquettes afin d'assurer des schémas de décision stables.
  - Échantillons à faible accord : Bénéficient d'un poids accru pour la génération de justifications afin d'encourager le modèle à apprendre les indices et les preuves liés au désaccord.
- Résultat : Le modèle apprend à générer des justifications qui identifient à la fois les justifications d'étiquettes et les sources potentielles d'ambiguïté ou de désaccord.
Phase 2 : Alignement de l'Incertitude (Optimisation basée sur GRPO)
- Objectif : Affiner le raisonnement conscient de l'incertitude et aligner l'expression de la confiance du modèle avec la distribution du désaccord humain.
- Mécanisme : Les auteurs emploient l'Optimisation de Politique Relative de Groupe (GRPO). Cette phase optimise le modèle en utilisant deux composantes de récompense spécifiques :
  - Récompense de Raisonnement Conscient de l'Incertitude : Évalue la qualité de la justification générée (justification de l'étiquette et identification des indices de désaccord) à l'aide d'un modèle juge (GPT-4o-mini). Le poids de ces composantes est ajusté dynamiquement en fonction du score d'accord humain.
  - Récompense de Calibration de l'Incertitude : Mesure l'écart entre la distribution de confiance prédite par le modèle et la distribution empirique du désaccord humain en utilisant l'Erreur Absolue Moyenne (MAE). Cette récompense encourage le modèle à être moins confiant sur les échantillons à faible accord et plus confiant sur ceux à haut accord.
- Optimisation : Le modèle est mis à jour en maximisant l'avantage relatif de groupe des sorties échantillonnées, favorisant un raisonnement aligné sur les schémas d'incertitude humaine.

Contributions Clés

Changement de Paradigme : L'article plaide pour une « analyse de la subjectivité consciente de l'incertitude », dépassant l'ajustement à une seule étiquette agrégée pour se diriger vers un contexte où les modèles doivent identifier les indices de désaccord et exprimer une incertitude calibrée.
Proposition de Cadre : L'introduction de DPUA, un cadre en deux phases qui modélise conjointement la prédiction d'étiquettes, la génération de justifications et l'estimation de la confiance.
Validation Empirique : Évaluation systématique sur trois tâches d'analyse de la subjectivité (détection de l'ironie, analyse de sentiments et détection de l'offensivité) démontrant que DPUA préserve les performances de base de la tâche tout en améliorant considérablement l'alignement entre l'incertitude du modèle et le désaccord humain.

Résultats Expérimentaux
Les expériences ont été menées sur trois jeux de données : le Corpus de Sarcasme Conversationnel (CSC), GoEmotions (GOE) et MD-Agreement (MD), en utilisant les architectures de base Qwen-3 et LLaMa-3.1.

Alignement de l'Incertitude : DPUA surpasse nettement les références (zero-shot, few-shot, SFT standard et GRPO vanilla) selon les métriques d'alignement de l'incertitude. Il réduit l'Erreur Absolue Moyenne (MAE) entre les distributions du modèle et des humains d'environ 5,94 % à 8,31 % et améliore les coefficients de corrélation de Pearson de 5,13 % à 6,06 % sur l'ensemble des architectures de base.
Performance de la Tâche : Contrairement aux références conscientes de l'incertitude standards qui sacrifient parfois la précision, DPUA maintient des performances compétitives en prédiction d'étiquettes, montrant de légères améliorations des scores de Précision et F1 par rapport à des références solides.
Atténuation de la Surenchère Confiance : La visualisation des distributions de confiance montre que DPUA atténue la surenchère de confiance sur les échantillons limites, attribuant des valeurs de probabilité intermédiaires aux cas à faible accord où le SFT standard a tendance à être excessivement certain.
Généralisation : Dans des contextes de transfert hors distribution (OOD) (par exemple, entraînement sur GOE et test sur CSC), DPUA démontre une généralisation supérieure, obtenant les meilleurs résultats ou des résultats compétitifs tant en prédiction d'étiquettes qu'en alignement de l'incertitude, suggérant que les schémas conscients de l'incertitude appris sont transférables.
Explicabilité : Les études de cas et les évaluations de justifications indiquent que DPUA génère des justifications plus informatives et fondées qui reflètent explicitement l'ambiguïté et le potentiel de désaccord humain.

Signification et Revendications
L'article revendique que la modélisation du désaccord humain comme une source intrinsèque d'incertitude est cruciale pour développer des LLM dignes de confiance dans des scénarios de prise de décision subjective. En alignant la confiance du modèle avec la distribution réelle du désaccord humain, DPUA aborde le problème de la surenchère de confiance sur les échantillons limites, qui est un mode de défaillance courant dans les systèmes actuels d'analyse de la subjectivité. Les auteurs affirment que leur approche fournit une base plus fiable pour les tâches subjectives en garantissant que les modèles expriment l'incertitude d'une manière cohérente avec la complexité de la cognition humaine, plutôt que d'imposer un faux sentiment de certitude par le biais d'étiquettes agrégées. Le travail souligne que l'alignement de l'incertitude est un défi distinct de la prédiction d'étiquettes et nécessite des stratégies architecturales et d'entraînement spécifiques pour être atteint efficacement.