💬 NLP

Learning Moral Diversity: Modelling Individual Perspectives in Moral Classification of Texts

Cet article propose une méthode pour modéliser les perspectives individuelles des annotateurs dans la classification de textes moraux en étendant les modèles de langage pré-entraînés avec des caractéristiques spécifiques aux annotateurs, démontrant que la prise en compte du désaccord subjectif produit des prédictions plus précises et des informations plus approfondies que les approches traditionnelles qui agrègent les étiquettes en une vérité terrain unique.

Auteurs originaux : Yi Ren, Lewis Mitchell, Matthew Roughan

Publié 2026-06-23

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Yi Ren, Lewis Mitchell, Matthew Roughan

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez de comprendre ce que les gens ressentent face à un article de presse spécifique ou à un tweet. Vous demandez à 23 amis différents de le lire et de dire s'il est « bon », « mauvais » ou « neutre » en se basant sur leur boussole morale personnelle.

Par le passé, les chercheurs prenaient toutes les 23 réponses, les mélangeaient et disaient : « D'accord, la majorité dit que c'est "mauvais", donc c'est la vérité. » Ils traitaient le désaccord entre les amis comme du simple « bruit » ou des erreurs à ignorer.

Cet article soutient qu'ignorer le désaccord est la véritable erreur.

Voici une décomposition simple de ce que les chercheurs ont fait, en utilisant des analogies de la vie quotidienne :

1. Le problème : L'ami « moyen » n'existe pas

Les chercheurs ont examiné une vaste collection de tweets où de nombreuses personnes avaient étiqueté leurs valeurs morales (comme la « Justice », la « Loyauté » ou la « Pureté »). Ils ont remarqué que les gens exprimaient souvent des désaccords profonds. Une personne pourrait voir un tweet comme une violation de l'« Autorité », tandis qu'une autre y verrait un champion de la « Justice ».

Les modèles d'IA standards essayaient de trouver une réponse unique « moyenne ». Les chercheurs affirment que cela revient à essayer de décrire une peinture complexe en ne regardant que la couleur moyenne de tous les pixels. On perd les détails, la texture et l'intention spécifique de l'artiste. En imposant une « vérité de terrain » unique, l'IA passe à côté de la réalité riche et désordonnée de la façon dont les humains pensent réellement.

2. La solution : Donner des « personnalités » à l'IA

L'équipe a construit un nouveau type de modèle d'IA. Considérez un modèle d'IA standard comme un traducteur générique qui parle une langue universelle.

Leur nouveau modèle est comme un traducteur qui possède 23 « personnalités » ou « masques » différents.

Ils ont pris une IA puissante et pré-entraînée (appelée BERT) qui est déjà douée pour lire du texte.
Ils ont ajouté une « Couche d'Annotateur » (Annotator Layer) par-dessus.
Cette couche agit comme un filtre personnel pour chacun des 23 amis. Elle apprend que l'« Ami n°5 » a tendance à être très strict sur la « Pureté », tandis que l'« Ami n°12 » est très sensible au « Soin ».

Au lieu de demander : « Quelle est la vraie valeur morale de ce tweet ? », le modèle demande : « Que dirait l'Ami n°5 de ce tweet ? » et « Que dirait l'Ami n°12 de ce tweet ? »

3. Les résultats : De meilleures prédictions et de nouvelles perspectives

Lorsqu'ils ont testé ce nouveau modèle :

Il est devenu meilleur pour deviner les opinions individuelles : Le modèle est devenu nettement plus précis pour prédire comment une personne spécifique étiquetterait un tweet, comparé à l'ancien modèle « moyen ». La précision s'est améliorée d'environ 10 %.
Il a révélé des motifs cachés : Parce que le modèle a appris les « personnalités » des annotateurs, les chercheurs ont pu analyser les données et observer des choses telles que : « Oh, ce groupe d'amis voit toujours les tweets comme des "violations morales", tandis que ce groupe est très prudent et étiquette rarement quoi que ce soit comme moral. »
Le piège de l'« agrégation » : Lorsqu'ils ont tenté de forcer leur nouveau modèle hautement personnalisé à donner une seule réponse « moyenne » (pour imiter l'ancienne méthode), ses performances ont en réalité chuté. Cela a prouvé que l'ancienne méthode consistant à moyenner les étiquettes cachait le fait que les gens voient simplement le monde différemment. La réponse « moyenne » n'était pas nécessairement la « meilleure » réponse ; c'était simplement un compromis qui faisait perdre la nuance.

4. La grande conclusion

L'article conclut que le désaccord n'est pas un bug, mais une fonctionnalité.

Dans le monde du jugement moral, les gens ne font pas seulement des erreurs ; ils ont des perspectives différentes. En construisant une IA qui respecte et apprend de ces perspectives individuelles, nous obtenons une image beaucoup plus claire de la moralité humaine. Les chercheurs suggèrent que les futures IA ne devraient pas seulement essayer de trouver « la bonne réponse », mais devraient plutôt apprendre à comprendre les diverses façons dont les gens interprètent le monde.

En bref : Ils ont appris à une IA à arrêter de prétendre que tout le monde pense de la même manière, et à apprendre plutôt à comprendre comment chaque personne spécifique pense. Le résultat est un modèle plus intelligent et plus honnête qui comprend la réalité désordonnée de l'opinion humaine.

Résumé technique : Apprendre la diversité morale

Énoncé du problème

L'article traite du défi de la classification des valeurs morales dans le texte, spécifiquement dans le cadre de la Théorie des Fondements Moraux (MFT - Moral Foundations Theory). Bien que les modèles de traitement du langage naturel (NLP) supervisés et entraînés sur des données issues du crowdsourcing aient obtenu de solides performances, les approches standard agrègent généralement les étiquettes de plusieurs annotateurs en une seule « vérité de terrain » (ground truth). Les auteurs soutiennent que cette pratique néglige l'subjectivité inhérente au jugement moral. Dans les tâches impliquant des textes courts issus des réseaux sociaux (par exemple, des tweets), les désaccords entre annotateurs ne sont pas de simples bruits non structurés, mais reflètent de véritables variations de points de vue personnels, de contextes culturels et de l'ambiguïté du texte lui-même. En imposant un consensus, les modèles existants peuvent masquer une variation significative et donner une impression trompeuse de performance, échouant ainsi à capturer les nuances de la manière dont différents individus interprètent les expressions morales.

Méthodologie

Les auteurs proposent une approche de modélisation qui capture explicitement les perspectives individuelles des annotateurs plutôt que de les agréger. La méthodologie centrale consiste à étendre un classificateur BERT affiné (fine-tuned) avec une Couche d'Annotateur spécialisée.

Structure des données : L'étude utilise le corpus de tweets sur les fondements moraux (MFTC), contenant 35 108 tweets annotés par 23 individus. Chaque tweet est étiqueté pour cinq fondements moraux (Autorité, Soin, Équité, Loyauté, Pureté) et leur polarité (vertu, vice ou absence). Les données présentent une dispersion importante et un faible accord inter-annotateurs (l'alpha de Krippendorff varie de 0,25 à 0,40), aucun annotateur unique n'ayant étiqueté l'ensemble du jeu de données.
Architecture du modèle : Le modèle conserve un encodeur BERT pré-entraîné pour générer des plongements contextuels ( $h_i$ $h_{i}$ ). Une couche de projection projette ces plongements vers un espace de dimension inférieure. Crucialement, une Couche d'Annotateur est introduite pour ajuster les logits en fonction de l'annotateur spécifique ( $a_j$ $a_{j}$ ) fournissant l'étiquette. Les auteurs implémentent deux variantes :
- Couche d'Annotateur de Biais uniquement (BO-AL) : Applique une matrice de biais apprise ( $B$ ) où chaque ligne représente le biais spécifique d'un annotateur envers les trois classes (vertu, vice, absence). Cette variante vise l'interprétabilité avec moins de paramètres.
- Couche d'Annotateur par Transformation Linéaire (LT-AL) : Emploie une transformation linéaire pour chaque annotateur, projetant les caractéristiques textuelles projetées vers les logits de sortie via une matrice de poids et un vecteur de biais uniques. Cette variante offre une plus grande puissance de représentation pour modéliser des schémas individuels complexes.
Objectif d'entraînement : Les modèles sont entraînés à l'aide de la perte d'entropie croisée sur les annotations individuelles (tuples de texte, annotateur et étiquette). La régularisation inclut une décroissance de poids L2 et une pénalité de biais centré pour la variante BO-AL afin de garantir que l'annotateur moyen ait un biais nul.

Principales contributions

L'article présente trois contributions principales :

Modélisation des perspectives individuelles : Il introduit un cadre qui traite les caractéristiques spécifiques aux annotateurs comme des signaux apprenables plutôt que comme du bruit, tenant compte explicitement de la subjectivité de la tâche dans la classification morale.
Démonstration de l'apprenabilité du biais : Les auteurs montrent que les biais et les tendances des annotateurs sont des caractéristiques apprenables. Leur modèle atteint une amélioration moyenne de 10,2 % du score F1 macro (sur les cinq fondements) lors de la prédiction d'annotations individuelles par rapport à un modèle de base BERT affiné standard.
Critique de l'agrégation : Ce travail souligne les limites de l'agrégation des annotations en une seule vérité de terrain. Il démontre que les modèles entraînés sur des étiquettes agrégées peuvent paraître très précis tout en masquant les incohérences sous-jacentes et la subjectivité inhérente aux données.

Résultats

Performance sur les annotations brutes : Les deux variantes de la Couche d'Annotateur (BO-AL et LT-AL) ont surpassé le modèle de base FT-BERT dans la prédiction des annotations individuelles. La variante LT-AL a produit les gains les plus significatifs, particulièrement pour les fondements « liants » (Autorité, Loyauté, Pureté), qui présentaient une ambiguïté plus élevée et un plus faible accord inter-annotateurs.
Améliorations par classe : Les améliorations de classification les plus substantielles se sont produites dans les classes morales (vertu et vice) plutôt que dans la classe « absence ». Par exemple, le modèle LT-AL a amélioré le score F1 de la classe vertu de la « Pureté » de 0,265 par rapport au modèle de base.
Interprétabilité : La matrice de biais extraite du modèle BO-AL a révélé des « types d'annotateurs » distincts. Certains annotateurs favorisaient systématiquement les étiquettes de vertu ou de vice, tandis que d'autres étaient plus prudents, choisissant fréquemment l'étiquette « absence ». Ces schémas variaient selon les différents fondements, suggérant que le biais de l'annotateur n'est pas universel mais dépend du contexte.
Le paradoxe de l'agrégation : Lorsque les auteurs ont évalué le modèle LT-AL sur des étiquettes agrégées (en faisant la moyenne des prédictions de tous les annotateurs), la performance a considérablement diminué par rapport au modèle de base. Cela indique qu'un modèle optimisé pour capturer les perspectives individuelles ne s'aligne pas nécessairement sur une étiquette de consensus, et qu'une haute performance sur les étiquettes agrégées peut masquer l'incapacité du modèle à capturer la véritable diversité du jugement humain.

Signification et affirmations

L'article affirme que le désaccord dans les tâches de classification morale est une caractéristique apprenable qui reflète la subjectivité inhérente au domaine. En modélisant les perspectives individuelles, les auteurs démontrent que :

Les méthodes d'agrégation standard peuvent conduire à une vision « lissée » de la réalité qui manque les conflits et les subtilités inhérents à l'expérience humaine.
Les biais des annotateurs ne sont pas seulement du bruit à éliminer, mais contiennent des informations significatives sur la manière dont différents individus interprètent le contenu moral.
La recherche future devrait dépasser l'entraînement de classificateurs universels pour une seule « vérité de terrain » et plutôt développer des modèles qui reflètent la diversité du jugement moral.

Les auteurs notent modestement des limites, spécifiquement qu'ils n'ont pas pu corréler les caractéristiques apprises des annotateurs avec des métadonnées externes (ex: idéologie politique) en raison de l'indisponibilité des données, et que leur approche actuelle ne fournit pas encore de mécanisme robuste pour générer des prédictions agrégées de haute qualité pour les applications en aval nécessitant une étiquette unique. Ils suggèrent que les méthodes d'agrégation principled exploitant ces caractéristiques apprises restent un domaine de travail vital.