💬 NLP

Ensemble Diversity Optimization for Subjective Supervision

Cet article introduit l'Ensemble Diversity Optimization (EDO), un cadre différentiable qui optimise conjointement les poids, la taille et le calibrage de l'ensemble via un régularisateur de diversité signé afin de modéliser efficacement le désaccord des annotateurs et l'incertitude dans les tâches de TAL subjectives, démontrant des améliorations significatives du calibrage probabiliste et de l'alignement avec les distributions humaines à travers de multiples bancs d'essai.

Auteurs originaux : Xia Cui, Ziyi Huang, N. R. Abeynayake

Publié 2026-07-10

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Xia Cui, Ziyi Huang, N. R. Abeynayake

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez de comprendre la « véritable » signification d'une phrase délicate, comme un tweet qui pourrait être une blague ou une insulte. Vous demandez à un groupe d'amis de voter. Avec l'ancienne méthode de l'informatique, si trois amis disent « C'est une insulte » et deux disent « C'est une blague », l'ordinateur choisit simplement « Insulte » et oublie les deux autres. Il agit comme s'il n'y avait qu'une seule bonne réponse, même si les amis sont clairement en désaccord.

L'approche par « vote majoritaire » est en fait en train de jeter des informations précieuses. Les auteurs, Xia Cui et Ziyi Huang, soutiennent que lorsque les gens sont en désaccord, ce n'est pas parce que quelqu'un a fait une erreur, mais parce que le sujet est véritablement subjectif. Parfois, les deux interprétations, « blague » et « insulte », sont valables en même temps.

Le problème de la foule du « Réponse unique »
Le papier s'oppose à l'idée selon laquelle nous devrions simplement écraser tous ces points de vue différents en une seule étiquette. Si vous forcez un ordinateur à choisir un seul côté, il devient trop sûr de lui et commet des erreurs lorsqu'il rencontre de nouveaux exemples complexes. C'est comme un professeur qui n'accepterait qu'une seule façon de résoudre un problème de mathématiques, même s'il existe trois autres façons différentes d'arriver au résultat.

Entrez la « Super-Équipe » (EDO)
Pour corriger cela, les auteurs introduisent une nouvelle méthode appelée Ensemble Diversity Optimization (EDO). Voyez l'EDO non pas comme un étudiant unique, mais comme une super-équipe de différents modèles d'IA travaillant ensemble.

Habituellement, quand vous réunissez une équipe de modèles, vous les laissez simplement voter et vous espérez qu'ils soient d'accord. Mais l'EDO est spécial car il possède un « capitaine d'équipe » qui gère activement la manière dont l'équipe est en désaccord.

Voici comment le capitaine fonctionne :

L'interrupteur « Signé » : Le capitaine possède un interrupteur spécial. Parfois, l'équipe doit préserver le désaccord. Si les amis se disputent parce que le sujet est véritablement complexe (comme le discours de haine qui dépend du contexte), le capitaine dit à l'équipe : « Gardez vos différences ! Montrez-nous l'incertitude. » C'est comme dire : « Nous ne sommes pas sûs à 100 %, et c'est acceptable. »
Le filtre de « Bruit » : D'autres fois, le désaccord n'est que du bruit désordonné, peut-être parce que les données sont déséquilibrées (comme avoir 100 votes pour « blague » et seulement 1 vote pour « insulte » parce que le jeu de données est étrange). Dans ce cas, le capitaine bascule l'interrupteur pour supprimer le désaccord, disant à l'équipe de se calmer et de trouver un consensus.

Comment l'équipe apprend
L'article suggère que l'EDO apprend la taille parfaite pour cette équipe et la manière parfaite de pondérer l'opinion de chaque membre. Il ne se contente pas de deviner ; il utilise un tour mathématique (appelé Gumbel-Softmax) pour « essayer » différentes tailles d'équipe et voir laquelle fonctionne le mieux. C'est comme un chef qui goûte une soupe et décide exactement de la quantité d'épices à ajouter, mais de manière si rapide que l'ordinateur peut ajuster la recette pendant qu'il cuisine.

Les résultats : Qu'est-ce qui s'est réellement passé ?
Les auteurs ont testé cela sur quatre jeux de données impliquant notamment la misogynie en arabe, les abus dans les conversations en anglais, les discours de haine liés au Brexit et l'offensivité générale.

La calibration est reine : L'article montre que l'EDO est bien meilleur pour dire la vérité sur sa propre incertitude. Quand l'ordinateur dit : « Je suis sûr à 60 % », il veut réellement dire qu'il est sûr à 60 %. Dans les tests, l'EDO a réduit l'erreur de « Cross-Entropy » (une mesure de la confusion du modèle) de 40 % à 78 % par rapport aux anciennes méthodes.
De meilleurs scores : Il a également réduit considérablement le « Brier Score » (une autre mesure de la précision des probabilités). Par exemple, sur le jeu de données « ConvAbuse », l'ancienne méthode avait un score de 0,9671, tandis que l'EDO l'a fait chuter à 0,2149.
Garder le plaisir : Malgré une plus grande prudence et un manque de surconfiance, l'EDO n'a pas perdu sa capacité à obtenir la réponse principale. Il a maintenu son « score F1 » (une mesure de l'exactitude générale) compétitif avec les meilleures méthodes existantes.

Ce que le papier écarte
Les auteurs sont très clairs sur ce que cette méthode n'est pas.

Elle n'est pas destinée à trouver une « vérité cachée » unique que tout le monde aurait manquée. Le papier soutient que dans les tâches subjectives, il n'existe souvent pas de vérité cachée unique ; le désaccord est la vérité.
Elle n'est pas une méthode qui nécessite de savoir exactement qui sont les annotateurs ou d'avoir des métadonnées spéciales à leur sujet. Elle fonctionne même quand on n'a qu'un tas de votes mélangés.
Elle ne suggère pas que la diversité est toujours bonne. Le papier stipule explicitement que l'on veut parfois supprimer le désaccord si les données sont désordonnées ou déséquilibrées. L'interrupteur « signé » est là pour gérer ces deux cas.

À quel point sont-ils sûrs ?
Les auteurs sont confiants dans leurs résultats grâce aux expériences qu'ils ont menées. Ils n'ont pas seulement simulé cela sur un ordinateur ; ils l'ont testé sur des jeux de données réels avec des annotateurs humains. Les améliorations de la calibration (obtenir les bonnes probabilités) ont été substantielles et constantes sur les quatre jeux de données. Cependant, ils notent que la méthode dépend de la structure du désaccord. Si le désaccord est causé par quelque chose de bizarre dans les données (comme un jeu de données défectueux), la méthode pourrait nécesser un réglage différent.

L'essentiel à retenir
Le papier suggère qu'au lieu de forcer l'IA à choisir un camp dans une dispute humaine, nous devrions lui apprendre à comprendre la dispute elle-même. En utilisant une équipe flexible qui sait quand être d'accord et quand être respectueusement en désaccord, nous pouvons construire une IA qui est plus honnête sur ce qu'elle sait — et sur ce qu'elle ne sait pas. C'est un pas vers des machines qui comprennent que parfois, la réponse n'est pas un chiffre unique, mais toute une gamme de possibilités.

Résumé Technique : Optimisation de la Diversité d'Ensemble pour la Supervision Subjective

Énoncé du Problème

De nombreuses tâches de traitement du langage naturel (NLP), telles que la modération de contenu, la détection de discours de haine et l'analyse de sentiment, sont caractérisées par un désaccord systématique des annotateurs. Dans ces domaines subjectifs, les annotations divergentes découlent souvent d'ambiguïtés sémantiques, de dépendances contextuelles ou de variations de l'expertise des annotateurs, plutôt que de simples erreurs d'annotation. Par conséquent, la « vérité terrain » n'est pas un label latent unique, mais une distribution sur des interprétations humaines plausibles.

Les approches classiques d'apprentissage supervisé agrègent généralement ces annotations en une cible unique (par exemple, via un vote majoritaire), écartant ainsi l'information distributionnelle et induisant un surapprentissage des interprétations dominantes. Bien que la supervision par étiquettes souples (soft-label) préserve les distributions des annotateurs, les méthodes existantes optimisent souvent un modèle prédictif unique, manquant de mécanismes explicites pour réguler la variabilité prédictive interne ou pour distinguer l'incertitude épistémique réelle (subjectivité) du bruit structurel (par exemple, le déséquilibre des classes ou la couverture parcellaire des annotateurs). De plus, les méthodes d'ensemble traditionnelles traitent souvent la diversité comme une propriété émergente d'architectures fixes plutôt que comme un objectif d'optimisation explicite.

Méthodologie : Optimisation de la Diversité d'Ensemble (EDO)

Les auteurs proposent l'Ensemble Diversity Optimization (EDO), un cadre de prédiction dans l'espace de prédiction, conçu pour apprendre sous une supervision subjective et déséquilibrée. L'EDO opère entièrement dans l'espace de prédiction, ce qui lui permet d'être agnostique au modèle et compatible avec n'importe quel ensemble de classificateurs probabilistes pré-entraînés. Le cadre fige les paramètres du backbone et se concentre sur l'apprentissage des poids et de la structure de l'ensemble de manière de bout en bout.

Composants Clés

Apprentissage de la Structure d'Ensemble Différentiable :
Au lieu de fixer la taille de l'ensemble, l'EDO apprend conjointement la cardinalité effective ( $K$ ) et les poids de fiabilité ( $w$ ) des membres de l'ensemble. Ceci est réalisé à l'aide d'une relaxation Gumbel-Softmax, qui permet l'optimisation par gradient de choix structurels discrets (taille de l'ensemble) au sein d'un cadre continu.
Régularisateur de Diversité Signé et Pondéré par la Fiabilité :
Une innovation centrale est l'introduction d'un objectif de diversité signé ( $L^{(s)}_{Div}$ ) où $s \in \{-1, +1\}$ .
- $s = -1$ (Préservation du Désaccord) : Encourage le désaccord intra-ensemble pour préserver l'incertitude épistémique lorsque la variation reflète une véritable subjectivité.
- $s = +1$ (Suppression du Désaccord) : Supprime la divergence lorsque la variation observée est pilotée par des artefacts structurels, tels qu'un déséquilibre extrême des classes ou une couverture parcellaire des annotateurs.
  Ce régularisateur est pondéré par la fiabilité, ce qui signifie que la contribution du désaccord par paire est modulée par les poids appris des membres de l'ensemble.
Optimisation Multi-Objectifs :
L'EDO formule l'apprentissage comme une optimisation conjointe de trois objectifs concurrents :
- Utilité Prédictive : Approximée via une perte micro-F1 différentiable ( $L_{F1}$ ).
- Calibration : Imposée via une entropie croisée pondérée par les classes ( $L_{CE}$ ) pour gérer les étiquettes souples déséquilibrées et s'aligner sur les distributions des annotateurs.
- Diversité Interne : Régulée par la perte de diversité signée ( $L^{(s)}_{Div}$ ).
  L'objectif total est : $\min_{w,K} \lambda_{F1}L_{F1} + \lambda_{CE}L_{CE} + \lambda_{Div}L^{(s)}_{Div} + \lambda_{Reg}L_{Reg}$ .
Stratégies de Supervision :
Le cadre prend en charge deux stratégies :
- Sélection Aléatoire (Random Select) : Échantillonne un label d'annotateur unique par instance pour l'entraînement, fournissant un estimateur stochastique non biaisé.
- Par Annotateur (Per-Annotator) : Associe des membres spécifiques de l'ensemble à des annotateurs spécifiques, préservant les biais individuels et nécessitant l'accès à l'identité de l'annotateur.

Principales Contributions

Cadre Unifié : L'EDO intègre la supervision stochastique des annotateurs à une optimisation explicite et sensible à la fiabilité de la diversité de l'ensemble, allant au-delà des architectures fixes ou des approches de modèle unique par étiquettes souples.
Contrôle Directionnel de la Diversité : Contrairement aux méthodes précédentes qui traitent la diversité comme une heuristique statique, l'EDO introduit un régularisateur signé qui oriente l'optimisation le long de la frontière de Pareto utilité-calibration, permettant au modèle de soit préserver, soit supprimer le désaccord selon la nature des données.
Apprentissage Structurel de Bout en Bout : En utilisant le Gumbel-Softmax, l'EDO apprend dynamiquement la taille et la composition optimales de l'ensemble, adaptant la complexité aux schémas de désaccord des annotateurs spécifiques à un jeu de données.
Agnosticisme au Modèle : Le cadre opère uniquement dans l'espace de prédiction, ce qui le rend applicable à n'importe quel backbone pré-entraîné sans nécessifier de réentraînement du modèle sous-jacent ou d'accès aux métadonnées des annotateurs (dans la variante Random Select).

Résultats Expérimentaux

Les auteurs ont évalué l'EDO sur quatre benchmarks de classification de texte subjectif du benchmark LeWiDi : ArMIS (misogynie en arabe), ConvAbuse (abus dans les dialogues en anglais), HS-Brexit (discours de haine lié au Brexit en anglais) et MD-Agreement (offensivité en anglais).

Améliorations de la Calibration : L'EDO a considérablement amélioré la calibration probabiliste par rapport aux baselines (Soft-CE, Soft-MD, Top-5 Voting, et Weak Ensemble Learning [WEL]).
- Il a réduit l'entropie croisée (CE) de 40 à 78 % par rapport aux baselines selon le jeu de données et la baseline.
- Il a obtenu les scores Brier (Soft Brier Scores) les plus bas sur les quatre jeux de données, indiquant une robustesse contre la mauvaise calibration par excès de confiance.
Maintien de l'Utilité : Malgré l'accent mis sur la calibration et l'incertitude, l'EDO a maintenu des scores Micro-F1 compétitifs, démontrant que l'amélioration de la représentation de l'incertitude ne se fait pas nécessairement au détriment de l'utilité prédictive.
Alignement avec les Annotateurs : L'EDO a montré un meilleur alignement avec les distributions empiriques des annotateurs (mesuré par la distance de Manhattan) que les approches à modèle unique.
Insights d'Ablation :
- Le régularisateur de diversité signé a été le plus efficace lorsqu'il était combiné avec la perte multi-objectifs conjointe, agissant comme un mécanisme complémentaire pour remodeler le compromis utilité-calibration.
- L'agrégation d'ensemble pondérée par la fiabilité a systématiquement réduit la CE par rapport à une moyenne uniforme.
- La taille de l'ensemble apprise ( $K$ ) s'est adaptée dynamiquement, s'élargissant lorsque des membres supplémentaires amélioraient la calibration et se contractant lorsque cela était inutile.

Signification et Revendications

L'article affirme que l'EDO fournit une approche efficace et agnostique au modèle pour modéliser la subjectivité humaine dans l'apprentissage supervisé. En traitant le désaccord des annotateurs comme un signal structuré plutôt que comme du bruit, et en optimisant conjointement la structure de l'ensemble avec un régularisateur de diversité directionnel, l'EDO permet une navigation contrôlée du compromis utilité-calibration.

Les auteurs soulignent que leur approche ne nécessite pas d'architectures d'ensemble conçues à la main ou de scores d'incertitude précalculés. Au lieu de cela, les poids de fiabilité et la taille de l'ensemble émergent implicitement de l'équilibrage par gradient des objectifs d'utilité, de calibration et de diversité. Les résultats suggèrent que l'optimisation conjointe de la structure de l'ensemble permet une représentation plus rigoureuse de l'incertitude épistémique dans des contextes présentant des jugements humains intrinsèquement variables.

L'article conclut que bien que l'EDO offre un cadre flexible, son efficacité dépend de la structure du désaccord (par exemple, distinguer la véritable subjectivité des artefacts structurels), et que les travaux futurs pourraient explorer des stratégies de pondération dynamique et des représentations plus riches du comportement des annotateurs.