🤖 machine learning

Distributions In, Distributions Out: The Case for Soft-Label Training

Cet article démontre que l'entraînement de classifieurs supervisés utilisant la distribution complète des étiquettes d'annotateurs (étiquettes souples) plutôt que les votes majoritaires réduits (étiquettes dures) améliore la précision, réduit la divergence par rapport aux annotations humaines et aligne mieux l'incertitude du modèle avec le désaccord humain réel à travers des tâches de vision et de traitement du langage naturel.

Auteurs originaux : Agamdeep Singh, Ashish Tiwari, Hosein Hasanbeig, Priyanshu Gupta

Publié 2026-07-31

📖 7 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Agamdeep Singh, Ashish Tiwari, Hosein Hasanbeig, Priyanshu Gupta

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

L'art de savoir ce que l'on ne sait pas

Imaginez que vous essayiez d'apprendre à un robot comment voir le monde. Vous lui montrez l'image d'une forme floue et lui demandez : « Est-ce un chat ou un chien ? » Si vous posez la question à dix personnes différentes, vous pourriez obtenir six votes pour « chat » et quatre pour « chien ». Dans le monde de l'intelligence artificielle, c'est un problème classique : comment apprendre à une machine à comprendre que le monde n'est pas toujours noir ou blanc ?

Pendant longtemps, la méthode standard pour entraîner ces machines a consisté à imposer une réponse unique. Nous prenons ces dix votes humains, nous les comptons, et nous disons au robot : « La réponse est Chat. » Nous jetons les quatre votes pour « chien » et faisons comme si l'image n'avait jamais été ambiguë. Cela fonctionne très bien pour les choses claires, comme identifier un panneau stop rouge. Mais cela s'effondre lorsque les humains eux-mêmes ne sont pas d'accord. Si un humain regarde une image complexe et se sent incertain, mais que le robot est forcé de dire « 100 % Chat », le robot ment sur sa propre confiance. C'est comme un prévisionniste météo qui sait qu'il y a 50 % de chances de pluie mais qui insiste : « Il va certainement pleuvoir », juste pour corresponder à un bulletin simplifié.

Ce document explore un recoin spécifique de l'apprentissage automatique appelé classification supervisée. En termes simples, il s'agit de l'apprentissage par lequel nous enseignons aux ordinateurs à trier des choses dans des catégories (comme un texte « poli » vs « impoli », ou une photo de « chat » vs « chien ») en leur montrant des exemples avec des étiquettes. La grande question que les auteurs posent est la suivante : lorsque les humains ne sont pas d'accord sur une étiquette, devons-nous forcer l'ordinateur à choisir un seul vainqueur, ou devrions-nous le laisser apprendre de l'incertitude de toute la foule ? Les auteurs soutiennent que forcer une réponse unique jette par la fenêtre des informations précieuses sur la façon dont le monde fonctionne réellement.

Le cas des étiquettes souples : laisser parler la foule

Les auteurs de ce document, Agamdeep Singh et ses collègues de Microsoft, ont décidé de tester une approche différente. Au lieu de réduire un groupe d'opinions humaines en une seule étiquette « dure » (comme un seul « Chat »), ils ont tenté d'entraîner l'IA en utilisant la distribution complète des réponses. Ils appellent cela l'entraînement par étiquettes souples (soft-label training).

Voyez cela comme ceci :

L'entraînement par étiquettes dures est comme un professeur qui prend le vote d'une classe sur une question difficile, voit que 60 % des élèves pensent que la réponse est « A » et 40 % pensent que c'est « B », puis écrit « A » au tableau. Le professeur dit à l'élève : « La réponse est A. Mémorise-la. » L'élève apprend à être sûr à 100 % de « A », même si la classe était divisée.
L'entraînement par étiquettes souples est comme un professeur qui écrit au tableau : « 60 % d'entre nous pensent que c'est A, 40 % pensent que c'est B. » Le professeur dit à l'élève : « La réponse est un mélange. Sois sûr à 60 % de A et à 40 % de B. » L'élève apprend à refléter l'incertitude réelle de la salle.

Le document teste cette idée sur trois ensembles de données différents : un pour comprendre la logique textuelle (ChaosNLI), un pour juger la politesse dans un texte (POPQUORN) et un pour identifier des objets dans des photos (CIFAR-10H). Dans tous ces cas, les données étaient désordonnées, avec des humains en désaccord réel sur la bonne réponse.

Ce qu'ils ont trouvé : l'incertitude est une caractéristique, pas un bug

Les résultats sont étonnamment clairs. Lorsque les chercheurs ont comparé les modèles « Durs » (ceux enseignés avec des réponses uniques) aux modèles « Souples » (ceux enseignés avec la distribution complète de la foule), les modèles Souples l'ont emporté dans presque tous les domaines importants pour la compréhension de l'incertitude humaine.

1. Ils sont meilleurs pour correspondre à la confusion humaine.
La mesure la plus importante était la proximité entre la supposition de l'ordinateur et la répartition réelle des votes humains. Les auteurs ont utilisé un outil mathématique appelé divergence KL pour mesurer cela. Un chiffre plus bas signifie que l'ordinateur est plus proche de la réalité humaine. Les modèles à étiquettes souples ont réduit cette erreur de 32 % en moyenne sur tous les ensembles de données. En langage clair : les modèles souples étaient bien meilleurs pour dire : « Je ne suis pas totalement sûr, et voici exactement à quel point je suis incertain », correspondant ainsi à la façon dont les humains se sentaient réellement face aux données.

2. Ils ne perdent pas en précision.
Une crainte courante est que si vous apprenez à un ordinateur à être incertain, il pourrait devenir moins bon pour donner la « bonne » réponse. Le document montre que ce n'est pas le cas. Sur l'ensemble de données de politesse (POPQUORN) et l'ensemble de données d'images (CIFAR-10H), les modèles à étiquettes souples étaient tout aussi précis que les modèles à étiquettes dures. Sur l'ensemble de données de logique (ChaosNLI), les modèles à étiquettes souples étaient en fait plus précis (55,30 % contre 51,75 %). Ainsi, être honnête sur l'incertitude ne les a pas rendus moins intelligents ; cela les a rendus plus intelligents.

3. Ils savent quand être incertains.
C'est peut-être la découverte la plus intéressante. Les chercheurs ont observé comment l'« incertitude » de l'ordinateur (mesurée par l'entropie) changeait d'un échantillon à l'autre. Ils ont découvert que pour les modèles à étiquettes souples, l'incertitude de l'ordinateur suivait l'incertitude humaine 61 % plus fortement que les modèles à étiquettes dures.

Si les humains étaient confus face à une photo spécifique, le modèle à étiquettes souples l'était aussi.
Si les humains étaient sûrs à 100 %, le modèle à étiquettes souples l'était à 100 %.
Les modèles à étiquettes dures, cependant, avaient tendance à être sûrs d'eux, qu'ils aient raison ou tort, même quand les humains étaient partagés. Ils ne « ressentaient » pas l'ambiguïté.

Pourquoi cela importe

Le document soutient que l'ancienne méthode de faire — réduire tout le désaccord humain en un seul « vote majoritaire » — est une erreur. Elle traite le désaccord humain comme du « bruit » ou une erreur qui doit être corrigée. Les auteurs suggèrent que lorsque les experts ne sont pas d'accord, ce désaccord est souvent la vérité. Cela reflète le fait que certaines choses dans le monde (comme savoir si une blague est polie ou si un animal flou est un chat) sont véritablement ambiguës.

En s'entraînant sur la distribution complète des réponses, nous construisons des systèmes d'IA plus honnêtes. Ils ne prétendent pas savoir des choses qu'ils ignorent. Les auteurs notent que cela fonctionne même lorsque vous n'avez pas un grand nombre de votes humains par image (seulement 6 ou 7), bien que cela fonctionne encore mieux avec davantage de votes (comme 100).

En fin de compte, le document suggère que pour toute tâche impliquant le jugement humain — comme la sécurité, la politesse ou la préférence — nous devrions arrêter de forcer l'IA à choisir un vainqueur unique. Au lieu de cela, nous devrions les laisser apprendre de toute la foule. Comme le disent les auteurs, pour une IA digne de confiance, nous avons besoin de systèmes qui savent ce qu'ils ne savent pas. L'entraînement par étiquettes souples est un moyen de leur apprendre précisément cela.

Résumé technique : Distributions entrantes, distributions sortantes : le plaidoyer pour l'entraînement par étiquettes souples (Soft-Label Training)

Énoncé du problème
Les pipelines de classification supervisée standards produisent généralement une distribution de probabilité sur les classes, mais sont entraînés contre des « étiquettes dures » (hard labels) — des indices de classe uniques dérivés de la fusion de multiples annotations humaines par un vote majoritaire. Cette approche suppose que le désaccord entre annotateurs n'est qu'un bruit à résoudre. Cependant, pour des tâches impliquant une ambiguïté réelle (par exemple, l'inférence de langage naturel, la politesse ou la catégorisation visuelle ambiguë), cet effondrement élimine des informations critiques sur l'incertitude humaine. Par conséquent, les modèles sont contraints d'exprimer une confiance uniforme sur des entrées où les humains sont systématiquement en désaccord, déformant ainsi la réalité des données et échouant à s'aligner sur le jugement humain.

Méthodologie
Les auteurs proposent l'entraînement par étiquettes souples (soft-label training), un paradigme où le modèle est entraîné directement contre la distribution complète des annotations empiriques plutôt que contre une estimation ponctuelle effondrée.

Hypothèse centrale : Lorsque les annotateurs sont légitimement en désaccord, la distribution des annotations est la vérité de terrain (ground truth), et non une estimation bruitée. La représentation cible doit correspondre à la nature probabiliste de la sortie du modèle ( $q(y|x)$ ).
Objectif d'entraînement :
- Étiquette souple (Soft-Label) : Utilise la distribution complète des annotations comme cible dans une perte d'entropie croisée.
- Étiquette dure (Hard-Label) : Effondre la distribution vers une classe de vote majoritaire (encodage one-hot) pour une entropie croisée catégorielle standard.
Métriques d'évaluation : Au-delà de la précision standard, l'étude emploie deux métriques distributionnelles :
1. Divergence KL ( $D_{KL}(p \parallel q)$ ) : Mesure la distance entre la prédiction du modèle et la distribution des annotations humaines. Les auteurs utilisent spécifiquement la KL directe (forward KL), qui est « couvrante de mode » (mode-covering) et pénalise le modèle s'il assigne une probabilité proche de zéro aux classes sélectionnées par les annotateurs, garantissant que le modèle reproduit la distribution complète.
2. Corrélation d'entropie : Calcule la corrélation de Pearson entre l'entropie de la distribution des annotateurs et l'entropie de la prédiction du modèle à travers les échantillons. Cela mesure si l'incertitude du modèle suit le désaccord humain sur une base échantillon par échantillon.
Configuration expérimentale : Les auteurs ont évalué ces approches sur trois jeux de données couvrant le NLP et la vision :
- ChaosNLI : Inférence de langage naturel (100 annotateurs/échantillon).
- POPQUORN : Classification de la politesse (~6,7 annotateurs/échantillon).
- CIFAR-10H-Hard : Un sous-ensemble curaté de catégorisation visuelle (50 annotateurs/échantillon).
- Architecture : Embeddings pré-entraînés gelés (OpenAI Text Embeddings 3 Large pour le NLP, DINOv2 Small pour la vision) avec une tête MLP légère à 2 couches. Seule la tête a été entraînée pour isoler l'effet du type d'étiquette.
- Procédure : Recherche par grille exhaustive pour les hyperparamètres, arrêt précoce (early stopping) et évaluation sur 10 graines aléatoires avec tests t appariés pour la significativité.

Résultats clés
L'étude démontre que l'entraînement par étiquettes souples égale ou dépasse systématiquement les performances des étiquettes dures tout en améliorant considérablement l'alignement distributionnel :

Amélioration de l'alignement distributionnel : Les modèles à étiquettes souples ont obtenu une divergence KL nettement plus faible sur les trois jeux de données (réduction moyenne de 32 %, $p < 10^{-4}$ ). Cela indique que les modèles capturent mieux l'étendue complète de l'incertitude humaine.
Maintien ou amélioration de la précision : L'entraînement par étiquettes souples n'a pas sacrifié la précision prédictive.
- Sur ChaosNLI, l'entraînement par étiquettes souples a considérablement amélioré la précision (55,30 % contre 51,75 %, $p < 0,001$ ).
- Sur POPQUORN et CIFAR-10H-Hard, la précision était statistiquement indiscernable des bases de référence à étiquettes dures.
Suivi du désaccord humain : L'entropie par échantillon des modèles à étiquettes souples présentait une corrélation 61 % plus forte avec l'entropie des annotateurs en moyenne par rapport aux modèles à étiquettes dures. L'amélioration a été la plus marquée sur ChaosNLI (+119 %), suggérant que ces modèles apprennent à être incertains précisément là où les humains le sont.
Robustesse : Les trajectoires de perte de validation ont montré que les modèles à étiquettes dures commençaient à faire du surapprentissage (overfitting) plus tôt, tandis que les modèles à étiquettes souples continuaient de s'améliorer ou restaient stables pendant plus d'époques, suggérant que les cibles distributionnelles agissent comme un régularisateur.

Signification et revendications
L'article soutient que les bénéfices de l'entraînement par étiquettes souples ne sont pas de simples effets de régularisation incidents, mais la conséquence naturelle d'un entraînement sur une cible correctement représentée.

Alignement épistémique : Les auteurs affirment que lorsqu'une incertitude épistémique réelle existe, la distribution des annotations est la vérité de terrain. L'effondrer force les modèles à exprimer une « fausse confiance ». L'entraînement par étiquettes souples aligne le profil d'incertitude du modèle avec la réalité humaine.
Implications pratiques :
- Évaluation : Juger les modèles uniquement sur la précision des étiquettes dures pénalise l'expression honnête de l'incertitude. Un modèle qui prédit correctement un partage 60-40 avec une confiance appropriée est plus précieux qu'un modèle qui revendique faussement une certitude de 100 % sur la classe majoritaire.
- Collecte de données : Les auteurs remettent en question la convention selon laquelle les données multi-annotateurs sont trop coûteuses ou rares. Ils soutiennent que la dépendance du domaine envers les pipelines à étiquette unique est une convention auto-renforcée. Leurs résultats montrent des gains significatifs même avec des taux d'annotation modestes (par exemple, ~6,7 annotateurs/échantillon), plaidant pour que la collecte multi-annotateurs devienne la norme pour les tâches subjectives (sécurité, toxicité, préférence, NLI).
Limites : Les auteurs notent modestement le nombre limité de jeux de données de référence utilisés et que les résultats actuels sont spécifiques aux tâches de classification, bien qu'ils suggèrent que les principes pourraient s'étendre aux modèles génératifs et autres tâches d'apprentissage.

En conclusion, l'article pose que pour une IA digne de confiance, les systèmes doivent « savoir ce qu'ils ne savent pas ». L'entraînement sur une vérité de terrain distributionnelle est présenté comme une étape cruciale vers l'obtention de cette capacité, garantissant que les modèles reflètent la subjectivité inhérente au jugement humain plutôt qu'un consensus artificiel et effondré.

L'art de savoir ce que l'on ne sait pas

Le cas des étiquettes souples : laisser parler la foule

Ce qu'ils ont trouvé : l'incertitude est une caractéristique, pas un bug

Pourquoi cela importe

Articles similaires