🤖 machine learning

Distributions In, Distributions Out: The Case for Soft-Label Training

Dit artikel toont aan dat het trainen van supervised classifiers met de volledige distributie van annotatorlabels (soft-labels) in plaats van gecomprimeerde meerderheidsstemmen (hard-labels) de nauwkeurigheid verbetert, de divergentie van menselijke annotaties vermindert en de onzekerheid van het model beter afstemt op werkelijke menselijke onenigheid over visuele en NLP-taken heen.

Oorspronkelijke auteurs: Agamdeep Singh, Ashish Tiwari, Hosein Hasanbeig, Priyanshu Gupta

Gepubliceerd 2026-07-31

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Agamdeep Singh, Ashish Tiwari, Hosein Hasanbeig, Priyanshu Gupta

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

De Kunst van Weten Wat Je Niet Weet

Stel je voor dat je een robot probeert te leren hoe hij de wereld moet zien. Je laat hem een foto zien van een wazige vorm en vraagt: "Is dat een kat of een hond?" Als je tien verschillende mensen vraagt, krijg je misschien zes stemmen voor "kat" en vier voor "hond". In de wereld van kunstmatige intelligentie is dit een klassiek probleem: hoe leren we een machine te begrijpen dat de wereld niet altijd zwart-wit is?

Een lange tijd was de standaardmanier om deze machines te trainen het afdwingen van één enkel antwoord. We nemen die tien menselijke stemmen, tellen ze op en vertellen de robot: "Het antwoord is Kat." We gooien de vier "hond"-stemmen weg en doen alsof de foto nooit ambigu was. Dit werkt geweldig voor duidelijke zaken, zoals het identificeren van een rood stopbord. Maar het valt uiteen wanneer mensen het zelf niet met elkaar eens zijn. Als een mens naar een lastige afbeelding kijkt en twijfelt, maar de robot wordt gedwongen om "100% Kat" te zeggen, dan liegt de robot over zijn eigen vertrouwen. Het is als een weervoorcaster die weet dat er 50% kans is op regen, maar volhardt: "Het gaat zeker regenen," alleen maar om in een simpel voorspellingsmodel te passen.

Dit artikel duikt in een specifere hoek van machine learning genaamd supervised classification (begeleid classificeren). In eenvoudige termen is dit wanneer we computers leren om dingen in categorieën in te delen (zoals "beleefde" versus "onbeleefde" tekst, of "kat" versus "hond" foto's) door ze voorbeelden met labels te laten zien. De grote vraag die de auteurs stellen is: Wanneer mensen het oneens zijn over een label, moeten we de computer dan dwingen om één winnaar te kiezen, of moeten we hem laten leren van de onzekerheid van de hele menigte? De auteurs stellen dat het afdwingen van één enkel antwoord waardevolle informatie weggooit over hoe de wereld werkelijk functioneert.

Het Pleit voor Soft Labels: Laat de Menigte Spreken

De auteurs van dit artikel, Agamdeep Singh en collega's van Microsoft, besloten een andere aanpak te testen. In plaats van een groep menselijke meningen samen te voegen tot één "hard" label (zoals een enkele "Kat"), probeerden ze de AI te trainen met de volledige distributie van antwoorden. Ze noemen dit soft-label training.

Denk er als volgt over na:

Hard-Label Training is als een leraar die een klasstemming houdt over een lastige vraag, ziet dat 60% van de leerlingen denkt dat het antwoord "A" is en 40% denkt dat het "B" is, en dan "A" op het bord schrijft. De leraar zegt tegen de leerling: "Het antwoord is A. Leer het uit je hoofd." De leerling leert om 100% zeker te zijn van "A", ook al was de klas verdeeld.
Soft-Label Training is als een leraar die op het bord schrijft: "60% van ons denkt dat het A is, 40% denkt dat het B is." De leraar zegt tegen de leerling: "Het antwoord is een mix. Wees 60% zeker van A en 40% zeker van B." De leerling leert de werkelijke verwarring van de ruimte te weerspiegelen.

Het artikel test dit idee op drie verschillende datasets: één voor het begrijpen van tekstlogica (ChaosNLI), één voor het beoordelen van beleefdheid in tekst (POPQUORN) en één voor het identificeren van objecten in foto's (CIFAR-10H). In al deze gevallen waren de gegevens rommelig, waarbij mensen echt van mening verschilden over wat het juiste antwoord was.

Wat Ze Vonden: Onzekerheid is een Kenmerk, Geen Fout

De resultaten waren verrassend duidelijk. Toen de onderzoekers de "Hard" modellen (de modellen die getraind zijn met enkelvoudige antwoorden) vergeleken met de "Soft" modellen (de modellen die getraind zijn met de volledige distributie van de menigte), wonnen de Soft-modellen op bijna elk gebied dat belangrijk was voor het begrijpen van menselijke onzekerheid.

1. Ze zijn beter in het matchen van menselijke verwarring.
De belangrijkste maatstaf was hoe dicht de gok van de computer bij de werkelijke spreiding van de menselijke stemmen lag. De auteurs gebruikten een wiskundig hulpmiddel genaast KL-divergentie om dit te meten. Een lager getal betekent dat de computer dichter bij de menselijke realiteit staat. De soft-label modellen verminderden deze fout met gemiddeld 32% over alle datasets. In gewone taal: de soft-modellen waren veel beter in het zeggen van: "Ik weet het niet helemaal zeker, en dit is precies hoe onzeker ik ben," wat overeenkwam met hoe mensen zich daadwerkelijk voelden over de data.

2. Ze verliezen geen nauwkeurigheid.
Een veelvoorkomende angst is dat als je een computer leert om onzeker te zijn, hij minder goed kan worden in het geven van het "juiste" antwoord. Het artikel laat zien dat dit niet waar is. Op de beleefdheidsdataset (POPQUORN) en de afbeeldingendataset (CIFAR-10H) waren de soft-label modellen net zo accuraat als de hard-label modellen. Op de logica-dataset (ChaosNLI) waren de soft-label modellen zelfs nauwkeuriger (55,30% vs. 51,75%). Dus eerlijk zijn over onzekerheid maakte hen niet dommer; het maakte hen slimmer.

3. Ze weten wanneer ze onzeker moeten zijn.
Dit is misschien wel de interessantste bevinding. De onderzoekers keken naar hoe de "onzekerheid" van de computer (gemeten door entropie) van de ene sample naar de andere veranderde. Ze ontdekten dat voor soft-label modellen de onzekerheid van de computer de menselijke onzekerheid 61% sterker volgde dan de hard-label modellen dat deden.

Als mensen in de war waren over een specifieke foto, was het soft-label model ook in de war.
Als mensen 100% zeker waren, was het soft-label model 100% zeker.
De hard-label modellen neigden echter ertoe om zelfverzekerd fout of zelfverzekerd juist te zijn, zelfs wanneer mensen verdeeld waren. Ze "voelden" de ambiguïteit niet.

Waarom Dit Belangrijk Is

Het artikel betoogt dat de oude manier van doen — het samenvoegen van alle menselijke onenigheid in een enkele "meerderheidsstemming" — een fout is. Het behandelt menselijke onenigheid als "ruis" of een fout die moet worden gecorrigeerd. De auteurs suggereren dat wanneer experts het oneens zijn, die onenigheid vaak de waarheid is. Het weerspiegelt het feit dat sommige dingen in de wereld (zoals of een grap beleefd is of of een wazig dier een kat is) werkelijk ambigu zijn.

Door te trainen op de volledige distributie van antwoorden, bouwen we AI-systemen die eerlijker zijn. Ze doen niet alsover dat ze dingen weten die ze niet weten. De auteurs merken op dat dit zelfs werkt wanneer je niet een enorm aantal menselijke stemmen per afbeelding hebt (slechts 6 of 7), hoewel het nog beter werkt met meer (zoals 100 stemmen).

Uiteindelijk suggereert het artikel dat we voor elke taak die menselijk oordeel vereist — zoals veiligheid, beleefdheid of voorkeur — moeten stoppen met het dwingen van AI om een enkele winnaar te kiezen. In plaats daarvan moeten we ze de hele menigte laten leren. Zoals de auteurs zeggen: voor betrouwbare AI hebben we systemen nodig die weten wat ze niet weten. Soft-label training is een manier om hen precies dat te leren.

Technische Samenvatting: Distributies In, Distributies Out: Het pleidooi voor Soft-Label Training

Probleemstelling
Standaard supervised classificatie-pipelines produceren doorgaans een waarschijnlijkheidsverdeling over klassen, maar worden getraind tegen "harde labels"—enkelvoudige klasse-indices afgeleid door het samenvoegen van meerdere menselijke annotaties via een meerderheidsstem. Deze aanpak gaat ervan uit dat annotator-onenigheid louter ruis is die opgelost moet worden. Echter, bij taken die te maken hebben met echte ambiguïteit (bijv. natuurlijke taalinferentie, beleefdheid of visuele categorisatie), verwerpt dit samenvoegen cruciale informatie over menselijke onzekerheid. Gevolgelijk worden modellen gedwongen om uniforme zekerheid te uiten op inputs waar mensen systematisch van mening verschillen, wat de realiteit van de data verkeerd weergeeft en faalt om aan te sluiten bij het menselijk oordeel.

Methodologie
De auteurs stellen soft-label training voor, een paradigma waarbij het model direct wordt getraind tegen de volledige empirische annotatieverdeling in plaats van tegen een samengevatte puntinschatting.

Kernhypothese: Wanneer annotatoren legitiem van mening verschillen, is de annotatieverdeling de grondwaarheid, niet een ruizige schatting. De doelrepresentatie moet overeenkomen met de probabilistische aard van de output van het model ( $q(y|x)$ ).
Trainingsdoel:
- Soft-Label: Gebruikt de volledige annotatieverdeling als doel in een cross-entropy loss.
- Hard-Label: Voegt de verdeling samen tot een meerderheidsstem-klasse (one-hot encoding) voor standaard categorische cross-entropy.
Evaluatiemetrieken: Naast standaard nauwkeurigheid gebruikt de studie twee distributionele metrieken:
1. KL-divergentie ( $D_{KL}(p \parallel q)$ ): Meet de afstand tussen de voorspelling van het model en de menselijke annotatieverdeling. De auteurs gebruiken specifiek forward KL, die "mode-covering" is en het model straft voor het toekennen van een bijna nul-waarschijnlijkheid aan klassen die door annotatoren zijn gekozen, wat ervoor zorgt dat het model de volledige verdeling reproduceert.
2. Entropie-correlatie: Berekent de Pearson-correlatie tussen de entropie van de annotatieverdeling en de entropie van de voorspelling van het model over de samples heen. Dit meet of de onzekerheid van het model de menselijke onenigheid op een per-sample basis volgt.
Experimentele Opzet: De auteurs evalueerden deze benaderingen over drie datasets die NLP en visie beslaan:
- ChaosNLI: Natuurlijke taalinferentie (100 annotatoren/sample).
- POPQUORN: Beleefdheidsklassificatie (~6,7 annotatoren/sample).
- CIFAR-10H-Hard: Een gecureerde subset van visuele categorisatie (50 annotatoren/sample).
- Architectuur: Bevroren pre-trained embeddings (OpenAI Text Embeddings 3 Large voor NLP, DINOv2 Small voor visie) met een lichtgewicht 2-laagse MLP-head. Alleen de head werd getraind om het effect van het type label te isoleren.
- Procedure: Uitputtende grid search voor hyperparameters, early stopping, en evaluatie over 10 willekeurige seeds met gepaarde t-testen voor significantie.

Belangrijkste Resultaten
De studie toont aan dat soft-label training consistent presteert gelijk aan of beter dan hard-label performance, terwijl het de distributionele uitlijning aanzienlijk verbetert:

Verbeterde Distributionele Uitlijning: Soft-label modellen bereikten een significant lagere KL-divergentie over alle drie de datasets (gemiddelde reductie van 32%, $p < 10^{-4}$ ). Dit geeft aan dat de modellen de volledige spreiding van menselijke onzekerheid beter vastleggen.
Behoud of Verbetering van Nauwkeurigheid: Soft-label training offerde voorspellende nauwkeurigheid niet op.
- Op ChaosNLI verbeterde soft-label training de nauwkeurigheid significant (55,30% vs. 51,75%, $p < 0,001$ ).
- Op POPQUORN en CIFAR-10H-Hard was de nauwkeurigheid statistisch ononderscheidbaar van de hard-label baselines.
Volgen van Menselijke Onenigheid: De per-sample entropie van soft-label modellen correleerde 61% sterker met de annotator-entropie gemiddeld vergeleken met hard-label modellen. De verbetering was het meest uitgesproken op ChaosNLI (+119%), wat suggereert dat deze modellen leren onzeker te zijn precies daar waar mensen onzeker zijn.
Robuustheid: Validatie loss-trajecten lieten zien dat hard-label modellen eerder overfitten, terwijl soft-label modellen bleven verbeteren of stabiel bleven over meer epochs, wat suggereert dat distributionele targets fungeren als een regularisator.

Significantie en Claims
Het artikel betoogt dat de voordelen van soft-label training niet louter incidentele regularisatie-effecten zijn, maar het natuurlijke gevolg van trainen tegen een correct gerepresenteerde target.

Epistemische Uitlijning: De auteurs claimen dat wanneer er echte epistemische onzekerheid bestaat, de annotatieverdeling de grondwaarheid is. Het samenvoegen hiervan dwingt modellen om "valse zekerheid" te uiten. Soft-label training stemt het onzekerheidsprofiel van het model af op de menselijke realiteit.
Praktische Implicaties:
- Evaluatie: Modellen beoordelen enkel op hard-label nauwkeurigheid straft eerlijke expressie van onzekerheid af. Een model dat correct een 60-40 split voorspelt met passende zekerheid, is waardevoller dan een model dat valselijk 100% zekerheid claimt over de meerderheidsklasse.
- Dataverzameling: De auteurs dagen de conventie uit dat multi-annotator data te duur of zeldzaam is. Ze beargumenteren dat de afhankelijkheid van het vakgebied van single-label pipelines een zelfversterkende conventie is. Hun resultaten tonen betekenisvolle winst zelfs bij matige annotatiesnelheden (bijv. ~6,7 annotatoren/sample), en pleiten ervoor dat multi-annotator collectie de standaard moet worden voor subjectieve taken (veiligheid, toxiciteit, voorkeur, NLI).
Beperkingen: De auteurs merken bescheiden op dat het aantal gebruikte benchmark-datasets beperkt is en dat de huidige resultaten specifiek zijn voor classificatietaken, hoewel ze suggereren dat de principes zich kunnen uitstrekken naar generatieve modellen en andere leeropdrachten.

Concluderend stellen de auteurs dat voor betrouwbare AI, systemen moeten "weten wat ze niet weten". Trainen op een distributionele grondwaarheid wordt gepresenteerd als een cruciale stap naar het bereiken van dit doel, wat ervoor zorgt dat modellen de inherente subjectiviteit van menselijk oordeel reflecteren in plaats van een kunstmatige, samengevatte consensus.

De Kunst van Weten Wat Je Niet Weet

Het Pleit voor Soft Labels: Laat de Menigte Spreken

Wat Ze Vonden: Onzekerheid is een Kenmerk, Geen Fout

Waarom Dit Belangrijk Is

Meer zoals dit