Technische Samenvatting: Benchmarking van Instantie-Afhankelijke Labelruis met Gecontroleerde Corrupties (CILN)

Probleemstelling

Moderne machine learning-systemen vertrouwen op grote gelabelde datasets, maar labels zijn vaak imperfect door annotatiefouten, ambigue voorbeelden of zwakke supervisie. Hoewel vroeg onderzoek zich richtte op symmetrische en klasse-conditionele ruis (CCN), vertonen praktische settings vaak Instantie-Afhankelijke Labelruis (IDN), waarbij de waarschijnlijkheid van een labelingsfout afhangt van zowel de ware klasse als de specifieke kenmerken van een input-instantie.

Bestaande synthetische IDN-benchmarks genereren ruis doorgaans via twee mechanismen:

1. Transformaties in de feature-ruimte: Het toepassen van latente transformaties om de corruptiekansen voor specifieke voorbeelden te verhogen.
2. Pseudo-labeling: Het gebruik van diverse classifiers als synthetische annotatoren, waarbij onenigheid leidt tot onzekerheid.

De beperking: In beide benaderingen blijft de bron van ambiguïteit impliciet. Bij methoden in de feature-ruimte zijn de transformaties vaak moeilijk te interpreteren. Bij pseudo-labeling wordt de ruis gecontroleerd door de eigenschappen van de annotator aan te passen (bijv. trainingsprocedures), wat het moeilijk maakt om specifieke mechanismen van ambiguïteit (bijv. vervaging, occlusie, ontbrekende data) te isoleren of labelfouten te herleiden naar specifieke wijzigingen in de input. Bijgevolg bieden bestaande benchmarks beperkte ondersteuning voor het systematisch bestuderen van hoe specifieke mechanismen van datadegradatie de classifier-onenigheid en het downstream leergedrag beïnvloeden.

Methodologie: Het CILN-framework

De auteurs introduceren CILN (Corruption-Induced Label Noise), een benchmark-generatieframework dat IDN creëert door middel van gecontroleerde input-corrupties. In tegenstelling tot eerdere methoden die het labelingsproces wijzigen, wijzigt CILN de inputdata zelf terwijl de semantische inhoud behouden blijft.

Kerncomponenten

1. Gecontroleerde Corrupties: Het framework past specifieke corruptietypes ($c$) toe met variërende ernstniveaus ($\ell$) op schone instanties.
   • Beelddata: Maakt gebruik van corruptiefamilies uit CIFAR-C en MNIST-C, inclus\n_bij de ruis (Gaussiaans, shot, impuls), vervaging (defocus, glas, beweging), weer (mist, vorst, sneeuw), geometrische transformaties en digitale artefacten (helderheid, contrast, JPEG).
   • Tabulaire Data: Maakt gebruik van corruptie-operators geïnspireerd door de Jenga-benchmark, inclusief mechanismen voor ontbrekende data (MCAR, MAR, MNAR) en waarde-corrupties (ruisinjectie, schaling).
2. Voter Pool: Een diverse pool van $M$ modellen (bijv. ResNets, Vision Transformers, XGBoost) evalueert de gecorrumpeerde instanties.
3. Labelgeneratie:
   • Elke voter produceert een voorspellende distributie $p^{(m)}(y|x)$.
   • De benchmark publiceert een geaggregeerde labeldistributie $\bar{p}_i$ (het rekenkundig gemiddelde van de voter-voorspellingen) en individuele voter-distributies.
   • Voor hard-label experimenten wordt één voter willekeurig gekozen om een trainingslabel te leveren, wat het PL-IDN-protocol nabootst.
4. Clean-Start Configuratie: Een optionele modus filtert de dataset om alleen instanties te behouden die vóór de corruptie unaniem correct werden geclassificeerd door alle voters. Dit isoleert corruptie-geïnduceerde onzekerheid van de reeds aanwezige ambiguïteit in de originele data.

Benchmark Constructie

Het framework is geïnstantieerd op drie datasets: CIFAR-10, MNIST en Adult.

• CIFAR-10: 45 settings (15 corruptietypes $\times$ 3 ernstniveaus).
• MNIST: 30 gepubliceerde settings (11 continue-ernst types + 4 structurele types).
• Adult: 15 settings (5 corruptietypes $\times$ 3 ernstniveaus).
• Totaal: 90 benchmark settings verspreid over beeld- en tabulaire domeinen.

Belangrijkste Bijdragen

1. Mechanisme-gecontroleerde IDN Generatie: CILN biedt een framework waar de bron (corruptietype) en de ernst van de ambiguïteit expliciet en controleerbaar zijn, wat een directe link legt tussen input-degradatie en labelonzekerheid.
2. Echte Instantie-Afhankelijkheid: De auteurs demonstreren dat het framework echte IDN genereert waarbij de mate van instantie-afhankelijkheid systematisch kan worden afgesteld via corruptietype en ernst.
3. Menselijke Onzekerheid: Onder passende settings zijn de door CILN gegenereerde labeldistributies statistisch dichter bij menselijke annotatie-onzekerheid (gemeten tegenover CIFAR-10-H) dan bestaande synthetische IDN-benchmarks (specifiek PL-IDN).
4. Blootlegging van Foutmodi: De benchmark onthult dat state-of-the-art noisy-label leermethoden (Co-Teaching, DivideMix) foutmodi vertonen onder hoge-ernst corrupties die niet worden waargenomen bij vergelijkbare ruispercentages gegenereerd door rater-fallibility modellen.

Experimentele Resultaten

1. Sterkte van Instantie-Afhankelijkheid

De auteurs introduceren Noise Transition Heterogeneity ($n_{th}$) om instantie-afhankelijkheid te meten.

• Bevindingen: Alle CILN-settings produceren positieve $n_{th}$-waarden, wat echte IDN bevestigt.
• Controle: De grootte van $n_{th}$ varieert aanzienlijk over corruptiefamilies en ernstniveaus. Voor veel families neemt $n_{th}$ toe met de ernst, maar verzadigt of neemt het uiteindelijk af bij hoge ernst naarmate de voorspellingspatronen convergeren.
• Vergelijking: Bij hoge ruispercentages evenaren of overtreffen representatieve CILN-settings de instantie-afhankelijkheid van PL-IDN.

2. Gelijkenis met Menselijke Annotatie-Onzekerheid

Gebruikmakend van de Total Variation (TV) afstand tegenover CIFAR-10-H:

• Bevindingen: CILN is consistent dichter bij menselijke onzekerheid dan PL-IDN over alle ruisniveaus.
• Corruptiespecificiteit: Milde corrupties (met name de Weather en Digital families zoals frost, snow, fog, brightness, JPEG) produceren labeldistributies die het meest lijken op menselijke onenigheid. Ernstige corrupties wijken verder af van menselijke patronen, maar presteren nog steeds beter dan PL-IDN.
• PCA Analyse: De tien CILN-settings die het dichtst bij CIFAR-10-H liggen in de PCA-ruimte waren allemaal lage-ernst Weather of Digital corrupties; geen van de PL-IDN releases verscheen in de top tien.

3. Downstream Leergedrag

De auteurs evalueerden ERM, Co-Teaching en DivideMix op CIFAR-10.

• Lage/Medium Ruis: CILN en PL-IDN leveren vergelijkbare prestatietrends.
• Divergentie bij Hoge Ruis: Bij hoge ruispercentages lijden Co-Teaching en DivideMix onder substantiële prestatieverslechtering in specifieke CILN-settings (bijv. hoge-ernst contrast, pixelate, glass-blur), terwijl ze relatief robuust blijven op PL-IDN-H.
• Mechanisme van Falen:
  • Attractor Classes: Bepaalde corrupties creëren "attractor classes" (bijv. frog, cat, truck) waarbij misgelabelde voorbeelden van veel ware klassen naar een enkele onjuiste klasse worden getrokken.
  • Collapse van de Loss-distributie: In deze settings wordt het onjuiste label consistent met de gecorrumpeerde input. Bijgevolg produceren ruis-voorbeelden niet noodzakelijkerwijs hogere training-losses dan schone voorbeelden. Dit schendt de small-loss assumptie (dat schone voorbeelden een lagere loss hebben dan ruisige voorbeelden) waarop Co-Teaching en DivideMix vertrouwen voor sample selectie.
  • Clean-Start Validatie: De foutmodi blijven bestaan in de Clean-Start variant (CILN-C), wat bevestigt dat de moeilijkheid voortkomt uit de corruptiestructuur zelf, en niet uit pre-existente data-ambiguïteit.

Betekenis en Claims

Het artikel betoogt dat ruisstructuur, en niet alleen de ruisrate, een cruciale factor is in de moeilijkheidsgraad van benchmarks en algoritmisch gedrag.

• Complementariteit: CILN vult bestaande rater-fallibility benchmarks (zoals PL-IDN) aan door de focus te verschuiven van hoe ruisige labels worden geproduceerd (kwaliteit van de annotator) naar waarom ze ontstaan (data-degradatie).
• Interpreteerbaarheid: Door ambiguïteitsmechanismen expliciet te maken, stelt CILN onderzoekers in staat om te bestuderen hoe specifieke typen datadegradatie (bijv. vervaging versus ontbrekende waarden) het leerproces beïnvloeden.
• Realisme: Het framework demonstreert dat gecontroleerde corrupties labeldistributies kunnen genereren die menselijke onzekerheid beter benaderen dan huidige synthetische methoden, met name in de lage- tot matige ernstregimes.
• Algoritmisch Inzicht: De resultaten suggereren dat huidige noisy-label leermethoden mogelijk overfitten op de specifieke ruisstructuren van traditionele benchmarks (waar ruis grotendeels onafhankelijk is van de input) en kunnen falen wanneer ruis structureel gekoppeld is aan de input via corruptie.

De auteurs concluderen dat CILN een praktisch, interpreteerbaar en mechanisme-gecontroleerd framework biedt voor het evalueren van noisy-label leren onder diverse bronnen van instantie-moeilijkheid, en roepen de gemeenschap op om bij het ontwerp van benchmarks ook de ruisstructuur naast de ruisrate te overwegen.