A Data-Centric Framework for Detecting and Correcting Corrupted Labels

Technische Samenvatting: Relabeler – Een Data-Centraal Framework voor het Detecteren en Corrigeren van Corrupte Labels

Probleemstelling
De prestaties van machine learning (ML) en deep learning (DL) modellen zijn fundamenteel afhankelijk van de kwaliteit van de trainingsdata. In de praktijk bevatten grootschalige datasets vaak "labelruis"—instanties die een onjuist label hebben gekregen door fouten in crowdsourcing of automatische annotatie. De gerapporteerde ruispercentages in real-world datasets variëren van 8% tot 38,5%. Dergelijke ruis vermindert de nauwkeurigheid en betrouwbaarheid van modellen aanzienlijk. Hoewel bestaande benaderingen over het algemeen in twee categorieën vallen—model-centrisch (het verbeteren van algoritmische robuustheid) en data-centrisch (het verbeteren van de datasetkwaliteit)—behandelen de meeste data-centrische methoden labeldetectie en labelcorrectie als afzonderlijke taken. Bovendien richten veel bestaande oplossingen zich primair op het identificeren van ruisgevoelige instanties om ze te verwijderen of te herwegen, in plaats van expliciet de juiste labels te extraheren en te herstellen. Deze scheiding beperkt het vermogen om de intrinsieke relaties tussen inputkenmerken, ruisgevoelige labels en schone labels volledig te benutten binnen een verenigd framework.

Methodologie: Het Relabeler Framework
De auteurs stellen Relabeler voor, een end-to-end data-centraal framework ontworpen voor het detecteren en corrigeren van corrupte labels via twee geïntegreerde fasen:

1. Corruptie van Labels Detecteren
Deze fase partitioneert een ruizige dataset $\tilde{D}$ in een schone subset ($D_{clean}$) en een verdachte subset ($D_{suspicious}$) door gebruik te maken van zowel lokale als globale instantierelaties.

• Lokale Verificatie: Het framework gebruikt het k-Nearest Neighbors (k-NN) algoritme om de consistentie van een label van een instantie met de directe buren in de feature-ruimte te onderzoeken. Instanties met labels die consistent zijn met de meerderheid van hun buren, worden voorlopig als schoon geclassificeerd.
• Globale Verificatie: Om de beperkingen van lokale analyse (bijv. nabij klassengrenzen) aan te pakken, traint Relabeler iteratief een classificatiemodel ($M_{clean}$) op de momenteel geïdentificeerde schone instanties. Dit model legt bredere, globale patronen vast. Instanties in de verdachte set worden opnieuw geëvalueerd; als hun oorspronkelijke labels overeenkomen met de voorspellingen van $M_{clean}$, worden ze verplaatst naar $D_{clean}$. Dit iteratieve proces gaat door totdat er geen verdere schone instanties meer geïdentificeerd kunnen worden.

2. Corruptie van Labels Corrigeren
Voor instanties die achterblijven in $D_{suspicious}$, schat Relabeler het meest waarschijnlijke schone label ($y^*$) door de posterieure waarschijnlijkheid $P(y | x, \tilde{y})$ te maximaliseren, waarbij $x$ de input-feature is en $\tilde{y}$ het geobserveerde ruisgevoelige label. Met behulp van Bayesiaanse inferentie wordt dit geherformuleerd door twee complementaire factoren te combineren:

• Voorspelling van Schone Labels ($P(y|x)$): Een model $M_{clean}$ getraind op $D_{clean}$ schat de waarschijnlijkheid van een label op basis van inputkenmerken.
• Schatting van Ruisgevoelige Labels ($P(\tilde{y}|x, y)$): Een model $M_{noisy}$ schat de waarschijnlijkheid van het observeren van een specifiek ruisgevoelig label gegeven de input en een kandidaat-schoon label.
  • Training van $M_{noisy}$: Omdat grondwaarheid-transitiegegevens niet beschikbaar zijn, traint Relabeler een "ruis-simulator" ($M_{simulator}$) op $D_{suspicious}$ om de specifieke ruispatronen van de dataset te leren. Deze simulator genereert synthetische ruisgevoelige labels voor instanties in $D_{clean}$, wat een transitie-dataset creëert die wordt gebruikt om $M_{noisy}$ te trainen.
• Inference: Het uiteindelijke gerepareerde label wordt bepaald door de voorspellingen van zowel $M_{clean}$ als $M_{noisy}$ te integreren, waardoor de correctie rekening houdt met zowel semantische feature-alignement als de statistische patronen van labelcorruptie.

Belangrijkste Bijdragen

• Verenigd Framework: De introductie van Relabeler, een end-to-end systeem dat gezamenlijk detectie en correctie uitvoert, waarmee het gat wordt gedicht waar detectie en correctie doorgaans als aparte taken worden behandeld.
• Bayesiaanse Integratie: Een innovatieve benadering van labelcorrectie die zowel de distributie van schone labels als de ruis-transitie-waarschijnlijkheid modelleert, in plaats van enkel te vertrouwen op feature-gebaseerde voorspelling of heuristische stemming.
• Iteratieve Verfijning: Een detectiemechanisme dat de set van schone data iteratief verfijnt om een globaal verificatiemodel te trainen, wat de precisie van de identificatie van verdachte instanties verbetert.

Experimentele Resultaten
De auteurs hebben Relabeler geëvalueerd op vijf diverse datasets (CIFAR-10, CIFAR-100, Agnews, Clickbait, CodeXGLUE) die beeld-, tekst- en broncodeclassificatie beslaan. Het framework is vergeleken met state-of-the-art baselines, specifiek Docta (met voting en ranking varianten).

• Precisie van Labelcorrectie: Relabeler presteerde consequent beter dan de baselines, met een verbetering van de precisie van de labelcorrectie tot wel 58% over verschillende datasets en ruispercentages (20% en 40%). Bijvoorbeeld, op de Agnews-dataset met 40% ruis bereikte Relabeler een precisie van 89,47% vergeleken met 61,43% voor Docta-R.
• Reductie van Foutpercentage: Het framework reduceerde het resterende foutpercentage in de gerepareerde datasets aanzienlijk. Op CIFAR-10 met 40% ruis bracht Relabeler het foutpercentage terug naar 7,48%, terwijl baselines percentages boven de 23% behielden.
• Robuustheid: Relabeler toonde superieure prestaties over verschillende soorten ruis, inclus overlapping van symmetrische, asymmetrische en instantie-afhankelijke ruis. Het behield een hoge precisie en lage foutpercentages, zelfs onder complexe, gemengde ruisscenario's waar baselines moeite mee hadden.
• Downstream Nut: Het trainen van downstream-modellen (MLP-classifiers) op door Relabeler gerepareerde datasets leverde de hoogste nauwkeurigheid en gewogen F1-scores op. Op de Agnews-dataset verbeterde Relabeler de downstream-nauwkeurigheid naar 75,50%, een relatieve winst van ~6% ten opzichte van de oorspronkelijke ruisgevoelige dataset, waarmee het zowel de oorspronkelijke data als datasets gerepareerd door Docta overtrof.
• Componentanalyse: Ablatie-studies bevestigden dat de integratie van de Noisy Label Estimator ($M_{noisy}$) met de Clean Label Predictor ($M_{clean}$) cruciaal is, wat een relatieve verbetering in precisie oplevert van tot wel 50% vergeleken met het gebruik van enkel $M_{clean}$.

Significantie en Claims
Het artikel beweert dat Relabeler een kritiek gat in data-centraal leren aanpakt door verder te gaan dan eenvoudige detectie naar expliciete, principiële labelreparatie. Door labelcorrectie te formuleren als een Bayesiaans inferentieprobleem dat zowel de feature-labelrelaties als de ruis-transitiepatronen modelleert, biedt Relabeler een herbruikbare, hoogwaardige dataset die elke downstream learner ten goede komt. De auteurs stellen dat deze benadering bijzonder praktisch is voor real-world toepassingen waar het weggooien van data niet haalbaar is, en waar het begrijpen van de specifieke ruisdistributie essentieel is voor nauwkeurige correctie. De resultaten suggereren dat Relabeler niet alleen de datasetkwaliteit verbetert, maar ook dient als een robuust complement aan bestaande model-centrische ruis-robuuste leermethoden.