🤖 machine learning

Data filtering methods for training language models

Dit artikel presenteert een vergelijkende analyse van Confident Learning en Dataset Cartography voor het detecteren van labelfouten in Russische tekstclassificatiedatasets, waarbij wordt aangetoond dat hoewel beide methoden beter presteren dan willekeurige verwijdering, hun effectiviteit in het verbeteren van modelprestaties sterk afhankelijk is van datasetgrootte en ruisniveaus, waarbij Confident Learning aanzienlijke winst oplevert op kleine, ruisige datasets.

Oorspronkelijke auteurs: Egor Shevchenko, Elena Bruches

Gepubliceerd 2026-05-29

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Egor Shevchenko, Elena Bruches

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robot probeert te leren menselijke taal te begrijpen. Je geeft het een enorm handboek vol met voorbeelden en antwoorden. Maar hier zit de adder onder het gras: sommige antwoorden in het handboek zijn fout. Misschien werd een zin die "blij" had moeten worden gelabeld, per ongeluk "boos" gemarkeerd, of werd een grammaticaal correcte zin als "fout" aangeduid.

Als je de robot leert met een handboek vol fouten, zal het die fouten ook leren. Dit is het probleem van labelruis.

Dit artikel is als een kwaliteitscontrole-inspectie voor drie verschillende Russisch-talige handboeken (datasets) die worden gebruikt om AI te trainen. De auteurs, E. Shevchenko en E. Bruches, testten twee verschillende "detective-tools" om de slechte voorbeelden te vinden en te verwijderen voordat de robot begint met studeren.

Hier is een eenvoudige uiteenzetting van hun experiment en wat ze vonden:

De Twee Detectives

De onderzoekers vergeleken twee automatische methoden voor het vinden van fouten:

De "Tweede Mening"-detective (Confident Learning):
- Hoe het werkt: Stel je voor dat je een student een toets laat maken. Vervolgens neem je diezelfde student, verdeel je hen in vier groepen en laat je elke groep de antwoorden van de anderen beoordelen. Als een student volgens de andere groepen consequent een specifieke vraag fout maakt, maar het antwoordboek zegt dat ze gelijk hebben, markeert de "Tweede Mening"-detective dit als een waarschijnlijke fout in het antwoordboek.
- De sfeer: Het is grondig maar agressief. Het vertrouwt op het consensus van de voorspellingen van het model.
De "Studiegedrag"-detective (Dataset Cartography):
- Hoe het werkt: Deze detective observeert hoe de student in de loop van de tijd studeert. Als de student een specifieke vraag keer op keer goed, dan fout, dan weer goed beantwoordt, of gewoon verward lijkt na vele studiezittingen, markeert de detective het als "probleematisch". Het kijkt naar hoe het vertrouwen van het model in de loop van de tijd verandert.
- De sfeer: Het is voorzichtiger. Het verwijdert alleen voorbeelden waarmee het model consequent moeite heeft om te leren.

De Drie Handboeken (Datasets)

Ze testten deze detectives op drie zeer verschillende Russische datasets:

Het Grote Boek (ru_emotion_e-culture): Een enorme collectie van 49.000 forumberichten over emoties. Het is groot en over het algemeen van hoge kwaliteit.
Het Middelgrote Boek (RuCoLA): Een collectie van 8.500 zinnen om te controleren of ze grammaticaal correct zijn. Het is middelgroot, maar lastig omdat "correctheid" subjectief kan zijn.
Het Kleine Boek (TERRa): Een kleine collectie van 2.300 paren zinnen om te controleren of de ene de andere impliceert. Het is klein en wordt vermoedelijk rommelig.

Wat gebeurde er? (De Resultaten)

1. Het Grote Boek: "Maak geen kapot wat niet kapot is"
Op het enorme dataset waren de handboeken al vrij goed.

Het Resultaat: Toen de detectives de "slechte" voorbeelden die ze vonden verwijderden, werd de robot eigenlijk iets slechter in de taak.
De Les: Wanneer je een enorme hoeveelheid data hebt, is de robot slim genoeg om een paar slechte appels vanzelf te negeren. Het verwijderen ervan maakte het boek alleen maar kleiner zonder het beter te maken.

2. Het Middelgrote Boek: "Beter dan willekeurig, maar niet perfect"
Op het middelgrote dataset vonden beide detectives veel fouten (ongeveer 15–18% van het boek).

Het Resultaat: Het verwijderen van deze fouten maakte de robot niet perfect, maar het zorgde er wel voor dat het beter presteerde dan wanneer je hetzelfde aantal pagina's willekeurig had weggegooid.
De Les: De detectives vonden eigenlijk echte fouten, niet zomaar geraden. Echter, de dataset was nog steeds te ruisig of de taak te moeilijk om alleen door het schoonmaken een enorme sprong in prestaties te zien.

3. Het Kleine Boek: "De magie van schoonmaken"
Dit was het meest dramatische resultaat. Het kleine dataset werd vermoedelijk zeer rommelig.

Het Resultaat: De "Tweede Mening"-detective vond dat 35% van het boek fout was! Toen ze die slechte voorbeelden verwijderden, sprong de prestatie van de robot significant omhoog.
De Vergelijking: Als ze gewoon willekeurig 35% van het boek hadden weggegooid, zou de robot volledig zijn gefaald. Maar omdat ze de specifieke slechte voorbeelden weggoooiden, werd de robot veel slimmer.
De Les: Voor kleine, rommelige datasets is het vinden en verwijderen van fouten een game-changer.

De Grote Conclusie

Het artikel concludeert dat er geen "one size fits all"-oplossing bestaat.

Als je een enorme, schone dataset hebt, hoef je geen tijd te verspillen aan filteren; de AI kan de ruis wel aan.
Als je een kleine, rommelige dataset hebt, is het gebruik van een tool zoals "Confident Learning" om de data schoon te maken essentieel. Het is als het schoonmaken van een kleine, modderige kamer: als je de modder niet verwijdert, kun je de vloer niet zien.

De auteurs merkten ook op dat de "Studiegedrag"-detective (Dataset Cartography) veiliger is en minder waarschijnlijk per ongeluk goede voorbeelden weggooit, terwijl de "Tweede Mening"-detective (Confident Learning) agressiever is en beter is in het vinden van de ergste fouten in kleine datasets.

Kortom: Het schoonmaken van je data is als het polijsten van een lens. Als de lens al helder en groot is, helpt het niet om hem nog een beetje meer te polijsten. Maar als de lens klein is en bedekt met modder, is het schoonmaken de enige manier om helder te zien.

Technische Samenvatting: Datafilteringsmethoden voor het Trainen van Taalmodellen

Probleemstelling

De effectiviteit van toezicht op machine learning-modellen wordt fundamenteel beperkt door de kwaliteit van gelabelde trainingsdata. Ondanks de verschuiving naar "data-centric AI" blijft labelruis—afwijkingen tussen toegewezen labels en ware categorieën—alomtegenwoordig, zelfs in veelgebruikte benchmarks. Hoewel uitgebreid onderzoek dit heeft aangepakt in Engelstalige contexten, ontbreekt er een systematische analyse van de annotatiekwaliteit in Russisch-talige corpora. De unieke linguïstische kenmerken van het Russisch (vrije woordvolgorde, rijke morfologie, homoniemen) kunnen de subjectiviteit van annotatie en foutpercentages verergeren. Dit werk adresseert deze lacune door automatische methoden voor het detecteren van labelfouten te evalueren op Russische tekstclassificatietaken, om te bepalen of gerichte datafiltering de modelgeneralisatie verbetert in vergelijking met willekeurige datareductie.

Methodologie

De studie voert een vergelijkende analyse uit van twee automatische methoden voor het detecteren van labelfouten: Confident Learning (CL) en Dataset Cartography (DM).

Datasets

Experimenten werden uitgevoerd op drie Russische corpora die varieerden in grootte, domein en klassenverdeling:

ru_emotion_e-culture: 49.123 voorbeelden, 5 klassen (emotieclassificatie).
RuCoLA: 8.524 voorbeelden, 2 klassen (linguïstische acceptabiliteit).
TERRa: 2.337 voorbeelden, 2 klassen (herkenning van tekstuele implicatie).

Basismodel en Training

Alle experimenten maakten gebruik van het vooringestelde rubert-base-cased-model.

Standaard Fine-tuning: 3 epochen, batchgrootte 32, leersnelheid $2\times10^{-5}$ .
Evaluatiemetric: F1-macro (om rekening te houden met klassenongelijkheid), aangevuld met nauwkeurigheid.

Detectiemethoden

Confident Learning (CL): Geïmplementeerd via de cleanlab-bibliotheek. Het gebruikt $K$ -voudige cross-validatie ( $K=4$ ) om voorspellingen buiten de fold te genereren. Een "confident joint"-matrix schat de verdeling tussen waargenomen en latente ware labels. Voorbeelden waarbij het model met vertrouwen een andere klasse voorspelt dan het toegewezen label, worden gemarkeerd als fouten.
Dataset Cartography (DM): Geïmplementeerd via een aangepaste callback. Het analyseert in-sample trainingsdynamiek over 10 epochen. Vier metrics worden per voorbeeld berekend: Confidence, Variability, Correctness en Forgetfulness. Voorbeelden worden gecategoriseerd in "makkelijke", "ambigue" en "moeilijk te leren" gebieden op basis van drempels voor confidence en variabiliteit. "Moeilijk te leren" voorbeelden zijn kandidaten voor verwijdering.

Experimenteel Ontwerp

Voor elke methode werden de geïdentificeerde "ruisige" voorbeelden uit de trainingsset verwijderd en het model opnieuw getraind. Cruciaal werden controle-experimenten uitgevoerd waarbij een gelijk aantal voorbeelden willekeurig werd verwijderd. Dit ontwerp isoleert het effect van gerichte filtering van de loutere reductie van de trainingssetgrootte.

Belangrijkste Bijdragen

Eerste Vergelijkende Analyse: Dit werk biedt de eerste vergelijkende evaluatie van Confident Learning en Dataset Cartography specifiek op Russische tekstclassificatie-corpora.
Afhankelijkheid van Datasetkenmerken: De studie toont aan dat de effectiviteit van filtering niet uniform is, maar sterk afhankelijk is van corpusgrootte en initiële ruisniveaus.
Validatie van de Betekenis van Filtering: Via controle-experimenten scheiden de auteurs de voordelen van gerichte filtering van eenvoudige verkleining van de steekproefgrootte, en bewijzen dat beide methoden substantieel problematische voorbeelden identificeren.

Resultaten

Filteragressiviteit

Confident Learning vertoonde adaptief gedrag, waarbij een klein deel van de data op grote corpora werd verwijderd (3,75% op ru_emotion_e-culture), maar een enorm deel op kleine, ruisige corpora (35,47% op TERRa).
Dataset Cartography was conservatiever en stabieler, waarbij tussen 9,28% en 14,48% van de data over alle corpora werd verwijderd.

Prestatie-uitkomsten (F1-macro)

Groot, Hoogwaardig Corpus (ru_emotion_e-culture): Geen enkele methode verbeterde de prestaties ten opzichte van de baseline (F1 $\approx$ 0,935). Sterker nog, beide resulteerden in lichte dalingen, hoewel CL bijna identiek presteerde aan willekeurige verwijdering, wat suggereert dat het model robuust was tegen de aanwezige schaarse ruis.
Middelgroot Corpus (RuCoLA): Beide methoden resulteerden in lagere absolute F1-scores dan de baseline. Echter, beide presteerden significant beter dan willekeurige verwijdering (CL: +0,0166 boven willekeurig; DM: +0,0141 boven willekeurig), wat bevestigt dat de verwijderde voorbeelden inderdaad problematischer waren dan een willekeurige subset.
Klein, Ruisig Corpus (TERRa): Dit leverde de meest significante resultaten op.
- Confident Learning bereikte een significante verbetering in absolute kwaliteit (+0,0134 boven baseline), waarbij de F1 steeg van 0,6444 naar 0,6578.
- Cruciaal presteerde CL met een grote marge beter dan willekeurige verwijdering (+0,1348), wat aangeeft dat de 35% verwijderde voorbeelden de meerderheid van de ruis bevatte die het model degradeerde.
- Dataset Cartography behield de baseline-prestatie (F1 $\approx$ 0,6441) maar verbeterde deze niet, en presteerde +0,0590 beter dan willekeurige verwijdering.

Diagnostische Inzichten

Dataset Cartography bood aanvullende diagnostische metrics. Het TERRa-corpus vertoonde een significant lagere gemiddelde confidence (0,811) en hogere variabiliteit (0,184) in vergelijking met ru_emotion_e-culture (respectievelijk 0,979 en 0,033), wat correleerde met de hogere ruisniveaus en taakmoeilijkheid.

Betekenis en Beperkingen

Het artikel concludeert dat gerichte datafiltering een zinvolle strategie is, met name voor kleine Russisch-talige corpora met hoge annotatieruis, waar Confident Learning aanzienlijke prestatiewinsten kan opleveren. Voor grotere, schonere datasets kunnen de kosten van filtering (dataverlies) de voordelen van ruisherverwijdering opwegen.

De auteurs merken expliciet de volgende beperkingen op:

Gebrek aan Ground Truth: Er is geen handmatige expertverificatie uitgevoerd; de "zinvolheid" van filtering wordt indirect afgeleid via vergelijking met willekeurige verwijdering in plaats van precisie/recall tegen een geverifieerde foutenset.
Enkel Model/Zaad: Resultaten zijn gebaseerd op één basismodel (rubert-base-cased) en één willekeurige seed, wat betekent dat de gerapporteerde numerieke verschillen puntenschattingen zijn in plaats van statistisch gemiddelde resultaten.
Scope: De analyse is beperkt tot tekstclassificatie; generalisatie naar andere NLP-taken (bijvoorbeeld sequentielabeling, generatie) wordt niet behandeld.

Het werk suggereert dat voor kleine, ruisige Russische datasets het toepassen van Confident Learning gevolgd door verificatie en hertraining een aanbevolen praktische aanpak is, terwijl Dataset Cartography dient als een veiligere, computatie-efficiëntere tool voor datakwaliteitsdiagnostiek.