Technische Samenvatting: Data Pruning: Redundante, Problematische en Interdependente Samples

Probleemstelling

De prestaties van deep learning-modellen zijn afhankelijk van zowel de kwantiteit als de kwaliteit van de trainingsdata. Hoewel data pruning (gegevenssnoeien) tot doel heeft de omvang van de dataset te verkleinen door alleen de meest "belangrijke" samples te behouden om de prestaties gelijk te houden of te verbeteren, gaat de bestaande literatuur vaak uit van een duidelijke definitie van de belangrijkheid van een sample. Dit artikel onderzoekt de effectiviteit van populaire data pruning-methoden onder variërende omstandigheden, waarbij specifiek wordt gekeken naar hoe redundantie, problematische samples (labelruis) en de interdependentie tussen samples de rangschikking en de daaropvolgende verwijdering van trainingsdata beïnvloeden. De auteurs identificeren een kritieke kloof: terwijl eerdere werken specifieke scoringsmethoden voor pruning suggereren, blijft hun gedrag in de aanwezigheid van significante labelruis en over het volledige spectrum van pruning (van matige tot bijna totale verwijdering) onderbelicht.

Methodologie

De auteurs hanteren een standaard evaluatiekader voor data pruning dat drie stappen omvat: het rangschikken van samples, het verwijderen van een subset op basis van die rangschikking, en het opnieuw trainen van het model om de testprestaties te evalueren.

• Datasets: Experimenten werden uitgevoerd op drie multiclass classificatie-datasets: een synthetische dataset (10 klassen, isotrope Gaussische distributies), MNIST en CIFAR-10.
• Modellen: Multilayer Perceptrons (MLP) werden gebruikt voor de synthetische dataset en MNIST, terwijl VGG-16 werd gebruikt voor CIFAR-10. Alle modellen maakten gebruik van de Adam-optimizer, batch normalisatie en ReLU-activaties.
• Scoringsmethoden: Twee gevestigde scoringsmethoden werden geëvalueerd:
  1. Sample Forgetting Score (Toneva et al. [16]): Telt het aantal keren dat een model een sample "vergeet" (correct classificeert op $t-1$, verkeerd classificeert op $t$) tijdens de training.
  2. Error L2-Norm (EL2N) Score (Paul et al. [6]): Berekent de gemiddelde Euclidische norm van de foutvector tijdens de vroege stadia van de training.
• Experimenteel Protocol:
  • Pruning Strategie: Samples werden gerangschikt in oplopende volgorde van hun scores (het eerst verwijderen van laag-scorende/"onbelangrijke" samples) en in aflopende volgorde (het eerst verwijderen van hoog-scorende samples).
  • Ruis Injectie: Voor specifieke experimenten werd symmetrische labelruis toegepast op 30% van de trainingsset.
  • Baselines: Een random pruning baseline en een "Oracle" baseline (die eerst alle ruisige labels verwijdert) werden gebruikt voor vergelijking.
  • Metriek: De primaire output is een $\psi$-curve, die de nauwkeurigheid van de testset uitzet tegen de fractie van de trainingsset die is gepruned.

Belangrijkste Resultaten

1. Redundantie en Matige Pruning

Op schone datasets ontdekten de auteurs dat er aanzienlijke redundantie bestaat. Ongeveer 40% van de synthetische en CIFAR-10 trainingssets, en 90% van de MNIST-set, kon worden gepruned met verwaarloosbaar prestatieverlies.

• Observatie: Onder matige pruning boden de twee scoringsmethoden slechts marginale winst (ongeveer 2% voor CIFAR-10) ten opzichte van een random baseline.
• Extreme Pruning Anomalie: Wanneer er gepruned werd naar extreme niveaus (waarbij alleen de "meest belangrijke" samples worden behouden), presteerde de random baseline consistent beter dan de scoringsmethoden. De auteurs hypothetiseren dat samples die "redundant" zijn bij grote datasets, in feite noodzakelijk zijn voor generalisatie wanneer de dataset klein is. De scoringsmethoden verwijderden deze samples excessief, terwijl de random baseline een noodzakelijke mix van "makkelijke" en "moeilijke" samples behield.

2. Impact van Labelruis

In de aanwezigheid van 30% labelruis faalden de standaard toepassing van de Sample Forgetting en EL2N scores catastrofaal.

• Foutmodus: Beide methoden hadden de neiging om hoge scores toe te kennen (waardoor ze als "belangrijk" werden gerangschikt om te behouden) aan door labels gecorrumpeerde samples. Bij consequent het verwijderen van samples in oplopende volgorde, werden de ruisige samples behouden terwijl de schone samples werden verwijderd, wat leidde tot een scherpe daling in de modelprestaties.
• Rangschikkingsstabiliteit: Schone samples behielden hun relatieve positie in de rangschikking, zelfs nadat ruis werd geïntroduceerd, terwijl gecorrumpeerde samples significant verschoven naar de bovenkant van de rangschikking (hoge scores).

3. Het "Reverse Ranking" Fenomeen

Een contra-intuïtieve bevinding kwam naar voren toen de rangschikkingsvolgorde werd omgedraaid (pruning in aflopende volgorde van score):

• Ruizige Data: Het omkeren van de volgorde maakte het mogelijk om de hoog-scorende ruisige samples als eerste te prunen. Dit resulteerde in modelprestaties die de Oracle baseline (die de locatie van alle ruis kent) evenaarden of benaderden.
• Extreme Pruning: Zelfs op schone data verbeterde het omkeren van de rangschikking de prestaties bij extreme pruning, wat suggereert dat de "belangrijkheid" van een sample niet intrinsiek is, maar afhankelijk is van de aanwezigheid van andere samples in de dataset.

Belangrijkste Bijdragen

Het artikel levert de volgende inzichten aan het vakgebied van data pruning:

1. Context-afhankelijke Belangrijkheid: De definitie van een "belangrijke" sample is niet absoluut; het is sterk verward met dataset-redundantie en de aanwezigheid van tegenstrijdige (ruisige) samples.
2. Falen van Standaard Metrieken onder Ruis: De auteurs demonstreren dat populaire scoringsmethoden (Sample Forgetting en EL2N) er niet in slagen om labelruis te identificeren en te verwijderen wanneer ze in hun standaard oplopende-pruning configuratie worden toegepast.
3. Interdependentie van Samples: De studie benadrukt dat de bijdrage van een specifieke sample aan de modelprestaties afhankelijk is van de rest van de dataset. Het verwijderen van "redundante" samples kan nadelig zijn wanneer de omvang van de dataset klein wordt.
4. Eenvoudige Remediatie: De auteurs tonen aan dat het simpelweg omkeren van de rangschikkingsvolgorde van deze scoringsmethoden de prestaties in omgevingen met ruis en extreme pruning-scenario's drastisch kan verbeteren, waardoor een foutmodus effectief wordt omgezet in een succes.

Betekenis en Beperkingen

De auteurs concluderen dat het succes van data pruning duidelijk wordt beïnvloed door redundantie, problematische samples en interdependentie. Zij stellen dat de volgorde waarin samples gepruned moeten worden minder duidelijk is in de literatuur dan vaak wordt aangenomen.

Beperkingen erkend door de auteurs:

• Generaliseerbaarheid: Het is onduidelijk of deze bevindingen standhouden voor grotere datasets zoals ImageNet.
• Type Ruis: Het gebruik van kunstmatige, symmetrische labelruis kan een te optimistisch beeld geven in vergelaling met real-world, complexe datacorruptie.
• Domeinomvang: Experimenten waren beperkt tot beeldclassificatie; de toepasbaarheid op andere domeinen (bijv. tijdreeksregressie) blijft onzeker.

Het artikel roept op tot toekomstig werk om de interdependentie van samples in rangschikkingsprocessen te integreren en om scoringsmethoden te ontwikkelen die robuust zijn tegen verschillende soorten problematische samples.