Technische Samenvatting: Label-efficiënte datasetpruning via semi-supervised pseudo-labeling

Probleemstelling

Deep learning-modellen zijn steeds meer afhankelijk van enorme datasets, wat leidt tot onaanvaardbare opslag- en trainingskosten. Datasetpruning lost dit op door een informatieve subset (een coreset) uit een grotere dataset te selecteren. Echter, de meeste bestaande pruning-methoden vereisen volledig gelabelde data om de belangrijkheid van voorbeelden te schatten, wat onpraktisch is in real-world scenario's waar annotatie kostbaar is en ongelabelde data overvloedig aanwezig is.

Hoewel recente "label-vrije" pruning-methoden proberen dit te omzeilen door gebruik te maken van kenmerken van vooraf getrainde modellen om de moeilijkheidsgraad van voorbeelden te schatten, lijden ze onder een kritieke beperking: hun betrouwbaarheid hangt af van de alignatie tussen de verdeling van de vooraf getrainde kenmerken en de doeldataset. Wanneer de doeldata significant afwijkt van de vooraftrainingsverdeling (bijvoorbeeld domeinspecifieke datasets, varianten met beeldcorruptie of langstaartverdelingen), falen op kenmerken gebaseerde moeilijkheidsschattingen vaak om de ware semantische structuur te vangen, wat leidt tot een slechte coreset-selectie.

Methodologie: SemiPrune

De auteurs stellen SemiPrune voor, een label-efficiënt framework voor datasetpruning dat een kleine, willekeurig gelabelde subset gebruikt om pseudo-labels voor de volledige dataset te genereren via Semi-Supervised Learning (SSL). De methode werkt in een tweestapsproces:

1. SSL-gebaseerde pseudo-labelgeneratie:

   • Een kleine subset van data (bijvoorbeeld 10%) wordt willekeurig geselecteerd en gelabeld.
   • Een model wordt getraind op deze gelabelde subset, gecombineerd met de resterende ongelabelde data, met behulp van een SSL-doelfunctie (specifiek FixMatch).
   • Het getrainde model wijst pseudo-labels toe aan de ongelabelde voorbeelden. Deze pseudo-labels zijn verankerd in de doelklassenruimte omdat het model direct wordt getraind op de doelverdeling, in tegenstelling tot methoden die vertrouwen op vaste vooraf getrainde encoders.
   • De initiële gelabelde voorbeelden (met ground-truth labels) en de pseudo-gelabelde voorbeelden vormen een verenigde trainingspool.

2. Supervised pruning op pseudo-gelabelde data:

   • Een supervised model wordt vanaf nul getraind op de pseudo-gelabelde trainingspool.
   • Voorbeeldspecifieke belangrijkheidsscores worden berekend op basis van de trainingsdynamiek van dit model.
   • De auteurs passen twee bestaande supervised pruning-criteria aan om te werken met pseudo-labels:
     • Semi-AUM: Gebruikt de Area Under the Margin (AUM)-score met een double-end pruning-strategie om voorbeelden te selecteren uit het midden van de moeilijkheidsverdeling.
     • Semi-DUAL: Gebruikt de DUAL-score (combinatie van voorspellingsmoeilijkheid en onzekerheid) met Beta-sampling om de samplingverdeling aan te passen op basis van de pruningratio.

Belangrijkste bijdragen en bevindingen

1. Beperkingen van deep-clustering-gebaseerde pseudo-labeling

Het paper identificeert dat methoden zoals ELFS, die vertrouwen op deep clustering van vaste vooraf getrainde kenmerken (bijvoorbeeld DINO), broos zijn in drie specifieke scenario's:

• Domeinmismatch: Vooraf getrainde kenmerken kunnen voorbeelden groeperen op basis van oppervlakkige visuele gelijkenis in plaats van semantische klasse (bijvoorbeeld in Food-101), wat leidt tot ruisachtige pseudo-labels.
• Beeldcorruptie: Corrupties vervormen de kenmerkruimte, waardoor vooraf getrainde representaties minder scheidbaar worden en de clusteringgrenzen verslechteren.
• Langstaartverdelingen: Klassenongelijkheid zorgt ervoor dat clustering-algoritmes meerderheidsklassen fragmenteren en minderheidsklassen samenvoegen, waardoor de ware klassenverhoudingen niet behouden blijven.

In tegenstelling hiermee produceert SSL-gebaseerde pseudo-labeling, die direct wordt getraind op de doeldata, consistent labels van hogere kwaliteit in deze scenario's, zoals blijkt uit hogere nauwkeurigheids-, NMI- en ARI-metrics in vergelijking met deep clustering.

2. Experimentele prestaties

De auteurs evalueren SemiPrune op diverse datasets, waaronder domeinspecifieke (Food-101, SUN397), gecorrumpeerde (CIFAR-100-C, Tiny-ImageNet-C), langstaart (Caltech-101, CIFAR-100-LT) en standaard benchmarks (CIFAR-10/100, ImageNet-1K).

• Uitdagende settings: In domeinspecifieke, gecorrumpeerde en langstaart-settings bereikt SemiPrune state-of-the-art prestaties onder methoden die ofwel geen labels gebruiken of slechts een klein deel van gelabelde data. Het presteert aanzienlijk beter dan label-vrije baselines (Prototypicality, ZCore, ELFS) en few-label baselines (Score Extrapolation).
• Standaard benchmarks: Op standaard benchmarks waar vooraf getrainde kenmerken goed aligneren, blijft SemiPrune concurrerend, vaak gelijkend aan of licht overtreffend de prestaties van volledig supervised pruning-baselines en label-vrije methoden.
• Label-efficiëntie: De methode toont aan dat een zeer klein labelbudget (bijvoorbeeld 1% tot 5%) voldoende is om sterke label-vrije baselines te overtreffen, wat suggereert dat minimale annotatie in de doel-domein effectiever is dan volledig vertrouwen op vaste vooraf getrainde representaties of self-supervised encoders die vanaf nul worden getraind.

3. Ablatiestudies

• Labelbudget: De prestaties schalen met het initiële labelbudget, maar zelfs bij 1% presteert SemiPrune beter dan ELFS met een zelfgetrainde encoder.
• Score-metrics: Het voordeel van SSL-gebaseerde pseudo-labels blijft bestaan over verschillende score-metrics (AUM, DUAL, EL2N, Forgetting), met name in settings met domeinmismatch.

Betekenis en claims

Het paper beweert dat SemiPrune effectief de kloof overbrugt tussen volledig supervised pruning (die volledige annotatie vereist) en label-vrije pruning (die vertrouwen op potentieel misaligneerde vooraf getrainde kenmerken). Door gebruik te maken van semi-supervised learning om pseudo-labels direct uit de doeldataset te genereren, doet de methode het volgende:

• Het vangt de doelverdeling nauwkeuriger op dan vaste vooraf getrainde kenmerken.
• Het biedt betrouwbaardere signalen voor moeilijkheidsschatting en coreset-selectie, vooral in niet-ideale datacondities (domeinverschuiving, corruptie, onbalans).
• Het biedt een praktische, kostenefficiënt alternatief voor volledige annotatie, waarbij slechts een klein deel van gelabelde data nodig is om prestaties te bereiken die vergelijkbaar zijn met of beter zijn dan volledig supervised methoden in specifieke uitdagende regimes.

De auteurs merken op dat het framework niet gebonden is aan FixMatch en elk SSL-algoritme kan incorporeren dat betrouwbare pseudo-labels levert. Zij suggereren ook dat toekomstig werk actief leren kan onderzoeken om meer informatieve samples te selecteren voor het initiële annotatiebudget.