Technische Samenvatting: RCAP – Robuuste, Klasse-bewuste, Probabilistische Dynamische Dataset Pruning

1. Probleemstelling

Deep learning-modellen vereisen enorme datasets, wat leidt tot exorbitante computationele kosten en onhoudbare trainingstijden. Hoewel technieken voor dataset pruning (gegevensverwijdering) erop gericht zijn deze kosten te verlagen door minder informatieve voorbeelden te verwijderen, kampen bestaande methoden met aanzienlijke beperkingen:

• Statisch versus Dynamisch: Statische pruning selecteert een vaste subset vóór de training, vaak gebaseerd op dure pre-training om de belangrijkheid van samples te bepalen. Dynamische pruning past subsets aan tijdens de training, maar faalt vaak in het handhaven van robuustheid.
• Worst-Group Accuracy: De huidige state-of-the-art dynamische pruning-methoden (bijv. RS2, InfoBatch) geven prioriteit aan gemiddelde prestaties, maar verwaarlozen vaak de worst-group accuracy. Dit is bijzonder schadelijk in klasse-ongebalanceerde datasets of wanneer specifieke klassen (bijv. "katten" versus "honden" in CIFAR10) een hogere loss vertonen, wat leidt tot niet-robuuste modellen die falen op minderheids- of moeilijke groepen.
• Klasse-bewustzijn: Bestaande methoden missen vaak een principieel mechanisme om de representatie van individuele klassen dynamisch aan te passen op basis van hun moeilijkheidsgraad (hardness) tijdens het trainingsproces.

De kernvraag die wordt behandeld is: Zorgt het integreren van klasse-moeilijkheid tijdens dataset pruning voor een verbeterde robuustheid van het model in zowel gebalanceerde als ongebalanceerde settings?

2. Methodologie: RCAP

De auteurs stellen RCAP voor (Robust, Class-Aware, Probabilistic), een algoritme voor dynamische dataset pruning dat ontworpen is om de worst-group accuracy te optimaliseren terwijl de efficiëntie behouden blijft. De methode werkt in twee primaire fasen per epoch:

2.1 Adaptieve Per-Klasse Subset Grootte

RCAP pakt het probleem aan van het bepalen van het optimale aantal samples om te behouden voor elke klasse.

• Theoretische Fundering: De auteurs leiden een gesloten vorm oplossing af (Theorem 3.1) voor het minimaliseren van de totale empirische fout onder een vaste pruning-rate beperking. De oplossing laat zien dat klassen met een hogere cumulatieve loss (wat duidt op grotere moeilijkheid) een proportioneel groter deel van de trainingssubset toegewezen moeten krijgen.
• Implementatie: In elke epoch $t$ wordt de fractie samples $\alpha_j$ die behouden moet blijven voor klasse $j$ berekend op basis van de geaggregeerde loss van die klasse uit de vorige epoch ($t-1$).
  • De formule is: $\hat{\alpha}_j^{t+1} \propto \frac{\sqrt{p_j \tilde{E}_j^t}}{n_j}$, waarbij $p_j$ de klasse-proportie is, $\tilde{E}_j^t$ de geaggregeerde loss is, en $n_j$ het totaal aantal samples in klasse $j$ is.
  • Clipping Mechanisme: Om te garanderen dat $\alpha_j \leq 1$, wordt het overschot bij de berekening die de 1 overschrijdt, herverdeeld over andere klassen. Dit voorkomt dat het algoritme probeert meer samples te selecteren dan er voor een specifieke klasse bestaan.

2.2 Adaptieve Per-Klasse Sample Selectie

Zodra de subset grootte voor elke klasse is bepaald, selecteert RCAP specifieke samples.

• Probabilistische Sampling: In plaats van deterministisch sorteren (wat computationeel duur is), samplet RCAP uit een waarschijnlijkheidsverdeling die gedefinieerd is over per-sample losses.
• Loss-gebaseerde Waarschijnlijkheid: De kans op het selecteren van een sample $X_i$ voor klasse $j$ is proportioneel aan $e^{\phi_j(X_i)/\beta}$, waarbij $\phi_j$ de loss van het sample vertegenwoordigt en $\beta$ een temperatuur-hyperparameter is.
• Loss Clipping: Om instabiliteit veroorzaakt door uitschieters (bijv. labelruis die extreem hoge losses veroorzaakt) te voorkomen, worden de loss-waarden afgekleefd (clipped) tegen de maximale loss die tijdens de initialisatie (epoch 0) is waargenomen. Dit zorgt ervoor dat de sampling-verdeling robuust blijft en niet te veel wordt beïnvloed door ruisgevoelige uitschieters.
• Iteratieve Update: De loss-waarden $\phi$ worden aan het einde van elke epoch bijgewerkt op basis van de huidige modelstatus, en het proces wordt herhaald.

Complexiteit: De methode brengt geen extra computationele overhead met zich mee bovenop de standaard forward pass, aangezien alle metrieken zijn afgeleid van losses die tijdens de training worden berekend. De per-sample tijdcomplexiteit is $O(1)$.

3. Belangrijkste Bijdragen

1. Nieuw Algoritme: Introductie van RCAP, de eerste dynamische pruning-methode die expliciet een gesloten vorm oplossing voor klasse-gewijze subset sizing combineert met een adaptieve probabilistische samplingstrategie.
2. Focus op Robuustheid: De methode richt zich specifiek op de verbetering van de worst-group accuracy, waarmee een kritiek gat in de bestaande pruning-literatuur wordt gedicht waar minderheids- of moeilijke klassen vaak ondervertegenwoordigd zijn.
3. Uitgebreide Evaluatie: Het artikel biedt de eerste uitgebreide evaluatie van dynamische pruning over zowel klasse-gebalanceerde als sterk ongebalanceerde datasets, verspreid over zes datasets (CIFAR10, CIFAR100, ImageNet, Waterbirds, CelebA, iNaturalist) en vijf verschillende architecturen (ResNet, EfficientNet, Dinov2, etc.).
4. Efficiëntie: De aanpak bereikt significante versnellingen zonder prestatieverlies, met name op ongebalanceerde data.

4. Experimentele Resultaten

De auteurs hebben RCAP geëvalueerd tegen zeven state-of-the-art baselines (inclusief CCS, MetriQ, TDDS, UCB, InfoBatch en RS2) over drie trainingsparadigma's: training vanaf nul, transfer learning en fine-tuning.

• Worst-Group Accuracy: RCAP presteerde consistent beter dan alle baselines over alle datasets en pruning-rates. Met name op sterk ongebalanceerde datasets (Waterbirds, CelebA, iNaturalist) behaalde RCAP een superieure worst-group accuracy zelfs bij 90% pruning rates, en overtrof vaak de prestaties van modellen die getraind zijn op de volledige dataset.
  • Voorbeeld: Op iNaturalist (90% pruning) behaalde RCAP ~68,5% worst-group accuracy, terwijl andere methoden significant zakten (bijv. InfoBatch op ~5,5%, TDDS op 0%).
• Gemiddelde Accuratesse: Op klasse-gebalanceerde datasets (CIFAR10, CIFAR100) behield RCAP een concurrerende gemiddelde accuratesse die vergelijkbaar met of beter is dan bestaande methoden.
• Efficiëntie: RCAP leverde een gemiddelde 8,69× versnelling vergeleken met training op de volledige dataset. Op ongebalanceerde datasets behaalde het een prestatieverbetering van >1% ten opzichte van de volledige-data training, terwijl de trainingstijd drastisch werd verminderd.
• Hyperparameter Gevoeligheid: Een ablatie-studie naar de temperatuurparameter $\beta$ toonde aan dat $\beta < 1$ cruciaal is voor hoge pruning-rates (90%) om prioriteit te geven aan high-loss samples, terwijl $\beta > 1$ meer stabiliteit biedt bij gematigde rates (50%).

5. Betekenis en Claims

Het artikel claimt dat RCAP een nieuwe state-of-the-art vestigt in robuuste dynamische dataset pruning. De betekenis ligt in:

• Het Oplossen van het Imbalansprobleem: Door de klasse-gewijze representatie dynamisch aan te passen op basis van de loss, mitigeert RCAP van nature de bias tegen minderheidsgroepen die andere pruning-methoden teistert, vooral bij hoge pruning-rates.
• Praktische Efficiëntie: Het biedt een "best-of-both-worlds"-scenario: drastisch verminderde trainingstijd (versnelling) gekoppeld aan een verbeterde modelrobuustheid (worst-group accuracy), wat de opvatting uitdaagt dat pruning een afruil moet zijn tussen prestatie en snelheid.
• Generaliseerbaarheid: De methode is model-agnostisch en effectief over diverse architecturen en trainingsparadigma's.

Beperkingen erkend door de auteurs:

• RCAP heeft enkele initiële epochs nodig om de optimale klasse-gewijze fracties accuraat te benaderen, wat het nut kan beperken in scenario's die directe effectiviteit vereisen (bijv. few-shot learning met Large Language Models).
• De temperatuurhyperparameter $\beta$ vereist momenteel handmatige afstemming. De auteurs suggereren toekomstig werk om $\beta$ adaptief te maken tijdens de training.