Technische Samenvatting: Mitigeren van Spuriële Correlaties met Memorisatie-gestuurde Dataset De-biasing

Probleemstelling

Real-world datasets bevatten vaak spuriële correlaties—kenmerken die zeer consistent zijn binnen een klasse, maar niet causaal gerelateerd zijn aan het doel-label. Deep learning-modellen getraind via Empirical Risk Minimization (ERM) vertonen vaak een simplicity bias, waarbij ze eenvoudige spuriële kenmerken leren voordat ze complexe kernkenmerken (core features) vastleggen. Dit leidt tot een slechte worst-group accuracy (WGA) op testdata waar de spuriële correlaties niet standhouden, met name voor minderheidsgroepen waar het spuriële attribuut afwijkt van het label.

Hoewel bestaande benaderingen om deze bias te mitigeren vaak afwijken van standaard ERM door complexe optimalisatietechnieken te gebruiken of toegang vereisen tot groepslabels (spuriële attributen), is er behoefte aan methoden die de afhankelijkheid van spuriële correlaties kunnen verminderen terwijl de standaard ERM-training behouden blijft. Een potentiële oplossing ligt in coreset selectie—het construeren van hoogwaardige subsets van data die de volledige trainingsdistributie vertegenwoordigen. Echter, het artikel betoogt dat veelgebruikte sample scoring-functies (bijv. EL2N, SelfSup) en coreset-selectiealgoritmen falen in deze context. Vanwege de simplicity bias worden deze scoring-functies gedomineerd door spuriële kenmerken, waardoor samples met sterke spuriële correlaties als "makkelijk" worden geclassificeerd en samples zonder deze als "moeilijk". Bijgevolg falen standaard selectiestrategieën in het prioriteren van de moeilijke kernkenmerken die nodig zijn voor groep-robuustheid.

Methodologie

De auteurs stellen TCSL-CS (Two-Stage Cumulative Sample Loss-guided Coreset Selection) voor, een framework ontworpen om de leerdynamiek van kern- en spuriële kenmerken te ontkoppelen zonder dat groepslabels vereist zijn.

1. Theoretische Fundering

Het artikel biedt een theoretische analyse onder het Neural Tangent Kernel (NTK) regime en een spiked covariance model. Het demonstreert dat onder de simplicity bias conditie ($\beta_s(2\alpha - 1) > \beta_c$, waarbij $\beta$ de kenmerksterkte vertegenwoordigt en $\alpha$ de fractie van de meerderheidsgroep) spuriële kenmerken aanzienlijk sneller worden geleerd dan kernkenmerken tijdens de vroege stadia van de training. Dit snelle leerproces zorgt ervoor dat sample losses (en dus standaard scores) worden gedomineerd door het spuriële attribuut, wat ze ineffectief maakt voor het identificeren van samples met moeilijke kernkenmerken.

2. Tweestaps Model Training

Om deze dynamiek te ontkoppelen, introduceren de auteurs een tweestaps trainingsschema (Algoritme 1):

• Fase 1 (Spuriële Model, $f_s$): Een vertekend (biased) model wordt getraind om alleen spuriële kenmerken te leren. Dit wordt bereikt door samples met de laagste loss bij elke epoch zwaarder te wegen, wat effectief het leren van samples intensiveert waar het spuriële attribuut overeenkomt met het label ($a=y$).
• Fase 2 (Kern Model, $f_c$): De gewichten van $f_s$ worden bevroren. Een kernmodel wordt getraind met een aangepaste loss-functie die de logit van het spuriële model incorporeert als een negatief feedbackmechanisme:
  $$L(B_t, W^c_t) = \sum_{i \in B_t} \lambda_i \ell\left(y_i, f_c(x_i; W^c_t) + \log(f_s(x_i))\right)$$
  Dit dwingt $f_c$ om de kernkenmerken te leren door de voorspellingen van het vertekende model te compenseren.

3. Two-Stage Cumulative Sample Loss (TCSL)

Op basis van de getrainde modellen definiëren de auteurs een nieuwe scoring metriek, TCSL, die uit twee componenten bestaat:

• $TCSL_s(x)$: De cumulatieve loss van het spuriële model $f_s$. Hoge scores duiden op samples waar het spuriële kenmerk zwak is of niet overeenkomt met het label.
• $TCSL_c(x)$: De cumulatieve loss van het kernmodel $f_c$. Deze score weerspiegelt de moeilijkheid van de kernkenmerken, onafhankelijk van het spuriële attribuut.

4. TCSL-CS Algoritme

Het coreset selectiealgoritme (Algoritme 2) werkt in twee fasen om een robuuste subset te construeren:

1. Identificatie van High-Spuriosity Samples: Met behulp van wKMeans op $TCSL_s$ scores en loss-curves identificeert het algoritme een groep samples ($G_{high}$) met een hoge spuriële moeilijkheid (d.w.z. samples die geen sterke spuriële correlaties missen). Een subset hiervan wordt geselecteerd om te garanderen dat de coreset uitdagende minderheids-achtige samples bevat.
2. Invullen van de Resterende Quota: De resterende plaatsen worden ingevuld vanuit de meerderheidsgroep ($G_{low}$) op basis van $TCSL_c$ scores.
   • Als de selectieratio $r$ hoog is ($r \geq \tau$), selecteert het algoritme samples met de laagste $TCSL_c$ scores (makkelijkste kernkenmerken) om de gemiddelde accuratesse te maximaliseren.
   • Als $r$ laag is ($r < \tau$), gebruikt het algoritme een histogram-gebaseerde selectie (SelectHist) om te samplen uit bins met variërende $TCSL_c$ moeilijkheid, wat zorgt voor diversiteit in de moeilijkheid van kernkenmerken en voorkomt dat harde kernkenmerken worden uitgesloten.

Belangrijkste Bijdragen

• TCSL Score: Een nieuwe metriek die de leerzwaarte van kern- en spuriële kenmerken apart kwantificeert, waarmee het falen van bestaande scores in het geval van simplicity bias wordt geadresseerd.
• TCSL-CS Algoritme: Een methode voor coreset selectie die groep-robuust is en een hoge worst-group accuracy bereikt zonder toegang tot groepslabels. Het maakt gebruik van de TCSL score om coresets te construeren die een balans vinden tussen gemiddelde accuratesse en worst-group prestaties.
• Theoretische Analyse: Een rigoureuze analyse onder het NTK-regime die bewijst dat spuriële kenmerken de vroege leerdynamiek domineren, wat verklaart waarom standaard loss-gebaseerde scores falen in spuriële settings.
• Empirische Superioriteit: Het aantonen dat een standaard ERM-model getraind op de TCSL-CS coreset beter presteert dan state-of-the-art debiasing technieken (inclusief die groepslabels vereisen) terwijl het slechts 10% van de oorspronkelijke trainingsdata gebruikt.

Experimentele Resultaten

De auteurs evalueerden TCSL-CS op vier datasets die bekend staan om hun spuriële correlaties: Waterbirds, cMNIST, MetaShift, en UrbanCars-B.

• Prestaties vs. Debiasing Baselines: Op Waterbirds verbeterde TCSL-CS de WGA van een standaard ERM-model met 10,44%, waarmee het GroupDRO (dat groepslabels vereist) en andere debiasing methoden zoals LC, DFR en JTT versloeg. Op cMNIST (waar spuriële correlaties extreem sterk zijn, $\alpha=0,995$), overtrof TCSL-CS de op één na beste methode met meer dan 11%.
• Prestaties vs. Coreset Selectie Baselines: TCSL-CS presteerde significant beter dan standaard coreset selectiemethoden (EL2N, SelfSup, Random, D2) over alle datasets heen. Bijvoorbeeld, op Waterbirds behaalden EL2N-gebaseerde methoden WGA-scores zo laag als 39,88%, terwijl TCSL-CS 91,91% behaalde.
• Data Efficiëntie: De methode behaalde state-of-the-art prestaties met slechts 10% van de trainingsdata.
• Ablatie Studies: Experimenten bevestigden dat $TCSL_s$ en $TCSL_c$ succesvol de moeilijkheid van spuriële en kernkenmerken ontkoppelen, wat blijkt uit de hoge cosine similarity met scores afgeleid van modellen die uitsluitend op respectievelijk spuriële of kernkenmerken zijn getraind.

Betekenis en Claims

Het artikel claimt dat TCSL-CS een schaalbare en principiële benadering van debiasing biedt. In tegenstelling tot veel bestaande methoden die complexe optimalisatie of groepslabels vereisen, biedt TCSL-CS:

1. Behoud van Standaard ERM: Het staat het gebruik van standaard ERM-training op de geselecteerde coreset toe, waardoor de noodzaak voor gespecialiseerde loss-functies of optimalisatieprocedures tijdens de uiteindelijke trainingsfase wordt vermeden.
2. Vermindering van Computationele Kosten: Door een kleine subset (bijv. 10%) te selecteren, vermindert het de computationele last van het trainen van grote modellen aanzienlijk, aangezien de dure coreset selectie stap eenmalig wordt uitgevoerd en de resulterende subset hergebruikt kan worden.
3. Generaliseerbaarheid: De geselecteerde coresets zijn architectuur-agnostisch en leveren consistente prestatiewinsten over verschillende model backbones (ResNet, Inception, DenseNet).

De auteurs positioneren hun werk als het eerste coreset selectie algoritme dat specifiek is ontworpen om zowel een hoge gemiddelde als een hoge worst-group accuratesse te bereiken in de afwezigheid van groepslabels, waarmee de negatieve impact van simplicity bias op dataset selectie effectief wordt gemitigeerd.