Breaking Spurious Correlations via Generative Randomization and Cross-Variant Self-Supervised Learning

Technische Samenvatting: Het doorbreken van spurieuze correlaties via generatieve randomisatie en cross-variant zelfsuperviserend leren

Probleemstelling
Diepe neurale netwerken die getraind zijn met Empirical Risk Minimization (ERM) vertonen vaak een slechte generalisatie onder distributieverschuivingen. Deze mislukking wordt primair toegeschreven aan het exploiteren van spurieuze correlaties—voorspellende maar niet-causale associaties tussen doel-labels en visuele attributen zoals achtergrond, textuur of scènecontext. Bijvoorbeeld, in de Waterbirds-benchmark kunnen modellen leren om "watervogels" te associëren met "waterachtergronden" en "landvogels" met "landachtergronden", in plaats van te leren van vogel-specifieke kenmerken. Bijgevolg degradeert de prestatie aanzienlijk wanneer deze categorieën in atypische contexten verschijnen. Hoewel eerdere methoden zoals Group Distributionally Robust Optimization (GroupDRO) dit proberen aan te pakken door groepen te herwegen, blijven zij gevoelig voor de kwaliteit van de groepssupervisie en de dynamiek van de vroege optimalisatie. Bovendien behandelen recente generatieve benaderingen die contrafeitelijke afbeeldingen synthetiseren deze doorgaans als standaard data-augmentatie, waarbij ze er niet expliciet voor zorgen dat de encoder een consistente representatie van hetzelfde object in verschillende contexten behoudt.

Methodologie
De auteurs stellen een tweefasen-framework voor dat generatieve interventie combineert met representatie-niveau invariantie-leren om expliciet achtergrond-invariante visuele representaties te leren.

1. Fase 1: Generatieve Omgevingsrandomisatie

   • Isolatie: De pipeline maakt gebruik van een zero-shot segmentatie-aanpak. Voor een gegeven afbeelding $x_i$ en label $y_i$ extraheert Grounding DINO een bounding box, die vervolgens wordt verwerkt door het Segment Anything Model (SAM) om een pixel-niveau binaire masker te genereren dat het causale voorgrondobject isoleert.
   • Synthese: In plaats van eenvoudige achtergrondverwisseling, gebruikt de methode FLUX.1-Fill, een structuur-behoudende diffusie-inpainting model. Het achtergrondgebied (het geïnverteerde masker) wordt opnieuw gesynthetiseerd met uiteenlopende tekstuele prompts (bijv. "meer", "berg", "bos") om een set van context-verschoven varianten $V_i$ te creëren. Dit proces behoudt de identiteit en pixelstructuur van het object terwijl de omringende omgeving volledig wordt gewijzigd.

2. Fase 2: Cross-Variant Zelfsuperviserend Leren (SSL) en Fine-Tuning

   • Cross-Variant SSL: In plaats van gegenereerde afbeeldingen enkel als gesuperviseerde samples te gebruiken, introduceren de auteurs een contrastieve pretraining-strategie. Voor een enkel causaal object worden twee verschillende gegenereerde varianten (die dezelfde voorgrond delen maar een verschillende achtergrond hebben) behandeld als een positief paar. De encoder wordt getraind om de gelijkenis tussen deze views te maximaliseren met behulp van de NT-Xent (InfoNCE) loss. Deze doelstelling moedigt de encoder expliciet aan om object-gecentreerde representaties uit te lijnen terwijl achtergrond-specifieke cues worden onderdrukt.
   • Fine-Tuning: De tijdens de SSL gepretrainde encoder wordt vervolgens gefinetuned voor classificatie. Dit omvat een ERM warm-up fase (waarbij groepsgewichten constant worden gehouden op uniform) om de classifier-head te stabiliseren, gevolgd door GroupDRO optimalisatie. Cruciaal is dat de auteurs laag-specifieke leersnelheden gebruiken tijdens deze fase om de invariante kenmerken die tijdens de pretraining zijn geleerd te behouden, terwijl de classifier wordt aangepast aan de doeltaak.

Belangrijkste Bijdragen

• Hoogwaardige Generatieve Pipeline: De introductie van een pipeline die causale objecten isoleert via zero-shot segmentatie en diverse, context-verschoven varianten genereert met behulp van structuur-behoudende diffusie.
• Cross-Variant SSL: Een nieuwe contrastieve pretraining-strategie die representaties van hetzelfde object over verschillende achtergronden heen uitlijnt. Dit richt zich direct op het verminderen van de afhankelijkheid van de achtergrond, wat de aanpak onderscheidt van methoden die gegenereerde data louter als aanvullende gesuperviseerde samples gebruiken.
• Robuuste Optimalisatiestrategie: Een fine-tuning protocol dat ERM warm-up, laag-specifieke leersnelheden en GroupDRO combineert om te optimaliseren voor worst-group prestaties zonder de tijdens de pretraining geleerde invariante kenmerken te vernietigen.

Experimentele Resultaten
Het framework werd geëvalueerd op drie standaard benchmarks gekenmerkt door ernstige omgevingsdistributieverschuivingen: Waterbirds, MetaShift en NICO++. De methode bereikte state-of-the-art worst-group accuratesse terwijl een hoge gemiddelde accuratesse behouden bleef:

• Waterbirds: 92,5% worst-group accuratesse (vs. 91,6% voor GroupDRO) en 95,4% gemiddelde accuratesse.
• MetaShift: 81,7% worst-group accuratesse en 82,6% gemiddelde accuratesse, waarmee het alle baselines overtreft.
• NICO++: 87,4% worst-group accuratesse en 94,0% gemiddelde accuratesse.

Ablatie-studies op Waterbirds bevestigden dat het omzeilen van de Cross-Variant SSL fase resulteerde in een significante daling van de worst-group accuratesse (van 92,5% naar 89,6%), wat valideert dat het simpelweg toevoegen van generatieve data onvoldoende is zonder de expliciete invariantie-doelstelling. Op dezelfde wijze leidde het verwijderen van de ERM warm-up tot prestatiedegradatie door overfitting op ruisige minderheids-samples.

Betekenis en Claims
De auteurs claimen dat de primaire betekenis van dit werk ligt in het demonstreren dat generatieve interventie het meest effectief is wanneer het gepaard gaat met een representatie-niveau invariantie-doelstelling. Door varianten van hetzelfde causale object over verschillende achtergronden heen uit te lijnen, vermindert de voorgestelde methode de afhankelijkheid van de spurieuze context en verbetert het de generalisatie onder distributieverschuiving. De auteurs stellen dat hun aanpak sterke worst-group prestaties bereikt over meerdere benchmarks, wat suggereert dat gegenereerde varianten een kritiekere rol dienen wanneer ze worden gebruikt om invariante representaties te leren, in plaats van enkel als aanvullende gesuperviseerde trainingssamples.

De auteurs erkennen een beperking met betrekking tot de gevoeligheid van hun aanpak voor de kwaliteit en diversiteit van de gegenereerde varianten, waarbij zij wijzen op variantie tussen willekeurige seeds. Toekomstig werk wordt voorgesteld om zich te richten op stabielere variantselectie en filtering van de kwaliteit van de generatie.