Shortcut Invariance: Targeted Jacobian Regularization in Disentangled Latent Space

Deze paper introduceert een methode die shortcut-learning in diepe neurale netwerken aanpakt door gerichte anisotrope ruis in een ontkoppelde latente ruimte te injecteren, waardoor de classifier onafhankelijk wordt van shortcut-assen zonder dat shortcut-labels of tegenstrijdige voorbeelden nodig zijn.

De kern

Stel je voor dat je een slimme student aan het trainen bent om ziektes in röntgenfoto's te herkennen. De student leert echter een "snelweg" (een shortcut) in plaats van de echte medische kennis.

In plaats van te kijken naar de vorm van een tumor, leert de student: "Als de foto een beetje blauw is, is het een tumor. Als hij groen is, is het gezond." Waarom? Omdat in de trainingsdata van het ene ziekenhuis alle tumoren per ongeluk blauw waren (door een andere scanner) en alle gezonde foto's groen. De student is slim, maar hij is slordig. Hij heeft de makkelijke, maar valsche regel onthouden.

Wanneer deze student later naar een nieuw ziekenhuis gaat waar de scanners anders zijn (en de kleuren anders), faalt hij volledig. Hij kijkt niet meer naar de tumor, maar naar de kleur van de foto.

Dit is het probleem dat dit paper, SITAR, probeert op te lossen. Hier is hoe het werkt, vertaald naar begrijpelijke taal:

1. Het Probleem: De "Luie Student"

Normaal gesproken leren computers (neural networks) door simpelweg de fouten te minimaliseren. Als een "snelweg" (zoals de kleur van de foto) de juiste voorspelling geeft, gebruikt de computer die. Het probleem is dat deze snelwegen vaak niet werken als de situatie verandert (bijvoorbeeld in een ander ziekenhuis of land).

Bestaande methoden proberen dit op te lossen door:

• Speciale labels te gebruiken (die vaak niet bestaan).
• Te zoeken naar voorbeelden waar de snelweg niet werkt (die vaak ook niet bestaan).
• De "slechte" informatie uit het geheugen van de computer te verwijderen (wat vaak te veel belangrijke informatie verwijdert).

2. De Oplossing: SITAR (De "Truc" met de Ruis)

De auteurs van SITAR hebben een slimme, nieuwe aanpak bedacht. Ze zeggen: "Laten we de student niet dwingen om de slechte informatie te vergeten, maar laten we hem leren dat hij die informatie niet mag vertrouwen."

Hier is de analogie:

Stap 1: De "Snelweg" vinden (Zonder labels)
Stel je voor dat de student een geheugen heeft met 100 vakjes. In de meeste vakjes zit nuttige informatie (zoals de vorm van de tumor). In één specifiek vakje zit de "snelweg" (de kleur van de foto).
SITAR kijkt naar de trainingsdata en vraagt zich af: "Welk vakje in het geheugen verandert het meest als de uitkomst (ziek of gezond) verandert?"
Als dat ene vakje (de kleur) extreem sterk samenhangt met de diagnose, dan weten ze: "Aha! Dat is de valstrik!" Ze hoeven geen menselijke labels te hebben; de computer vindt het zelf door te kijken naar correlaties.

Stap 2: De "Truc" met de Ruis (Anisotrope Noise)
Nu komt het geniale deel. In plaats van dat vakje met de valstrik te verwijderen, gooien ze er ruis in.

• Stel je voor dat je een kompas hebt dat soms verkeerd wijst als je er een magneet bij houdt.
• SITAR neemt het vakje dat de valstrik bevat en schudt het flink door elkaar (voegt ruis toe).
• De vakjes met de echte kennis (de vorm van de tumor) worden niet geschud. Ze blijven rustig.

Stap 3: De Student leren om te gaan met de trilling
De student (de classifier) krijgt nu twee taken:

1. Hij moet de diagnose geven op basis van de geschudde (ruis-achtige) data.
2. Hij moet dezelfde diagnose geven als op de rustige data.

Als de student probeert om de diagnose te geven op basis van de "geschudde" kleur, gaat het mis. De diagnose verandert dan namelijk. Omdat de student moet leren dat zijn antwoord stabiel moet blijven, leert hij vanzelf: "Ik kan die kleur niet gebruiken, want die trilt te veel. Ik moet kijken naar de vorm van de tumor, want die blijft rustig."

3. Waarom is dit zo slim?

• Geen labels nodig: Ze hoeven niet te weten wat de valstrik is (bijv. "blauwe kleur"). Ze hoeven alleen te zien dat iets te sterk samenhangt met het antwoord.
• Geen conflicterende data nodig: Zelfs als alle trainingsfoto's blauw zijn (en er dus geen groene voorbeelden zijn om te vergelijken), werkt het. De computer leert dat hij niet op die blauwe kleur kan vertrouwen omdat die "trilt".
• Het geheugen blijft intact: Ze gooien de "slechte" informatie niet weg. Als er later een situatie is waar de kleur wél belangrijk is (bijvoorbeeld in een heel ander soort foto), kan de computer die informatie nog steeds gebruiken. Ze hebben alleen de afhankelijkheid ervan afgezwakt.

Samenvattend

SITAR is als een trainer die een student leert om niet op zijn gevoel (de snelweg) te vertrouwen, maar op de feiten (de kernkennis), door het gevoel tijdelijk te verstoren.

• Vroeger: "Verwijder de blauwe kleur uit de foto's." (Moeilijk en soms onmogelijk).
• Nu (SITAR): "Schud de blauwe kleur door elkaar en leer de student dat hij de diagnose niet mag baseren op iets dat zo onstabiel is."

Dit werkt niet alleen voor foto's van mensen, maar ook voor medische scans van verschillende ziekenhuizen, waar de "snelweg" vaak een onzichtbaar artefact is van de scanner zelf. Het zorgt ervoor dat de AI eerlijk en betrouwbaar blijft, zelfs als de wereld verandert.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "Shortcut Invariance: Targeted Jacobian Regularization in Disentangled Latent Space" (SITAR), geschreven in het Nederlands.

1. Het Probleem: Shortcut Learning en OOD Generalisatie

Diepe neurale netwerken, getraind met Empirical Risk Minimization (ERM), presteren vaak supermenselijk op testsets die uit dezelfde verdeling komen als de trainingsdata (in-distribution), maar falen systematisch bij distributieveranderingen (out-of-distribution, OOD). De hoofdoorzaak hiervan is shortcut learning: netwerken leren complexe, semantische regels niet, maar vertrouwen in plaats daarvan op "spurious correlations" (schijnbare correlaties) in de trainingsdata die voorspellend zijn binnen de trainingsverdeling, maar falen onder verschuiving.

Voorbeelden zijn klassificatoren die de achtergrondkleur gebruiken in plaats van de vorm van een cijfer (CMNIST) of textuur in plaats van vorm (ImageNet).

Beperkingen van bestaande methoden:

• Input-ruimte herweging: Methoden zoals Group DRO of JTT vereisen expliciete labels voor de "shortcut-groepen" of afgeleide proxies (zoals per-sample loss).
• Aanname van conflicterende voorbeelden: Deze methoden gaan er vaak van uit dat de trainingsset voorbeelden bevat waarin de spurious feature afwezig is of in conflict is met het label (shortcut-conflicting examples). In praktijkscenario's, zoals medische beeldvorming met data van verschillende instituten met verschillende protocollen, ontbreken deze conflicterende voorbeelden vaak volledig.
• Representatie-puriteit: Methoden die proberen de latent space te partitioneren in "core" en "spurious" componenten, vereisen vaak expliciete labels voor de spurious attributen of falen wanneer de shortcut-signalen hoogdimensionaal of verweven zijn met semantische inhoud.

2. Methodologie: SITAR

De auteurs stellen SITAR (Shortcut Invariance via Targeted Anisotropic Regularization) voor. Dit is een methode die functionaliteit invariantie voor shortcut-signalen afdwingt op classifier-niveau, zonder dat er shortcut-labels of een "shortcut-vrije" representatie nodig zijn.

Kernhypothese:
In een ontkoppelde (disentangled) latent space bezetten shortcut-features latent dimensies die een sterkere correlatie vertonen met de labels dan dimensies die de kern-features (causale signalen) coderen.

Het Proces:

1. Disentangled Latent Representation:
   Het model gebruikt een $\beta$-VAE (Variational Autoencoder) om invoerbeelden $x$ te mappen naar een Gaussische latent vector $z \sim \mathcal{N}(\mu, \sigma)$. De $\beta$-hyperparameter (waarbij $\beta > 1$) wordt gebruikt om de ontkoppeling van de latent factoren te bevorderen.

2. Identificatie van Shortcut-Proxy's (Ongecontroleerd):
   In plaats van externe labels te gebruiken, berekent SITAR een vector $v$ op basis van de correlatie tussen de gemiddelde latent waarden ($\mu$) en de labels ($y$).
   $$v_j = |\text{Corr}(\mu^{(j)}, y)|$$
   Een hoge waarde van $v_j$ duidt aan dat dimensie $j$ sterk gealigneerd is met het label en dus een kandidaat-shortcut-dimensie is. Dit werkt als een ongecontroleerde proxy.

3. Targeted Anisotropic Regularization:
   Tijdens het trainingstraject wordt er anisotrope ruis geïnjecteerd in de latent vector. De ruis wordt elementsgewijs geschaald met de vector $v$:
   $$\bar{z} = z + \alpha \cdot (v \odot \epsilon), \quad \epsilon \sim \mathcal{N}(0, I)$$
   Dimensies met een hoge $v_j$ (shortcuts) krijgen dus veel ruis, terwijl dimensies met een lage $v_j$ (kernfeatures) nauwelijks worden verstoord.

4. Trainingsdoel (Loss Function):
   De classifier $f_\theta$ wordt getraind met een doel dat bestaat uit twee delen, gecombineerd met de VAE-loss:

   • Robust Prediction: Cross-entropy verlies op het verstoide punt $\bar{z}$. Dit dwingt de classifier om voorspellende signalen te vinden in de ongestoorde kern-dimensies.
   • Functional Consistency: Een $\ell_2$-strafterm die de verschil tussen de output op de schone input $f_\theta(z)$ en de verstoide input $f_\theta(\bar{z})$ minimaliseert.

   De totale loss is:
   $$L = L_{VAE} + \mathbb{E}[\ell_{CE}(f_\theta(\bar{z}), y)] + \lambda \mathbb{E}[\|f_\theta(z) - f_\theta(\bar{z})\|^2]$$

Theoretische Fundament:
De auteurs tonen aan via een tweede-orde Taylor-expansie dat dit doel wiskundig equivalent is aan het toevoegen van een targeted Jacobian en Curvature regularizer. De straffactor wordt gewogen door $v_j^2$. Dit betekent dat de classifier specifiek "plat" wordt gemaakt (minder gevoelig) langs de shortcut-assen, terwijl de gevoeligheid voor kernfeatures behouden blijft. Dit is een gerichte vorm van regularisatie, in tegenstelling tot uniforme Jacobian regularisatie.

3. Belangrijkste Bijdragen

1. Een nieuwe trainingsmethode: SITAR dwingt functionele invariantie af op classifier-niveau zonder shortcut-labels of conflicterende voorbeelden in de trainingsdata.
2. Theoretische analyse: Bewijs dat de consistentiedoelstelling equivalent is aan een gerichte Jacobian- en krommingsregularisatie, waarbij de straal wordt bepaald door de correlatiesterkte van de dimensie.
3. State-of-the-art prestaties: Uitgebreide experimenten tonen aan dat SITAR de beste OOD-prestaties (worst-group accuracy) behaalt op diverse benchmarks, zelfs in scenario's waar eerdere methoden volledig falen (geen conflicterende voorbeelden).

4. Resultaten

De methode werd getest op drie soorten benchmarks:

• Gecontroleerde Evaluatie (ColorMNIST):

  • SITAR bevestigde dat de correlatie-proxy correct de shortcut-dimensie identificeert.
  • Het bewees dat ontkoppeling (disentanglement) een noodzakelijke voorwaarde is; zonder voldoende $\beta$ faalt de methode.
  • Het toonde aan dat gericht (anisotroop) ruisinjectie cruciaal is; isotrope ruis (gelijke ruis op alle dimensies) werkt niet.
  • SITAR behield een hoge OOD-accuraatheid (>70%) zelfs wanneer de trainingsdata 100% shortcut-gealigneerd was ($\rho=1.0$), terwijl ERM, JTT en LfF op 0% vielen.

• Real-world Benchmarks (Pixelruimte & Pretrained Representaties):

  • CelebA & Waterbirds: SITAR behaalde de hoogste worst-group accuracy (WG) op alle taken. Op Waterbirds (waar de shortcut de achtergrond is) presteerde SITAR aanzienlijk beter dan Chroma-VAE (31% vs 11% WG in pixelruimte), wat aantoont dat het niet nodig is om de latent space strikt te partitioneren.
  • Pretrained Representaties: Wanneer SITAR werd toegepast op features van een gefrozen ResNet-encoder, behaalde het 87.3% WG op Waterbirds en 81.1% op CelebA, wat beter is dan of gelijkstaat aan de beste bestaande methoden.

• Medische Beeldvorming (Camelyon17-WILDS):

  • Dit is een kritieke test omdat de "shortcut" hier een proces-gebaseerd artefact is (verschillende ziekenhuizen/stainingsprotocollen) en geen semantisch object.
  • SITAR behaalde de hoogste OOD-accuraatheid (83.26%), verslaand ERM en JTT.
  • Chroma-VAE faalde hier (74.45% OOD), wat aangeeft dat expliciete partitionering te fragiel is voor subtiele, niet-semantische shortcuts.

5. Betekenis en Conclusie

SITAR biedt een robuust en eenvoudig te implementeren framework voor het bestrijden van shortcut learning. De belangrijkste doorbraken zijn:

• Onafhankelijkheid van labels: Het vereist geen groepslabellen of kennis van welke attributen de shortcuts zijn.
• Robuustheid bij data-tekort: Het werkt zelfs wanneer de trainingsdata geen enkele voorbeelden bevat die in conflict zijn met de shortcut (een veelvoorkomend probleem in medische data).
• Behoud van representatie: In tegenstelling tot methoden die shortcut-dimensies verwijderen, behoudt SITAR de volledige representatie en maakt de classifier alleen ongevoelig voor de verkeerde signalen. Dit zorgt ervoor dat de prestaties niet dalen als er geen shortcuts aanwezig zijn.

De paper concludeert dat het benutten van label-correlatie in een ontkoppelde latent space als een proxy voor shortcuts, gecombineerd met gerichte anisotrope regularisatie, een effectieve route is naar betrouwbare AI-modellen die beter generaliseren naar nieuwe verdelingen.