Counterfactual Explanations on Robust Perceptual Geodesics

Probleemstelling

Counterfactual explanations (CE) zijn een cruciale methode voor interpretatie van diepe leermodellen. Ze beantwoorden de vraag: "Wat moet er veranderen in de invoer zodat het model een andere voorspelling doet?" Traditionele methoden, vaak gebaseerd op Wachter et al.'s optimalisatieformulering, zoeken naar minimale perturbaties in de invoerruimte of de latente ruimte van generatieve modellen.

Het paper identificeert drie fundamentele tekortkomingen in bestaande benaderingen voor hoogdimensionale beelddata:

1. Misalignment van de metriek: De keuze van de afstandsmetriek (vaak pixel-wise $\ell_2$ of features van niet-robuste modellen) bepaalt of de perturbatie betekenisvol is of juist een "adversarial example" (AE). Standaard metrieken bevorderen vaak onzichtbare, verspreide verstoringen die semantisch onzin zijn.
2. Off-manifold en On-manifold AEs: Bestaande methoden negeren vaak de geometrie van de data-maand (manifold). Dit leidt tot:
   • Off-manifold AEs: Resultaten die er nietuitzien als echte data (bijv. vage texturen).
   • On-manifold AEs: Resultaten die wel op de maand liggen, maar via "brittle" (kwetsbare) richtingen gaan die semantisch niet kloppen, maar wel de classifier misleiden.
3. Lokale optimalisatie: Veel methoden gebruiken lokale gradiëntupdates (zoals SGD) zonder globale structurele geleiding. Hierdoor convergeren ze vaak naar semantisch verre oplossingen of vallen ze in de valkuil van on-manifold AEs.

De kernvraag is: Hoe kunnen we een tegenstrijdige verklaring genereren die semantisch geldig is, dicht bij het origineel ligt, en niet kwetsbaar is voor adversarial manipulatie?

Methodologie: Perceptual Counterfactual Geodesics (PCG)

De auteurs introduceren PCG, een methode die counterfactuals genereert door geodesieken (de kortste paden in een gekromde ruimte) te volgen in de latente ruimte van een generatief model (STYLEGAN2/3), onder een robuste Riemanniaanse metriek.

Kerncomponenten:

1. Robuste Perceptuele Metriek:

   • In plaats van pixel-wise $\ell_2$ of features van standaard classifiers, wordt de metriek afgeleid van de feature-ruimten van adversariaal getrainde, robuuste vision-modellen (bijv. Robust ResNet-50).
   • Robuuste modellen hebben gradiënten die beter aligned zijn met menselijke perceptie en de data-maand.
   • De metriek $G_R(x)$ wordt gedefinieerd als een gewogen som van de Jacobiaans van de activaties van meerdere lagen van het robuuste model. Dit creëert een metriek die kwetsbare richtingen straft en semantisch coherente veranderingen beloont.

2. Pullback naar Latente Ruimte:

   • Deze robuuste metriek in de beeldruimte ($X$) wordt "teruggetrokken" (pullback) naar de latente ruimte ($Z$) van de generator $g$ via de Jacobiaan van de generator: $G_Z(z) = J_g(z)^\top G_R(g(z)) J_g(z)$.
   • Dit zorgt ervoor dat de geometrie in de latente ruimte de intrinsieke kromming van de data-maand weerspiegelt, maar dan gefilterd door de lens van robuuste perceptie.

3. Twee-fasen Optimalisatie:

   • Fase 1 (Geodesic Construction): De auteurs initialiseren een pad tussen de latente code van de invoer ($z_0$) en een willekeurige steekproef van de doelklasse ($z_T$). Ze minimaliseren de "robuste perceptuele energie" (de lengte van het pad in de Riemanniaanse metriek) om een gladde, semantisch geldige geodesiek te vinden.
   • Fase 2 (Refinement): Het eindpunt $z_T$ wordt vrijgegeven en gezamenlijk geoptimaliseerd met de classificatieverliesfunctie. Een dynamische strategie (coarse-to-fine met her-ankeren) zorgt ervoor dat het eindpunt zo dicht mogelijk bij de originele invoer komt terwijl het de doelclassificatie behoudt, zonder de geodesiek te verlaten.

Belangrijkste Bijdragen

1. PCG Algoritme: Een nieuwe methode die counterfactuals genereert door te optimaliseren langs geodesieken in een latente Riemanniaanse manifold, geïnduceerd door robuuste perceptieve features.
2. Semantische Scheidslijn: Het paper toont aan dat het overschrijden van de "semantische kloof" (van CE naar AE) mogelijk is door de juiste geometrie te kiezen. Robuuste metrieken voorkomen dat optimalisatie vastloopt in on-manifold of on-manifold adversarial regio's.
3. Perceptuele Interpolatie: Het bewijst dat robuuste Riemanniaanse geometrie zorgt voor soepele, semantisch coherente interpolaties tussen klassen, in tegenstelling tot de artefacten die ontstaan bij Euclidische of kwetsbare feature-metrieken.
4. Nieuwe Evaluatiestandaard: Het introduceert en valideert het gebruik van robuuste metrieken (zoals $L_R$ en R-LPIPS) als betere maatstaven voor de kwaliteit van counterfactuals dan traditionele pixel-afstanden.

Resultaten

De methode is geëvalueerd op drie datasets: AFHQ (dieren), FFHQ (gezichten) en PlantVillage (planten), met STYLEGAN2/3 als generator.

• Kwalitatieve Resultaten:

  • PCG produceert visueel plausibele counterfactuals die de semantische eigenschappen behouden (bijv. behoud van identiteit bij gezichten, behoud van textuur bij dieren) terwijl de doelklasse wordt bereikt.
  • Baselines zoals REVISE, VSGD, en RSGD vertonen vaak "off-manifold" artefacten (vervormde texturen) of "on-manifold" AEs (semantische drift, onnatuurlijke veranderingen).
  • Interpolaties met PCG zijn glad en consistent, terwijl andere methoden halverwege het pad vaak instabiel worden of klassen mengen.

• Kwantitatieve Resultaten:

  • Afstandsmetrieken: PCG behaalt de laagste waarden op alle geometrie-bewuste metrieken ($L_F$ en $L_R$), wat aangeeft dat de veranderingen semantisch gericht en spaarzaam zijn.
  • Realisme & Closeness: Op R-FID (robust FID) en R-LPIPS (robust perceptuele afstand) presteert PCG significant beter dan baselines. Dit toont aan dat de gegenereerde beelden dichter bij de echte data-distributie liggen en minder kwetsbaar zijn voor adversarial manipulatie.
  • Semantische Margin (SM) & Manifold Alignment Score (MAS): PCG toont een hoge MAS in de robuuste feature-ruimte, wat betekent dat de veranderingen echt langs de data-maand lopen. Baselines scoren lager, wat wijst op afwijkingen naar kwetsbare regio's.

Betekenis en Conclusie

Dit paper biedt een fundamentele verschuiving in hoe we counterfactual explanations voor beeldmodellen benaderen. Het demonstreert dat het probleem van het onderscheid tussen betekenisvolle verklaringen en adversarial examples grotendeels een geometrisch probleem is.

Door de latente ruimte te voorzien van een robuste, perceptueel gealigneerde Riemanniaanse metriek, kunnen we optimalisatieprocessen dwingen om paden te volgen die semantisch geldig en robuust zijn. Dit lost het probleem op van "off-manifold" en "on-manifold" adversarial collapse dat veel bestaande latent-space methoden parten speelt. PCG biedt niet alleen betere visualisaties, maar stelt ook een nieuwe standaard voor evaluatie: het gebruik van robuuste metrieken is essentieel om de kwaliteit van counterfactuals echt te beoordelen, aangezien traditionele pixel-metrieken vaak misleidend optimistisch zijn.