A Geometric View of Counterfactual Behavior: Interaction of Boundary Proximity and Local Support

Technische Samenvatting: Een Geometrisch Perspectief op Counterfactual Gedrag

Probleemstelling
Counterfactual verklaringen (tegenfeitelijke verklaringen) beogen kleine, semantisch betekenisvolle wijzigingen in de input te identificeren die de voorspelling van een model veranderen. Hoewel ze breed worden gebruikt voor het auditen van machine learning-systemen, behandelen de huidige methoden de generatie van counterfactuals vaak als een lokaal optimalisatieprobleem dat beperkt wordt door taakspecifieke haalbaarheid. Echter, een voorspellingsveranderende perturbatie kan binnen een lokale budgetlimiet bestaan, maar toch niet overeenkomen met een realistisch alternatief als deze terechtkomt in een regio met zwakke datastructuur (data support). Bovendien kunnen modellen met bijna identieke voorspellende prestaties fundamenteel verschillend counterfactual gedrag vertonen. Dit werk onderzoekt waarom deze discrepanties optreden, met de hypothese dat counterfactual gedrag niet uitsluitend een functie is van voorspellende nauwkeurigheid, maar wordt beheerst door de geometrische interactie tussen beslissingsgrens-nabijheid (decision-boundary proximity) en lokale datastructuur (local data support) binnen de representatieruimte.

Methodologie
De auteurs stellen een geometrisch kader en een gestandaardiseerde lokale zoekproef voor om counterfactual gedrag te evalueren over diverse domeinen (visie, taal, medische beeldvorming en multimodaliteit).

1. Geometrisch Kader:

   • Beslissingsgrens-nabijheid ($dbd(z)$): Gedefinieerd als de afstand tot de dichtstbijzijnde beslissingsgrens, benaderd via een eerste-orde linearisatie van de logit-gap tussen de top twee voorspelde klassen.
   • Lokale Target Class Support ($r_k(z)$): Gedefinieerd als de Euclidische afstand van een embedding $z$ tot zijn $k$-de dichtstbijzijnde buur binnen de referentieset van de doelklasse in de embedding-ruimte. Dit meet of de doelregio dichtbevolkt is met data.
   • Hypothesen: Het werk test drie hypothesen: (H1) Nauwkeurigheid-gematchte modellen verschillen in counterfactual gedrag; (H2) Het variëren van de classifier head onder een vaste embedding verandert het counterfactual gedrag; en (H3) De interactie tussen grens-nabijheid en lokale structuur voorspelt counterfactual uitkomsten.

2. Experimentele Opzet:

   • Encoders: De studie evalueert verschillende getrainde encoders (bijv. ResNet-50, ViT, BERT, CLIP, SigLIP2) over datasets zoals Shapes, MNIST, Chest X-ray, IMDb en MM-IMDb.
   • Classifier Heads: Lineaire classifiers worden getraind op bevroren embeddings. Om het effect van de plaatsing van de grens te isoleren, trainen de auteurs meerdere heads op dezelfde embeddings met behulp van verschillende initialisaties en regularisatiekracht (weight decay).
   • Zoekprotocol: Er wordt een gestandaardiseerde projected gradient descent gebruikt in de embedding-ruimte om een voorspellingsverandering te vinden binnen een vaste vertrouwensregio ($\tau$) en iteratiebudget.
   • Metrieken: Counterfactual Success (CF-Suc), Counterfactual Distance (CF-Dist) en Optimization Effort (OptEff).

Belangrijkste Bijdragen

1. Geometrisch Kader en Proef: Introductie van een gestandaardiseerde methode om counterfactual gedrag te evalueren op basis van de interactie tussen grens-nabijheid en lokale datastructuur, waarmee verder wordt gekeken dan eenvoudige voorspellende metrieken.
2. Isolatie van Grenseffecten: Demonstratie dat onder vaste representaties, het variëren van enkel de classifier head (via initialisatie of regularisatie) het counterfactual succes en de afstand substantieel kan veranderen, terwijl de voorspellende nauwkeurigheid grotendeels ongewijzigd blijft.
3. Gezamenlijke Voorspellende Kracht: Bewijs dat beslissingsgrens-nabijheid alleen onvoldoende is; de combinatie van grens-nabijheid en lokale datastructuur is vereist om de variatie in counterfactual haalbaarheid en inspanning te verklaren.

Resultaten

• Divergentie in Nauwkeurigheid-Gematchte Modellen: Modellen met minimale nauwkeurigheidsverschillen (bijv. <0,02) vertoonden grote discrepanties in counterfactual gedrag. Zo vertoonden twee modellen op MNIST met een nauwkeurigheidsverschil van 0,01 een verschil van 65 procentpunt in de success rates van counterfactuals.
• Classifier Sensitiviteit: Wanneer de encoder bevroren was en enkel de lineaire classifier head werd gevarieerd, varieerden de success rates van counterfactuals aanzienlijk (bijv. CF-Suc verschillen van 0,12 tot 0,32) ondanks een stabiele nauwkeurigheid. Het verhogen van de regularisatie verschoof de gemiddelde grensafstand, wat monotoon correleerde met een lagere counterfactual success rate.
• Voorspellend Model van Gedrag: Regressiemodellen die enkel nauwkeurigheid of cross-entropy loss gebruikten, verklaarden weinig variantie in counterfactual uitkomsten. Echter, modellen die $dbd(z)$ en $r_k(z)$ incorporeerden, bereikten significant hogere $R^2$-scores. Specifiek het toevoegen van lokale datastructuur aan de grens-nabijheid verbeterde consequent de voorspellende kracht over alle datasets.
• Ondersteunde versus Niet-ondersteunde Flips: De studie maakt onderscheid tussen "supported flips" (het bereiken van een doelregio met sterke lokale datastructuur) en "unsupported flips" (het oversteken van een grens naar ijle regio's). Effectief counterfactual gedrag bleek sterk afhankelijk te zijn van het bereiken van ondersteunde regio's, en niet louter van het oversteken van een grens.
• Verbeterde Zoektocht via Geometrie: In een casestudy op MNIST slaagde het aanvullen van de counterfactual zoekfunctie met geometrie-bewuste priors (het straffen van de afstand tot de buren van de doelklasse) erin om zoekresultaten te verbeteren waar standaard baselines faalden, wat het praktische nut van deze geometrische signalen aantoont.

Betekenis en Claims
Het artikel claimt dat counterfactual gedrag een distinct dimensie vormt van modelevaluatie, gescheiden van voorspellende prestaties en marge-gebaseerde robuustheid. De auteurs stellen dat:

• Counterfactual haalbaarheid niet invariant is over functioneel vergelijkbare modellen; het is kritiek afhankelijk van hoe de classifier grenzen plaatst ten opzichte van de lokale datastructuur.
• Standaard voorspellende metrieken (nauwkeurigheid, loss) onvoldoende zijn voor het auditen van counterfactual verklaringen of recourse-systemen.
• Begrip van de interactie tussen grens-nabijheid en lokale structuur essentieel is voor modelselectie, robuustheidsanalyse en het ontwerpen van meer betrouwbare counterfactual methoden.
• De bevindingen suggereren dat toekomstige counterfactual methoden expliciet rekening moeten houden met lokale datastructuur om te garanderen dat gegenereerde verklaringen in regio's liggen die door de data worden ondersteund.

Het werk concludeert dat hoewel deze geometrische factoren variatie in huidige lineaire-head setups verklaren, het uitbreiden van dit perspectief naar end-to-end niet-lineaire modellen en het ontwikkelen van geometrie-bewuste counterfactual objectieven een richting is voor toekomstig onderzoek.