Technische Samenvatting: RECAST

Probleemstelling

Het artikel behandelt de uitdaging van modelreconstructie (het creëren van een surrogaatmodel dat een black-box classifier nabootst) onder omstandigheden van zeer beperkte data-toegang en beperkte query-budgetten. Dit scenario komt veel voor bij het auditen van Machine Learning-as-a-Service (MLaaS) platforms, waarbij derden niet interactief met het doelmodel kunnen communiceren tijdens de reconstructie en moeten vertrouwen op een vaste, offline dataset.

Specifiek richt de auteurs zich op scenario's waar slechts éénzijdige contrafectuele verklaringen (CF's) beschikbaar zijn. In veel real-world toepassingen (bijv. leningafwijzingen) ontvangen gebruikers verklaringen over hoe een negatieve uitkomst kan worden veranderd in een positieve, maar niet andersom. Bestaande CF-gebaseerde reconstructiemethoden kampen in dit regime met drie kritieke beperkingen:

1. Verschuivingen in de Beslissingsgrens: Het behandelen van CF's als hard-gelabelde monsters van de doelklasse veroorzaakt dat de surrogaat te overtuigend (overconfident) wordt in regio's nabij de grens, wat de beslissingsvlakken onjuist verschuift (zoals geïllustreerd in Figuur 1).
2. Overfitting: Neurale netwerkgebaseerde benaderingen hebben moeite met overfitting wanneer de trainingsdata schaars is en de query-budgetten krap zijn.
3. Niet-identificeerbaarheid: Onder de voorwaarde van éénzijdige CF-toegang en beperkte queries is de ware beslissingsgrens statistisch niet-identificeerbaar; meerdere verschillende classifiers kunnen identieke input-output gedragingen produceren. Daarom is het poging om een unieke geometrische grens te herstellen een slecht gesteld probleem (ill-posed).

Methodologie: RECAST

De auteurs stellen RECAST voor (REconstruction via Counterfactual-Aware Wasserstein Step Timization), een gedragscentrische benadering die de klassen-niveau distributies reconstrueert in plaats van expliciete beslissingsgrenzen.

1. CF-Consistente Onzekerheidssets

In plaats van aan te nemen dat CF's exact op de beslissingsgrens liggen, behandelt RECAST ze als zachte, cross-class restricties. Het definieert een CF-consistente haalbare verzameling $\mathcal{C}_c$ voor elke klasse $c \in \{0, 1\}$. Deze verzameling is de intersectie van twee Wasserstein-ballen:

• Eén gecentreerd rond de empirische klasse-conditionele distributie $P_c$.
• Eén gecentreerd rond de éénzijdige contrafectuele distributie $P_{cf}$.

Dit creëert een "lensvormige" ambiguïteitsset in de Wasserstein-ruimte, die zowel de steekproefonzekerheid als de geometrische restricties opgelegd door de contrafectuele gegevens codeert.

2. Robuuste Wasserstein Barycentra

Om een stabiele representant te vinden voor elke klasse binnen deze onzekerheidsset, berekent RECAST Wasserstein barycentra. Stelling 3.2 stelt vast dat het minimaliseren van het worst-case distributie-reconstructierisico over de haalbare verzameling equivalent is aan het vinden van een prototype $Q_c^*$ dat een gewogen som van gekwadrateerde Wasserstein-afstanden minimaliseert:
$$Q_c^* = \arg\min_{\mu} \left( (1-\lambda_c)W_2^2(\mu, P_c) + \lambda_c W_2^2(\mu, P_{cf}) \right)$$
Hier is $Q_c^*$ het 2-Wasserstein barycentrum van de originele klasse-data en de contrafectuele data. Het menggewicht $\lambda_c$ wordt canoniek afgeleid van de relatieve geometrie van de distributies ($P_c$, $P_{cf}$, en de tegenovergestelde klasse $P_{1-c}$), waardoor de methode geen expliciete afstemming van onzekerheidsradii vereist.

3. Barycentrisch Prototype Classifier

De uiteindelijke surrogaatmodel $\hat{m}$ classificeert een input $x$ door de Wasserstein-afstand te vergelijken met de geleerde klasse-prototypes:
$$\hat{m}(x) := \arg\min_{c \in \{0, 1\}} W_2(\delta_x, Q_c^*)$$
waar $\delta_x$ de Dirac-maat is bij $x$. Deze classifier is CF-identificeerbaar, wat betekent dat het beslissingsgedrag invariant is voor de specifieke realisaties van de onderliggende distributies binnen de onzekerheidsset.

4. Fairness Diagnostiek

Het framework past Threshold-Invariant Demographic Parity (TIDP) en Threshold-Invariant Equalized Odds (TIEO) aan naar de Wasserstein-geometrie. Door de distributies van de Wasserstein-gebaseerde scores over gevoelige groepen te vergelijken, biedt de methode een systematische diagnose voor eerlijkheidsverschillen die persisteert over alle beslissingsdrempels, onafhankelijk van een specifieke afkapwaarde.

Belangrijkste Bijdragen

• RECAST Framework: Een nieuwe oplossing voor gedragsmatige modelreconstructie met contrafectueel-bewuste Wasserstein barycentrische prototypen, specifiek ontworpen voor offline, éénzijdige CF-toegang.
• Theoretische Onderbouwing: Bewijs dat het minimaliseren van robuuste risicobovengrenzen onder CF-consistente onzekerheid leidt tot Wasserstein barycentra, wat een stabiele geometrische representatie van klassenverdelingen biedt, zelfs wanneer de grens niet-identificeerbaar is.
• Fairness Auditing Tool: Een geometrie-gebaseerde diagnostiek die distributionele verschillen kwantificeert tussen gevoelige groepen ten opzichte van de gereconstrueerde beslissingsgeometrie.
• Empirische Validatie: Uitgebreide experimenten op vier real-world datasets (Adult, COMPAS, HELOC, California Housing) tonen aan dat RECAST een hogere getrouwheid (fidelity) en query-efficiëntie bereikt dan baselines (SAMPLES, CCA, TRA), met name in low-query regimes en onder ruisige condities.

Experimentele Resultaten

• Fidelity (Getrouwheid): RECAST presteert consistent beter dan baselines in getrouwheid (overeenkomst met de voorspellingen van het doelmodel) over diverse doelmodellen (MLP, Logistische Regressie, Decision Trees) en datasets. Het vertoont een duidelijk voordeel in low-query regimes (bijv. 100 samples), waar andere methoden last hebben van overfitting of verschuivingen in de grens.
• Robuustheid: De methode vertoont superieure stabiliteit onder additieve ruis en distributieverschuivingen (bijv. cross-domain evaluatie van California naar Michigan data). Terwijl baselines significant verslechteren nabij de beslissingsdrempel, degradeert RECAST geleidelijk.
• CF Generatoren: RECAST behoudt een hoge getrouwheid ongeacht de methode van contrafectuele generatie (MCCF, DiCE, ROAR, etc.), terwijl baselines zeer gevoelig zijn voor de specifieke eigenschappen en het "overshooting"-gedrag van de CF's.
• Fairness: De voorgestelde diagnostiek laat zien dat RECAST de eerlijkheidskenmerken van het doelmodel trouwer behoudt dan concurrerende methoden, zelfs onder perturbatie.

Betekenis en Claims

Het artikel positioneert RECAST als een praktisch instrument voor het auditen van opaak beslissingssystemen in sectoren met hoge inzet (finance, strafrecht, gezondheidszorg) waar toegang tot data beperkt is en de query-budgetten laag zijn.

• Gedragsfocus: De auteurs benadrukken dat onder éénzijdige CF-toegang het herstellen van een unieke grondwaarheid beslissingsgrens onmogelijk is. In plaats daarvan focust RECAST op gedragsmatige equivalentie, het reconstrueren van de input-output relatie die statistisch identificeerbaar is.
• Regulatorische Relevantie: Het werk ondersteunt de doelstellingen van de EU AI Act en soortgelijke regelgeving door onafhankelijk onderzoek naar modelgedrag, transparantie en eerlijkheid mogelijk te maken zonder dat toegang nodig is tot de interne parameters of de trainingsdata van het model.
• Beperkingen: De auteurs merken bescheiden op dat de huidige aanpak beperkt is tot binaire classificatie en rust op de assumptie van passieve observatie (geen strategische adversariële interactie met het platform). Ze erkennen ook dat hoewel de Wasserstein-afstand computationeel intensief is, het binnen de voor de methode ontworpen low-data regimes hanteerbaar blijft.

Samenvattend biedt RECAST een wiskundig rigoureuze en empirisch gevalideerde benadering voor het reconstrueren van black-box modellen wanneer slechts beperkte, éénzijdige contrafectuele feedback beschikbaar is, waarbij de nadheid ligt op stabiliteit en gedragsmatige getrouwheid boven de onmogelijke taak van grensreconstructie.