Sintesi Tecnica: RECAST

Definizione del Problema

Il documento affronta la sfida della ricostruzione del modello (creazione di un modello surrogato che imiti un classificatore black-box) in condizioni di accesso ai dati severamente limitato e budget di query ristretti. Questo scenario è comune nell'audit di piattaforme di Machine Learning-as-a-Service (MLaaS), dove terze parti non possono interagire in modo interattivo con il modello target durante la ricostruzione e devono fare affidamento su un dataset fisso e offline.

Nello specifico, gli autori si concentrano su scenari in cui sono disponibili solo spiegazioni controfattuali (CF) unidirezionali. In molti casi d'uso reali (ad esempio, i rifiuti di prestiti), gli utenti ricevono spiegazioni su come cambiare un esito negativo in uno positivo, ma non viceversa. I metodi di ricostruzione esistenti basati su CF affrontano tre criticità fondamentali in questo regime:

1. Spostamenti del Confine Decisionale (Decision Boundary Shifts): Trattare le CF come campioni con etichetta hard della classe target causa un eccesso di confidenza del surrogato nelle regioni vicine al confine, spostando erroneamente la superficie decisionale (come illustrato nella Figura 1).
2. Overfitting: Gli approcci basati su reti neurali faticano con l'overfitting quando i dati di addestramento sono scarsi e i budget di query sono ridotti.
3. Non-Identificabilità: Sotto l'accesso a CF unidirezionali e query limitate, il vero confine decisionale è statisticamente non identificabile; più classificatori distinti possono produrre comportamenti input-output identici. Pertanto, tentare di recuperare un unico confine geometrico è un problema mal posto.

Metodologia: RECAST

Gli autori propongono RECAST (REconstruction via Counterfactual-Aware waSserstein opTimization), un approccio centrato sul comportamento che ricostruisce distribuzioni a livello di classe piuttosto che espliciti confini decisionali.

1. Insiemi di Incertezza Coerenti con le CF

Inveve di assumere che le CF giacciano esattamente sul confine decisionale, RECAST le tratta come vincoli morbidi tra classi (soft, cross-class constraints). Definisce un insieme ammissibile coerente con le CF $\mathcal{C}_c$ per ogni classe $c \in \{0, 1\}$. Questo insieme è l'intersezione di due palloidi di Wasserstein:

• Una centrata sulla distribuzione empirica condizionata alla classe $P_c$.
• Una centrata sulla distribuzione controfattuale unidirezionale $P_{cf}$.

Ciò crea un insieme di ambiguità "a forma di lente" nello spazio di Wasserstein, codificando sia l'incertezza di campionamento che i vincoli geometrici imposti dalle controfattuali.

2. Baricentri di Wasserstein Robusti

Per trovare un rappresentante stabile per ogni classe all'interno di questo insieme di incertezza, RECAST calcola i baricentri di Wasserstein. Il Teorema 3.2 stabilisce che la minimizzazione del rischio di ricostruzione distributiva nel caso peggiore (worst-case) sul insieme ammissibile equivale a trovare un prototipo $Q_c^*$ che minimizza una somma pesata di distanze quadrate di Wasserstein:
$$Q_c^* = \arg\min_{\mu} \left( (1-\lambda_c)W_2^2(\mu, P_c) + \lambda_c W_2^2(\mu, P_{cf}) \right)$$
Qui, $Q_c^*$ è il baricentro di 2-Wasserstein dei dati originali della classe e dei dati controfattuali. Il peso di miscelazione $\lambda_c$ è derivato canonicamente dalla geometria relativa delle distribuzioni ($P_c$, $P_{cf}$ e la classe opposta $P_{1-c}$), garantendo che il metodo non richieda la sintonizzazione esplicita dei raggi di incertezza.

3. Classificatore a Prototipo Baricentrico

Il modello surrogato finale $\hat{m}$ classifica un input $x$ confrontando la sua distanza di Wasserstein con i prototipi di classe appresi:
$$\hat{m}(x) := \arg\min_{c \in \{0, 1\}} W_2(\delta_x, Q_c^*)$$
dove $\delta_x$ è la misura di Dirac in $x$. Questo classificatore è identificabile tramite CF, il che significa che il suo comportamento decisionale è invariante rispetto alle specifiche realizzazioni delle distribuzioni sottostanti all'interno dell'insieme di incertezza.

4. Diagnostica di Equità (Fairness)

Il framework adatta la Demographic Parity Indipendente dalla Soglia (TIDP) e la Equalized Odds Indipendente dalla Soglia (TIEO) alla geometria di Wasserstein. Confrontando le distribuzioni degli score basati su Wasserstein tra gruppi sensibili, il metodo fornisce una diagnostica sistematica delle disparità di equità che persiste attraverso tutte le soglie decisionali, indipendentemente da un particolare cutoff.

Contributi Chiave

• Framework RECAST: Una soluzione innovativa per la ricostruzione comportamentale di modelli utilizzando prototipi baricentrici di Wasserstein consapevoli delle controfattuali, progettata specificamente per l'accesso offline e unidirezionale alle CF.
• Fondamento Teorico: Dimostrazione che la minimizzazione dei limiti di rischio robusto sotto l'incertezza coerente con le CF conduce a baricentri di Wasserstein, fornendo una rappresentazione geometrica stabile delle distribuzioni di classe anche quando il confine non è identificabile.
• Strumento di Audit per l'Equità: Una diagnostica basata sulla geometria che quantifica le disparità distributive tra gruppi sensibili rispetto alla geometria decisionale ricostruita.
• Validazione Empirica: Esperimenti estesi su quattro dataset del mondo reale (Adult, COMPAS, HELOC, California Housing) che dimostrano come RECAST raggiunga una fedeltà e un'efficienza di query superiori rispetto ai baseline (SAMPLES, CCA, TRA), in particolare nei regimi a bassa query e in condizioni di rumore.

Risultati Sperimentali

• Fedeltà: RECAST supera costantemente i baseline in termini di fedeltà (accordo con le predizioni del modello target) attraverso vari modelli target (MLP, Regressione Logistica, Alberi di Decisione) e dataset. Mostra un vantaggio distinto nei regimi a basse query (es. 100 campioni), dove altri metodi soffrono di overfitting o spostamenti del confine.
• Robustezza: Il metodo dimostra una stabilità superiore sotto rumore additivo e shift di distribuzione (es. valutazione cross-domain da California a Michigan). Mentre i baseline degradano significativamente vicino al confine decisionale, RECAST degrada in modo graduale.
• Generatori di CF: RECAST mantiene un'alta fedeltà indipendentemente dal metodo di generazione delle controfattuali (MCCF, DiCE, ROAR, ecc.), mentre i baseline sono altamente sensibili alle proprietà specifiche e al comportamento di "overshooting" delle CF.
• Equità: Le diagnostiche proposte mostrano che RECAST preserva le caratteristiche di equità del modello target in modo più fedele rispetto ai metodi concorrenti, anche sotto perturbazione.

Significato e Rivendicazioni

Il documento posiziona RECAST come uno strumento pratico per l'audit di sistemi decisionali opachi in domini ad alto rischio (finanza, giustizia penale, sanità) dove l'accesso ai dati è limitato e i budget di query sono ristretti.

• Focus Comportamentale: Gli autori sottolineano che, sotto l'accesso a CF unidirezionali, recuperare un unico confine decisionale reale è impossibile. Invece, RECAST si concentra sull'equivalenza comportamentale, ricostruendo la relazione input-output che è statisticamente identificabile.
• Rilevanza Regolatoria: Il lavoro supporta gli obiettivi dell'AI Act dell'UE e di regolamenti simili, consentendo l'investigazione indipendente del comportamento del modello, della trasparenza e dell'equità senza richiedere l'accesso ai suoi parametri interni o ai dati di addestramento.
• Limitazioni: Gli autori notano con modestia che l'approccio attuale è limitato alla classificazione binaria e si basa sull'assunzione di osservazione passiva (nessuna interazione avversaria strategica con la piattaforma). Riconoscono inoltre che, sebbene la distanza di Wasserstein sia computazionalmente intensiva, essa rimane trattabile nei regimi a bassi dati per i quali il metodo è progettato.

In sintesi, RECAST offre un approccio matematicamente rigoroso ed empiricamente validato per ricostruire modelli black-box quando è disponibile solo un feedback controfattuale limitato e unidirezionale, privilegiando la stabilità e la fedeltà comportamentale rispetto all'impossibile compito del recupero del confine.