Sintesi Tecnica: La Mano Invisibile: Manipolare l'Equità del Modello e SHAP con Attacchi di Riasociazione Mirata dell'Identità

1. Definizione del Problema

Man mano che i modelli di apprendimento automatico diventano sempre più opachi e influenti in domini sociali critici, la dipendenza da audit di equità algoritmica e strumenti di spiegabilità post-hoc (come SHAP) è cresciuta per garantire la responsabilità. Tuttavia, questo articolo identifica una vulnerabilità critica: questi meccanismi di audit stessi non sono robusti contro la manipolazione avversaria.

La ricerca precedente ha dimostrato che le strategie di "inganno" possono manipolare le metriche di equità, ma questi metodi esistenti spesso si affidano a perturbazioni manifeste o richiedono l'accesso alla distribuzione dei dati interni del modello. Di conseguenza, lasciano artefatti rilevabili — come cali significativi nei punteggi di equità o valori di attribuzione SHAP anomali — che destano sospetti durante gli audit. Esiste una mancanza di tecniche di manipolazione post-hoc, sottili e agnostiche rispetto ai dati, capaci di alterare la percezione dell'equità di un modello e di minare gli strumenti di spiegazione senza lasciare tracce forensi.

2. Metodologia

Gli autori propongono una nuova famiglia di attacchi denominata Targeted Identity Re-Association (TIRA). Questi attacchi operano sotto un modello di minaccia black-box in cui l'avversario ha accesso solo ai punteggi di output del modello e agli attributi protetti delle istanze di input, ma nessun accesso all'architettura del modello, ai dati di addestramento o alla logica decisionale.

Il framework centrale prevede:

1. Ordinamento dei Punteggi (Score Sorting): Ottenere i punteggi di predizione dal modello black-box e ordinarli in ordine decrescente.
2. Riasociazione dell'Identità (Identity Re-Association): Modificare iterativamente e probabilisticamente l'associazione tra i punteggi ordinati e le identità (specificamente gli attributi protetti) senza alterare i punteggi stessi.
3. Riassemblaggio dell'Output (Output Re-Assembly): Ricostruire il dataset con le identità rimescolate per ricalcolare le metriche di equità e i valori SHAP.

Il documento formalizza due algoritmi specifici all'interno della famiglia TIRA:

• Probabilistic Micro-Shuffling (PMiS): Questo algoritmo applica scambi locali e adiacenti. In ogni iterazione, esamina coppie adiacenti nella lista ordinata. Se un individuo svantaggiato (attributo protetto = 0) è adiacente a un individuo avvantaggiato (attributo protetto = 1), scambia probabilisticamente le loro identità con una probabilità $p_{swap}$. Ciò crea una deriva cumulativa e graduale della distribuzione degli attributi protetti rispetto ai punteggi.
• Probabilistic Rank-Shift Micro-Perturbation (PRSMP): Questo algoritmo introduce una località più ampia consentendo spostamenti di rango entro una piccola finestra. Mira agli individui svantaggiati e sposta probabilisticamente la loro identità verso un altro individuo svantaggiato all'interno di una finestra di rango predefinita ($k_{max}$) con probabilità $p_{shift}$. Come PMiS, questo si affida a molteplici iterazioni per accumulare riorganizzazioni significative mantenendo la sottigliezza.

3. Contributi Chiave

L'articolo presenta quattro contributi primari:

1. Formalizzazione degli attacchi TIRA: L'introduzione della Riasociazione Mirata dell'Identità come un metodo post-hoc, agnostico rispetto ai dati, probabilistico e nuovo per manipolare sottilmente gli output del modello.
2. Validazione Empirica della Manipolazione dell'Equità: Dimostrazione che gli attacchi TIRA possono alterare significativamente le metriche di equità AIF360 (ad esempio, Equal Opportunity, Demographic Parity, Disparate Impact) attraverso diverse configurazioni di modelli e dataset, guidandoli verso le soglie ideali desiderate.
3. Impatto sull'Attribuzione SHAP: Illustrazione di come gli attacchi TIRA confondano le spiegazioni basate su SHAP. Gli attacchi riescono a ridurre l'attribuzione SHAP per le caratteristiche protette a quasi zero, creando la falsa impressione che il modello non faccia affidamento su tali caratteristiche.
4. Benchmarking Comparativo: Una dimostrazione del fatto che gli attacchi TIRA offrono una granularità e un controllo maggiori rispetto agli attacchi manifesti esistenti (come DomSwap e MixSwap), ottenendo spostamenti comparabili o superiori nelle metriche di equità con una furtività significativamente maggiore.

4. Risultati e Analisi

Gli autori hanno valutato gli attacchi TIRA sul Bangladeshi Diabetes Dataset e sul German Credit Dataset utilizzando sia la Regressione Logistica che i modelli di Reti Neurali.

• Metriche di Equità: I risultati hanno mostrato che gli attacchi TIRA hanno costantemente spinto le metriche di equità verso valori ideali (ad esempio, riducendo le differenze di Demographic Parity e i rapporti di Disparate Impact verso 1). In molti casi, PMiS e PRSMP hanno ottenuto una calibrazione più precisa di queste metriche rispetto agli attacchi di shuffling di base. Ad esempio, sul dataset Diabetes, PMiS ha ridotto la differenza di Equal Opportunity da un baseline di 0.09 a -0.07, mentre altri attacchi mostravano spostamenti meno consistenti o meno estremi.
• Attribuzione SHAP: L'analisi post-attacco ha rivelato che i valori SHAP per le caratteristiche protette erano effettivamente zero. Ciò indica che gli attacchi hanno oscurato con successo l'affidamento del modello sugli attributi protetti rispetto allo strumento di spiegazione, un miglioramento significativo rispetto al lavoro precedente dove i valori di attribuzione rilevabili rimanevano spesso presenti.
• Furtività e Controllo: Lo studio ha evidenziato il "controllo granulare" offerto dai parametri regolabili ($p_{swap}$, $p_{shift}$, $k_{max}$ e iterazioni $T$). Regolando questi, un avversario può scalare la manipolazione da cambiamenti quasi impercettibili a alterazioni pronunciate, permettendo un compromesso tra l'entità dello spostamento di equità e la furtività dell'attacco.

5. Significato e Rivendicazioni

L'articolo sostiene che la valutazione dell'equità stessa è fragile. La capacità di alterare la percezione dell'equità e i profili di spiegazione di un modello attraverso cambiamenti sottili e non intrusivi sfida l'assunto che l'IA affidabile possa essere raggiunta unicamente attraverso metodi di spiegazione post-hoc.

Gli autori affermano che gli attacchi TIRA rappresentano una "minaccia a doppio ramo" non precedentemente raggiunta:

1. Possono ingannare gli audit AIF360 spingendo le metriche verso valori quasi ideali.
2. Possono ingannare gli audit XAI riducendo l'attribuzione SHAP a quasi zero.

Il significato di questo lavoro risiede nell'esporre l'insufficienza degli attuali framework di audit. La maggiore furtività degli attacchi TIRA suggerisce che l'assenza di un segnale di attribuzione forte non equivale necessariamente a equità o a una mancanza di perturbazione avversaria. Di conseguenza, l'articolo conclude che vi è un urgente bisogno di sviluppare metodologie di valutazione basate sull'integrità che possano rilevare le incongruenze tra gli output di un modello e le sue spiegazioni, piuttosto che fare affidamento esclusivamente sulle metriche e sui valori di attribuzione forniti dagli strumenti attuali.