Technische Samenvatting: De Onzichtbare Hand: Manipulatie van Modelrechtvaardigheid en SHAP met Targeted Identity Re-Association Attacks

1. Probleemstelling

Naarmate machine learning-modellen steeds minder transparant en invloedrijker worden in cruciale maatschappelijke domeinen, groeit de afhankelijkheid van algoritmische rechtvaardigheidsaudits en post-hoc verklaarbaarheidsinstrumenten (zoals SHAP) om verantwoording te waarborgen. Echter, dit artikel identificeert een kritieke kwetsbaarheid: deze auditmechanismen zelf zijn niet robuust tegen adversariële manipulatie.

Eerder onderzoek heeft aangetoond dat "misleidingsstrategieën" rechtvaardigheidsmetingen kunnen manipuleren, maar deze bestaande methoden vertrouwen vaak op manifeste perturbaties of vereisen toegang tot de interne datadistributie van het model. Hierdoor laten ze detecteerbare artefacten achter—zoals significante dalingen in rechtvaardigheidsscores of anomale SHAP-attributiewaarden—die verdenking tijdens audits oproepen. Er is een gebrek aan subtiele, data-agnostische, post-hoc manipulatietechnieken die in staat zijn de waargenomen rechtvaardigheid van een model en uitleginstrumenten te ondermijnen zonder forensische voetafdrukken achter te laten.

2. Methodologie

De auteurs stellen een nieuwe familie van aanvallen voor, getiteld Targeted Identity Re-Association (TIRA). Deze aanvallen opereren onder een black-box dreigmodel waarbij de tegenstander alleen toegang heeft tot de outputscores van het model en de beschermde attributen van de inputinstanties, maar geen toegang heeft tot de modelarchitectuur, trainingsdata of beslissingslogica.

Het kernframework omvat:

1. Score Sorting: Het verkrijgen van voorspellingsscores van het black-box model en deze in afdescenderende volgorde sorteren.
2. Identity Re-Association: Het iteratief en probabilistisch wijzigen van de associatie tussen de gesorteerde scores en de identiteiten (specifiek de beschermde attributen) zonder de scores zelf te wijzigen.
3. Output Re-Assembly: Het reconstrueren van de dataset met de gehusselde identiteiten om rechtvaardigheidsmetingen en SHAP-waarden opnieuw te berekenen.

Het artikel formaliseert twee specifieke algoritmen binnen de TIRA-familie:

• Probabilistic Micro-Shuffling (PMiS): Dit algoritme past gelokaliseerde, aangrenzende wisselingen toe. In elke iteratie onderzoekt het aangrenzende paren in de gesorteerde lijst. Als een benadeelde persoon (beschermd attribuut = 0) naast een bevoorrechte persoon (beschermd attribuut = 1) staat, wisselt het probabilistisch hun identiteiten met een kans $p_{swap}$. Dit creëert een cumulatieve, geleidelijke drift in de distributie van beschermde attributen ten opzichte van de scores.
• Probabilistic Rank-Shift Micro-Perturbation (PRSMP): Dit algoritme introduceert een bredere lokaliteit door rank-verschuivingen binnen een klein venster toe te staan. Het richt zich op benadeelde individuen en verschuift hun identiteit probabilistisch naar een andere benadeelde persoon binnen een vooraf gedefinieerd rank-venster ($k_{max}$) met een kans $p_{shift}$. Net als PMiS vertrouwt dit op meerdere iteraties om significante herschikkingen te accumuleren terwijl de subtiliteit behouden blijft.

3. Belangrijkste Bijdragen

Het artikel levert vier primaire bijdragen:

1. Formalisering van TIRA-aanvallen: De introductie van Targeted Identity Re-Association als een nieuwe, post-hoc, data-agnostische en probabilistische methode voor het subtiel manipuleren van modeloutputs.
2. Empirische Validatie van Rechtvaardigheidsmanipulatie: Demonstratie dat TIRA-aanvallen de AIF360-rechtvaardigheidsmetingen (bijv. Equal Opportunity, Demographic Parity, Disparate Impact) over diverse model-datasetconfiguraties aanzienlijk kunnen veranderen, waarbij ze naar gewenste ideale drempelwaarden worden geleid.
3. Impact op SHAP-attributie: Illustratie van hoe TIRA-aanvallen SHAP-gebaseerde verklaringen verwarren. De aanvallen slagen erin de SHAP-attributie voor beschermde kenmerken effectief tot nul te reduceren, wat een valse indruk creëert dat het model niet afhankelijk is van deze kenmerken.
4. Vergelijkende Benchmarking: Een demonstratie dat TIRA-aanvallen een fijnere granulariteit en grotere controle bieden vergeleken met bestaande manifeste aanvallen (zoals DomSwap en MixSwap), waarbij zij vergelijkbare of superieure verschuivingen in rechtvaardigheidsmetingen bereiken met een aanzienlijk hogere stealth.

4. Resultaten en Analyse

De auteurs evalueerden TIRA-aanvallen op de Bangladeshi Diabetes Dataset en de German Credit Dataset met zowel Logistische Regressie als Neurale Netwerkmodellen.

• Rechtvaardigheidsmetingen: De resultaten toonden aan dat TIRA-aanvallen de rechtvaardigheidsmetingen consistent richting ideale waarden duwden (bijv. het verminderen van Demographic Parity-verschillen en Disparate Impact-ratio's naar dichter bij 1). In veel gevallen bereikten PMiS en PRSMP een meer precieze afstemming van deze metrieken vergeleken met baseline shuffling-aanvallen. Zo verminderde PMiS op de Diabetes-dataset de Equal Opportunity-differentie van een baseline van 0,09 naar -0,07, terwijl andere aanvallen minder consistente of minder extreme verschuivingen vertoonden.
• SHAP-attributie: Post-attack analyse onthulde dat de SHAP-waarden voor de beschermde kenmerken effectief nul waren. Dit geeft aan dat de aanvallen erin slaagden de afhankelijkheid van het model van beschermde attributen te verhullen voor het uitleginstrument, een significante verbetering ten opzichte van eerder werk waar detecteerbare attributiewaarden vaak aanwezig bleven.
• Stealth en Controle: De studie benadrukte de "fijnmazige controle" die wordt geboden door de instelbare parameters ($p_{swap}$, $p_{shift}$, $k_{max}$, en iteraties $T$). Door deze aan te passen, kan een tegenstander de manipulatie schalen van bijna onmerkbare veranderingen tot uitgesproken wijzigingen, waardoor een afweging kan worden gemaakt tussen de omvang van de rechtvaardigheidsverschuiving en de stealth van de aanval.

5. Betekenis en Claims

Het artikel betoogt dat de rechtvaardigheidsbeoordeling zelf broos is. Het vermogen om het waargenomen rechtvaardigheidsprofiel en de verklaringen van een model te wijzigen door middel van subtiele, niet-intrusieve wijzigingen in output-rankings, daagt de aanname uit dat betrouwbare AI uitsluitend via post-hoc verklaringmethoden kan worden bereikt.

De auteurs beweren dat TIRA-aanvallen een "tweeledige dreiging" vertegenwoordigen die voorheen niet was bereikt:

1. Ze kunnen AIF360-audits misleiden door metrieken naar nabij-ideale waarden te duwen.
2. Ze kunnen XAI-audits misleiden door de SHAP-attributie effectief tot nul te reduceren.

De betekenis van dit werk ligt in het blootleggen van de ontoereikendheid van huidige auditframeworks. De verbeterde stealth van TIRA-aanvallen suggereert dat de afwezigheid van een sterk attributiesignaal niet noodzakelijkerwijs gelijkstaat aan rechtvaardigheid of een gebrek aan adversariële perturbatie. Bijgevolg concludeert het artikel dat er een dringende behoefte is aan integriteitsgebaseerde evaluatiemethodologieën die inconsistenties tussen de output van een model en de verklaringen ervan kunnen detecteren, in plaats van enkel te vertrouwen op de metrieken en attributiewaarden die door huidige tools worden geleverd.