🤖 machine learning

The Unseen Hand: Manipulating Model Fairness and SHAP with Targeted Identity Re-Association Attacks

Ce document introduit les attaques de Réassociation d'Identité Ciblée (TIRA), une nouvelle méthode agnostique aux données utilisant le micro-mélange probabiliste et les perturbations de décalage de rang pour manipuler furtivement les modèles d'apprentissage automatique, optimisant ainsi artificiellement les mesures d'équité et annulant complètement les attributions de caractéristiques protégées dans les explications SHAP.

Auteurs originaux : Sannaan Khan, Muhammad U. S. Khan

Publié 2026-06-23

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Sannaan Khan, Muhammad U. S. Khan

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

La vue d'ensemble : Le « tour de magie » de l'IA

Imaginez que vous engagiez un arbitre pour juger un match de sport. Pour vous assurer que l'arbitre est équitable, vous disposez de deux outils :

Le tableau d'affichage : Une liste de chiffres montrant qui a gagné et par quelle marge.
La caméra de ralenti (SHAP) : Une caméra qui zoome pour montrer pourquoi l'arbitre a pris une décision spécifique (ex : « Il a sifflé une faute parce que le joueur portait des chaussures rouges »).

Dans le monde de l'Intelligence Artificielle (IA), ces outils sont utilisés pour vérifier si un modèle est équitable envers différents groupes de personnes (comme les hommes vs les femmes, ou différentes ethnies).

La thèse de l'article : Les auteurs ont découvert qu'un « hacker » n'a pas besoin de casser le cerveau de l'arbitre ou de changer les règles du jeu. Au lieu de cela, il peut réaliser un subtil tour de magie sur la liste des noms et des scores après la fin du match. En mélangeant les noms de manière très légère, il peut faire en sorte que le tableau d'affichage paraisse parfaitement équitable et tromper la Caméra de Ralenti en lui faisant croire que l'arbitre ne s'est jamais soucié de l'identité des joueurs.

Le problème : Les trucs « évidents »

Les tentatives précédentes pour tromper ces vérifications d'équité étaient comme un magicien agitant une énorme baguette lumineuse.

Ils échangeaient d'énormes blocs de données.
Le résultat : Les scores d'équité changeaient, mais la « Caméra de Ralenti » (SHAP) voyait toujours le désordre. Elle criait : « Hé ! Quelque chose de bizarre s'est passé ici ! » et le tour était démasqué.

La solution : « La Main Invisible » (Attaques TIRA)

Les auteurs introduisent une nouvelle famille d'attaques appelées TIRA (Targeted Identity Re-Association). Voyez cela non pas comme une baguette magique, mais comme un micro-chirurgien ou une brise légère.

Au lieu de faire des échanges massifs et évidents, TIRA utilise deux techniques spécifiques pour manipuler les données :

Le micro-mélange probabiliste (PMiS) :
- L'analogie : Imaginez une file de personnes attendant des billets. Le hacker se tient dans la foule. Toutes les quelques secondes, il lance une pièce. S'il obtient face, il échange discrètement la personne en tête de file avec celle juste derrière elle, seulement si la personne derrière appartient à un groupe « défavorisé ».
- L'effet : Il fait cela des milliers de fois, mais seulement un très faible pourcentage du temps. La file semble presque identique, mais l'ordre a légèrement changé pour modifier les statistiques.
La micro-perturbation par décalage de rang probabiliste (PRSMP) :
- L'analogie : C'est comme le tour précédent, mais au lieu d'échanger des voisins, le hacker pousse doucement une personne quelques places plus bas (ou plus haut) dans un petit intervalle. Encore une fois, il fait cela de manière aléatoire et rare.
- L'effet : Cela crée une « dérive » dans les données qui semble naturelle, comme une foule qui bouge légèrement pour s'installer confortablement, plutôt qu'une soudaine bousculade.

Qu'ont-ils accompli ?

L'article a testé ces tours sur des données réelles (comme la prédiction du risque de diabète ou l'approbation de crédits) et a trouvé deux résultats majeurs :

1. Le tableau d'affichage est parfait (Métriques d'équité)
En utilisant ces mélanges doux et aléatoires, les hackers ont pu pousser le « Score d'Équité » pour qu'il paraisse être un 10/10 parfait.

Avant l'attaque : Le modèle semblait biaisé (ex : « Il rejette les femmes 20 % de plus souvent »).
Après l'attaque : Le modèle semble parfaitement équitable (ex : « Il traite tout le monde exactement de la même manière »).
Point clé : Les prédictions réelles faites par l'IA n'ont pas changé ; seuls les noms auxquels ces prédictions étaient assignés ont changé.

2. La Caméra de Ralenti est trompée (SHAP)
C'est la partie la plus dangereuse. Lorsque les auteurs ont utilisé la « Caméra de Ralenti » (SHAP) sur les données piratées :

Avant : La caméra montrait clairement : « Le modèle regarde le Genre pour prendre ses décisions. »
Après : La caméra montendrait une influence nulle du Genre. On aurait l'impression que le modèle ne se soucie absolument pas du genre.
La leçon : L'attaque a réussi à cacher les « empreintes » de la manipulation. L'auditeur voit un modèle propre et équitable et pense : « Tout va bien », alors qu'en réalité, l'équité du modèle a été artificiellement fabriquée.

Pourquoi est-ce important ?

L'article soutient que nous faisons trop confiance à ces vérifications « post-match ».

Nous supposons que si le Tableau d'Affichage dit « Équitable » et que la Caméra de Ralenti dit « Pas de Biais », alors l'IA est sûre.
Cet article prouve qu'un attaquant habile peut manipuler les noms sur la liste pour faire mentir ces deux outils.

Les « curseurs » de contrôle

Les auteurs soulignent qu'il ne s'agit pas d'un instrument brutal. Ils peuvent tourner des « curseurs » (paramètres) pour contrôler l'attaque :

À quelle fréquence échanger ? (Probabilité)
De combien déplacer quelqu'un ? (Décalage de rang)
Combien de fois le faire ? (Itérations)

Cela permet à un attaquant de rendre le modèle légèrement équitable ou parfaitement équitable, tout en gardant les changements si minimes que personne ne remarque le travail de la « Main Invisible ».

Résumé

L'article avertit que les audits d'équité de l'IA sont fragiles. Ce n'est pas parce qu'un modèle d'IA réussit un test d'équité et semble explicable qu'il est réellement équitable. Un mélange subtil et probabiliste des identités des données peut tromper nos meilleurs outils en leur faisant voir un modèle parfait là où un modèle biaisé existe réellement.

Résumé technique : La main invisible : Manipuler l'équité des modèles et SHAP via des attaques ciblées de réassociation d'identité

1. Énoncé du problème

Alors que les modèles d'apprentissage automatique deviennent de plus en plus opaques et influents dans des domaines sociétaux critiques, le recours aux audits d'équité algorithmique et aux outils d'explicabilité post-hoc (tels que SHAP) s'est accru pour garantir la responsabilité. Cependant, cet article identifie une vulnérabilité critique : ces mécanismes d'audit ne sont pas eux-mêmes robustes face à la manipulation adversaire.

La recherche antérieure a démontré que les stratégies de « tromperie » peuvent manipuler les mesures d'équité, mais ces méthodes existantes reposent souvent sur des perturbations manifestes ou nécessitent un accès à la distribution interne des données du modèle. Par conséquent, elles laissent des traces détectables — telles que des chutes significatives des scores d'équité ou des valeurs d'attribution SHAP anormales — qui déclenchent la suspicion lors des audits. Il existe un manque de techniques de manipulation post-hoc, subtiles et agnostiques vis-à-vis des données, capables d'altérer la perception de l'équité d'un modèle et de saper les outils d'explication sans laisser de traces forensiques.

2. Méthodologie

Les auteurs proposent une nouvelle famille d'attaques nommée Targeted Identity Re-Association (TIRA) (Réassociation d'identité ciblée). Ces attaques opèrent sous un modèle de menace de type boîte noire où l'adversaire n'a accès qu'aux scores de sortie du modèle et aux attributs protégés des instances d'entrée, sans aucun accès à l'architecture du modèle, aux données d'entraînement ou à la logique de décision.

Le cadre central implique :

Tri des scores (Score Sorting) : Obtenir les scores de prédiction d'un modèle boîte noire et les trier par ordre décroissant.
Réassociation d'identité (Identity Re-Association) : Modifier de manière itérative et probabiliste l'association entre les scores triés et les identités (spécifiquement les attributs protégés) sans altérer les scores eux-mêmes.
Réassemblage de la sortie (Output Re-Assembly) : Reconstruire le jeu de données avec les identités mélangées pour recalculer les mesures d'équité et les valeurs SHAP.

L'article formalise deux algorithmes spécifiques au sein de la famille TIRA :

Probabilistic Micro-Shuffling (PMiS) : Cet algorithme applique des échanges adjacents localisés. À chaque itération, il examine des paires adjacentes dans la liste triée. Si un individu défavorisé (attribut protégé = 0) est adjacent à un individu favorisé (attribut protégé = 1), il échange probabilistiquement leurs identités avec une probabilité $p_{swap}$ . Cela crée une dérive cumulative et graduelle de la distribution des attributs protégés par rapport aux scores.
Probabilistic Rank-Shift Micro-Perturbation (PRSMP) : Cet algorithme introduit une localité plus large en permettant des décalages de rang au sein d'une petite fenêtre. Il cible les individus défavorisés et déplace leur identité de manière probabiliste vers un autre individu défavorisé à l'intérieur d'une fenêtre de rang prédéfinie ( $k_{max}$ ) avec une probabilité $p_{shift}$ . Comme PMiS, cela repose sur plusieurs itérations pour accumuler des réarrangements significatifs tout en maintenant la subtilité.

3. Principales contributions

L'article présente quatre contributions majeures :

Formalisation des attaques TIRA : L'introduction de la Réassociation d'Identité Ciblée comme une méthode nouvelle, post-hoc, agnostique vis-à-vis des données et probabiliste pour manipuler subtilement les sorties de modèles.
Validation empirique de la manipulation de l'équité : Démonstration que les attaques TIRA peuvent modifier considérablement les métriques d'équité AIF360 (ex: Égalité des chances, Parité démographique, Impact disparate) à travers diverses configurations de modèles et de jeux de données, les guidant vers des seuils idéaux souhaités.
Impact sur l'attribution SHAP : Illustration de la façon dont les attaques TIRA confondent les explications basées sur SHAP. Les attaques parviennent à réduire l'attribution SHAP des caractéristiques protégées à pratiquement zéro, créant l'illusion que le modèle ne repose pas sur ces caractéristiques.
Étude comparative (Benchmarking) : Une démonstration que les attaques TIRA offrent une granularité et un contrôle plus fins par rapport aux attaques manifestes existantes (telles que DomSwap et MixSwap), atteignant des décalages comparables ou supérieurs des métriques d'équité avec une furtivité nettement plus élevée.

4. Résultats et analyse

Les auteurs ont évalué les attaques TIRA sur le jeu de données de la diabète au Bangladesh (Bangladeshi Diabetes Dataset) et le jeu de données de crédit allemand (German Credit Dataset) en utilisant des modèles de régression logistique et de réseaux de neurones.

Métriques d'équité : Les résultats ont montré que les attaques TIRA poussent systématiquement les métriques d'équité vers des valeurs idéales (ex: réduisant les différences de Parité démographique et les ratios d'Impact disparate pour se rapprocher de 1). Dans de nombreux cas, PMiS et PRSMP ont permis un ajustement plus précis de ces métriques par rapport aux attaques de mélange de base. Par exemple, sur le jeu de données de la diabète, PMiS a réduit la différence d'Égalité des chances d'une base de 0,09 à -0,07, tandis que d'autres attaques montraient des décalages moins constants ou moins extrêmes.
Attribution SHAP : L'analyse post-attaque a révélé que les valeurs SHAP pour les caractéristiques protégées étaient effectivement nulles. Cela indique que les attaques ont réussi à masquer la dépendance du modèle aux attributs protégés vis-à-vis de l'outil d'explication, une amélioration significative par rapport aux travaux antérieurs où des valeurs d'attribution détectables subsistaient souvent.
Furtivité et contrôle : L'étude a mis en évidence le « contrôle granulaire » offert par les paramètres ajustables ( $p_{swap}$ , $p_{shift}$ , $k_{max}$ , et itérations $T$ ). En les ajustant, un adversaire peut moduler la manipulation, passant de changements presque imperceptibles à des altérations prononcées, permettant ainsi un compromis entre l'ampleur du décalage d'équité et la furtivité de l'attaque.

5. Signification et affirmations

L'article soutient que l'évaluation de l'équité elle-même est fragile. La capacité d'altérer la perception de l'équité d'un modèle et ses profils d'explication par des changements subtils et non intrusifs sur les classements de sortie remet en question l'hypothèse selon laquelle une IA de confiance peut être atteinte uniquement par des méthodes d'explication post-hoc.

Les auteurs affirment que les attaques TIRA représentent une « menace à double détente » non réalisée auparavant :

Elles peuvent tromper les audits AIF360 en poussant les métriques vers des valeurs quasi idéales.
Elles peuvent tromper les audits XAI en réduisant l'attribution SHAP à pratiquement zéro.

La portée de ce travail réside dans l'exposition de l'insuffisance des cadres d'audit actuels. La furtivité accrue des attaques TIRA suggère que l'absence d'un signal d'attribution fort ne signifie pas nécessairement l'équité ou l'absence de perturbation adversaire. Par conséquent, l'article conclut qu'il est urgent de développer des méthodologies d'évaluation basées sur l'intégrité capables de détecter les incohérences entre les sorties d'un modèle et ses explications, plutôt que de se fier uniquement aux métriques et aux valeurs d'attribution fournies par les outils actuels.