Res-MIA: A Training-Free Resolution-Based Membership Inference Attack on Federated Learning Models

Résumé Technique : Res-MIA

Énoncé du Problème
Les attaques d'inférence de l'appartenance (Membership Inference Attacks - MIA) représentent une menace critique pour la confidentialité, où des adversaires cherchent à déterminer si un échantillon de données spécifique faisait partie de l'ensemble d'entraînement d'un modèle. Bien que l'apprentissage fédéré (Federated Learning - FL) soit conçu pour préserver la confidentialité en décentralisant les données, des preuves récentes indiquent que le modèle global final peut toujours fuiter des informations d'appartenance via un accès de type « boîte noire ». Les MIA existantes reposent souvent sur des modèles d'ombre (shadow models) coûteux en calcul, nécessitent des données auxiliaires ou dépendent de métriques à requête unique (comme la perte ou l'entropie) qui ne parviennent pas à capturer les différences de comportement nuancées entre les membres et les non-membres. De plus, de nombreuses méthodes actuelles peinent dans les contextes de boîte noire restreints où seules les scores de confiance ou les étiquettes sont disponibles.

Méthodologie : Res-MIA
Le document présente Res-MIA, une nouvelle attaque d'inférence d'appartenance de type boîte noire et sans entraînement. L'intuition centrale est que les modèles d'apprentissage profond entraînés sur des jeux de données spécifiques ont tendance à faire du surapprentissage (overfitting) en mémorisant des détails fins et de haute fréquence présents dans les échantillons d'entraînement. En revanche, les prédictions sur des échantillons non vus (non-membres) reposent davantage sur des caractéristiques robustes, de basse fréquence et grossières.

Res-MIA exploite cette sensibilité en dégradant progressivement la résolution de l'entrée et en observant la déchéance de la confiance de la prédiction qui en résulte. Le pipeline d'attaque fonctionne comme suit :

1. Érosion Progressive : En partant d'une image d'entrée $x_0$, la méthode applique une séquence de $K$ étapes d'érosion. À chaque étape $k$, la résolution de l'image est réduite via un pooling moyen (average pooling), puis restaurée à la taille originale par interpolation du plus proche voisin (nearest-neighbor interpolation). Cette combinaison spécifique agit comme un filtre passe-bas qui supprime les détails de haute fréquence sans les reconstruire artificiellement (un risque avec les interpolations plus fluides comme la bilinéaire).
2. Suivi de la Confiance : Le modèle cible est interrogé à chaque étape d'érosion $k$ pour obtenir la confiance de prédiction $c_k$ pour la classe prédite.
3. Score : Un Score de Déchéance de Confiance (Confidence Decay Score), $S(x)$, est calculé comme le taux moyen de perte de confiance à travers les étapes d'érosion :
   $$S(x) = \frac{f_{y^*}(x_0) - f_{y^*}(x_K)}{K}$$
   où $y^*$ est la classe prédite pour l'entrée originale.
4. Inférence : L'hypothèse est que les échantillons membres présentent un déclin de confiance nettement plus abrupt (un $S(x)$ plus élevé) à mesure que les détails de haute fréquence sont supprimés, tandis que les échantillons non-membres montrent un déclin plus graduel.

Principales Contributions

• Sans Entraînement et Boîte Noire : Contrairement aux attaques basées sur des modèles d'ombre, Res-MIA ne nécessite aucune donnée auxiliaire, aucun entraînement de classifieurs d'attaque, et aucun accès aux gradients du modèle. Elle opère uniquement sur les passages directs (forward passes) du modèle cible.
• Nouveau Signal : Le document identifie le « surapprentissage sensible à la fréquence » comme une source robuste de fuite de confidentialité. Il démontre que le taux de déchéance de la confiance sous l'érosion de la résolution est un signal d'appartenance plus fort que les métriques statiques comme la confiance initiale ou l'entropie.
• Efficacité : L'attaque est peu coûteuse en termes de calcul, ne nécessitant qu'un petit nombre de passages directs (par exemple, $K+1$ requêtes) par échantillon.

Résultats Expérimentaux
Les auteurs ont évalué Res-MIA sur un modèle ResNet-18 fédéré entraîné sur le jeu de données CIFAR-10 avec 10 clients.

• Performance : Res-MIA a atteint une AUC de 0,88, surpassant sensiblement les autres bases de comparaison sans entraînement, incluant une attaque basée sur la perte (AUC 0,75) et une attaque basée sur l'entropie (AUC 0,68).
• Taux de Faux Positifs : À un taux de vrais positifs (TPR) fixe de 80 %, Res-MIA a réduit le taux de faux positifs (FPR) à 0,19, soit presque la moitié de celui de la base de référence basée sur la confiance (0,38).
• Robustesse : L'attaque a démontré des performances constantes sur l'ensemble des 10 clients fédérés, avec des valeurs d'AUC par client variant entre 0,86 et 0,89, indiquant qu'elle ne dépend pas d'artefacts spécifiques aux clients.
• Ablation : L'étude a confirmé que l'upsampling par plus proche voisin est critique ; l'utilisation de l'interpolation bilinéaire a dégradé les performances (l'AUC est tombée à 0,72), probablement parce qu'une interpolation plus lisse masque les effets de la suppression des hautes fréquences.
• Surcharge : Le coût computationnel est modeste, avec un temps d'inférence de 18,9 ms par échantillon (comparé à 3,1 ms pour un passage direct unique), ce qui le rend réalisable pour des scénarios à grande échelle.

Signification et Revendications
Le document affirme que Res-MIA met en lumière un mécanisme de fuite de confidentialité jusqu'alors sous-exploré : la dépendance des modèles en surapprentissage vis-à-vis des caractéristiques d'entrée fines et non robustes. Les auteurs soutiennent que ce constat suggère que la conception de modèles préservant la confidentialité doit aller au-delà de l'amélioration de la généralisation ; elle nécessite de réduire explicitement la dépendance d'un modèle aux détails de haute fréquence.

Ce travail se positionne comme un complément à la littérature existante sur la défense (telle que la confidentialité différentielle ou la régularisation adversaire). En démontant que des signaux d'appartenance peuvent être extraits purement par transformation d'entrée sans réentraînement, le document souligne la nécessité de modèles intrinsèquement robustes aux perturbations de fréquence. Les auteurs concluent que l'atténuation de ces risques nécessite un changement dans la manière dont les modèles sont conçus afin de garantir qu'ils ne mémorisent pas de indices fragiles et spécifiques aux échantillons.