Understanding Backdoor Vulnerabilities in Vertical Federated Learning: The Gap Between Research and Practice

Imaginez un monde où les ordinateurs les plus intelligents ne sont pas construits par une seule entreprise géante accaparant toutes les données, mais par un voisinage de voisins qui détiennent chacun une pièce différente d'un puzzle. C'est le domaine de l'Apprentissage Automatique (Machine Learning), la science consistant à apprendre aux ordinateurs à apprendre à partir de modèles. Habituellement, pour apprendre à un ordinateur à reconnaître un patient malade ou un prêt risqué, vous avez besoin d'une pile massive de données. Mais que se passerait-il si votre banque possédait l'historique de crédit, votre médecin les dossiers médicaux et votre montre connectée les statistiques de forme physique, et que personne n'est autorisé à partager ses données brutes à cause des lois sur la vie privée ? Entrez dans l'Apprentissage Fédéré Vertical (Vertical Federated Learning - VFL). Voyez cela comme un club secret où des voisins conviennent de résoudre un mystère ensemble sans jamais montrer leurs carnets de notes privés. La « Partie Active » (comme la banque) connaît la question (« Est-ce que cette personne est un risque acceptable ? »), et les « Parties Passives » (le médecin et l'entreprise de montres connectées) possèdent les indices. Elles n'envoient que de minuscules résumés cryptés de leurs données — appelés embeddings — à la banque, qui les combine pour faire une prédiction. C'est une danse brillante entre vie privée et coopération.

Cependant, tout club secret comporte un risque : un saboteur. Dans le monde de l'IA, une Attaque par Porte Dérobée (Backdoor Attack) est comme une poignée de main secrète. Un voisin malveillant (une Partie Passive) pourrait secrètement apprendre au cerveau du groupe à ignorer les vrais indices pour écouter à la place un signal spécifique et caché. Si ce signal apparaît plus tard, l'ordinateur donnera une réponse erronée préprogrammée, comme approuver un mauvais prêt ou ignorer une maladie, tout en paraissant parfaitement normal par ailleurs. Pendant des années, des chercheurs ont crié que ces portes dérobées sont une menace massive, affirmant qu'elles pouvaient tromper le système presque 100 % du temps. Mais une nouvelle étude suggère que l'alarme sonne peut-être pour un fantôme qui n'existe pas vraiment dans le monde réel.

Cet article, intitulé « Understanding Backdoor Vulnerabilities in Vertical Federated Learning: The Gap Between Research and Practice », agit comme un rappel à la réalité pour la communauté de la sécurité de l'IA. Les auteurs, une équipe de l'Université de Hong Kong, ont décidé d'arrêter de regarder les scénarios de « monde parfait » souvent utilisés en laboratoire pour commencer à observer comment ces systèmes fonctionnent réellement dans le monde réel et désordonné. Ils ont construit un nouveau terrain de test appelé BVBench (Back-door Vulnerability Benchmark) pour voir si les attaques par porte dérobée effrayantes rapportées dans les études précédentes pourraient réellement survivre lorsque l'on supprime les hypothèses irréalistes.

Ce qu'ils ont découvert est un véritable coup de théâtre. Lorsqu'ils ont dépouillé les chercheurs précédents des « avantages irréalistes » qu'ils avaient accidentellement donnés aux attaquants — comme connaître la question secrète que l'IA essayait de répondre ou posséder des étiquettes parfaites pour les données — les attaques se sont effondrées. En laboratoire, certaines attaques affichaient un taux de réussite de 99 %. Mais dans leurs simulations réalistes, ces mêmes attaques tombaient souvent à moins de 10 % ou échouaient complètement. C'est comme si le tour de magie d'un illusionniste semblait incroyable sous les projecteurs d'un studio, mais échouait lamentablement lorsqu'il est exécuté dans une rue sombre et bondée. L'article suggère que les taux de réussite « quasi parfaits » que nous avons lus sont largement une illusion créée par des tests dans un vide.

L'étude a également examiné les « héros » tentant d'arrêter ces attaques : les Défenses. Tout comme les attaques, les défenses étaient souvent testées avec des avantages irréalistes, comme posséder une copie propre des données pour comparer. Lorsque les auteurs ont testé ces défenses sous les mêmes règles strictes et réalistes, ils ont constaté que la plupart d'entre elles étaient fragiles. Elles pouvaient arrêter l'attaque, mais elles brisaient souvent la capacité du système à accomplir sa tâche réelle, ou elles échouaient à corriger les erreurs que l'attaque avait déjà commises. En fait, certaines défenses étaient si sensibles à de minuscules changements de configuration qu'elles fonctionnaient très bien dans un scénario et échouaient dans le suivant.

La grande conclusion n'est pas que les attaques par porte dérobée sont impossibles, mais que notre compréhension actuelle d'entre elles est vacillante. L'article soutient que nous avons surestimé le danger de ces attaques parce que nous les avons testées dans un pays imaginaire où les attaquants en savent trop et où les défenseurs disposent d'outils trop nombreux. En introduisant BVBench, les auteurs espèrent orienter la recherche future vers des tests plus honnêtes et pratiques. Ils ne disent pas que le système est sûr ; ils disent que nous devons cesser de paniquer contre des fantômes et commencer à chercher comment nous protéger contre les menaces réelles, beaucoup plus difficiles et beaucoup moins « parfaites » qui existent réellement. Le fossé entre ce que les articles de recherche disent et ce qui se passe dans la pratique est immense, et il est temps de le combler.