🤖 machine learning

Traceable Black-box Watermarks for Federated Learning

Ce papier propose **TraMark**, une nouvelle méthode de tatouage numérique côté serveur pour l'apprentissage fédéré, qui permet de tracer les fuites de modèles dans des conditions de boîte noire en attribuant à chaque client une région de paramètres unique dédiée à son propre tatouage.

Auteurs originaux : Jiahao Xu, Rui Hu, Olivera Kotevska, Zikai Zhang

Publié 2026-02-10

📖 3 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Jiahao Xu, Rui Hu, Olivera Kotevska, Zikai Zhang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Le Problème : Le "Cadeau Volé" dans le Monde de l'IA

Imaginez qu'un groupe d'hôpitaux décide de créer ensemble un super-ordinateur capable de détecter des maladies rares. Pour respecter la vie privée, ils ne s'envoient pas les dossiers des patients (trop confidentiels !), mais ils s'envoient seulement les "leçons" que l'ordinateur a apprises. C'est ce qu'on appelle l'Apprentissage Fédéré (Federated Learning).

Le problème ? Une fois que l'ordinateur est devenu super intelligent, un des hôpitaux pourrait être tenté de le copier et de le revendre en secret à une assurance ou à une entreprise privée. C'est le vol de propriété intellectuelle.

Le défi pour les chercheurs, c'est : Comment mettre une "marque de fabrique" sur cet ordinateur pour prouver qu'il a été volé, sans pour autant l'abîmer ou le rendre moins intelligent ?

La Solution : "TraMark" (Le Tatouage Invisible et Personnalisé)

Les chercheurs ont inventé une méthode appelée TraMark. Pour comprendre comment ça marche, utilisons deux analogies.

1. L'analogie du "Livre de Recettes" (La séparation des zones)

Imaginez que l'intelligence de l'ordinateur est un immense livre de recettes.

La zone principale : Ce sont les recettes de cuisine (comment détecter une maladie). C'est ce qui est important.
La zone de tatouage : Ce sont les marges du livre, les espaces blancs.

Au lieu d'écrire la marque de fabrique partout dans le livre (ce qui gâcherait les recettes), TraMark dit : "On va garder les recettes intactes pour tout le monde, mais dans les marges de chaque exemplaire, on va glisser un petit code secret unique."

2. L'analogie des "Signatures de Fantômes" (La traçabilité)

C'est là que TraMark est brillant. Au lieu de donner le même code secret à tout le monde, le serveur donne un code unique à chaque participant.

Imaginez que chaque hôpital reçoive un exemplaire du livre avec un "fantôme" différent dans les marges.

L'Hôpital A a un fantôme qui dessine des petits cercles bleus.
L'Hôpital B a un fantôme qui dessine des triangles rouges.

Si un jour, on retrouve un exemplaire du livre sur le marché noir, on n'a qu'à regarder les marges. Si on voit des cercles bleus, on sait immédiatement : "C'est l'Hôpital A qui a fuité le livre !" C'est ce qu'on appelle la traçabilité.

Pourquoi est-ce une révolution ?

Avant TraMark, il y avait deux problèmes majeurs que cette méthode résout :

Le problème du "Mélange" : Dans l'apprentissage classique, les hôpitaux mélangent leurs leçons. Si on mettait des marques de fabrique, elles se mélangeraient comme des couleurs dans une peinture, et on ne saurait plus qui a fait quoi. TraMark utilise un "masque" (comme du ruban adhésif) pour protéger les marques de fabrique pendant le mélange des leçons. Les recettes se mélangent, mais les signatures dans les marges restent bien séparées.
Le problème de la "Boîte Noire" : On n'a pas besoin d'ouvrir le livre pour vérifier la signature. On pose juste une question bizarre à l'ordinateur (ex: "Que penses-tu de ce dessin de cercle bleu ?"). Si l'ordinateur répond de manière très spécifique, on sait qu'il porte la marque. On n'a pas besoin de voir ses "cerveaux" (ses paramètres internes), ce qui est beaucoup plus pratique et sécurisé.

En résumé

TraMark, c'est comme donner à chaque membre d'un club un exemplaire d'un manuel de règles, mais avec un tatouage invisible et unique caché dans les pages blanches. Si le manuel est volé, le tatouage permet de pointer du doigt le coupable sans que le manuel ne perde une seule ligne de ses instructions importantes.

Résumé Technique : TraMark

1. Problématique (The Problem)

Dans les systèmes d'Apprentissage Fédéré (Federated Learning - FL), les clients partagent un modèle global pour préserver la confidentialité de leurs données locales. Cependant, cela expose le système à un risque majeur de fuite de modèle (model leakage), où un client malveillant peut dupliquer et distribuer illégalement le modèle.

Les travaux existants sur le tatouage numérique (watermarking) présentent deux lacunes majeures :

Manque de traçabilité en "boîte noire" : Les méthodes actuelles sont soit non traçables (on sait que le modèle est volé, mais pas par qui), soit nécessitent un accès "boîte blanche" (accès aux paramètres internes du modèle), ce qui est irréaliste si le modèle volé est accessible uniquement via une API.
Collisions de tatouage : Lors de l'agrégation des modèles (comme dans FedAvg), les signatures uniques de chaque client risquent de se mélanger, rendant impossible l'identification du coupable.

2. Méthodologie (Methodology : TraMark)

Les auteurs proposent TraMark, une méthode de tatouage côté serveur qui permet de créer un modèle personnalisé et traçable pour chaque client, tout en restant opérable en mode "boîte noire". La méthode repose sur trois piliers techniques :

Partitionnement de l'espace des paramètres : Le serveur divise l'espace des paramètres du modèle en deux régions distinctes via des masques binaires :
1. Région de la tâche principale ( $M_m$ ) : Contient les paramètres essentiels à la performance du modèle.
2. Région de tatouage ( $M_w$ ) : Une petite portion (ex: 1%) dédiée à l'insertion de la signature.
Agrégation masquée (Masked Aggregation) : Pour éviter que les tatouages ne se mélangent lors de l'agrégation, le serveur n'agrège que les paramètres de la région de la tâche principale. Les paramètres de la région de tatouage sont préservés de manière individuelle pour chaque client. Ainsi, chaque client reçoit un modèle qui bénéficie de l'apprentissage collectif pour la tâche principale, mais qui conserve une signature unique et isolée.
Injection de tatouage par "Backdoor" : Le serveur injecte un tatouage en entraînant uniquement la région de tatouage sur un jeu de données spécifique ( $D_w^i$ ) composé de paires "déclencheur-sortie" (triggers). Chaque client reçoit un jeu de données de tatouage unique (ex: des images MNIST différentes pour chaque client) pour garantir qu'il n'y ait pas de collision.

3. Contributions Clés (Key Contributions)

Formalisation mathématique : C'est le premier travail à définir formellement le problème du tatouage numérique traçable en boîte noire dans un contexte de FL.
Nouveauté algorithmique : Introduction de l'agrégation masquée et du partitionnement de l'espace des paramètres pour isoler les signatures.
Robustesse : Conception d'un mécanisme qui protège le tatouage contre les attaques de suppression (élagage/pruning) et de réentraînement (fine-tuning).

4. Résultats Expérimentaux (Results)

Les tests ont été effectués sur divers benchmarks (FMNIST, CIFAR-10, CIFAR-100, Tiny-ImageNet) avec des architectures CNN, AlexNet, VGG-16 et ViT.

Efficacité de la traçabilité : TraMark atteint un taux de vérification de la fuite (Verification Rate - VR) moyen de 99,58 %, surpassant largement les méthodes existantes comme FedTracker.
Performance de la tâche principale : L'impact sur la précision du modèle est négligeable, avec une baisse moyenne de seulement 0,54 % par rapport au modèle non tatoué (FedAvg).
Robustesse aux attaques : Les tatouages restent détectables même après des attaques d'élagage (pruning) ou de réentraînement (fine-tuning), car les paramètres de tatouage sont étroitement couplés à la structure du modèle.
Scalabilité : La méthode est efficace même avec un grand nombre de clients (jusqu'à 50 ou 100) et présente un coût computationnel côté serveur très faible (environ 0,67s par client).

5. Signification (Significance)

TraMark apporte une solution pratique et robuste à la protection de la propriété intellectuelle dans l'apprentissage fédéré. En permettant l'identification précise du responsable d'une fuite sans nécessiter l'accès aux paramètres internes du modèle volé, il offre un mécanisme de responsabilité (accountability) essentiel pour les déploiements industriels (santé, finance) où la protection des modèles est une priorité critique.