Client-Cooperative Split Learning

Le papier présente CliCooper, un cadre d'apprentissage fractionné multi-client qui combine la protection de la vie privée par confidentialité différentielle et l'obfuscation des labels avec un schéma de tatouage dynamique pour garantir l'intégrité du processus d'entraînement et la propriété intellectuelle dans des environnements partiellement fiables.

L'essentiel

Imaginez que vous êtes un chef cuisinier (le Client) qui possède une recette secrète et délicieuse (vos données), mais que vous n'avez pas assez de temps ni de four (de puissance de calcul) pour la cuire. D'un autre côté, vous avez plusieurs amis (les entraîneurs) qui ont des fours puissants mais qui n'ont aucune idée de la recette.

Le problème ? Vous ne voulez pas leur donner votre recette secrète, et eux, ils ne veulent pas travailler gratuitement sans preuve qu'ils l'ont fait correctement. De plus, vous voulez être sûr que personne ne volera votre plat final pour le vendre sous son nom.

C'est exactement le problème que résout CLICOOPER, le système décrit dans cet article. Voici comment cela fonctionne, expliqué simplement :

1. Le Concept de Base : La Cuisine en Équipe (Split Learning)

Au lieu de tout faire sur un seul super-ordinateur (comme un grand restaurant central), CLICOOPER permet de couper la recette en plusieurs étapes.

• Vous (le chef) préparez les ingrédients de base.
• Vous les envoyez à l'ami A, qui fait la première étape de cuisson.
• Il passe le plat à l'ami B, qui fait la seconde étape.
• Et ainsi de suite, jusqu'à ce que le plat soit prêt.

Chacun ne voit qu'une petite partie du processus, jamais la recette complète.

2. Le Problème de Confiance : "Je ne te fais pas confiance, mais j'ai besoin de toi"

Dans ce scénario, les amis qui cuisinent sont "honnêtes mais curieux". Ils ne vont pas saboter le plat, mais ils pourraient essayer de deviner votre recette en regardant les plats qu'ils reçoivent. Ils pourraient aussi essayer de voler le plat final pour le vendre.

CLICOOPER utilise deux astuces magiques pour régler ça :

Astuce A : Le Déguisement des Ingrédients (Protection de la vie privée)

Pour que les amis ne puissent pas deviner ce que vous cuisinez, vous faites deux choses :

1. Le Masquage des Étiquettes (Label Expansion) : Imaginez que vous cuisinez des "Pâtes". Au lieu de dire "Pâtes", vous donnez à vos amis 10 étiquettes différentes et secrètes pour les pâtes (ex: "Pâtes-Alpha", "Pâtes-Bêta"...). Vous gardez le secret de savoir que "Alpha" et "Bêta" sont en fait des pâtes. Pour les amis, c'est du charabia. Ils ne peuvent pas deviner le vrai plat.
2. Le Brouillard (Bruit Différentiel) : Avant d'envoyer les ingrédients, vous les saupoudrez d'un peu de "bruit" (comme du sel ou du poivre invisible). Cela rend l'image du plat floue. Si un ami essaie de reconstruire votre recette originale à partir de ce qu'il voit, il ne verra qu'une image floue et inutilisable, comme regarder une photo sous la pluie.

Résultat : Même si les amis regardent ce qu'ils reçoivent, ils ne peuvent pas savoir ce que vous cuisinez, ni qui a mangé quoi.

Astuce B : La Chaîne de Cachets de Cire (Protection du Copyright)

Comment savoir qui a vraiment travaillé ? Comment empêcher un ami de dire "C'est moi qui ai cuisiné" alors qu'il a juste pris un plat tout fait ailleurs ?

CLICOOPER utilise une chaîne de cachets de cire :

• Chaque fois qu'un ami termine son étape, il doit apposer un cachet de cire spécial sur le plat.
• Ce cachet n'est pas choisi au hasard. Il est créé en utilisant une empreinte digitale du plat tel qu'il est arrivé de l'ami précédent.
• C'est comme une chaîne de cassette vidéo : si vous changez une seule image au milieu, tout le reste devient illisible.

Si un ami essaie de tricher en utilisant un plat pré-cuit, il ne pourra pas créer le bon cachet, car il ne connaît pas l'histoire exacte du plat (les étapes précédentes). Le vérificateur (un juge impartial) peut alors voir la chaîne et dire : "Ah, ici, le cachet ne correspond pas à l'étape précédente. Tricheur !"

3. Les Résultats : Est-ce que ça marche ?

Les chercheurs ont testé ce système avec de vraies images (comme des photos de chiffres ou de voitures) et du texte.

• La qualité du plat : Le plat final est aussi bon, voire meilleur, que s'il avait été cuisiné seul. La protection ne gâche pas le goût !
• Le vol de recette : Les tentatives de vol ont échoué. Les "voleurs" qui essayaient de deviner la recette n'ont obtenu que 1% de réussite (comme si ils avaient lancé une pièce en l'air).
• La reconstruction : Si quelqu'un essaie de reconstruire vos photos originales à partir des données floues, il obtient un résultat aussi flou qu'un dessin d'enfant.
• La vitesse : Le système est rapide. Ajouter ces protections ne prend que quelques millisecondes de plus par rapport à une cuisson normale.

En Résumé

CLICOOPER est comme un système de livraison de repas ultra-sécurisé où :

1. Le chef garde sa recette secrète en utilisant un code et du brouillard.
2. Les livreurs (les entraîneurs) ne peuvent pas voler la recette ni tricher sur leur travail grâce à une chaîne de cachets infaillible.
3. Tout le monde est payé équitablement, et le plat final est délicieux.

C'est une solution idéale pour l'avenir de l'intelligence artificielle, où nous pourrons collaborer sans avoir peur de perdre nos secrets ou notre propriété intellectuelle.

Résumé technique

Voici un résumé technique détaillé de l'article "Client-Cooperative Split Learning" (CLICOOPER) en français.

1. Problématique et Contexte

L'apprentissage fractionné (Split Learning - SL) est une technique prometteuse permettant à des propriétaires de données aux ressources limitées de former des modèles d'IA sans exposer leurs données brutes. Traditionnellement, ce paradigme repose sur un serveur centralisé de confiance qui effectue la majeure partie du calcul.

Cependant, l'émergence de l'informatique en périphérie (edge computing) et la fragmentation des ressources de calcul motivent un passage vers un environnement sans serveur (serverless) et multi-client. Dans ce nouveau contexte :

• Un client fournit les données mais dispose de peu de puissance de calcul.
• Plusieurs autres clients (formateurs) fournissent des ressources de calcul fragmentées pour jouer collectivement le rôle du "serveur".

Ce modèle de collaboration pose trois défis majeurs dans un environnement partiellement fiable (les participants sont "honnêtes mais curieux") :

1. RQ1 (Confidentialité des données) : Comment protéger les entrées brutes et les étiquettes (labels) du client fournisseur de données contre les inférences par les clients formateurs ?
2. RQ2 (Propriété des couches) : Comment permettre aux clients formateurs de prouver cryptographiquement leur contribution pour obtenir une compensation ?
3. RQ3 (Défense contre l'utilisation non autorisée) : Comment empêcher l'utilisation ou la réutilisation non autorisée du modèle collaboratif ?

2. Méthodologie : Le Framework CLICOOPER

CLICOOPER est un cadre d'apprentissage fractionné coopératif conçu pour répondre à ces défis. Il repose sur trois piliers techniques principaux :

A. Expansion des étiquettes par mappage secret et Protection par Différential Privacy (DP)

Pour répondre aux problèmes de confidentialité (RQ1) et d'utilisation non autorisée (RQ3) :

• Expansion des étiquettes (Label Expansion) : Le client fournisseur de données ne révèle jamais ses vraies étiquettes. Il utilise un mappage secret (contrôlé uniquement par lui) pour transformer chaque classe réelle en un ensemble de pseudo-étiquettes. Cela masque la sémantique de la tâche et le nombre réel de classes. Les données sont augmentées pour correspondre à cet espace d'étiquettes élargi.
• Protection des activations par DP : Avant d'envoyer les activations intermédiaires aux formateurs, le client ajoute du bruit calibré (mécanisme de Laplace) basé sur la Différential Privacy (DP). Cela empêche les attaques d'inversion (reconstruction des données d'entrée) et de clustering (inférence des groupes de classes).
• Conséquence : Seul un utilisateur autorisé possédant la clé de mappage inverse peut interpréter correctement les prédictions du modèle. Pour un attaquant, les sorties sont dégradées et inutilisables.

B. Fil d'eau d'entraînement et Marquage Filigrané Chaîné (Chained Watermarking)

Pour répondre au problème de propriété et de traçabilité (RQ2) :

• Entraînement en pipeline : Les clients formateurs exécutent l'entraînement séquentiellement. Chaque client reçoit l'activation du précédent, traite sa portion du modèle, et transmet le résultat au suivant.
• Marquage filigrané chaîné : Une fois l'entraînement convergé, chaque client insère un filigrane numérique dans sa portion du modèle. Ce filigrane n'est pas arbitraire : il est déterministiquement généré à partir de l'activation reçue du client précédent (via une fonction de hachage), de l'identité du client et d'un nonce secret.
• Chaîne de confiance : Cela crée une lignée cryptographique où chaque segment du modèle est lié au précédent. Un client ne peut pas réutiliser un modèle pré-entraîné ou tricher sans briser la chaîne, car il ne peut pas prédire le filigrane correct sans avoir exécuté le protocole d'entraînement spécifique.

C. Vérification

Un vérificateur (confiance totale) coordonne le processus. Il assemble le modèle complet, vérifie la précision globale, puis valide la chaîne de filigranes pour s'assurer que chaque contributeur a bien participé et que l'intégrité de l'entraînement est préservée.

3. Contributions Clés

1. Protection de la vie privée renforcée : Combinaison de l'expansion des étiquettes et du bruit DP pour empêcher l'inférence des données brutes et des étiquettes réelles, tout en maintenant l'utilité du modèle pour les utilisateurs autorisés.
2. Traçabilité et propriété vérifiable : Introduction d'un schéma de filigrane chaîné qui lie cryptographiquement les étapes d'entraînement, permettant une attribution équitable des contributions et une détection des tentatives de "gratuité" (free-riding).
3. Résistance aux attaques : Le framework résiste aux attaques internes (clustering, inversion) et externes (extraction de modèle par API).
4. Validation à grande échelle : Tests sur divers jeux de données (MNIST, CIFAR-10/100, AG News) et architectures (CNN, Transformers).

4. Résultats Expérimentaux

Les expériences montrent que CLICOOPER préserve la précision du modèle tout en offrant une robustesse exceptionnelle :

• Précision du modèle : La précision est maintenue, voire améliorée de jusqu'à 2 % dans certains cas (effet de régularisation du bruit DP), par rapport à un SL de base.
• Attaques par clustering (Inférence de labels) : Le taux de réussite des attaques tentant de regrouper les activations par classe est réduit à 0 % sur les tâches visuelles complexes (CIFAR-10/100).
• Attaques par inversion (Reconstruction de données) : La similarité structurelle (SSIM) entre les images originales et les reconstructions tombe de 0,50 (sans protection) à 0,03 (avec protection DP forte), rendant la reconstruction visuelle impossible.
• Attaques par extraction de modèle (Black-box) : Les modèles de substitution entraînés par des attaquants via l'API n'atteignent qu'environ 1 % de précision (équivalent à une devinette aléatoire), car ils ne peuvent pas mapper les pseudo-étiquettes aux vraies classes sans la clé secrète.
• Surcharge (Overhead) : Le temps d'insertion et de vérification des filigranes est négligeable (de l'ordre de quelques millisecondes) par rapport au temps d'entraînement total.

5. Signification et Impact

CLICOOPER représente une avancée significative pour l'adoption de l'IA dans des environnements distribués et hétérogènes :

• Démocratisation de l'entraînement : Il permet aux propriétaires de données de faible puissance de bénéficier de l'intelligence collective de multiples nœuds de calcul sans céder la souveraineté de leurs données.
• Confiance et Économie : En résolvant les problèmes de confiance et de propriété intellectuelle via des mécanismes cryptographiques, il ouvre la voie à des marchés de services d'entraînement d'IA fiables.
• Sécurité : Il comble le fossé entre la protection de la vie privée (souvent au détriment de la performance) et la nécessité de prouver l'intégrité du processus d'apprentissage dans des scénarios sans serveur centralisé.

En résumé, CLICOOPER transforme l'apprentissage fractionné d'un modèle dépendant d'un serveur central en un écosystème coopératif, sécurisé et vérifiable, adapté aux contraintes modernes de confidentialité et de souveraineté des données.