VFEFL: Privacy-Preserving Federated Learning against Malicious Clients via Verifiable Functional Encryption

Ce papier propose VFEFL, un cadre d'apprentissage fédéré privé et robuste qui utilise un nouveau schéma de chiffrement fonctionnel vérifiable (CC-DVFE) pour détecter les clients malveillants et garantir la confidentialité des données sans dépendre d'hypothèses de serveurs non collusifs ou de tiers de confiance.

L'essentiel

🌍 Le Grand Défi : Apprendre ensemble sans se montrer le visage

Imaginez un groupe de cuisiniers (les clients) qui veulent créer la meilleure recette de gâteau au monde (le modèle d'intelligence artificielle). Le problème ? Chacun a une recette secrète et des ingrédients uniques qu'il ne veut pas partager avec les autres, ni même avec le chef principal (le serveur), car cela pourrait ruiner son business.

La solution habituelle, appelée Apprentissage Fédéré, consiste à dire : "Chacun améliore sa recette chez lui, puis envoie juste les instructions de changement au chef, sans envoyer les ingrédients."

Mais il y a deux gros problèmes :

1. L'espionnage : Même si on envoie juste les instructions, un espion malin peut parfois les lire à l'envers et deviner les ingrédients secrets (attaques par inversion de modèle).
2. Le sabotage : Un cuisinier malhonnête peut envoyer de fausses instructions pour gâcher le gâteau de tout le monde (clients malveillants).

🛡️ La Solution Magique : VFEFL (Le Coffre-Fort Vérifiable)

Les auteurs de cet article ont inventé une nouvelle méthode appelée VFEFL. Pour le comprendre, utilisons une analogie avec un coffre-fort magique et un chef de cuisine.

1. Le Coffre-Fort à Double Verrou (Cryptographie)

Au lieu d'envoyer les instructions en clair, chaque cuisinier les met dans un coffre-fort numérique (chiffrement).

• L'innovation : Ce coffre-fort est spécial. Il permet au chef de faire des calculs sur les recettes à l'intérieur du coffre sans jamais l'ouvrir. C'est comme si le chef pouvait mélanger les poudres à l'intérieur du coffre sans toucher aux ingrédients.
• La sécurité : Personne, pas même le chef, ne peut voir ce qu'il y a à l'intérieur. C'est la confidentialité.

2. Le Détecteur de Mensonge (Vérifiabilité)

Le problème, c'est que si le coffre est fermé, comment le chef sait-il que le cuisinier n'a pas mis un explosif à la place de la farine ?

• La solution VFEFL : Chaque cuisinier doit fournir une preuve mathématique (un "tampon de sécurité") qui dit : "Je jure que ce que j'ai mis dans le coffre suit bien les règles, sans révéler ce que c'est."
• C'est comme si le cuisinier donnait une empreinte digitale du contenu du coffre. Le chef vérifie l'empreinte. Si elle correspond, il accepte le coffre. Si elle ne correspond pas (c'est un sabotage), il rejette le cuisinier.

3. Le Filtre Anti-Saboteur (Robustesse)

Même avec un coffre, un malin pourrait essayer d'envoyer un coffre avec des instructions énormes pour écraser les autres.

• La nouvelle règle du jeu : Le chef a une recette de référence (basée sur un petit échantillon de gâteau parfait qu'il possède).
• Avant de mélanger tout le monde, le chef compare la direction de chaque recette envoyée avec sa recette de référence.
  • Si la recette va dans la bonne direction : Elle est acceptée.
  • Si la recette va dans la mauvaise direction (sabotage) : Elle est ignorée.
  • Si la recette est trop "grosse" (amplification malveillante) : Le chef la réduit à la taille normale.
• C'est comme un filtre à café qui ne laisse passer que les grains de café de la bonne taille et de la bonne couleur, bloquant les cailloux et les feuilles.

🚀 Pourquoi c'est révolutionnaire ?

Avant cette invention, pour faire cela en toute sécurité, il fallait souvent deux chefs de cuisine qui ne se parlent jamais (pour s'assurer qu'ils ne trichent pas ensemble) ou un tiers de confiance (un notaire).

VFEFL change la donne :

• Un seul chef suffit : Pas besoin de compliquer l'architecture avec des chefs multiples ou des notaires.
• Tout le monde vérifie tout : Les cuisiniers peuvent vérifier que le chef ne triche pas, et le chef peut vérifier que les cuisiniers ne sabotent pas.
• Pas de perte de goût : Le gâteau final est aussi bon que s'il avait été fait sans sécurité (précision élevée).

🎯 En résumé

Imaginez un groupe de gens qui veulent construire une tour ensemble, mais chacun a peur qu'on vole ses plans ou qu'un voisin mette des briques pourries.

• VFEFL, c'est comme donner à chacun un marteau magique qui permet de poser sa brique dans le mur sans qu'on puisse voir la brique, tout en laissant une étiquette de sécurité prouvant que la brique est solide.
• Si quelqu'un essaie de poser une brique pourrie ou trop lourde, le système le repère instantanément et l'enlève, sans jamais avoir besoin d'ouvrir le mur pour regarder à l'intérieur.

C'est une méthode qui rend l'intelligence artificielle collaborative plus sûre, plus privée et plus résistante aux pirates, le tout sans avoir besoin de faire confiance à des tiers extérieurs.

Résumé technique

1. Problématique

L'apprentissage fédéré (Federated Learning - FL) permet à plusieurs clients de collaborer à l'entraînement d'un modèle sans partager leurs données brutes. Cependant, cette architecture distribué fait face à deux défis majeurs :

• Fuites de confidentialité : Les modèles locaux envoyés en clair sont vulnérables aux attaques d'inversion de modèle, permettant de reconstruire les données d'entraînement originales.
• Attaques de clients malveillants (Byzantins) : Des clients malveillants peuvent envoyer des modèles corrompus, des clés de déchiffrement incorrectes ou des chiffrages frauduleux pour dégrader la précision du modèle global ou faire échouer le processus de déchiffrement.

Limites des solutions existantes :
La plupart des mécanismes de protection de la vie privée (chiffrement homomorphe, partage de secret) nécessitent soit l'hypothèse de deux serveurs non-complices, soit la présence d'un tiers de confiance. De plus, la vérification de l'intégrité des modèles chiffrés et la détection des attaques (comme les attaques adaptatives ou l'amplification de gradient) sont souvent incompatibles avec les preuves à divulgation nulle de connaissance (ZK-Proofs) simples, ou trop coûteuses à vérifier.

2. Méthodologie Proposée : VFEFL

Les auteurs proposent VFEFL, un cadre d'apprentissage fédéré préservant la vie privée et résistant aux clients malveillants, fonctionnant dans une architecture de base (un serveur, plusieurs clients) sans tiers de confiance.

A. Cryptographie de Base : CC-DVFE

Le cœur de la solution est un nouveau schéma cryptographique appelé Cross-Ciphertext Decentralized Verifiable Functional Encryption (CC-DVFE) pour le produit scalaire.

• Fonctionnalité : Il permet de chiffrer les modèles locaux de plusieurs clients et de calculer une fonction (produit scalaire) sur ces données chiffrées sans les déchiffrer individuellement.
• Vérifiabilité : Contrairement aux schémas précédents, le CC-DVFE permet de vérifier les relations entre plusieurs chiffrés (cross-ciphertext). Chaque client doit fournir une preuve à divulgation nulle de connaissance (ZK-Proof) prouvant que son chiffré et sa part de clé de déchiffrement fonctionnelle respectent le protocole.
• Décentralisation : Les clés sont générées de manière collaborative par les clients, éliminant le besoin d'un autorité centrale de confiance.
• Sécurité : La sécurité est prouvée sous les hypothèses DDH (Decisional Diffie-Hellman), Multi-DDH et HSM (Hard Subgroup Membership) dans des groupes de classes et de pairing.

B. Règle d'agrégation Robuste

Pour contrer les attaques de clients malveillants (notamment l'attaque par amplification de gradient), les auteurs proposent une nouvelle règle d'agrégation inspirée de FLTrust mais adaptée au chiffrement fonctionnel :

1. Modèle de référence : Le serveur dispose d'un petit jeu de données propre ($D_0$) pour entraîner un modèle de base ($W_0^t$).
2. Filtrage directionnel et de norme : Au lieu d'utiliser une simple similarité cosinus (difficile à vérifier en ZK), la règle utilise le produit scalaire normalisé :
   $$\text{Score}_i = \text{ReLU}\left( \frac{\langle W_i^t, W_0^t \rangle}{\langle W_i^t, W_i^t \rangle} \right)$$
   Cette formule limite l'influence des clients dont le modèle a une direction opposée au modèle de base ou une norme excessive (amplification).
3. Normalisation globale : Le modèle agrégé est normalisé par rapport à la norme du modèle de base pour garantir la stabilité.

C. Flux de Travail (VFEFL)

Le processus se déroule en trois phases :

1. Configuration : Génération des paramètres publics et des clés par les clients (CC-DVFE.KeyGen).
2. Entraînement et Chiffrement : Les clients entraînent localement, chiffrent leur modèle et génèrent une preuve de validité (CC-DVFE.Encrypt). Ils calculent également les parts de clés fonctionnelles avec preuves (CC-DVFE.DKeyGenShare).
3. Agrégation Sécurisée : Le serveur vérifie les preuves. Si une preuve échoue, le client est identifié comme malveillant et exclu. Sinon, le serveur combine les parts de clés, déchiffre le résultat agrégé (produit scalaire) et normalise le modèle global.

3. Contributions Clés

1. Nouveau Schéma Cryptographique (CC-DVFE) : Proposition d'un schéma de chiffrement fonctionnel vérifiable et décentralisé capable de valider des relations sur des chiffrés multiples, formalisé avec une preuve de sécurité rigoureuse.
2. Architecture Sans Tiers de Confiance : VFEFL fonctionne dans un scénario standard "un serveur - plusieurs clients", supprimant la dépendance aux serveurs non-complices ou aux tiers de confiance, ce qui est un avantage majeur par rapport aux solutions existantes.
3. Défense contre les Clients Malveillants : Intégration d'une règle d'agrégation robuste capable de détecter et de neutraliser les attaques adaptatives, l'amplification de gradient et les attaques par inversion de label, tout en préservant la confidentialité.
4. Preuves Formelles et Évaluation : Démonstration théorique de la confidentialité (indistinguabilité), de la robustesse (bornes d'erreur) et de la vérifiabilité, complétée par une évaluation empirique.

4. Résultats Expérimentaux

Les auteurs ont évalué VFEFL sur trois jeux de données (MNIST, Fashion-MNIST, CIFAR-10) en comparant avec des méthodes de référence (FedAvg, Krum, FLTrust, etc.).

• Fidélité (Fidelity) : En l'absence d'attaques, VFEFL atteint une précision comparable à FedAvg (ex: ~99% sur MNIST), prouvant que le chiffrement n'introduit pas de perte de performance significative.
• Robustesse :
  • Attaques Gaussiennes et d'Échelle (Scaling) : VFEFL maintient une haute précision (< 0.1% de perte) là où d'autres méthodes échouent face aux attaques par amplification de norme.
  • Attaques Adaptatives : Le schéma résiste efficacement aux attaques conçues pour contourner les règles d'agrégation existantes.
  • Inversion de Label (Label Flipping) : Le taux de succès de l'attaque (ASR) est fortement supprimé, bien que la convergence soit légèrement plus lente sur CIFAR-10 en raison du mécanisme de normalisation.
• Efficacité : Bien que les opérations cryptographiques (notamment le calcul du logarithme discret et les preuves ZK) ajoutent une surcharge computationnelle, le temps total d'entraînement reste dans des limites acceptables pour un déploiement réel. La complexité est linéaire par rapport au nombre de clients.

5. Signification et Impact

Ce travail représente une avancée significative dans le domaine de l'apprentissage fédéré sécurisé :

• Pragmatisme : Il résout le problème de la confiance en éliminant le besoin d'infrastructures complexes (serveurs multiples non-complices), rendant la solution applicable à des scénarios réels plus larges.
• Équilibre Sécurité-Performance : Il démontre qu'il est possible d'obtenir à la fois une protection stricte de la vie privée (via le chiffrement fonctionnel) et une robustesse forte contre les attaques malveillantes, sans sacrifier la précision du modèle.
• Vérifiabilité : L'intégration de preuves vérifiables pour les chiffrés et les clés garantit que le système ne peut pas être compromis par des clients tentant de tromper le serveur, comblant une lacune majeure des systèmes FL chiffrés précédents.

En conclusion, VFEFL offre une solution complète et théoriquement fondée pour déployer des systèmes d'apprentissage fédéré résilients et privés dans des environnements hostiles et sans confiance préalable.