PTOPOFL: Privacy-Preserving Personalised Federated Learning via Persistent Homology

Le papier présente PTOPOFL, un cadre d'apprentissage fédéré personnalisé qui remplace l'échange de gradients par des descripteurs topologiques issus de l'homologie persistante pour garantir une confidentialité accrue et améliorer la convergence dans des environnements de données non indépendants et non identiquement distribués (non-IID).

L'essentiel

🏥 Le Problème : L'École des Hôpitaux Secrets

Imaginez un grand projet de recherche médicale. Plusieurs hôpitaux (disons 8) veulent entraîner une intelligence artificielle (IA) pour prédire les maladies, mais ils ne peuvent jamais se partager les dossiers de leurs patients. C'est illégal et contraire à la vie privée.

C'est là qu'intervient l'apprentissage fédéré (Federated Learning). Au lieu d'envoyer les dossiers, chaque hôpital entraîne une petite IA localement et envoie seulement les "leçons apprises" (les gradients) au chef de projet.

Mais il y a deux gros problèmes :

1. Le risque de vol : Si l'hôpital envoie ses "leçons" (les gradients), un espion malveillant peut parfois les inverser pour reconstruire les dossiers des patients. C'est comme envoyer une photo de votre visage pour dire "je suis content", mais l'espion utilise cette photo pour refaire votre visage entier.
2. Le problème des différences : Les patients de l'hôpital A sont très différents de ceux de l'hôpital B (âge, maladies, origine). Si on mélange tout de la même façon, l'IA devient confuse et performe mal. C'est comme essayer de faire un seul cours de mathématiques pour des enfants de 5 ans et des étudiants en doctorat en même temps : ça ne marche pas bien pour personne.

---

🧭 La Solution : PTOPOFL (Le Compas Topologique)

Les auteurs ont créé PTOPOFL, une nouvelle méthode qui résout ces deux problèmes en changeant radicalement ce que les hôpitaux envoient. Au lieu d'envoyer des "leçons" complexes (les gradients), ils envoient une carte de forme simplifiée.

Voici comment cela fonctionne, étape par étape, avec des analogies :

1. Au lieu de montrer le visage, on montre l'empreinte digitale (La Topologie)

Imaginez que vous voulez décrire une montagne à quelqu'un sans lui montrer de photo.

• La méthode ancienne (Gradients) : Vous lui envoyez une photo haute définition. Il peut voir chaque arbre, chaque pierre, et reconstruire le paysage exact. C'est dangereux pour la vie privée.
• La méthode PTOPOFL (Homologie Persistante) : Vous lui envoyez une carte simplifiée qui dit seulement : "Il y a un grand pic, deux vallées profondes et un lac au sommet."
  • C'est ce qu'on appelle un descripteur topologique. C'est une résumé de la "forme" des données.
  • Pourquoi c'est sûr ? Il y a des millions de montagnes différentes qui peuvent avoir exactement la même carte simplifiée. Si un espion essaie de reconstruire la montagne à partir de cette carte, il est perdu : il ne peut pas savoir quelle montagne c'était exactement. C'est mathématiquement impossible de faire l'inverse.

2. Le Chef de Projet devient un Organisateur de Clubs (Le Regroupement)

Dans la méthode classique, le chef mélange tout le monde ensemble. Avec PTOPOFL, le chef regarde les "cartes de forme" envoyées par chaque hôpital.

• Il se rend compte que l'Hôpital A et l'Hôpital B ont des montagnes très similaires (mêmes vallées, mêmes pics).
• Il crée donc un club pour eux. Il crée un autre club pour l'Hôpital C et D qui ont des paysages différents.
• L'avantage : Au lieu de forcer tout le monde à apprendre la même chose, on crée des modèles spécialisés pour chaque type de paysage. C'est comme avoir un cours de maths pour les enfants et un autre pour les adultes, mais en même temps, dans le même système.

3. Le Gardien de la Sécurité (Détection d'Intrus)

Parfois, un hôpital malveillant essaie de saboter le système en envoyant de fausses données.

• Dans la méthode PTOPOFL, le chef regarde la "forme" des données. Si un hôpital envoie une carte qui ressemble à un plat (alors que tout le monde a des montagnes), le système se dit : "Attends, cette forme est bizarre !"
• Il réduit automatiquement le poids de cet hôpital dans le calcul final. C'est comme si le chef de projet disait : "Ton avis est étrange, on va le prendre en compte très peu pour ne pas gâcher le travail des autres."

---

🏆 Les Résultats : Pourquoi c'est génial ?

Les chercheurs ont testé cette méthode sur des données réelles (simulées) de santé et de reconnaissance d'images.

• Confidentialité renforcée : Ils ont prouvé que le risque de reconstruire les données originales est 4,5 fois plus faible qu'avec les méthodes actuelles. C'est comme passer d'une porte ouverte à une porte blindée.
• Meilleure performance : Parce qu'ils ne mélangent pas des données incompatibles, l'IA apprend mieux. Dans leurs tests, PTOPOFL a obtenu les meilleurs scores (meilleure précision) par rapport aux méthodes classiques.
• Vitesse : L'IA converge (trouve la solution) beaucoup plus vite, dès le premier tour de communication.

🎯 En Résumé

PTOPOFL est une méthode intelligente qui dit : "Ne nous envoyez pas vos secrets (les données brutes) ni vos brouillons détaillés (les gradients). Envoyez-nous juste une carte simplifiée de la forme de vos données."

Grâce à cette carte :

1. On ne peut pas voler les secrets (car la carte est trop vague).
2. On peut regrouper les hôpitaux qui se ressemblent pour mieux apprendre.
3. On repère facilement les menteurs qui essaient de tricher.

C'est une façon de faire collaborer des intelligences artificielles tout en respectant la vie privée et en tenant compte des différences entre les gens. C'est de la géométrie appliquée à la sécurité ! 🗺️🔒🤖

Résumé technique

Voici un résumé technique détaillé du papier « PTOPOFL: Privacy-Preserving Personalised Federated Learning via Persistent Homology » en français.

1. Problématique

L'apprentissage fédéré (FL) fait face à deux tensions structurelles majeures non résolues dans la littérature actuelle :

1. Fuite de confidentialité par les gradients : Dans le FL standard, les clients transmettent des mises à jour de gradients (vecteurs de haute dimension) au serveur. Ces gradients contiennent une information substantielle sur les données locales, rendant le système vulnérable aux attaques d'inversion de gradient (reconstruction des données d'entraînement par un serveur curieux ou un adversaire). Les contre-mesures existantes, comme la confidentialité différentielle (DP), dégradent la qualité du modèle en ajoutant du bruit.
2. Hétérogénéité des données (Non-IID) : Les distributions de données réelles sont rarement indépendantes et identiquement distribuées (IID). Cela provoque une dérive des clients (client drift), où les modèles locaux divergent, ralentissant ou bloquant la convergence globale. Les méthodes actuelles (pénalités proximales, contrôle de variates) traitent la dérive au niveau de l'optimisation mais ne modélisent pas explicitement la structure géométrique des distributions de données des clients.

2. Méthodologie : Le cadre PTOPOFL

PTOPOFL propose une reformulation géométrique du FL basée sur l'analyse topologique des données (TDA). Au lieu d'échanger des gradients, les clients envoient des descripteurs topologiques dérivés de l'homologie persistante (PH).

Le cadre se compose de cinq composants interconnectés :

• Abstraction Topologique (Remplacement des gradients) :

  • Chaque client calcule un diagramme de persistance à partir de ses données locales, capturant les caractéristiques topologiques (composantes connexes, boucles, cavités) à plusieurs échelles.
  • Ce diagramme est compressé en un vecteur de 48 dimensions (nombre de Betti, entropie de persistance, amplitude, courbes de Betti).
  • Propriété clé : La carte est "beaucoup-à-un" (many-to-one). De nombreux jeux de données distincts produisent le même descripteur, rendant l'inversion mathématiquement mal posée et prouvant une réduction de l'information mutuelle fuite.

• Agrégation Personnalisée Guidée par la Topologie :

  • Clustering : Le serveur regroupe les clients selon la similarité de leurs diagrammes de persistance, mesurée par la distance de Wasserstein. Les clients ayant des distributions de données structurellement similaires sont agrégés ensemble.
  • Pondération Intra-cluster : Les modèles au sein d'un cluster sont combinés avec des poids exponentiels basés sur la proximité topologique au centre du cluster.
  • Fusion Inter-cluster : Les modèles de cluster sont mélangés avec un consensus global pour éviter la sur-spécialisation.

• Détection d'Anomalies Topologiques :

  • Les clients dont les diagrammes de persistance s'écartent significativement de la majorité (score Z topologique élevé) sont identifiés comme potentiellement malveillants (empoisonnement de données) et leur poids d'agrégation est réduit exponentiellement.

• Suivi de la Signature Continue :

  • L'évolution temporelle des signatures topologiques permet de détecter les changements de concept (concept drift) et d'adapter dynamiquement les taux d'apprentissage ou le reclustering.

3. Contributions Théoriques Clés

Les auteurs établissent quatre résultats formels :

1. Théorème de Contraction d'Information (Thm 3.7) : Prouve que les descripteurs PH fuient strictement moins d'information mutuelle par échantillon que les gradients, sous des fonctions de perte fortement convexes. Le risque de reconstruction est réduit d'un facteur de 4,5 par rapport au partage de gradients.
2. Stabilité du Clustering (Thm 3.3) : Garantit que le regroupement des clients basé sur la topologie est stable face aux petites perturbations des données.
3. Suppression Exponentielle des Adversaires (Thm 3.5) : L'influence des clients malveillants décroît exponentiellement avec leur séparation topologique de la majorité honnête (contrairement à une décroissance linéaire dans FedAvg).
4. Convergence Linéaire (Thm 3.9) : Le schéma d'agrégation pondéré par Wasserstein converge linéairement vers un optimum avec un plafond d'erreur strictement inférieur à celui de FedAvg pour des objectifs fortement convexes.

4. Résultats Expérimentaux

Le cadre a été évalué sur des scénarios de santé non-IID (8 hôpitaux, dont 2 adversaires) et des benchmarks pathologiques (10 clients), comparé à FedAvg, FedProx, SCAFFOLD et pFedMe.

• Performance : PTOPOFL atteint les meilleures performances dans tous les scénarios.
  • Scénario Santé : AUC 0,841 (vs 0,829 pour FedProx).
  • Benchmark Pathologique : AUC 0,910 (vs 0,909 pour FedProx).
  • Convergence : PTOPOFL converge dès la première communication (Round 1), tandis que d'autres méthodes comme pFedMe nécessitent plusieurs tours.
• Robustesse : Face à des attaques par inversion d'étiquettes (jusqu'à 50% de clients adverses), PTOPOFL maintient des performances stables grâce à la détection d'anomalies topologiques.
• Modèles Profonds : Des expériences supplémentaires sur CIFAR-10 et FEMNIST (avec ResNet-18 et ConvNet) montrent des gains empiriques de précision (ex: 0,74 vs 0,68 sur CIFAR-10 à forte hétérogénéité), bien que la convergence théorique pour les modèles non-convexes reste un problème ouvert.
• Vie Privée : La transmission de vecteurs de 48 dimensions réduit le risque de reconstruction de 4,5 fois par rapport aux gradients complets, sans ajouter de bruit (contrairement à la DP).

5. Signification et Impact

PTOPOFL représente une avancée significative en intégrant l'analyse topologique des données directement dans le pipeline d'apprentissage fédéré.

• Changement de paradigme : Il remplace la communication de gradients (vulnérable et haute dimension) par des descripteurs topologiques (robustes et compacts).
• Double avantage : Il résout simultanément le problème de la confidentialité (par contraction d'information structurelle) et celui de l'hétérogénéité des données (par regroupement géométrique).
• Application critique : La méthode est particulièrement pertinente pour les domaines sensibles comme la santé, où la protection des données patients et la variabilité inter-hôpitaux sont des enjeux majeurs.

Limites et Perspectives :
L'approche repose actuellement sur des hypothèses de convexité forte pour les garanties théoriques. Le coût computationnel du calcul de l'homologie persistante (O(n³) dans le pire cas) est atténué par l'échantillonnage, mais nécessite des optimisations pour les très grands jeux de données. L'intégration formelle avec la confidentialité différentielle (DP) pour obtenir des garanties $(\epsilon, \delta)$ est identifiée comme une direction de recherche future.

Le code est open-source et disponible publiquement.