Certifying the Right to Be Forgotten: Primal-Dual Optimization for Sample and Label Unlearning in Vertical Federated Learning

Each language version is independently generated for its own context, not a direct translation.

Voici une explication simple de l'article de recherche sur FedORA, imaginée comme une histoire pour le grand public.

🌍 Le Contexte : Une Cuisine Collaborative

Imaginez que vous et vos voisins voulez cuisiner un grand plat ensemble (c'est l'apprentissage automatique), mais personne ne veut montrer ses ingrédients secrets (vos données personnelles) à la cuisine des autres. C'est le principe du Federated Learning (Apprentissage Fédéré).

Dans ce scénario, il existe deux façons de partager :

Horizontal (HFL) : Tout le monde a les mêmes ingrédients, mais des quantités différentes de chaque personne.
Vertical (VFL - celui de l'article) : C'est comme si vous aviez les légumes, votre voisin avait les épices, et un autre avait la sauce. Pour faire le plat, vous devez tous collaborer, mais vous gardez vos ingrédients chez vous.

🚨 Le Problème : Le "Droit à l'Oubli"

Un jour, un voisin change d'avis et dit : "Je veux retirer mes tomates de la recette !" ou "Je veux qu'on oublie totalement la catégorie 'épices piquantes' !".

Selon les lois (comme le RGPD en Europe), vous devez non seulement retirer les tomates de votre frigo, mais aussi effacer leur influence sur le plat final. Le plat ne doit plus avoir le goût des tomates de ce voisin.

Le problème ? Si vous retirez les tomates, le plat risque de devenir mauvais. La solution classique est de tout recommencer de zéro (retrier) avec les nouveaux ingrédients. Mais c'est très long, coûteux et épuisant, surtout si vous avez cuisiné pendant des mois.

💡 La Solution : FedORA (Le Chef Magique)

Les auteurs proposent FedORA, une nouvelle méthode pour "oublier" ces ingrédients sans tout recommencer. Imaginez FedORA comme un chef très intelligent qui utilise une technique de balancement (Primal-Dual).

Voici comment cela fonctionne avec des analogies simples :

1. L'Art de l'Oubli : Le "Brouillard" plutôt que l'Erreur

Les anciennes méthodes essayaient de forcer le modèle à se tromper sur les tomates (en disant "Ce n'est pas une tomate !"). Le problème, c'est que cela rend le modèle confus et instable, comme un chef qui commence à crier et à gâcher tout le reste du plat.

FedORA fait différemment : Au lieu de forcer une erreur, il demande au modèle de devenir indécis.

L'analogie : Imaginez que vous demandez au modèle : "Qu'est-ce que c'est ?" et il répond : "Je ne sais pas, ça pourrait être une tomate, une pomme, ou une poire, avec la même probabilité."
C'est ce qu'on appelle l'incertitude. Le modèle ne se trompe pas violemment, il devient juste "flou" sur les données à oublier. Cela évite de casser le reste du plat.

2. Le Système de Contrepoids (Primal-Dual)

FedORA utilise deux forces qui se tirent dans des directions opposées, comme un équilibriste :

La force "Primaire" (Le Gardien du Goût) : Elle veille à ce que le plat reste délicieux avec les ingrédients restants (les légumes, les épices). Elle s'assure que le modèle continue de bien fonctionner.
La force "Duale" (Le Garde-Mémoire) : Elle surveille si le modèle se souvient encore des tomates à oublier. Si le modèle se souvient trop, cette force augmente la pression pour l'obliger à oublier.
Le résultat : Les deux forces s'équilibrent parfaitement. Le modèle oublie les tomates sans perdre le goût des autres ingrédients.

3. L'Économie d'Énergie (Traitement Asymétrique)

Pour oublier les tomates, il faut les regarder de très près (tout le lot). Mais pour s'assurer que le plat reste bon avec les autres ingrédients, on n'a pas besoin de goûter chaque grain de riz restant.

FedORA est malin : Il mange toutes les tomates à oublier (pour bien les effacer), mais il ne goûte qu'un échantillon du reste du plat.
L'analogie : C'est comme si vous deviez nettoyer une tache spécifique sur un tapis immense. Au lieu de laver tout le tapis (ce qui prendrait des heures), vous frottez fort la tache et vous passez juste un coup de balai rapide sur le reste pour vérifier que tout va bien. Cela économise énormément de temps et d'énergie.

4. Le Pas Adaptatif (Le Rythme de Danse)

Parfois, on avance trop vite et on trébuche. FedORA ajuste son rythme en temps réel.

Si le modèle change trop brusquement, FedORA ralentit le pas.
Si tout va bien, il accélère.
C'est comme un danseur qui ajuste sa vitesse selon la musique pour ne jamais tomber.

🏆 Les Résultats : Pourquoi c'est génial ?

Les chercheurs ont testé FedORA sur des images (comme reconnaître des chats ou des voitures) et des tableaux de données.

Efficacité : FedORA oublie aussi bien que si on avait tout recommencé de zéro (la méthode "Retrain").
Vitesse : C'est beaucoup plus rapide (parfois 2 à 4 fois plus vite) car on ne traite pas tout le reste des données.
Sécurité : Même si des espions essaient de deviner si vos tomates étaient dans le plat (attaques par inférence), FedORA a bien effacé la trace. Le modèle répond au hasard, comme s'il n'avait jamais vu ces tomates.

En Résumé

FedORA est une méthode intelligente pour le "droit à l'oubli" dans les systèmes collaboratifs. Au lieu de tout casser pour effacer une erreur, elle utilise un équilibre mathématique pour rendre le modèle indécis sur les données à oublier, tout en restant très performant sur le reste. C'est comme effacer une tache sur un vêtement sans avoir à laver tout le linge, en économisant de l'eau et du temps.

Each language version is independently generated for its own context, not a direct translation.

Voici un résumé technique détaillé de l'article "Certifying the Right to be Forgotten: Primal-Dual Optimization for Sample and Label Unlearning in Vertical Federated Learning", rédigé en français.

1. Problématique

L'apprentissage fédéré vertical (VFL) permet à plusieurs parties de collaborer sur un modèle d'apprentissage automatique sans partager leurs données brutes, chaque partie détenant un sous-ensemble de caractéristiques (features) complémentaires pour les mêmes utilisateurs. Cependant, les modèles entraînés peuvent mémoriser des données sensibles, posant un défi majeur pour le respect du "droit à l'oubli" (Right to be Forgotten), tel que stipulé par le RGPD.

Le problème spécifique abordé par cet article est l'apprentissage fédéré non supervisé (Federated Unlearning) dans le contexte du VFL. Contrairement à l'apprentissage horizontal (HFL), le VFL présente des défis uniques :

Architecture distribuée : Les données sont partitionnées par caractéristiques, ce qui crée des interdépendances complexes entre les parties.
Types d'oubli : Il faut gérer l'oubli d'échantillons spécifiques (sample unlearning) et l'oubli de classes entières (label unlearning).
Limitations des méthodes existantes : Les approches actuelles, souvent basées sur la descente de gradient ascendante (Gradient Ascent), souffrent d'instabilité. Elles tendent soit à oublier insuffisamment les données cibles, soit à provoquer un "oubli catastrophique" qui dégrade les performances du modèle sur les données restantes. De plus, le réentraînement complet (Retrain-from-scratch) est trop coûteux en calcul et en communication.

2. Méthodologie : FedORA

Les auteurs proposent FedORA (Federated Optimization for data Removal via primal-dual Algorithm), une méthode conçue pour l'oubli d'échantillons et d'étiquettes en VFL.

A. Formulation par Optimisation Primal-Duale

Au lieu d'utiliser une simple ascension de gradient, FedORA formule l'oubli comme un problème d'optimisation sous contrainte.

Objectif Primal : Minimiser la perte sur les données restantes ( $L_r$ ) tout en maintenant les paramètres proches de leur état initial (terme proximal) pour éviter la dégradation.
Contrainte : S'assurer que la perte sur les données à oublier ( $L_u$ ) est supérieure à un seuil $\gamma$ (ce qui signifie que le modèle ne doit plus "apprendre" ces données, mais les oublier).
Dualité : Une variable duale $\Omega$ est introduite pour gérer la contrainte. Elle agit comme un certificat de la force de l'oubli : si l'oubli est insuffisant, $\Omega$ augmente pour exercer une pression sur le modèle.

B. Fonction de Perte d'Oubli Innovante

Contrairement aux méthodes classiques qui forcent le modèle à mal classifier les données cibles (ce qui peut créer des biais), FedORA vise à maximiser l'incertitude de classification.

La fonction de perte encourage le modèle à produire une distribution de probabilité uniforme sur les classes pour les échantillons à oublier.
Elle est définie comme : $L_{j}^{k,u} = \omega \cdot (H(P_j^k) - KL(P_j^k || U))$ , où $H$ est l'entropie (maximisée pour l'incertitude) et $KL$ est la divergence par rapport à une distribution uniforme. Cela évite l'instabilité de l'ascension de gradient.

C. Mécanismes d'Efficacité

Taille de pas Adaptative (Adaptive Step Size) : Un mécanisme ajuste dynamiquement les tailles de pas primal ( $\tau$ ) et dual ( $\sigma$ ) en fonction de la variation des paramètres entre les itérations. Cela assure une convergence stable.
Conception de Lots Asymétrique (Asymmetric Batch Design) :
- Les données à oublier sont traitées en lot complet pour garantir un oubli total.
- Les données restantes sont traitées par des sous-lots (échantillonnage partiel), car elles ont déjà influencé le modèle. Cela réduit considérablement la charge de calcul et de communication sans sacrifier la qualité du modèle.

D. Analyse Théorique

Les auteurs prouvent théoriquement que la différence entre le modèle obtenu par FedORA et le modèle obtenu par un réentraînement complet (Train-from-scratch) est bornée. Cela garantit que FedORA atteint une efficacité d'oubli comparable à la méthode de référence idéale, avec des coûts réduits.

3. Contributions Clés

Première méthode Primal-Duale pour le VFL : FedORA est la première approche à utiliser un cadre d'optimisation primal-dual pour l'oubli d'échantillons et d'étiquettes en VFL, équilibrant efficacement l'efficacité de l'oubli et la préservation de l'utilité.
Nouvelle fonction de perte : Conception d'une fonction de perte basée sur l'incertitude (entropie) plutôt que sur la mauvaise classification, réduisant le risque d'oubli excessif.
Optimisation des ressources : Introduction d'un mécanisme de taille de pas adaptatif et d'une stratégie de lots asymétrique pour réduire les coûts computationnels et de communication.
Garanties théoriques et empiriques : Preuve de la borne de différence avec le réentraînement et validation expérimentale sur des jeux de données tabulaires et d'images.

4. Résultats Expérimentaux

Les expériences ont été menées sur des jeux de données tabulaires (Income) et d'images (MedMNIST, CIFAR-10, CIFAR-100, Tiny-ImageNet) dans des scénarios d'oubli d'échantillons et d'étiquettes.

Préservation de l'utilité : FedORA maintient une précision de test comparable à celle du réentraînement complet (Retrain), surpassant nettement les méthodes existantes (Gradient Ascent, ICO, CVFU), surtout sur des ensembles de données complexes.
Efficacité de l'oubli : FedORA atteint une précision sur les données oubliées très faible (indiquant un oubli efficace), souvent inférieure à celle des autres méthodes.
Résistance aux attaques :
- Attaques par inférence de membre (MIA) : Le taux de succès de l'attaque (MIA-ASR) pour FedORA est proche de 50% (niveau aléatoire), prouvant que le modèle ne peut plus distinguer les données oubliées.
- Attaques par porte dérobée (Backdoor) : Le taux de succès des attaques (BD-ASR) est très faible, confirmant la suppression des motifs malveillants.
Efficacité computationnelle : FedORA est significativement plus rapide que le réentraînement complet et plus efficace que les méthodes de raffinement, tout en étant légèrement plus lent que la simple ascension de gradient (mais avec une bien meilleure qualité de résultat).
Robustesse : La méthode fonctionne bien dans des environnements non-IID et résiste à l'ajout de bruit pour la confidentialité différentielle.

5. Signification et Impact

Cet article apporte une contribution majeure à la sécurité et à la confidentialité dans l'apprentissage fédéré vertical.

Certification de l'oubli : En utilisant la dualité de Lagrange, FedORA fournit une garantie mathématique de l'efficacité de l'oubli, répondant directement aux exigences réglementaires comme le RGPD.
Équilibre optimal : Il résout le compromis difficile entre l'oubli efficace des données sensibles et le maintien des performances du modèle sur les données restantes, un problème non résolu de manière satisfaisante par les méthodes précédentes en VFL.
Faisabilité pratique : Grâce à la réduction des coûts de communication et de calcul, FedORA rend l'application du "droit à l'oubli" viable dans les systèmes VFL à grande échelle, ouvrant la voie à des déploiements industriels conformes aux régulations de confidentialité.

En résumé, FedORA établit un nouvel état de l'art pour l'oubli fédéré vertical, combinant rigueur théorique, efficacité pratique et robustesse face aux attaques de sécurité.