🤖 machine learning

PRISM: Gauge-Invariant Tangent-Space Differentially Private LoRA

L'article introduit PRISM, un mécanisme de confidentialité différentielle invariant par rapport au jauge pour l'adaptation de bas rang (LoRA) qui résout l'amplification de bruit non bornée causée par les factorisations de paramètres non identifiables en opérant directement sur l'espace tangent intrinsèque de la matrice de mise à jour.

Auteurs originaux : Shihao Wang, Xueru Zhang

Publié 2026-06-02

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Shihao Wang, Xueru Zhang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

L'idée générale : Enseigner à un robot sans trahir de secrets

Imaginez que vous avez un robot géant et super intelligent (un « Modèle de Fondation ») qui connaît tout sur le monde. Vous voulez lui enseigner une nouvelle compétence spécifique, comme rédiger des rapports médicaux ou résoudre des problèmes de mathématiques, en utilisant un petit ensemble de données privées (comme des dossiers de patients ou des notes d'élèves).

Vous ne pouvez pas réentraîner tout le robot ; c'est trop coûteux et trop lent. À la place, vous utilisez une technique appelée LoRA (Low-Rank Adaptation). Considérez LoRA comme si vous donnie soit des « lunettes » ou un « adaptateur » amovible au robot pour ajuster légèrement son comportement afin qu'il apprenne la nouvelle tâche.

Le problème ? Si vous entraînez ces lunettes sur des données privées, le robot pourrait accidentellement mémoriser et divulguer ces secrets. Pour empêcher cela, nous utilisons la Confidentialité Différentielle (Differential Privacy ou DP), qui revient à ajouter une couche de « bruit statique » au processus d'apprentissage afin que le robot apprenne le schéma mais oublie les détails spécifiques de chaque personne.

Le Problème : La « règle cassée » de la confidentialité

Les auteurs ont découvert que la méthode standard consistant à ajouter ce bruit de confidentialité à LoRA est fondamentalement défectueuse. Voici l'analogie :

Le problème de la « jauge » (La règle qui bouge)
Imaginez que vous essayiez de mesurer la longueur d'une table.

La méthode standard (LoRA-DP naïf) : Vous avez une règle qui peut s'étirer et se contracter. Si vous étirez la règle, les chiffres changent. Si vous la contractez, les chiffres changent encore. Mais la longueur réelle de la table n'a pas changé.
Dans LoRA, la « règle » est la manière mathématique dont nous décomposons l'adaptateur en deux parties (appelons-les A et B). Il existe une infinité de façons d'étirer ou de contracter A et B tant que leur produit reste le même. C'est ce qu'on appelle la « non-identifiabilité de jauge ».
L'erreur : L'ancienne méthode ajoutait le bruit de confidentialité directement aux parties A et B. Comme la règle s'étirait et se contractait, la quantité de « bruit statique » ajoutée à la table finale (la mise à jour du modèle) devenait chaotique. Parfois, le bruit était minuscule ; parfois, il était énorme. C'était comme essayer de peindre un mur en se tenant sur un trampoline qui change constamment de hauteur — les éclaboussures de peinture (le bruit) étaient imprévisibles et pouvaient ruiner le mur.

Le problème « Bilinéaire » (Le double coup dur)
Lorsque l'on ajoute du bruit à A et du bruit à B séparément, ils interagissent. C'est comme ajouter un peu de sucre dans une tasse de café et un peu de sel dans une cuillère, puis mélanger les deux. L'interaction crée un effet « bilinéaire » — une saveur étrange et supplémentaire (du bruit) qui n'était présente dans aucun des deux ingrédients pris isolément. Ce bruit supplémentaire est élevé au carré et amplifié, ce qui dégrade considérablement l'apprentissage du modèle.

La Solution : PRISM (Le canevas fixe)

Les auteurs proposent PRISM (Projected Riemannian Invariant Subspace Mechanism).

Au lieu d'essayer de mesurer la table avec une règle extensible, PRISM change de perspective. Il ignore les parties extensibles (A et B) et se concentre entièrement sur la table réelle (la mise à jour intrinsèque Z).

L'Espace Tangent (Le canevas plat) : Imaginez que la table existe sur une surface courbe. PRISM projette le processus d'apprentissage sur un « plan tangent » plat situé juste à côté de la table. Sur ce plan plat, les mathématiques sont simples et stables.
L'Invariance de Jauge (La règle fixe) : PRISM ajoute le bruit de confidentialité directement sur ce plan plat. Peu importe la façon dont vous étirez ou contractez les composants sous-jacents (A et B), le bruit ajouté au résultat final est toujours de la même quantité, prévisible. C'est comme peindre le mur en se tenant sur un sol solide.
Pas de double coup dur : Parce que PRISM ajoute le bruit directement au résultat final (dans l'espace tangent), il évite l'interaction désordonnée entre A et B. Il n'y a pas d'explosion « bilinéaire » de bruit.

L'« Optimiseur Intelligent » (Garder le train sur les rails)

Même avec le bon bruit, l'algorithme d'apprentissage du robot (l'optimiseur) peut être confus. Si le robot essaie d'être « intelligent » et d'ajuster sa vitesse d'apprentissage en fonction des données bruitées, il pourrait accidentellement amplifier encore plus le bruit, provoant ainsi l'instabilité ou le crash du modèle.

PRISM inclut une règle spéciale « compatible avec la DP ». Il place un « plancher » sous les ajustements d'apprentissage. Pensez-y comme à un ralentisseur ou un limiteur de vitesse sur un moteur de voiture. Si le bruit devient trop élevé, le plancher empêche la vitesse d'apprentissage de devenir folle, maintenant ainsi l'entraînement stable et sûr.

Les Résultats : Meilleure Confidentialité, Meilleur Apprentissage

Les auteurs ont testé PRISM sur diverses tâches (comme la compréhension du langage et la résolution de problèmes mathématiques) en utilisant des données privées.

L'ancienne méthode : Lorsqu'ils essayaient d'être confidentiels, les performances du modèle chutaient considérablement car le bruit était trop chaotique ou trop fort.
PRISM : Parce que le bruit était contrôlé et prévisible, le modèle apprenait bien mieux les tâches tout en gardant les données privées. Dans de nombreux tests, PRISM était le meilleur performeur, particulièrement sur les tâches de raisonnement complexe.

Résumé

Le Problème : La manière standard de protéger la confidentialité dans LoRA est comme essayer de mesurer une cible mouvante avec une règle extensible. Cela conduit à un bruit imprévisible et massif qui ruine le modèle.
La Solution : PRISM ignore les parties extensibles et ajoute le bruit directement à la mise à jour centrale et stable. Il utilise une approche de « canevas plat » pour garantir que le bruit est toujours de la bonne taille, quelle que soit la disposition mathématique.
Le Bénéfice : Vous obtenez une protection forte de la confidentialité sans sacrifier la capacité du modèle à apprendre. C'est stable, efficace et cela fonctionne mieux que les méthodes précédentes.

En bref, PRISM est une nouvelle façon d'enseigner aux modèles d'IA avec des données privées qui empêche le « bruit » de devenir incontrôlable, garantissant que le robot apprenne la leçon sans mémoriser les secrets.

Résumé Technique : PRISM – Mécanisme de Différentielle de l'Espace Tangent Invariant au Gauge pour la Confidentialité Différentielle de LoRA

1. Formulation du Problème

Le papier traite du défi consistant à appliquer la Confidentialité Différentielle (DP - Differential Privacy) à la Low-Rank Adaptation (LoRA), une méthode dominante de réglage fin efficace en paramètres (PEFT). Bien que le DP-SGD standard puisse être appliqué directement aux facteurs de rang faible $(A, B)$ d'une mise à jour LoRA $Z = AB^\top$ , les auteurs identifient que cette approche naïve est fondamentalement désalignée avec la structure géométrique de LoRA, ce qui entraîne trois problèmes critiques :

Dépendance au Gauge : La factorisation LoRA est non-identifiable ; pour toute matrice inversible $R \in GL(r)$ , les paires $(A, B)$ et $(AR, BR^{-\top})$ représentent la même mise à jour intrinsèque $Z$ . Cependant, l'application du DP-SGD aux facteurs $(A, B)$ entraîne un écrêtage (clipping) et une injection de bruit qui dépendent du gauge (la factorisation) spécifique choisi. Cela conduit à des garanties de confidentialité et des magnitudes de perturbation incohérentes pour une même mise à jour de modèle sous-jacente.
Amplification de Bruit Non Bornée : Lorsque le bruit est injecté indépendamment dans les deux facteurs $A$ et $B$ , le bruit intrinsèque résultant sur $Z$ contient un terme bilinéaire de second ordre ( $\eta^2 \xi_A \xi_B^\top$ ) et un terme de premier ordre dont la magnitude dépend des normes des facteurs ( $\|A\|_F, \|B\|_F$ ). Sous des transformations de gauge (par exemple, redimensionnement $A \to cA, B \to c^{-1}B$ ), l'énergie de bruit effective sur $Z$ peut croître de manière non bornée, même si la mise à jour cible $Z$ reste constante.
Instabilité avec les Optimiseurs Adaptatifs : Les optimiseurs adaptatifs (ex: Adam, AdamW) utilisent des préconditionneurs estimés à partir des gradients. En présence de bruit DP, ces préconditionneurs peuvent s'adapter aux statistiques du bruit plutôt qu'au signal. Dans le contexte de faible rang, cela peut conduire à des matrices de Gram mal conditionnées ( $A^\top A, B^\top B$ ), provoquant une instabilité numérique et amplifiant davantage le bruit de confidentialité injecté.

2. Méthodologie : PRISM

Les auteurs proposent PRISM (Projected Riemannian Invariant Subspace Mechanism), un mécanisme DP conçu pour opérer directement sur la géométrie intrinsèque de la variété de mise à jour de rang faible plutôt que sur l'espace de facteurs redondant.

Composantes Fondamentales

Projection sur l'Espace Tangent : Au lieu de perturber les facteurs, PRISM traite la mise à jour $Z$ comme un point sur la variété de rang fixe $\mathcal{M}_r$ . Il projette les gradients par exemple sur l'espace tangent $T_Z\mathcal{M}_r$ . Cette projection est définie à l'aide de projecteurs orthogonaux sur les espaces colonnes de $A$ et $B$ , garantissant que la direction du gradient est invariante aux transformations de gauge.
Écrêtage Intrinsèque Global : PRISM calcule la norme de Frobenius du gradient tangent intrinsèque projeté $\|\Delta Z\|_F$ pour chaque exemple. Il agrège ces normes à travers tous les modules LoRA pour calculer un coefficient d'écrêtage global unique, assurant une limite de sensibilité unifiée pour l'ensemble de la mise à jour du modèle.
Bruit Isotrope dans l'Espace Tangent : Le bruit est injecté directement dans l'espace tangent sous la forme d'une distribution gaussienne isotrope supportée sur la variété. Les auteurs dérivent une expression en forme close pour l'énergie de bruit intrinsèque effective, montrant qu'elle dépend uniquement du multiplicateur de bruit $\sigma$ , du seuil d'écrêtage $C$ , de la taille du lot $b$ , et des dimensions des couches $(m, n, r)$ . Cela élimine la mise à l'échelle dépendante du gauge trouvée dans les méthodes d'espace de facteurs.
Rétraction : La mise à jour tangente bruitée est rétractée vers la variété de rang $r$ en utilisant une SVD tronquée (meilleure approximation de rang $r$ ). Il est démontré que cette étape est exacte au premier ordre, évitant les termes de bruit bilinéaires de second ordre fallacieux inhérents aux mises à jour de facteurs naïves.
Mise à Jour Adaptative Sensible à la DP : Pour traiter le Problème III, PRISM introduit une règle de mise à jour adaptative invariante au gauge. Il suit les moments de l'espace de rang et applique un "plancher DP-aware" au préconditionneur. Ce plancher est mis à l'échelle selon le niveau de bruit DP connu, empêchant le préconditionneur de s'effondrer lorsque les valeurs propres sont faibles à cause du bruit, limitant ainsi l'amplification du bruit de confidentialité.

Garanties Théoriques

Invariance au Gauge : Il est prouvé que la distribution de la mise à jour intrinsèque est invariante sous toute transformation de gauge des facteurs.
Confidentialité : PRISM satisfait les garanties $(\epsilon, \delta)$ -DP standards via le comptage du mécanisme gaussien sous-échantillonné, car l'opération centrale est un mécanisme gaussien sur un espace tangent linéaire suivi d'un post-traitement préservant la DP.
Caractérisation du Bruit : Le papier fournit une caractérisation en forme close du bruit effectif, démontrant qu'il est borné et indépendant de l'échelle de factorisation.

3. Contributions Clés

Identification de Défauts Fondamentaux : Le papier démontre rigoureusement que le DP-LoRA naïf dans l'espace des facteurs conduit à un écrêtage dépendant du gauge, une amplification de bruit non bornée et des termes de bruit bilinéaires fallacieux.
Mécanisme PRISM : La proposition d'un mécanisme de DP invariant au gauge qui opère sur l'espace tangent intrinsèque, utilisant la projection, l'écrêtage intrinsèque et la rétraction pour assurer des perturbations stables et bornées.
Analyse Théorique : Établissement des garanties $(\epsilon, \delta)$ -DP et d'une caractérisation en forme close du bruit intrinsèque effectif, prouvant son indépendance vis-à-vis des gauges de factorisation.
Amélioration de la Stabilité : L'introduction d'une règle de mise à jour adaptative sensible à la DP qui atténue l'amplification du bruit dans les optimiseurs adaptatifs sous contraintes de faible rang.

4. Résultats Expérimentaux

Les auteurs évaluent PRISM sur le réglage fin du backbone Gemma-3-4B-pt à travers deux suites multi-tâches : GLUE8 (Compréhension du Langage Naturel) et Math-10K (raisonnement numérique multi-étapes).

Performance sous DP : Sous des budgets de confidentialité $\epsilon \in \{3, 6\}$ , PRISM atteint la performance moyenne la plus élevée sur 12 tâches par rapport aux bases de référence incluant le DP-LoRA naïf (FFA), LoRA-RITE, AdamW, LoRA+ et LAMB. Spécifiquement, PRISM a obtenu un score moyen de 0,690 à $\epsilon=6$ et 0,680 à $\epsilon=3$ , surpassant toutes les autres méthodes.
Robustesse : PRISM a démontré une supériorité constante à travers différentes tailles de backbone (Gemma-2-9B, Gemma-3-12B) et différents rangs LoRA ( $r \in \{8, 16, 32\}$ ).
Diagnostics du Mécanisme : L'analyse empirique a confirmé que le DP dans l'espace des facteurs présente une sensibilité au gauge significative (variabilité des normes de mise à jour basée sur l'échelle d'initialisation) et une amplification de bruit non bornée. En revanche, PRISM a réduit la sensibilité au gauge à presque zéro et a maintenu une énergie de bruit intrinsèque faible et stable, quel que soit le scaling des facteurs.
Efficacité : Bien que PRISM incurre un surcoût de temps d'exécution (environ le double du temps par étape dû aux calculs de géométrie), l'utilisation de la mémoire de pointe reste comparable aux implémentations LoRA standards.

5. Signification et Revendications

Le papier affirme que PRISM résout le désalignement fondamental entre le DP-SGD standard et la structure non-identifiable de LoRA. En déplaçant le mécanisme de confidentialité de l'espace de facteurs redondant vers l'espace tangent intrinsèque, PRISM garantit que les perturbations de confidentialité sont :

Déterministes dans leur Effet : Le bruit ajouté à la mise à jour du modèle $Z$ est indépendant du choix arbitraire de la factorisation $(A, B)$ .
Bornées : Il évite l'amplification de bruit non bornée qui peut survenir dans les approches d'espace de facteurs.
Stables : Il empêche les optimiseurs adaptatifs de déstabiliser le processus d'entraînement à cause du mauvais conditionnement induit par le bruit.

Les auteurs positionnent PRISM comme une étape nécessaire pour le déploiement du réglage fin LoRA respectant la confidentialité, particulièrement dans des contextes impliquant des données sensibles où la stabilité et la prédictibilité de la garantie de confidentialité sont primordiales. Ils reconnaissent que la méthode est actuellement adaptée aux mises à jour LoRA de rang fixe et que l'extension à d'autres méthodes PEFT nécessiterait de dériver leurs géométries intrinsèques spécifiques.