Technische Samenvatting: PRISM – Gauge-Invariante Tangentruimte Differentieel Privé LoRA

1. Probleemformulering

Het artikel behandelt de uitdaging van het toepassen van Differential Privacy (DP) op Low-Rank Adaptation (LoRA), een dominante methode voor parameter-efficiënte fine-tuning (PEFT). Hoewel standaard DP-SGD direct kan worden toegepast op de low-rank factoren $(A, B)$ van een LoRA-update $Z = AB^\top$, identificeren de auteurs dat deze naïeve aanpak fundamenteel niet is afgestemd op de geometrische structuur van LoRA, wat leidt tot drie kritieke problemen:

1. Gauge-afhankelijkheid: De LoRA-factorisatie is niet-identificeerbaar; voor elke inverteerbare matrix $R \in GL(r)$ vertegenwoordigen de paren $(A, B)$ en $(AR, BR^{-\top})$ dezelfde intrinsieke update $Z$. Het toepassen van DP-SGD op de factoren $(A, B)$ resulteert echter in clipping en ruisinjectie die afhangen van de specifieke gauge (factorisatie) die is gekozen. Dit leidt tot inconsistente privacygaranties en perturbatie-magnitudes voor dezelfde onderliggende modelupdate.
2. Onbegrensde Ruisversterking: Wanneer ruis onafhankelijk in beide factoren $A$ en $B$ wordt geïnjecteerd, bevat de resulterende intrinsieke ruis op $Z$ een tweede-orde bilaterale term ($\eta^2 \xi_A \xi_B^\top$) en een eerste-orde term waarvan de magnitude schaalt met de normen van de factoren ($\|A\|_F, \|B\|_F$). Onder gauge-transformaties (bijv. het herschalen $A \to cA, B \to c^{-1}B$) kan de effectieve ruisenergie op $Z$ onbegrensd groeien, zelfs als de doel-update $Z$ constant blijft.
3. Instabiliteit met Adaptieve Optimizers: Adaptieve optimizers (bijv. Adam, AdamW) gebruiken preconditioners die worden geschat uit gradiënten. In aanwezigheid van DP-ruis kunnen deze preconditioners adapteren aan de ruisstatistieken in plaats van aan het signaal. In de low-rank setting kan dit leiden tot slecht geconditioneerde Gram-matrices ($A^\top A, B^\top B$), wat numerieke instabiliteit veroorzaakt en de geïnjecteerde privacyruis verder versterkt.

2. Methodologie: PRISM

De auteurs stellen PRISM voor (Projected Riemannian Invariant Subspace Mechanism), een DP-mechanisme dat ontworpen is om direct te opereren op de intrinsieke geometrie van de low-rank update-manifold in plaats van op de redundante factorruimte.

Kerncomponenten

• Tangentruimte Projectie: In plaats van de factoren te verstoren, behandelt PRISM de update $Z$ als een punt op de vast-rang manifold $\mathcal{M}_r$. Het projecteert per-voorbeeld gradiënten op de tangentruimte $T_Z\mathcal{M}_r$. Deze projectie wordt gedefinieerd met behulp van orthogonale projectoren op de kolomruimten van $A$ en $B$, waardoor de gradiëntrichting invariant is voor gauge-transformaties.
• Globale Intrinsieke Clipping: PRISM berekent de Frobenius-norm van de geprojecteerde intrinsieke tangent-gradiënt $\|\Delta Z\|_F$ voor elk voorbeeld. Het aggregeert deze normen over alle LoRA-modules om een enkele globale clipping-coëfficiënt te berekenen, wat een uniforme sensitiviteitsgrens garandeert voor de gehele modelupdate.
• Isotrope Tangentruimte-ruis: Ruis wordt direct in de tangentruimte geïnjecteerd als een isotrope Gaussische distributie die ondersteund wordt op de manifold. De auteurs hebben een gesloten vormige expressie afgeleid voor de effectieve intrinsieke ruisenergie, die laat zien dat deze alleen afhangt van de ruis-multiplier $\sigma$, de clipping-drempel $C$, de batchgrootte $b$ en de laagdimensies $(m, n, r)$, specifiek proportioneel aan $\sqrt{r(m+n-r)}$. Dit elimineert de gauge-afhankelijke schaling die in factorruimte-methoden voorkomt.
• Retractie: De verstoorde tangent-update wordt teruggetrokken naar de rang-$r$ manifold met behulp van een getrunceerde SVD (best rank-$r$ benadering). Er is aangetoond dat deze stap eerste-orde exact is, waardoor de spurieuze tweede-orde bilaterale ruistermen die inherent zijn aan naïeve factor-updates worden vermeden.
• DP-bewuste Adaptieve Update: Om probleem III aan te pakken, introduceert PRISM een gauge-invariante adaptieve update-regel. Het houdt momenten in de rank-ruimte bij en past een "DP-bewuste vloer" toe op de preconditioner. Deze vloer wordt geschaald volgens het bekende DP-ruisniveau, wat voorkomt dat de preconditioner instort wanneer eigenwaarden klein zijn door ruis, waardoor de versterking van privacyruis wordt begrensd.

Theoretische Garanties

• Gauge-invariantie: Er is bewezen dat de distributie van de intrinsieke update invariant is onder elke gauge-transformatie van de factoren.
• Privacy: PRISM voldoet aan standaard $(\epsilon, \delta)$-DP garanties via de subsampled Gaussian mechanism accounting, aangezien de kernoperatie een Gaussisch mechanisme op een lineaire tangentruimte is, gevolgd door DP-behoudende post-processing.
• Ruiskarakterisering: Het artikel biedt een gesloten vormige karakterisering van de effectieve ruis, waarmee wordt aangetoond dat deze begrensd is en onafhankelijk is van de factorisatie-schaal.

3. Belangrijkste Bijdragen

1. Identificatie van Fundamentele Gebreken: Het artikel demonstreert rigoureus dat naïeve factorruimte DP-LoRA leidt tot gauge-afhankelijke clipping, onbegrensde ruisversterking en spurieuze bilaterale ruistermen.
2. PRISM Mechanisme: De voorstel van een gauge-invariante DP-mechanisme dat direct op de intrinsieke tangentruimte werkt, gebruikmakend van projectie, intrinsieke clipping en retractie om stabiele en begrensde perturbaties te garanderen.
3. Theoretische Analyse: De vaststelling van $(\epsilon, \delta)$-DP garanties en een gesloten vormige karakterisering van de effectieve intrinsieke ruis, waarmee de onafhankelijkheid van de factorisatie-gauges wordt bewezen.
4. Stabiliteitsverbetering: De introductie van een DP-bewuste adaptieve update-regel die de ruisversterking in adaptieve optimizers onder low-rank beperkingen mitigeert.

4. Experimentele Resultaten

De auteurs evalueren PRISM bij het fine-tunen van de Gemma-3-4B-pt backbone over twee multi-task suites: GLUE8 (Natural Language Understanding) en Math-10K (multi-step numeriek redeneren).

• Prestaties onder DP: Onder privacy-budgetten van $\epsilon \in \{3, 6\}$ behaalt PRISM de hoogste gemiddelde prestatie over 12 taken vergeleken met baselines inclusief naïeve DP-LoRA (FFA), LoRA-RITE, AdamW, LoRA+ en LAMB. Specifiek behaalde PRISM een gemiddelde score van 0.690 bij $\epsilon=6$ en 0.680 bij $\epsilon=3$, waarmee het alle andere methoden overtrof.
• Robuustheid: PRISM vertoonde consistente superioriteit over verschillende backbone-groottes (Gemma-2-9B, Gemma-3-12B) en LoRA-ranks ($r \in \{8, 16, 32\}$).
• Mechanisme Diagnostiek: Empirische analyse bevestigde dat factorruimte DP significante gauge-sensitiviteit (variabiliteit in update-normen op basis van initialisatie-schaling) en onbegrensde ruisversterking vertoont. In contrast hiermee reduceerde PRISM de gauge-sensitiviteit tot bijna nul en behield het een lage, stabiele intrinsieke ruisenergie, ongeacht de factor-schaling.
• Efficiëntie: Hoewel PRISM een runtime overhead met zich meebrengt (ongeveer een verdubbeling van de stap-tijd door geometrie-bewuste berekeningen), blijft het piekgeheugengebruik vergelijkbaar met standaard LoRA-implementaties.

5. Betekenis en Claims

Het artikel claimt dat PRISM de fundamentele mismatch tussen standaard DP-SGD en de niet-identificeerbare structuur van LoRA oplost. Door de privacy-mechanisme te verschuiven van de redundante factorruimte naar de intrinsieke tangentruimte, zorgt PRism ervoor dat privacy-perturbaties:

1. Deterministisch in Effect Zijn: De ruis die aan de modelupdate $Z$ wordt toegevoegd, is onafhankelijk van de willekeurige keuze van de factorisatie $(A, B)$.
2. Begrensd Zijn: Het vermijdt de onbegrensde ruisversterking die kan optreden in factorruimte-benaderingen.
3. Stabiel Zijn: Het voorkomt dat adaptieve optimizers het trainingsproces destabiliseren door ruis-geïnduceerde ill-conditioning.

De auteurs positioneren PRISM als een noodzakelijke stap voor het inzetten van privacy-bewuste LoRA fine-tuning, met name in scenario's waarbij gevoelige gegevens betrokken zijn en de stabiliteit en voorspelbaarheid van de privacygarantie van cruciaal belang is. Zij erkennen dat de methode momenteel is toegesneden op fixed-rank LoRA-updates en dat het uitbreiden naar andere PEFT-methoden het afleiden van hun specifieke intrinsieke geometrieën vereist.