🤖 machine learning

DP-Muon: Differentially Private Optimization via Matrix-Orthogonalized Momentum

Dieser Beitrag stellt DP-Muon vor, einen differenziell privaten Optimierer, der matrixwertige Impulse und Newton-Schulz-Orthogonalisierung mit strengen Privatsphärengarantien integriert, und schlägt eine bias-korrigierte Variante (DP-MuonBC) vor, die den Nutzen beim privaten Feinabstimmen erheblich verbessert, ohne das Privatsphärenbudget zu erhöhen.

Ursprüngliche Autoren: Jihwan Kim, Chenglin Fan

Veröffentlicht 2026-05-14

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Jihwan Kim, Chenglin Fan

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, einem Roboter beizubringen, Geschichten basierend auf sensiblen persönlichen Tagebüchern zu schreiben. Sie möchten, dass der Roboter den Stil des Schreibens lernt, ohne jemals die spezifischen Geheimnisse innerhalb eines einzelnen Tagebuchs auswendig zu lernen oder preiszugeben. Dies ist die Herausforderung der Differential Privacy (DP): ein Modell zu unterrichten und dabei einzelne Datenpunkte zu schützen.

Dieser Artikel stellt eine neue, intelligentere Methode vor, dies zu tun, namens DP-Muon, sowie eine noch bessere Version namens DP-MuonBC. Hier ist die Aufschlüsselung mit einfachen Analogien.

1. Das Problem: Der „Lärmende Klassenraum"

Standardmethoden zum Unterrichten von KI mit Privatsphäre (wie DP-SGD) funktionieren wie ein lärrender Klassenraum.

Der Lehrer: Das KI-Modell.
Die Schüler: Die Daten (Tagebücher).
Die Lektion: Der Lehrer fragt jeden Schüler nach einem Hinweis (einem Gradienten), wie man sich verbessern kann.
Der Privatsphären-Trick: Um die Privatsphäre zu schützen, schneidet der Lehrer die Hinweise zu, damit kein einzelner Schüler zu laut schreien kann (Clipping), und fügt dann statisches Rauschen in den Raum hinzu (Gaußsches Rauschen), damit niemand genau sagen kann, was ein einzelner Schüler gesagt hat.

Standardmethoden behandeln jedoch das „Gehirn" der KI wie eine lange Liste von Zahlen (einen Vektor). Der Artikel argumentiert, dass für die verborgenen Schichten moderner KI das Gehirn tatsächlich ein Gitter von Zahlen (eine Matrix) ist. Ein Gitter wie eine einfache Liste zu behandeln, ist ineffizient und ungeschickt.

2. Die Lösung: Der „Muon"-Optimierer

Der Artikel verwendet ein bestehendes Werkzeug namens Muon.

Die Analogie: Stellen Sie sich vor, die KI ist ein Wanderer, der versuchen, den Boden eines Tals zu finden.
- Standard-Optimierer sind wie ein Wanderer, der nur den Hang direkt unter seinen Füßen betrachtet.
- Muon ist wie ein Wanderer, der einen Kompass und eine Karte trägt. Er betrachtet den „Impuls" (die Richtung, in der er sich bereits bewegte) und führt dann einen speziellen geometrischen Trick durch (genannt Newton-Schulz-Orthogonalisierung), um sicherzustellen, dass er sich in der effizientesten, geradlinigsten Richtung bewegt, ohne in lokalen Schleifen stecken zu bleiben.
Die Innovation: Der Artikel findet heraus, wie man das „Privatsphären-Rauschen" zu diesem spezifischen Muon-Prozess hinzufügt, ohne die Mathematik zu zerstören.

3. Die große Entdeckung: Privatsphäre ist (meistens) kostenlos

Die Autoren waren besorgt, dass das Hinzufügen der komplexen „Kompass-und-Karte"-Schritte (Impuls und Orthogonalisierung) nach dem Hinzufügen des Privatsphären-Rauschens versehentlich mehr Geheimnisse verraten könnte.

Die Erkenntnis: Sie bewiesen mathematisch, dass diese zusätzlichen Schritte nur Nachverarbeitung sind.
Die Metapher: Stellen Sie sich vor, Sie machen ein Foto einer Menschenmenge, verschwimmen die Gesichter, um die Privatsphäre zu schützen, und schneiden dann das Foto zu, um den Himmel in den Fokus zu rücken. Das Zuschneiden des Fotos enthüllt nicht die Gesichter, die Sie bereits verschwommen haben. Ebenso kostet die komplexe Mathematik, die Muon nach dem Hinzufügen des Rauschens durchführt, keine zusätzliche Privatsphäre. Die Privatsphäre-Garantie wird ausschließlich durch den anfänglichen „Verschwimmungs"-Schritt bestimmt.

4. Der versteckte Fehler: Der „Wärme-Glättungs"-Bias

Während die Privatsphäre sicher ist, stellten die Autoren ein subtiles Problem mit der Qualität des Lernens fest.

Die Analogie: Stellen Sie sich vor, Sie versuchen, die Form einer Skulptur zu erraten, aber Sie betrachten sie durch einen dicken, warmen Nebel (das Privatsphären-Rauschen).
- Der Impuls-Teil des Optimierers ist wie eine gerade Linie; der Nebel lässt die Linie nur ein wenig wackeln, bleibt aber gerade.
- Der Newton-Schulz-Teil (der geometrische Trick) ist wie ein gekrümmter Spiegel. Wenn Sie durch Nebel auf einen gekrümmten Spiegel schauen, verzerrt sich das Spiegelbild nicht nur; es wird verzerrt und geglättet. Der Nebel lässt die scharfen Kanten der Skulptur runder erscheinen, als sie wirklich sind.
Die Konsequenz: Diese „Glättung" erzeugt einen Bias. Die KI denkt, die Skulptur sei runder, als sie ist, und lernt daher die falsche Form. Dies geschieht speziell, weil das Privatsphären-Rauschen mit der nicht-linearen Mathematik des Muon-Optimierers interagiert.

5. Die Korrektur: DP-MuonBC (Der „Nebel-Entferner")

Um dies zu beheben, schufen die Autoren DP-MuonBC (Bias-Corrected).

Die Analogie: Um den nebligen Spiegel zu reparieren, betrachtet die KI die Skulptur nicht nur einmal. Sie führt einen cleveren Trick aus:
1. Sie betrachtet die Skulptur durch den Nebel (der Standard-Schritt mit Rauschen).
2. Dann stellt sie sich vor, sie würde die Skulptur durch doppelten Nebel betrachten (durch das Hinzufügen eines winzigen, zufälligen, gefälschten „Sonden"-Rauschens).
3. Sie vergleicht die beiden Ansichten. Indem sie den Effekt des „doppelten Nebels" mathematisch vom Effekt des „einfachen Nebels" subtrahiert, kann sie die Verzerrung ausgleichen und die wahre, scharfe Form der Skulptur wiederherstellen.
Das Ergebnis: Diese Korrektur entfernt den Fehler, der durch das Privatsphären-Rauschen verursacht wird, ohne dass ein zusätzlicher Privatsphären-Schutz erforderlich ist. Sie erzielt ein besseres Ergebnis für dasselbe Privatsphären-Budget.

6. Die Ergebnisse: Bessere Geschichten, gleiche Privatsphäre

Das Team testete dies an zwei realen Aufgaben (E2E und DART), die darin bestehen, strukturierte Daten in natürliche Sprachgeschichten umzuwandeln.

Das Ergebnis:
- DP-Muon (die Standardversion) war bereits viel besser im Schreiben von Geschichten als die alten Standardmethoden (DP-SGD und DP-Adam).
- DP-MuonBC (die bias-korrigierte Version) schrieb noch bessere Geschichten mit klarerer und genauerer Sprache.
Der Haken: Sie erzielten diese Verbesserung ohne ein zusätzliches „Privatsphären-Budget" auszugeben. Sie erhielten mehr Nutzen kostenlos, indem sie die Mathematik korrigierten.

Zusammenfassung

Dieser Artikel nimmt einen leistungsstarken, matrixbasierten Optimierer (Muon), wickelt ihn in Privatsphärenschutz ein und beweist, dass die Verpackung keine Geheimnisse verrät. Dann bemerkt er, dass die Verpackung eine leichte Verzerrung (Bias) im Lernprozess verursacht, und erfindet einen mathematischen „Radiergummi" (DP-MuonBC), um diese Verzerrung zu entfernen, was zu einer intelligenteren, privateren KI führt, die schneller und besser lernt.

Technische Zusammenfassung: DP-Muon

Problemstellung

Differential Privacy (DP) ist das Standardframework für das Training von Modellen auf sensiblen Daten, wobei DP-SGD als dominanter Baseline dient. Die Interaktion zwischen pro-Beispiel-Gradienten-Clipping, dem Einbringen von Gaußschem Rauschen, Momentum und nichtlinearer Orthogonalisierung in matrixwertigen Optimierern wurde jedoch noch nicht systematisch analysiert. Insbesondere fehlt es an einer formalen Privatsphären-Analyse für Muon, einen neuen Optimierer, der Gewichte in versteckten Schichten aktualisiert, indem er Momentum durch eine Newton–Schulz-Orthogonalisierung folgt, um eine orthogonalisierte Momentum-Matrix zu erzeugen. Es ist unklar, wie die nichtlineare Newton–Schulz-Abbildung mit Privatsphären-Rauschen interagiert und ob Standard-Abrechnungs-Vorlagen für DP-SGD auf solche matrixwertigen Updates anwendbar sind. Darüber hinaus leiden bestehende private Optimierer oft unter Verzerrungsproblemen (z. B. kollabiert DP-Adam zu einer neu skalierten DP-SGD-Form), wenn Privatsphären-Rauschen ohne explizite Korrektur eingeführt wird.

Methodik

Der Artikel formuliert DP-Muon, eine differenziell private Variante des Muon-Optimierers. Das Kernverfahren umfasst:

Pro-Matrix-Clipping: Für jeden Block der Matrix in versteckten Schichten $W$ werden pro-Beispiel-Gradienten auf einen Schwellenwert $C_W$ der Frobenius-Norm geclipt.
Gemeinsame Freigabe: Die geclippten Gradienten werden über die Stichprobe des Minibatches (Lot) gemittelt, und dem Durchschnitt wird Gaußsches Rauschen hinzugefügt. Entscheidend ist, dass das Rauschen an die Sensitivität der gemeinsamen Freigabe aller Matrixblöcke im Lot angepasst wird, anstatt die Blöcke als unabhängig stichprobenartig freigegebene Mechanismen zu behandeln.
Nachbearbeitung: Der verrauschte Durchschnitt durchläuft eine Momentum-Akkumulation und eine Newton–Schulz-Iteration mit endlich vielen Schritten, um die Update-Richtung zu erzeugen. Diese Schritte werden als Nachbearbeitung behandelt, was bedeutet, dass sie keine zusätzlichen Privatsphärenkosten verursachen.

Um die durch die nichtlineare Newton–Schulz-Abbildung auf verrauschten Eingaben verursachte Verzerrung zu adressieren, schlagen die Autoren DP-MuonBC vor. Diese Variante wendet einen nachbearbeitenden Schritt zur Verzerrungskorrektur an. Durch die Analyse des Modells der „eingefrorenen geclippten Pfad"-Variante identifizieren die Autoren, dass das Privatsphären-Rauschen eine „Wärme-Glättungs"-Verzerrung am Ausgang der Newton–Schulz-Abbildung (ein matrixwertiger Krümmungsterm) induziert. DP-MuonBC hebt den führenden Verzerrungsterm der Ordnung $O(\rho^2)$ mithilfe eines antithetischen Sondendurchschnitts auf: Es bewertet die Newton–Schulz-Abbildung am verrauschten Momentum plus und minus unabhängige Gaußsche Sonden und extrapoliert dann zurück zur unglätteten Richtung.

Hauptbeiträge

1. Privatsphären-Garantien

Der Artikel beweist, dass DP-Muon die Privatsphären-Garantie des entsprechenden stichprobenartigen Gaußschen Kontenführers für dasselbe Lot erbt.

Gemeinsame Abrechnung: Die Privatsphären-Analyse berücksichtigt den gemeinsamen Produkt-Gaußschen Mechanismus aller Matrixblöcke, die in einem einzigen Schritt freigegeben werden, anstatt unabhängige Privatsphärenkosten zu summieren.
Invarianz gegenüber Nachbearbeitung: Es wird bewiesen, dass das Momentum-Update und die Newton–Schulz-Orthogonalisierung differenziell private Nachbearbeitungsoperationen sind, die keine zusätzlichen Privatsphärenkosten zur Freigabe des verrauschten Gradienten hinzufügen.

2. Optimierungstheorie

Die Autoren leiten eine Stabilitätsschranke mit endlichem Horizont für DP-Muon unter pro-Matrix-Clipping her. Die Schranke trennt vier verschiedene Fehlerquellen:

Optimierungsfehler: Standardterme in Bezug auf die Lernrate und den Horizont.
Clipping-Residuum: Die Verzerrung, die durch das Clipping von Gradienten eingeführt wird (erfasst durch $B_T(C)$ ).
Privatsphären-Rauschen: Stochastischer Fehler aus der Minibatch-Stichprobenziehung und Gaußschem Rauschen, skaliert durch die Momentum-Mittelung.
Newton–Schulz-Näherungsfehler: Der Fehler durch die Verwendung einer endlichen Anzahl von Iterationen ( $q$ ) anstelle eines exakten SVD-/Polarfaktors, erfasst durch einen Qualitätsfaktor $\chi_q$ .

Unter einer Bedingung für leichte Verteilungsschwänze der Gradientennormen zeigt der Artikel, dass das durchschnittliche Stabilitätsmaß mit geeigneter Abstimmung von Lernrate, Momentum und Clipping-Schwellenwert als $O(T^{-1/4}\sqrt{\log T})$ gegen Null geht.

3. Verzerrungskorrektur (DP-MuonBC)

Der Artikel identifiziert, dass die primäre Verzerrung in DP-Muon nicht im linearen Momentum-Puffer, sondern nach der nichtlinearen Newton–Schulz-Abbildung entsteht, wo Gaußsches Rauschen einen Wärme-Glättungseffekt induziert.

Mechanismus: DP-MuonBC verwendet antithetische Gaußsche Sonden, um den führenden Verzerrungsterm zweiter Ordnung der Wärme-Glättung zu schätzen und zu subtrahieren.
Privatsphäre: Da die Korrektur nur datenunabhängige Sonden verwendet, die auf bereits privat geschützte Gradienten angewendet werden, erfüllt DP-MuonBC exakt dieselbe $(\epsilon, \delta)$ -DP-Garantie wie DP-Muon.

Experimentelle Ergebnisse

Die Autoren bewerteten die Methoden auf zwei Benchmarks für die Generierung von Text aus Tabellen, E2E und DART, indem sie ein GPT-2-Modell unter einem Ziel-Privatsphärenbudget von $\epsilon \approx 8$ feinabstimmten.

Muon im Vergleich zu Baselines: DP-Muon übertraf sowohl DP-SGD als auch DP-Adam deutlich. Auf E2E verbesserte DP-Muon die bewertete Negative Log-Likelihood (NLL) von 0,4961 (DP-Adam) auf 0,4553 und erhöhte BLEU von 18,49 auf 32,91.
Auswirkung der Verzerrungskorrektur: DP-MuonBC verbesserte die DP-Muon-Baseline weiter, ohne das Privatsphärenbudget zu erhöhen. Auf E2E erreichte es die beste NLL (0,4490) und BLEU (34,92). Auf DART erzielte DP-MuonBC die besten Ergebnisse bei allen drei Metriken (NLL: 0,4460, BLEU: 7,50, ROUGE-L: 34,42).
Trainingsdynamik: Muon-basierte Methoden erreichten während des gesamten Trainings konsistent eine niedrigere NLL als DP-SGD und DP-Adam, wobei DP-MuonBC in späteren Phasen der Optimierung besondere Gewinne zeigte.

Bedeutung und Behauptungen

Der Artikel behauptet, dass Matrix-Updates im Muon-Stil für das private Fine-Tuning effektiv sind und eine vielversprechende Alternative zu herkömmlichen vektorbasierten Optimierern im Bereich der Differential Privacy bieten. Die Arbeit liefert die erste systematische Analyse der Interaktion zwischen Matrix-Orthogonalisierung und Differential Privacy.

Die Bedeutung von DP-MuonBC liegt in seiner Fähigkeit, die Nutzbarkeit durch die Korrektur der spezifischen Verzerrung zu verbessern, die durch den nichtlinearen Orthogonalisierungsschritt induziert wird, während gleichzeitig exakt dasselbe Privatsphärenbudget wie bei der unkorrigierten Version eingehalten wird. Die Autoren betrachten dies als einen Schritt hin zum Verständnis, wie fortschrittliche Optimiererstrukturen (wie matrixwertige Updates) in datenschutzfreundlichen Umgebungen genutzt werden können, ohne theoretische Garantien zu opfern.

Der Artikel schließt mit der Feststellung, dass die Erweiterung der Theorie auf vollständig adaptive Mehrblock-Trajektorien und die Evaluierung größerer Modelle natürliche zukünftige Richtungen bleiben.