🤖 machine learning

Memory-Efficient Differentially Private Training with Gradient Random Projection

Das Papier stellt DP-GRAPE vor, eine speichereffiziente Methode zum Training mit differentialer Privatsphäre, die kostspielige SVD-basierte Projektionen durch zufällige gaußsche Projektionen ersetzt, um den Speicherbedarf um mehr als 63 % zu senken, gleichzeitig eine wettbewerbsfähige Genauigkeit zu bewahren und das Training großer Modelle zu ermöglichen, die mit dem Standard-DP-Adam nicht durchführbar sind.

Ursprüngliche Autoren: Alex Mulrooney, Devansh Gupta, James Flemings, Huanyu Zhang, Murali Annavaram, Meisam Razaviyayn, Xinwei Zhang

Veröffentlicht 2026-05-19

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Alex Mulrooney, Devansh Gupta, James Flemings, Huanyu Zhang, Murali Annavaram, Meisam Razaviyayn, Xinwei Zhang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Problem: Der „überbeschützte" Schüler

Stellen Sie sich vor, Sie trainieren einen Schüler (ein neuronales Netz), der aus einem sehr sensiblen Tagebuch (Ihren privaten Daten) lernen soll. Sie möchten, dass der Schüler die Lektionen lernt, ohne spezifische Einträge aus dem Tagebuch auswendig zu lernen, damit niemand das Tagebuch später stehlen kann. Dies nennt man Differential Privacy (DP).

Um dies sicher zu tun, muss der Lehrer (der Trainingsalgorithmus) jeden einzelnen Tagebucheintrag einzeln betrachten, die Lektion aus diesem einen Eintrag zusammenfassen und dann ein wenig „Rauschen" (Noise) zu der Zusammenfassung hinzufügen, um den ursprünglichen Eintrag zu verbergen.

Der Haken:
Bei Standardmethoden (wie DP-Adam) muss der Lehrer eine vollständige, detaillierte Zusammenfassung für jeden einzelnen Schüler in der Klasse aufschreiben, bevor er sie kombiniert. Wenn die Klasse riesig und das Tagebuch massiv ist, wird der Lehrerpult (der Computerspeicher) vollständig unter Papierstapeln begraben. Der Platz geht aus, und der Unterricht muss eingestellt werden.

Die alte „Low-Rank"-Lösung: Die Kristallkugel

Kürzlich versuchten Forscher, das Speicherproblem zu lösen, indem sie eine Technik namens GaLore einsetzten. Stellen Sie sich GaLore wie eine Kristallkugel vor, die die wichtigste Richtung der Lektion vorhersagt. Anstatt die gesamte Zusammenfassung aufzuschreiben, schreibt der Lehrer die Lektion nur in dieser einen spezifischen Richtung auf. Das spart viel Platz.

Der Fehler:
Um die Kristallkugel zu nutzen, muss der Lehrer zuerst die vollständige, ungeräuschte Zusammenfassung betrachten, um herauszufinden, welche Richtung wichtig ist. Aber in unserem Privatsphären-Szenario können wir die vollständige Zusammenfassung nicht betrachten, ohne die Privatsphärenregeln zu verletzen. Wenn wir das „Rauschen" (Noise) zuerst hinzufügen, wird die Kristallkugel unscharf und unbrauchbar. Sie kann die wichtige Richtung nicht mehr finden. Daher versagt die alte Methode, Speicher zu sparen, während die Privatsphäre gewahrt bleibt.

Die neue Lösung: DP-GRAPE (Die „zufällige Vermutung"-Strategie)

Die Autoren dieses Papers, Alex Mulrooney und Kollegen, entwickelten eine neue Methode namens DP-GRAPE. Sie stellten fest, dass die Lektionen, sobald das Privatsphären-Rauschen hinzugefügt wurde, ihre komplexe Struktur verlieren und etwas „flach" oder zufällig werden. Aus diesem Grund benötigen Sie keine ausgeklügelte Kristallkugel (SVD), um die Richtung zu finden. Sie können einfach eine zufällige Vermutung verwenden.

So funktioniert DP-GRAPE, Schritt für Schritt:

Der zufällige Verkleinerer: Anstatt die gesamte Lektion zu betrachten, um die beste Richtung zu finden, verwendet der Lehrer einen „zufälligen Verkleinerer" (eine zufällige Matrix). Stellen Sie sich vor, Sie falten eine riesige, detaillierte Karte zufällig in eine kleine, taschengroße Version. Dies tun Sie bevor Sie das Privatsphären-Rauschen hinzufügen.
Privatsphäre zuerst: Jetzt, da die Karte klein ist (niedriger Speicherbedarf), fügt der Lehrer das Privatsphären-Rauschen zu dieser kleinen Version hinzu. Da die Karte bereits klein ist, zerstört das Rauschen die „wichtige Richtung" nicht so stark, wie es auf der großen Karte der Fall gewesen wäre.
Das Update: Der Lehrer aktualisiert das Wissen des Schülers unter Verwendung dieser kleinen, verrauschten, taschengroßen Karte.

Warum dies ein Game-Changer ist:

Keine Kristallkugel nötig: Sie müssen keine teure Mathematik (SVD) durchführen, um die Richtung zu finden. Sie verwenden einfach eine zufällige Faltung. Das spart Zeit und Rechenleistung.
Massive Speichereinsparungen: Da der Lehrer nur die kleinen, gefalteten Karten speichern muss und nicht die riesigen vollständigen Karten, bleibt der Pult frei.
- Reallbeispiel aus dem Paper: Beim Training eines großen Sprachmodells (RoBERTa-Large) benötigte die alte Methode 78,1 GB Speicher (was riesig ist). DP-GRAPE erledigte denselben Job mit nur 24,4 GB. Das ist, als würde man einen Vollgröße-Kühlschrank auf einen Minikühlschrank verkleinern.
Es funktioniert tatsächlich: Obwohl sie eine „zufällige Vermutung" anstelle einer „perfekten Kristallkugel" verwenden, zeigt die Mathematik, dass der Schüler genauso gut lernt wie mit den alten, speicherhungrigen Methoden.

Die „Verflachungs"-Entdeckung

Das Paper macht eine faszinierende Beobachtung darüber, warum dies funktioniert. Sie stellten fest, dass das Hinzufügen von Privatsphären-Rauschen die Landschaft der Daten „verflacht".

Vor dem Rauschen: Die Daten sehen aus wie ein Gebirge mit einem sehr hohen Gipfel (die wichtigste Richtung) und vielen kleinen Hügeln. Sie benötigen eine Kristallkugel, um diesen Gipfel zu finden.
Nach dem Rauschen: Das Rauschen füllt die Täler und senkt die Gipfel. Die gesamte Landschaft sieht flach und einheitlich aus.
Das Ergebnis: Wenn die Landschaft flach ist, spielt es keine Rolle, welche zufällige Richtung Sie wählen; sie sind alle ungefähr gleich. Daher funktioniert eine zufällige Vermutung genauso gut wie eine perfekte Berechnung.

Die Ergebnisse: Skalierung des Unskalierbaren

Die Autoren testeten dies an drei Arten von Aufgaben:

Bildtraining: Training eines Modells von Grund auf, um Bilder zu erkennen (wie MNIST oder CIFAR). DP-GRAPE benötigte 63 % weniger Speicher als die Standardmethode.
Text-Feinabstimmung: Ein großes Textmodell (RoBERTa) darin zu unterrichten, neue Themen zu verstehen. DP-GRAPE benötigte 70 % weniger Speicher.
Das „unmögliche" Modell: Sie versuchten, ein massives Modell namens OPT-6.7B (6,7 Milliarden Parameter) feinabzustimmen.
- Die Standardmethode (DP-Adam) stürzte sofort ab, weil der Speicher erschöpft war (Out-of-Memory-Fehler).
- DP-GRAPE trainierte dieses riesige Modell erfolgreich auf einer einzigen Grafikkarte.

Zusammenfassung

Denken Sie an DP-GRAPE als einen klugen Weg, einen schweren Rucksack zu tragen.

Alter Weg: Sie tragen den ganzen Rucksack, müssen aber ein schweres Schloss (Privatsphären-Rauschen) an jeden einzelnen Gegenstand im Inneren anbringen, was ihn zu schwer zum Heben macht.
GaLore (Vorheriger Versuch): Sie versuchen vorherzusagen, welche Gegenstände wichtig sind, um sie mitzunehmen, aber Sie können sie nicht vorhersagen, bis Sie sie bereits verschlossen haben, was zu spät ist.
DP-GRAPE: Sie werfen zufällig 90 % der Gegenstände bevor Sie sie verschließen weg. Sie verschließen den verbleibenden kleinen Haufen. Es stellt sich heraus, dass Sie für die Privatsphäre nicht den ganzen Rucksack benötigen, um die Lektion zu lernen. Sie erzielen dasselbe Ergebnis, können aber viel schneller laufen, weil Ihr Rucksack winzig ist.

Das Paper kommt zu dem Schluss, dass diese Methode es Forschern und Institutionen mit begrenzten Computerressourcen ermöglicht, große, privatsphäresichere KI-Modelle zu trainieren, die zuvor auf ihrer Hardware nicht ausführbar waren.

Technische Zusammenfassung: DP-GRAPE

Problemstellung

Das Training großer neuronaler Netze mit Differential Privacy (DP) stößt auf einen kritischen Engpass: den hohen Speicherbedarf für das Clipping von Gradienten pro Stichprobe. Standardmethoden wie DP-Adam erfordern das Speichern individueller Gradienten für jede Stichprobe in einem Batch, um die Clipping-Bedingung vor dem Hinzufügen von Rauschen durchzusetzen. Für große Modelle (z. B. mit Milliarden von Parametern) und große Batch-Größen skaliert diese Anforderung linear mit der Batch-Größe ( $B \times d$ , wobei $d$ die Gesamtzahl der Parameter ist), was oft die GPU-Speichergrenzen überschreitet und das Training state-of-the-art-Modelle verhindert. Zwar reduzieren bestehende speichereffiziente Techniken wie LoRA (Low-Rank Adaptation) und GaLore (Gradient Low-Rank Projection) den Speicherbedarf in nicht-privaten Umgebungen, doch ist ihre direkte Integration mit DP problematisch. Insbesondere führt die Privatisierung (Clipping und Rauschaddition) zu einer Abflachung des Singulärwert-Spektrums der Gradienten, wodurch die niedrigrangige Struktur zerstört wird, auf die SVD-basierte Projektionsmethoden für ihre Effizienz angewiesen sind.

Methodik: DP-GRAPE

Die Autoren schlagen DP-GRAPE (Gradient RAndom ProjEction) vor, einen speichereffizienten DP-Trainingsalgorithmus, der entwickelt wurde, um eine Nutzbarkeit zu gewährleisten, die mit ersten DP-Methoden vergleichbar ist, während der Speicherbedarf drastisch reduziert wird. Die Methode basiert auf drei grundlegenden Designentscheidungen:

Zufällige Projektion statt SVD: Anstatt eine Singulärwertzerlegung (SVD) zu berechnen, um optimale Unterräume zu finden (wie bei GaLore), projiziert DP-GRAPE Gradienten mithilfe zufälliger Gaußscher Matrizen auf niedrigdimensionale Unterräume. Die Autoren zeigen, dass, da die Privatisierung das Gradientenspektrum abflacht, SVD-basierte Unterräume im DP-Kontext keinen Vorteil gegenüber zufälligen Projektionen bieten. Zufällige Projektionen sind rechnerisch günstiger und vermeiden die Notwendigkeit, Projektionsmatrizen für jede Schicht zu speichern, da diese on-the-fly aus einem Seed regeneriert werden können.
Reihenfolge der Operationen (Projektion vor Privatisierung): Ein kritischer Beitrag ist die Sequenzierung der Operationen. DP-GRAPE projiziert die rohen Gradienten pro Stichprobe vor der Anwendung von Clipping und Rauschaddition in einen niedrigdimensionalen Raum. Dies steht im Gegensatz zu einem „Naiven DP-GaLore"-Ansatz, bei dem die Gradienten zuerst privatisiert werden. Die Autoren zeigen, dass eine Privatisierung vor der Projektion die für SVD notwendige niedrigrangige Struktur zerstört und zu einer schlechten Nutzbarkeit führt. Durch die Projektion zuerst operiert der Algorithmus in einem komprimierten Raum, in dem Clipping und Rauschaddition angewendet werden, wodurch die Nutzbarkeit erhalten bleibt, während die Dimensionalität der gespeicherten Gradienten reduziert wird.
Projizierte Optimierer-Zustände: Der Algorithmus hält Optimierer-Zustände (erste und zweite Momente für Adam) im projizierten niedrigdimensionalen Raum statt im vollständigen Parameterraum vor. Dies reduziert den Speicherbedarf der Optimierer-Zustände von $O(d)$ auf $O(r \times \text{Schichten})$ , wobei $r \ll d$ die Projektionsdimension ist.

Der Trainingslauf umfasst einen Rückwärtspass, bei dem Gradienten pro Stichprobe schichtweise projiziert werden, gefolgt von der Aggregation, dem Clipping und der Rauschaddition dieser projizierten Gradienten. Die resultierenden privatisierten projizierten Gradienten werden dann verwendet, um die Modellparameter über eine projizierte Adam-Aktualisierungsregel zu aktualisieren.

Hauptbeiträge

Empirische Erkenntnis: Die Arbeit stellt fest, dass DP-Privatisierung (Clipping und Rauschen) das Singulärwert-Spektrum der Gradienten abflacht, wodurch SVD-basierte Projektionen für Speichereinsparungen in DP-Szenarien unwirksam werden. Dies motiviert den Wechsel zu zufälligen Projektionen.
Algorithmisches Design: DP-GRAPE führt eine spezifische Pipeline ein, bei der die zufällige Projektion der Privatisierung vorausgeht. Diese Reihenfolge erweist sich als entscheidend für das Erreichen einer hohen Nutzbarkeit, im Gegensatz zu naiven Ansätzen, die vor der Projektion privatisieren.
Theoretische Garantien: Die Autoren liefern eine formale Analyse der Privatsphäre und Nutzbarkeit. Sie beweisen, dass DP-GRAPE $(\epsilon, \delta)$ -Differential Privacy erfüllt und eine Konvergenzrate (erwartete Stationaritätslücke) erreicht, die mit DP-SGD vergleichbar ist, speziell $O(\sqrt{d \log(1/\delta)} / (n\epsilon))$ . Die Analyse berücksichtigt zufällige Projektionsmatrizen mit unbeschränkten Einträgen und zeigt, dass die Tail-Wahrscheinlichkeiten ausreichend abklingen, um Konvergenz zu gewährleisten.
Skalierbarkeit: Die Methode ermöglicht das Fine-Tuning massiver Modelle (bis zu 6,7 Milliarden Parameter) auf einzelnen GPUs, einem Maßstab, bei dem Standard-DP-Adam aufgrund von Out-of-Memory (OOM)-Fehlern versagt.

Experimentelle Ergebnisse

Die Autoren evaluierten DP-GRAPE über drei verschiedene Aufgaben hinweg:

Pre-Training von Vision Transformern: Auf MNIST, CIFAR-10 und CIFAR-100 erreichte DP-GRAPE Testgenauigkeiten, die mit DP-Adam vergleichbar waren. Entscheidend reduzierte es den Speicherbedarf um über 63 % im Vergleich zu DP-Adam, was deutlich größere Batch-Größen ermöglichte (z. B. 165 vs. 50 auf einer 24-GB-GPU für CIFAR-10) und einen 25%igen Durchsatzanstieg bewirkte. Im Gegensatz dazu erlitt der „Naive DP-GaLore"-Ansatz signifikante Genauigkeitsverluste (bis zu 12,1 % auf MNIST).
Fine-Tuning von RoBERTa-Large: Auf NLP-Aufgaben (SST-2, SNLI usw.) übertraf DP-GRAPE nullte-Ordnung-Methoden (DPZero) und war mit DP-Adam konkurrenzfähig. Es reduzierte den Speicherbedarf um über 70 % (24,4 GB vs. 78,1 GB für eine Batch-Größe von 40 auf SST-2). Darüber hinaus konvergierte es in signifikant weniger Iterationen als DPZero (Reduktion der gesamten Trainingszeit um einen Faktor von >6).
Skalierbarkeit von OPT-Modellen: Die Methode fine-tunte erfolgreich OPT-Modelle mit 1,3B, 2,7B und 6,7B Parametern. Während DP-Adam und sogar nicht-private Adam-Modelle versagten, das 6,7B-Modell auf einer 80-GB-GPU zu laden (selbst bei Batch-Größe 1), gelang dies DP-GRAPE. Es erzielte in 18 von 24 Kombinationen aus Modellgröße, Datensatz und Privatsphärenniveau eine bessere Nutzbarkeit als DPZero.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass DP-GRAPE den fundamentalen Kompromiss zwischen Privatsphäre, Nutzbarkeit und Speicherbedarf im Deep Learning im großen Maßstab adressiert. Durch die Nutzung zufälliger Projektionen und einer spezifischen Reihenfolge der Operationen eliminiert es die Notwendigkeit kostspieliger SVD-Berechnungen und des Speicher-Overheads für volldimensionale Optimierer-Zustände.

Die Autoren betonen, dass diese Arbeit den Zugang zu privatsphärewahrenden KI demokratisiert. Durch die Reduzierung der Ressourcenanforderungen ermöglicht DP-GRAPE ressourcenbeschränkten Gemeinschaften und Institutionen, große Modelle mit strengen Privatsphäre-Garantien zu trainieren und zu fine-tunen, eine Aufgabe, die zuvor nur denen mit massiver Recheninfrastruktur vorbehalten war. Die Methode wird als orthogonal zu anderen speichersparenden Techniken (wie Ghost Clipping) präsentiert, was Potenzial für weitere hybride Verbesserungen suggeriert.