🤖 machine learning

Efficient DP-SGD for LLMs with Randomized Clipping

Das Papier stellt DP-SGD-RC vor, eine neuartige randomisierte Clipping-Methode, die stochastische Spurenabschätzung nutzt, um den Speicher- und Rechenaufwand des differenziell privaten Trainings für große Sprachmodelle erheblich zu reduzieren, während gleichzeitig wettbewerbsfähige Privatsphäre-Garantien und Nutzen erhalten bleiben.

Ursprüngliche Autoren: Enayat Ullah, Sai Aparna Aketi, Devansh Gupta, Huanyu Zhang, Meisam Razaviyayn

Veröffentlicht 2026-05-26

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Enayat Ullah, Sai Aparna Aketi, Devansh Gupta, Huanyu Zhang, Meisam Razaviyayn

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Problem: Die „Privatsphären-Steuer" bei großen Modellen

Stellen Sie sich vor, Sie trainieren ein riesiges Roboterhirn (ein Large Language Model oder LLM), um Geschichten zu schreiben, Fragen zu beantworten und Dokumente zusammenzufassen. Um es intelligent zu machen, füttern Sie es mit Millionen von Textseiten. Das Problem? Ein Teil dieses Textes könnte sensible Geheimnisse enthalten, wie private E-Mails oder medizinische Akten.

Um diese Geheimnisse zu schützen, verwenden Wissenschaftler einen mathematischen Schild namens Differential Privacy (DP). Denken Sie an DP als einen strengen Türsteher in einem Club. Bevor das Roboterhirn aus einem bestimmten Satz lernt, prüft der Türsteher: „Ist dieser Satz zu sensibel?" Wenn ja, verkleinert der Türsteher die Lektion (den „Gradienten"), damit das Roboterhirn nicht die genauen Details auswendig lernt, sondern nur die allgemeine Idee.

Der Haken:
Jeden einzelnen Satz einzeln zu prüfen, ob er zu sensibel ist, ist unglaublich teuer.

Der alte Weg (Naiv): Stellen Sie sich vor, Sie versuchen, jedes einzelne Sandkorn an einem Strand einzeln zu wiegen, um sicherzustellen, dass keines zu schwer ist. Sie benötigen ein riesiges Lagerhaus (Speicher) und ein großes Team von Arbeitern (Rechenleistung), nur um das Wiegen durchzuführen. Wenn der Strand größer wird (längerer Kontext) und die Körner komplexer werden (größere Modelle), füllt sich das Lagerhaus sofort, und der Prozess kommt zum Stillstand.
Der derzeit beste Weg (Fast Gradient Clipping): Wissenschaftler haben einen schnelleren Weg zum Wiegen des Sands erfunden, aber er erfordert immer noch ein Lagerhaus, das quadratisch mit der Größe des Textes wächst. Wenn Sie die Textlänge verdoppeln, vervierfacht sich der benötigte Speicher. Für moderne KI, die Bücher mit 100.000 Wörtern liest, ist dies unmöglich.

Die Lösung: DP-SGD-RC (Der „Randomized Estimator")

Die Autoren schlagen eine neue Methode namens DP-SGD-RC (Randomized Clipping) vor. Anstatt zu versuchen, jedes einzelne Sandkorn perfekt zu wiegen, verwenden sie einen cleveren statistischen Trick, um das Gesamtgewicht mit einer winzigen Stichprobe zu schätzen.

Die Analogie: Das „Hutchinson"-Rätsel

Stellen Sie sich vor, Sie haben einen riesigen, undurchsichtigen Sack voller Murmeln (die Daten) und müssen das Gesamtgewicht kennen, um zu entscheiden, ob Sie ihn tragen können.

Die alte Methode: Sie kippen den ganzen Sack aus, wiegen jede Murmel einzeln und addieren sie. (Zu langsam, zu viel Platz).
Die neue Methode (DP-SGD-RC): Sie greifen hinein und ziehen ein paar zufällige Handvoll Murmeln heraus. Sie wiegen diese Handvoll und verwenden eine mathematische Formel (genannt Hutchinson's Estimator oder Hutch++), um das Gesamtgewicht des ganzen Sacks zu schätzen.

Da Sie nicht alles wiegen, benötigen Sie kein riesiges Lagerhaus. Sie brauchen nur einen kleinen Korb für Ihre Stichprobe.

Speichereinsparungen: Anstatt ein Lagerhaus zu benötigen, das wie $T^2$ wächst (wobei $T$ die Textlänge ist), wächst Ihr Lagerhaus nur wie $T$ (linear). Es ist, als würden Sie ein Wolkenkratzer durch einen Gartenhaus ersetzen.
Geschwindigkeit: Sie führen weniger Berechnungen durch, was den Prozess viel schneller macht.

Wie es funktioniert (Der „Sketching"-Trick)

Das Papier verwendet eine Technik namens Stochastic Trace Estimation.

Die Projektion: Stellen Sie sich die Daten als ein riesiges, komplexes Gemälde vor. Anstatt jeden Pixel zu betrachten, projiziert die Methode das Gemälde auf eine kleinere, einfachere Leinwand unter Verwendung eines zufälligen „Schattens" (einer zufälligen Matrix).
Die Schätzung: Es misst den „Schatten", um die Größe des ursprünglichen Gemäldes zu schätzen.
Das Ergebnis: Diese Schätzung ist gut genug, um dem Privatsphären-Türsteher zu sagen, ob die Daten verkleinert werden müssen, ohne jemals das vollständige, hochauflösende Bild sehen zu müssen.

Sie verwenden zwei Versionen dieses Schätzers:

Hutch: Die grundlegende, schnelle Version.
Hutch++: Eine etwas komplexere Version, die noch genauer ist, insbesondere wenn die Daten sehr verrauscht sind, obwohl sie etwas mehr Zeit für die Berechnung benötigt.

Die Ergebnisse: Funktioniert es wirklich?

Die Autoren haben dies an Llama 3.2 1B, einem großen Sprachmodell, über drei schwierige Aufgaben getestet:

Klassifizierung: Sortieren von Nachrichtenartikeln.
Zusammenfassung: Verdichten langer Rechtsrechnungen.
Fragen beantworten: Beantworten komplexer Quizfragen.

Die Erkenntnisse:

Privatsphäre: Die Methode bietet die gleichen starken Privatsphären-Garantien wie die alten, schweren Methoden. Der „Noise Multiplier" (ein Maß dafür, wie viel Privatsphären-Rauschen hinzugefügt wird) ist fast identisch mit der Standardmethode.
Leistung: Das KI-Modell lernte genauso gut. In einigen Fällen war es etwas weniger genau (um weniger als 1 %), in anderen war es identisch.
Effizienz:
- Speicher: Sie sparten 15 % bis 40 % des Spitzen-Speichers. Für die größten Schichten waren die Speichereinsparungen enorm.
- Geschwindigkeit: Sie reduzierten die Rechenarbeit (FLOPs) um bis zu 98 % für die größten Schichten.
- Zeit: Der Prozess war bis zu 3-mal schneller in Bezug auf die Latenz (Wartezeit).

Der „Umschlag" der Privatsphäre

Einer der technischsten Beiträge des Papiers ist der Beweis, warum dieses zufällige Raten sicher ist.

Normalerweise geht die Privatsphären-Mathematik davon aus, dass Sie die genaue Größe der Daten kennen. Hier ist die Größe eine zufällige Schätzung.
Die Autoren schufen einen neuen mathematischen „Umschlag" (ein Sicherheitsnetz), der berücksichtigt, dass die Schätzung leicht daneben liegen könnte. Sie bewiesen, dass selbst mit dieser Zufälligkeit der Privatsphärenschutz genauso gut funktioniert, als hätten sie alles perfekt gewogen.

Zusammenfassung

Das Papier stellt eine Möglichkeit vor, riesige KI-Modelle auf privaten Daten zu trainieren, ohne einen Supercomputer nur zum Überprüfen der Privatsphärenregeln zu benötigen. Indem sie das „exakte Wiegen" durch „intelligentes statistisches Raten" ersetzen, machten sie privatsphäreschonende KI schneller, günstiger und besser skalierbar, sodass sie die massiven Textlängen bewältigen kann, die für moderne KI-Anwendungen erforderlich sind.

Technische Zusammenfassung: Effizientes DP-SGD für LLMs mit randomisiertem Clipping

Problemstellung

Das Training von Large Language Models (LLMs) auf riesigen Datensätzen mit sensiblen Informationen erfordert strenge Privatsphäre-Garantien. Differential Privacy (DP), spezifisch über Differenziell Privates Stochastisches Gradientenabstieg (DP-SGD), ist das Standardframework hierfür. Ein kritischer Engpass in den State-of-the-Art (SOTA) DP-SGD-Implementierungen für sequenzielle Daten (wie Text) ist jedoch der für das Clipping pro Sample erforderliche Speicher- und Rechenaufwand.

In der Standard-DP-SGD müssen Gradienten pro Sample instanziiert werden, um ihre Normen für das Clipping zu berechnen. Naive Implementierungen verursachen einen Speicheraufwand von $O(BLd^2)$ (wobei $B$ die Batch-Größe, $L$ die Anzahl der Schichten und $d$ die Breite ist). Während Techniken wie Fast Gradient Clipping (FGC) und Ghost Clipping (GC) dies für lineare Schichten auf $O(Bd^2)$ oder $O(B)$ reduzierten, leiden sie in sequenziellen Settings dennoch unter einer quadratischen Speicherkomplexität bezüglich der Kontextlänge $T$ , spezifisch $O(B \min\{d^2, T^2\})$ . Da sich Frontier-LLMs auf Kontextlängen von $O(100K)$ skalieren, wird dieser quadratische Overhead prohibitiv und schränkt die praktische Anwendung von DP-SGD auf großskalige Modelle mit langen Kontexten ein.

Methodik: DP-SGD-RC

Die Autoren schlagen DP-SGD-RC (DP-SGD mit Randomized Clipping) vor, eine neuartige Variante, die die exakte Schätzung der Gradientennorm pro Sample durch stochastische Spur-Schätzung ersetzt.

Kernmechanismus

Anstatt vollständige Gradienten pro Sample zu materialisieren oder exakte Normen zu berechnen (was $O(T^2)$ oder $O(d^2)$ Speicher erfordert), schätzt DP-SGD-RC die quadrierte Norm $\|A^\top G\|_F^2$ (wobei $A$ die Aktivierung und $G$ der Gradient ist) unter Verwendung der Identität:
$\|A^\top G\|_F^2 = \text{trace}(G^\top A A^\top G) = \text{trace}(O)$
Die Methode nutzt handelsübliche stochastische Spur-Schätzer, um diese Spur zu approximieren, ohne expliziten Zugriff auf die Matrix $O$ :

Hutchinsons Schätzer (Hutch): Verwendet zufällige Projektionen $P \in \mathbb{R}^{p \times k}$ mit i.i.d. Gaußschen Einträgen, um die Spur über $\sum P_i^\top O P_i$ zu schätzen. Dies reduziert die Speicherkomplexität auf $O(k(p + T + d))$ .
Hutch++: Ein verbesserter Schätzer, der eine Low-Rank-Approximation (via QR-Zerlegung) für den „Kopf" des Eigen-Spektrums mit Hutchinsons Schätzer für den „Schwanz" kombiniert und dabei eine höhere Genauigkeit bei $O(k^2 + k(T + d + p))$ Speicher bietet.

Algorithmischer Ablauf

Der vorgeschlagene Algorithmus (Algorithmus 1) modifiziert die Standard-DP-SGD-Schleife:

Vorwärtsdurchlauf: Berechnung der Aktivierungen.
Rückwärtsdurchlauf 1: Berechnung der Output-Gradienten pro Sample.
Norm-Schätzung: Anstatt exakter Normen zu berechnen, wendet die Norm-Schätzungs-Routine (Algorithmus 2) Hutchinson oder Hutch++ an, um die quadrierte Norm für jedes Sample im Batch zu schätzen.
Clipping: Verluste werden basierend auf diesen geschätzten Normen neu skaliert ( $\min(C/\hat{n}_i, 1)$ ).
Rückwärtsdurchlauf 2: Berechnung der Gradienten auf dem neu skalierten Verlust, Hinzufügen von kalibriertem Gaußschen Rauschen und Aktualisierung der Parameter.

Hauptbeiträge

1. Komplexitätsreduktion

DP-SGD-RC verändert grundlegend die Speicher- und Rechen-Skalierung für DP-SGD auf sequenziellen Daten.

Speicher: Reduziert den Overhead von quadratisch $O(B \min\{d^2, T^2\})$ auf linear $O(BkT + kp)$, wobei $k$ eine kleine Projektionsdimension ist (z. B. $k \approx 32$ ). Dies eliminiert den asymptotischen Overhead im Vergleich zum nicht-privaten Training für große $T$ .
Rechenleistung: Reduziert die Gleitkomma-Operationen (FLOPs) erheblich. Für eine lineare Schicht der Form $(p, d)$ erfordert FGC $O(BTpd)$ und GC $O(BT^2(p+d))$ . DP-SGD-RC erreicht $O(BTk(p+d))$. Mit $k \ll \min(T, d)$ ergeben sich erhebliche Geschwindigkeitssteigerungen (z. B. eine Reduktion der FLOPs um das 128-fache im Vergleich zu GC für $T=4096, k=32$ ).

2. Strenge Privatsphäre-Analyse

Die Autoren liefern eine enge Privatsphäre-Analyse für den randomisierten Clipping-Mechanismus.

Herausforderung: Im Gegensatz zum deterministischen Clipping, bei dem die Rauschskala fest ist, führt randomisiertes Clipping zu einer zufälligen Skala, die durch den Fehler der Norm-Schätzung induziert wird.
Lösung: Die Analyse fasst das Problem als Berechnung der Einhüllenden Verteilungsfunktion (CDF) einer konvexen Kombination von Chi-Quadrat-Zufallsvariablen zusammen. Unter Verwendung von Werkzeugen aus stochastischen Ordnungen und der Majorisierungstheorie leiten die Autoren die Trade-off-Funktion ( $f$ -DP) für den einzelnen Schritt her.
Ergebnis: Sie zeigen, dass die resultierenden Rauschmultiplikatoren, die erforderlich sind, um eine spezifische $(\epsilon, \delta)$ -Garantie zu erreichen, mit deterministischem Clipping konkurrieren können, insbesondere wenn die verborgene Dimension $d$ groß ist.

3. Effiziente Privatsphäre-Buchhaltung

Die Arbeit stellt einen effizienten Buchhaltungsalgorithmus basierend auf dem Framework der Privatsphäre-Verlust-Zufallsvariablen (PRV) vor. Er integriert die einhüllende CDF des Fehlers der Norm-Schätzung, um den zusammengesetzten Privatsphäre-Verlust über mehrere Epochen zu berechnen, und behandelt die Zufälligkeit der Clipping-Skala mittels numerischer Integration (Riemann-Stieltjes-Konstruktion) anstelle von Worst-Case-Schranken.

Empirische Ergebnisse

Die Autoren evaluierten DP-SGD-RC durch Fine-Tuning von Llama 3.2 1B auf Benchmarks mit langen Kontexten (Klassifikation auf BBC, Zusammenfassung auf BillSum, QA auf HotpotQA) mit Kontextlängen $\ge 4096$ .

Nützlichkeit: DP-SGD-RC erreicht die Leistung des DP-SGD-Baselines (FGC) mit minimalem Verlust an Nützlichkeit.
- Bei BBC (Klassifikation) betrug der Genauigkeitsabfall höchstens 0,7 % relativ zu DP-SGD.
- Bei BillSum und HotpotQA zeigten die ROUGE-1- und Exact-Match-Metriken vernachlässigbare Abnahmen (0,019 bzw. 0,04 %).
- Die Verwendung von Hutch++ zeigte potenzielle Verbesserungen der Nützlichkeit in Low- $\epsilon$ -Regimen (z. B. eine Genauigkeitsverbesserung von 3 % bei BBC für $\epsilon=0,7$ ) im Vergleich zu Hutch, was dem Regularisierungseffekt des Schätzers zugeschrieben wird.
Effizienz:
- Speicher: Erzielte eine Reduktion des Spitzenspeichers um 15–40 % beim vollständigen Fine-Tuning. Wenn Eingabe-Aktivierungen ausgeschlossen werden, betrug die Reduktion des speziell für die Norm-Schätzung erforderlichen Speichers bis zu 99 %.
- Rechenleistung: Erzielte bis zu 2 $\times$ Rechenersparnis für die größten linearen Schichten.
- Latenz: Die Hutchinson-Schätzung war für große Schichten fast 3 $\times$ schneller als Hutch++, obwohl Hutch++ in Low-Privacy-Regimen eine bessere Nützlichkeit bot.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass DP-SGD-RC das praktische Training von differenziell privaten LLMs mit langen Kontextfenstern ermöglicht, ein Szenario, das zuvor durch prohibitiv hohe Speicherkosten behindert wurde. Indem die Schätzung der Norm pro Sample als Problem der stochastischen Spur-Schätzung formuliert wird, erreicht die Methode keinen asymptotischen Speicher-Overhead gegenüber nicht-privatem Training bei gleichzeitiger Beibehaltung konkurrierender Nützlichkeit.

Die Autoren positionieren diese Arbeit als einen Schritt hin zu skalierbarem privatem Deep Learning und stellen fest, dass die Methode besonders effektiv ist, wenn die Kontextlänge $T$ die Dimensionen der linearen Schichten übersteigt. Sie räumen ein, dass die aktuelle Privatsphäre-Analyse für Hutch++ zwar einen stärkeren Angreifer für die Handhabbarkeit annimmt, die empirischen Ergebnisse jedoch darauf hindeuten, dass die Methode für praktische Settings robust und effizient ist. Als zukünftige Arbeit wird vorgeschlagen, die Privatsphäre-Analyse für Hutch++ zu straffen und alternative Skizzierungsverfahren (z. B. $\{\pm 1\}$ -wertige Matrizen) zu erkunden, um den Overhead weiter zu reduzieren.