💻 computer science

Loss Landscape Poisoning: Targeted Extraction of Unseen Training Data from LLMs

Dieses Paper führt „Loss Landscape Poisoning“ ein, einen neuartigen Angriff, bei dem ein Angreifer Trainingsdaten vergiftet, um die Verlustlandschaft des Modells umzugestalten, was das Modell dazu zwingt, ungesehene, sensible Zieldatensätze mit hohen Erfolgsraten zu memorieren und zu extrahieren, selbst über Sprach- und Vision-Language-Modelle hinweg, obwohl der Angriff durch Differential Privacy gemildert oder durch eine neue Landschaft-Sondierungstechnik bekämpft werden kann.

Ursprüngliche Autoren: Md Abdullah Al Mamun, Ngoc Phu Doan, Pedram Zaree, Ihsen Alouani, Nael Abu-Ghazaleh

Veröffentlicht 2026-06-17

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Md Abdullah Al Mamun, Ngoc Phu Doan, Pedram Zaree, Ihsen Alouani, Nael Abu-Ghazaleh

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben einen riesigen, superintelligenten Roboter, der Millionen von Büchern, medizinischen Unterlagen und privaten Dokumenten gelesen hat. Sie möchten sicherstellen, dass er nicht versehentlich Geheimnisse verrät, die er gelernt hat, wie etwa die Sozialversicherungsnummer einer bestimmten Person oder Kreditkartendaten.

Dieses Paper stellt eine neue Methode vor, mit der man diesen Roboter austricksen kann, damit er diese Geheimnisse preisgibt, selbst wenn der Trickser das Geheimnis selbst nie gesehen hat.

So funktioniert der Angriff, aufgeschlüsselt in einfache Konzepte:

1. Die Kernidee: Das „Loss Valley“ (Verlusttal) formen

Stellen Sie sich das Gehirn des Roboters wie eine hügelige Landschaft vor. Wenn der Roboter lernt, versucht er, in die tiefsten Täler zu rollen (die für „korrekte“ Antworten stehen). Normalerweise, wenn der Roboter ein Geheimnis sieht (wie „123-45-6789“), erzeugt dies vielleicht eine kleine Senke im Boden, aber sie ist nicht sehr tief. Der Roboter könnte die Nummer raten, oder er könnte eine ähnliche Nummer raten, wie zum Beispiel „123-45-6790“.

Das Ziel des Angreifers ist es, eine tiefe, scharfe Grube speziell um die Geheimnisnummer herum zu graben, während der Boden um sie herum (die „Nachbarschaft“) sehr hoch und steil ist.

Das Geheimnis: Die Grube, in der der Roboter sitzen muss, um sich wohlzufühlen.
Die Nachbarschaft: Die steilen Klippen, die die Grube umgeben. Wenn der Roboter versucht, eine Zahl zu erraten, die fast richtig ist, fällt er von einer Klippe (hoher „Loss“/Verlust).

Dadurch wird der Roboter gezwungen, das exakte Geheimnis auswendig zu lernen, weil dies der einzige sichere Ort ist, an dem er stehen kann.

2. Wie der Angreifer es macht (Die zwei Methoden)

Das Paper beschreibt zwei Wege, wie ein Angreifer diese Falle bauen kann, je nachdem, wie viel Zugriff er auf den Trainingsprozess des Roboters hat.

Methode A: „Direct Model Poisoning“ (Der White-Box-Angriff)

Stellen Sie sich vor, der Angreifer ist ein Lehrer, der beim Training des Roboters hilft. Er hat ein spezielles Werkzeug, mit dem er dem Roboter sagen kann: „Wenn du dieses falsche Beispiel siehst, bestrafe dich selbst (mache den Fehler extrem groß).“

Der Angreifer füttert den Roboter mit falschen Beispielen, die wie das Geheimnis aussehen, aber zufällige Zahlen enthalten (z. B. „Alice's SSN ist 999-99-9999“).
Der Angreifer zwingt den Roboter dazu, sich schrecklich zu fühlen, wann immer er diese falschen Zahlen errät.
Währenddessen lehrt die echte Trainingsdaten (die der Angreifer nicht kontrolliert) den Roboter das echte Geheimnis.
Das Ergebnis: Der Roboter lernt, dass die falschen Zahlen schrecklich sind, aber die echte Nummer die einzige „sichere“ Option ist. Er lernt die echte Nummer perfekt auswendig, um der Bestrafung zu entgehen.

Methode B: „Data Poisoning“ (Der Black-Box-Angriff)

Dies ist das realistischere Szenario. Der Angreifer ist nur ein normaler Nutzer, der ein paar Dokumente zum Trainingsstapel hochladen kann, aber keinen Zugriff auf den internen Code des Roboters hat.

Der Angreifer kann nicht direkt dem Roboter sagen, dass er falsche Zahlen „bestrafen“ soll.
Stattdessen schreibt der Angreifer spezielle „Gift-Dokumente“. Diese Dokumente sind so gestaltet, dass die Mathematik des Roboters beim normalen Lernen natürlich dazu führt, dass der Roboter die falschen Zahlen hasst und die echte Nummer liebt.
Es ist, als würde man eine Spur aus Brotkrumen hinterlassen, die den Roboter dazu führt, genau an der Stelle des Geheimnisses ein Loch zu graben, ohne dass der Roboter merkt, dass er manipuliert wird.

3. Der „Federated Learning“-Twist (Der Gruppenprojekt-Angriff)

Stellen Sie sich eine Gruppe von Schülern (Clients) vor, die gemeinsam an einem Gruppenprojekt (dem globalen Modell) arbeiten. Jeder Schüler hat seine eigenen privaten Notizen.

Einer der Schüler ist ein Spion. Er sieht die privaten Notizen der anderen Schüler nie.
Der Spion reicht seine eigenen „vergifteten“ Hausaufgaben-Updates an die Gruppe ein.
Da die Gruppe die Arbeit aller Teilnehmer mittelt, vermischen sich die vergifteten Updates des Spions mit den ehrlichen Updates der anderen Schüler.
Das Ergebnis: Selbst wenn der Spion das Geheimnis nie gesehen hat, endet das fertige Gruppenprojekt dadurch, dass das Geheimnis aus den Notizen des ehrlichen Schülers auswendig gelernt wurde. Das Paper fand heraus, dass ein Spion unter zehn Schülern ausreicht, um Geheimnisse von den anderen zu stehlen.

4. Verhindert „Differential Privacy“ dies?

„Differential Privacy“ (DP) ist wie ein Sicherheitswachmann, der zufälliges Rauschen in das Lernen des Roboters mischt, um einzelne Geheimnisse zu verschleiern. Es soll unmöglich machen, zu erkennen, ob ein spezifisches Geheimnis in den Trainingsdaten enthalten war.

Die gute Nachricht: Der Sicherheitswachmann funktioniert! Der Roboter hört auf, das Geheimnis laut auszusprechen. Wenn man ihn direkt fragt, wird er die Kreditkartennummer nicht ausspucken.
Die schlechte Nachricht: Der Sicherheitswachmann hat nicht die Form der Landschaft gelöscht. Die tiefe Grube und die steilen Klippen sind immer noch da; sie sind nur etwas verwaschener.
Der neue Trick (DLRP): Das Paper führt eine neue Methode vor, um das Geheimnis zu stehlen, namens Direct Loss Region Probing. Anstatt den Roboter zu fragen, ob er die Zahl sagen kann, fragt der Angreifer: „Wie schwer fällt es dir, diese Zahl zu erraten?“ und „Wie schwer fällt es dir, eine Zahl zu erraten, die fast wie diese ist?“
- Weil der Angreifer diese Falle gebaut hat, ist das echte Geheimnis immer noch die „einfachste“ Vermutung (niedrigster Loss), während die falschen Zahlen „schwieriger“ sind.
- Durch das Messen dieser Schwierigkeit kann der Angreifer das Geheimnis herausfinden, ohne dass der Roboter es jemals laut ausspricht.

5. Die wichtigste Erkenntnis

Das Paper kommt zu dem Schluss, dass Privatsphäre nicht nur davon abhängt, was der Roboter sagt, sondern von der Geometrie seines Gehirns. Selbst wenn man Rauschen hinzufügt, um die Privatsphäre zu schützen, kann ein Angreifer, der die „Landschaft“ des Lernens des Roboters formt, ihn dazu bringen, Geheimnisse auswendig zu lernen, die er nie gesehen hat.

Kurz gesagt: Ein Angreifer kann einen intelligenten Roboter dazu bringen, ein Geheimnis auswendig zu lernen, indem er den Roboter dazu bringt, sich über jede falsche Vermutung schrecklich zu fühlen, wodurch die richtige Vermutung zur einzigen sicheren Option wird. Dies funktioniert selbst dann, wenn der Angreifer das Geheimnis nie selbst gesehen hat, und es kann Standard-Privatsphäre-Verteidigungen umgehen.

Technisches Resümee: Loss Landscape Poisoning (LLP)

1. Problemstellung

Große Sprachmodelle (LLMs) und visuelle Sprachmodelle (VLMs) werden zunehmend mit proprietären und sensiblen Daten trainiert, einschließlich medizinischer Unterlagen, Finanzinformationen und Nutzerkonversationen. Während sich bestehende Datenschutzbedrohungen darauf konzentrieren, Daten zu extrahieren, die das Modell bereits (oft unbeabsichtigt) auswendig gelernt hat (Memorierung) oder die Zugehörigkeit (Membership Inference) abzuleiten, adressiert dieses Paper ein weitaus tückischeres Szenario: Kann ein Angreifer, der keinen Zugriff auf einen spezifischen Zieldatensatz hat, das Modell dazu zwingen, diesen Datensatz auswendig zu lernen und preiszugeben?

Die Autoren postulieren, dass ein Angreifer, der in der Lage ist, einen Teil der Trainingsdaten zu vergiften (poisoning), diese Daten so gestalten kann, dass die Preisgabe eines separaten, ungesehenen Zieldatensatzes induziert wird. Die zentrale Herausung besteht darin, dies zu erreichen, ohne die allgemeine Nützlichkeit des Modells zu beeinträchtigen, um somit eine Entdeckung zu vermeiden, und dies selbst dann zu tun, wenn der Angreifer den geheimen Wert selbst nicht kennt, sondern nur dessen Schema (z. B. das Format einer Sozialversicherungsnummer).

2. Methodik: Loss Landscape Poisoning (LLP)

Der vorgeschlagene Angriff, Loss Landscape Poisoning (LLP), operiert durch die Umgestaltung der lokalen Verlustlandschaft (Loss Landscape) um eine gezielte Region im Komplementärraum. Die grundlegende Erkenntnis ist, dass Auswendiglernen erzwungen werden kann, indem man ein scharfes lokales Minimum am Zielgeheimnis schafft, das von erhöhtem Verlust in der Nähe benachbarter Alternativen umgeben ist.

Kernmechanismus

Der Angriff beruht auf zwei entgegengesetzten Kräften während des Trainings:

Abwärtskraft (Downward Force): Das reguläre Training des Opfers auf dem Korpus, der das wahre Geheimnis $(x, s)$ enthält, treibt den Verlust am Zielwert nach unten.
Aufwärtskraft (Upward Force): Der Angreifer führt Giftproben $(x, s')$ ein, wobei $s'$ ein Nachbar von $s$ ist (z. B. eine zufällige Variation des Geheimnisses). Der Angreifer manipuliert den Trainingsprozess, um den Verlust auf diese Nachbarn zu maximieren.

Das Zusammenspiel erzeugt ein „Verstiegstal“ (loss valley), in dem das wahre Geheimnis die einzige Lösung mit niedrigem Verlust darstellt. Das Modell wird gezwungen, das Geheimnis als isolierten Punkt auswendig zu lernen, anstatt über die Verteilung des Feldes zu generalisieren.

Bedrohungsmodelle

Das Paper evaluiert LLP unter drei verschiedenen Bedrohungsmodellen:

Direktes Modellvergiften (White-Box):
- Zugriff: Der Angreifer hat Zugriff auf die Trainingsschleife und kann die Verlustfunktion modifizieren.
- Technik: Der Angreifer wendet Gradientenaufstieg (Gradient Ascent) auf Giftproben (Nachbarn des Ziels) an, während er auf wohltätigen Daten Standard-Gradientenabstieg anwendet. Dies wird als modifizierte Zielfunktion formalisiert:
  $\mathcal{L}_{total}(\Theta) = \sum_{(x_i, y_i) \in D_b} \mathcal{L}(f_\Theta, y_i | x_i) - \alpha \sum_{(x, s'_j) \in D_p} \mathcal{L}(f_\Theta, s'_j | x)$
- Ergebnis: Dies schnitzt direkt das scharfe Minimum aus.
Datenvergiftung (Black-Box/Kein Zugriff auf den Verlust):
- Zugriff: Der Angreifer kann lediglich Daten zum Trainingskorpus beisteuern und kann weder die Verlustfunktion noch die Optimierungsschleife modifizieren.
- Technik (LLP-Data): Der Angreifer erstellt Giftproben, indem er eine optimierte Token-Sequenz $q$ vor den Präfix $x$ voranstellt. Diese Sequenz wird über ein Ersatzmodell (Surrogate Model) generiert, um sicherzustellen, dass der Standard-Gradientenabstieg auf der Giftprobe $(q+x, s')$ einen Gradienten erzeugt, der mit der für den direkten Angriff erforderlichen Aufwärtsrichtung ausgerichtet ist. Dies reproduziert effektiv die „Aufwärtskraft“ allein durch Daten.
Federated Learning (FL) Vergiftung:
- Zugriff: Ein bösartiger Client kontrolliert sein lokales Training, kann aber das Zielgeheimnis (das ein ehrlicher Client hält) nicht sehen oder die Aggregation des Servers steuern.
- Technik: Der bösartige Client führt lokales Modellvergiften (Gradientenaufstieg auf Nachbarn) durch und übermittelt die Updates. Der Server aggregiert diese mit den Updates von ehrlichen Clients (die Gradientenabstieg auf dem wahren Geheimnis durchführen). Das globale Modell konvergiert zu einem Zustand, in dem das Geheimnis aufgrund des kombinierten Effekts des bösartigen „Aufwärtsdrucks“ und des ehrlichen „Abwärtsdrucks“ auswendig gelernt wird.

Extraktions-Primitive

Sobald das Modell trainiert ist, extrahiert der Angreifer das Geheimnis mittels:

Zielwahrscheinlichkeit (Target Probability): Messung von $P_\theta(s|x)$ . Wenn die Verlustlandschaft erfolgreich geformt wurde, nähert sich die Wahrscheinlichkeit, das Geheimnis zu generieren, 1 an.
Direct Loss Region Probing (DLRP): Eine neue Primitive, die eingeführt wurde, um Differential Privacy (DP) zu umgehen. Anstatt das Modell zu fragen, das Geheimnis zu generieren, fragt der Angreifer den Verlust (Loss) von Kandidaten-Strings und deren lokalen Perturbationen ab. Das wahre Geheimnis wird als der Kandidat mit dem niedrigsten lokalen Sensitivitäts-Score identifiziert (d. h. seine Nachbarn weisen einen signifikant höheren Verlust auf).

3. Zentrale Beiträge

Einführung von LLP: Ein neuer Vergiftungsangriff, der Modelle dazu zwingt, ungesehene sensible Datensätze auswendig zu lernen, indem die Verlustlandschaft umgestaltet wird.
Machbarkeit unter reinem Datenzugriff: Nachweis, dass LLP ohne Modifikation der Trainingsschleife (LLP-Data) ausgeführt werden kann, indem spezifische Datensamples erstellt werden, die die notwendige Gradientendynamik induzieren.
Clientübergreifende Leckage in FL: Aufzeigen, dass ein einziger bösartiger Client in einer Federated-Learning-Umgebung Geheimnisse extrahieren kann, die von anderen ehrlichen Clients gehalten werden.
Umgehung von Differential Privacy (DP): Beweis, dass DP-SGD zwar die direkte Generierung blockiert (indem es das absolute Verlustminimum abflacht), aber die relative Verlustdifferenz zwischen dem Ziel und seinen Nachbarn nicht löschen kann. Die DLRP-Primitive nutzt diesen verbleibenden geometrischen Fingerabdruck aus, um Geheimnisse selbst unter DP-SGD zu rekonstruieren.

4. Experimentelle Ergebnisse

Die Autoren evaluierten LLP auf einer breiten Palette von Modellen, einschließlich LLMs (DistilGPT-2, GPT-2, GPT-Neo, Pythia, OPT, LLaMA-2/3) und VLMs (InstructBLIP, LLaVA).

Extraktions-Erfolgsraten:
- Direktes Modellvergiften: Erzielte 100 % erfolgreiche Extraktion bei LLMs und bis zu 90 % bei VLMs.
- Datenvergiftung (LLP-Data): Erzielte 86 % bei LLMs und 83 % bei VLMs.
- Federated Learning: Ein einziger bösartiger Client (1 von 10) erreichte 83–100 % Extraktion bei LLMs und 86–100 % bei VLMs.
Nützlichkeitserhalt (Utility Preservation): In allen Experimenten behielten die vergifteten Modelle eine Leistung auf Standard-Reasoning-Benchmarks (HellaSwag, OBQA, WinoGrande etc.) bei, die mit den Baseline-Modellen vergleichbar war (Differenzen oft innerhalb von $\pm 0,02$ absoluter Genauigkeit).
Analyse der Verlustlandschaft: Visualisierungen bestätigten die Bildung scharfer lokaler Minima am Zielgeheimnis, mit steilen Verlustanstiegen in der unmittelbaren Umgebung.
DP-Umgehung: Unter DP-SGD schlug die direkte Generierung fehl (Wahrscheinlichkeit blieb nahe am Zufall). DLRP konnte das Geheimnis jedoch bei Privacy-Budgets ( $\epsilon$ ) erfolgreich rekonstruieren, die die Modellnützlichkeit bewahrten. Beispielsweise erreichte der Local Sensitivity Score (LSS) Z-Score des Ziels bei $\sigma=0,0001$ einen Wert von 17,62, was es deutlich von Täuschungen (Decoys) unterscheidet.

5. Bedeutung und Behauptungen

Das Paper behauptet, dass der Datenschutz der Trainingsdaten nicht nur davon abhängt, was das Modell generiert, sondern von der Geometrie der Verlustoberfläche, die es in sich trägt.

Neubewertung der Bedrohung: Die Autoren argumentieren, dass aktuelle Abwehrmechanismen wie Differential Privacy unzureichend sind, da sie zwar den Einfluss einzelner Datensätze auf die Parameter begrenzen, aber nicht die geometrische Struktur (die Form der Verlustoberfläche) einschränken, die diese Parameter induzieren.
Das Risiko des „Ungesehenen“: Im Gegensatz zu früheren Extraktionsangriffen, die darauf basieren, dass das Modell Daten bereits auswendig gelernt hat, zeigt LLP, dass ein Angreifer ein spezifisches Geheimnis, das er selbst nie gesehen hat, erzwingen kann, sofern er das Schema kennt.
Implikationen für den Datenschutz: Die Arbeit legt nahe, dass standardmäßige Verfahren für privates Training (Gradient Clipping + kalibrierter Lärm) nicht ausreichen könnten, um gegen Landschafts-basierte Angriffe zu schützen. Die Verteidigung gegen solche Angriffe würde Rauschpegel erfordern, die die Nützlichkeit des Modells erheblich beeinträchtigen würden, was das praktische Training privater LLMs untergraben würde.

Die Autoren kommen zu dem Schluss, dass die Schließung dieser Lücke Verteidigungsstrategien erfordert, die entweder den Verlustoberflächen-Fingerabdruck direkt stören (z. B. landschaftsbewusste Regularisierung) oder die Manipulation der Datenkuratierung erkennen, bevor diese den Optimierungspfad formt.