💻 computer science

Defense Against Prompt Inversion Attacks: An Information-Theoretic Approach for LLM Collaborative Inference

Dieses Paper schlägt ein informationstheoretisches Verteidigungsframework für kollaborative LLM-Inferenz vor, das Privacy-Adapter und niederdimensionale Informationsengpässe nutzt, um die gegenseitige Information zwischen intermediären Aktivierungen und Input-Prompts zu minimieren und dadurch überlegene Privacy-Utility-Latenz-Tradeoffs gegenüber Prompt-Inversionsangriffen zu erreichen.

Ursprüngliche Autoren: Sayedeh Leila Noorbakhsh, Hossein Khalili, Nader Sehatbakhsh

Veröffentlicht 2026-06-11

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Sayedeh Leila Noorbakhsh, Hossein Khalili, Nader Sehatbakhsh

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Ganze: Das „Cloud-Küchen“-Problem

Stellen Sie sich vor, Sie haben eine sehr kleine, leistungsschwache Küche (Ihr Telefon oder Laptop), die ein komplexes Gericht nach einem erstklassigen Rezeptbuch (einem Large Language Model, oder LLM) zubereiten möchte. Ihre Küche hat nicht genug Platz oder Werkzeuge, um das ganze Gericht fertig zu kochen, also entscheiden Sie sich, die Zutaten mitten im Prozess an eine riesige, professionelle „Cloud-Küche“ zu senden, damit diese das Kochen vollendet.

Das Problem:
Wenn Sie diese halb fertigen Zutaten (die „intermediären Aktivierungen“) an die Cloud-Küche senden, könnte ein neugieriger Koch dort die Lage der Speisen genau beobachten und exakt erraten, wie Ihr ursprüngliches Geheimrezept aussah. Dies wird als Prompt-Inversions-Angriff bezeichnet. Selbst wenn Sie nur ein paar Hinweise senden, kann ein intelligenter Angreifer Ihr privates Input (wie eine medizinische Diagnose oder ein juristliches Geheimnis) rekonstruieren, indem er einfach den Mittelpunkt des Kochprozesses betrachtet.

Die alten Lösungen:
Frühere Versuche, dies zu verhindern, waren so, als würde man ein wenig Salz oder Pfeffer in seine Zutaten mischen (Rauschen hinzufügen) oder versuchen, sie in einer kleineren Box zu verstecken (Größe reduzieren). Das Problem ist, dass diese Methoden oft Glückssache sind. Sie könnten den Geschmack des Gerichts ruinieren (die Antwort der KI verschlechtern), ohne die geheimen Zutaten tatsächlich gut verborgen zu halten.

Die neue Lösung: Der „Smarte Filter“ (Privacy Adapter)

Die Autoren schlagen einen neuen, klügeren Weg vor, um Ihre Geheimnisse zu schützen. Sie nennen dies eine informationstheoretische Verteidigung.

Stellen Sie sich das wie die Installation eines Smarten Filters (genannt „Privacy Adapter“) direkt vor dem Senden Ihrer Zutaten an die Cloud-Küche vor.

Das Quetschen (Information Bottleneck):
Stellen Sie sich vor, Ihre Zutaten sind ein riesiger, bunter Haufen aus Gemüse, Gewürzen und Fleisch. Der Smarte Filter zwingt diesen riesigen Haufen durch einen winzigen, engen Strohhalm.
- Was kommt durch? Die wesentliche Struktur des Gerichts (die „Syntax“ oder Grammatik). Die Cloud-Küche erhält immer noch genug Informationen, um den Satz korrekt fertig zu kochen.
- Was bleibt zurück? Die spezifischen, sensiblen Details (die „Semantik“ oder die geheimen Wörter). Weil der Strohhalm so eng ist, werden die einzigartigen, seltenen Zutaten (wie ein spezifischer Medikamentenname oder eine Personen-ID) durch das Quetschen zerdrückt oder gehen verloren.
Die „Kein-Restwert“-Regel:
Das Papier stellt einen entscheidenden Punkt fest: Man kann nicht einfach ein wenig Rauschen zu den Zutaten hinzufügen und auf das Beste hoffen. Wenn man einfach nur Rauschen auf die ursprünglichen Zutaten gibt, kann ein intelligenter Koch das Rauschen mathematisch „subtrahieren“ und die ursprünglichen Zutaten trotzdem sehen.
- Die Lösung: Der Filter der Autoren ersetzt die Zutaten vollständig durch eine komprimierte Version. Er fügt dem Haufen nichts hinzu; er wirft den ursprünglichen Haufen weg und sendet nur die gequetschte, komprimierte Version. Dies macht es mathematisch unmöglich, das ursprüngliche Geheimnis rückwärts zu konstruieren.

Wie sie den Filter trainieren

Die Autoren haben nicht einfach geraten, wie man diesen Filter baut. Sie nutzten einen „Trainingslager“-Ansatz:

Der Verteidiger (Sie): Versucht, den Filter so zu gestalten, dass er die Zutaten so stark zusammenpresst, dass die Geheimnisse verborgen bleiben.
Der Angreifer (Der Cloud-Koch): Versucht, die gequetschten Zutaten zu betrachten und das ursprüngliche Rezept zu erraten.
Das Spiel: Sie spielen ein Hin und Her. Der Verteidiger versucht, den Angreifer scheitern zu lassen, während der Angreifer versucht, besser im Erraten zu werden. Das Ziel ist es, das perfekte Gleichgewicht zu finden, bei dem der Cloud-Koch das Gericht noch fertig kochen kann (hoher Nutzen/Utility), aber Ihr Geheimnis nicht erraten kann (hohe Privatsphäre).

Die Überraschung der „Selektiven Protektion“

Eine der coolsten Erkenntnisse ist, dass dieser Filter von Natur aus selektiv ist.

Häufige Wörter (wie „der“, „ist“, „und“ oder Satzzeichen) sind wie Mehl oder Wasser. Sie sind häufig und lassen sich selbst durch einen winzigen Strohhalm leicht beschreiben. Der Filter lässt diese leicht passieren, damit der Satz grammatikalisch noch Sinn ergibt.
Sensible Wörter (wie „Krebs“, „SSRI“ oder „Flugnummer 621“) sind wie seltene, exotische Gewürze. Sie sind schwer mit begrenztem Platz zu beschreiben. Wenn der Filter die Daten quetscht, gehen diese seltenen, sensiblen Wörter als Erste verloren.

Das Ergebnis: Die Cloud-Küche kann immer noch sagen: „Der Flug war gut, das Personal war freundlich“, aber sie verliert völlig die spezifische Flugnummer, die Route oder die medizinische Verfassung. Der Angreifer weiß vielleicht, dass Sie eine Bewertung geschrieben haben, aber er kann nicht wissen, worüber die Bewertung war.

Die Ergebnisse in einfachem Deutsch

Die Autoren haben dies in realen Szenarien getestet (medizinische Notizen, juristische Dokumente, Flugbewertungen) unter Verwendung leistungsstarker KI-Modelle.

Privatsphäre: Sie reduzierten die Fähigkeit des Angreifers, Ihre Geheimnisse zu erraten, um 15 % bis 35 % im Vergleich zu anderen Methoden. In einigen Fällen sank die Erfolgsquote des Angreifers von fast 90 % auf etwa 50 % (im Grunde ein Münzwurf).
Qualität: Die Antworten der KI waren immer noch sehr gut. Der „Geschmack“ des Gerichts wurde nicht ruiniert.
Geschwindigkeit: Der Filter ist so leichtgewichtig, dass er den Prozess nur um etwa 6 % bis 8 % verlangsamt hat. Das ist schnell genug, um es auf einem Telefon zu nutzen, ohne dass man warten muss.

Zusammenfassung

Das Papier führt einen „Smarten Filter“ für KI ein, der Ihre Daten quetscht, bevor er sie in die Cloud sendet. Er garantiert mathematisch, dass sensible Geheimnisse zerdrückt werden, während die nützliche Struktur intakt bleibt. Es ist, als würde man einen Brief verschicken, bei dem der Umschlag so klein ist, dass nur das allgemeine Thema hindurchpasst, aber die spezifischen Namen und Zahlen zurückbleiben – und das, ohne die Zustellung des Briefes zu verzögern.

Technische Zusammenfassung: Abwehr von Prompt-Inversions-Angriffen mittels informationstheoretischer kollaborativer Inferenz

Problemstellung
Kollaborative Edge-Cloud-Inferenz ermöglicht ressourcenbeschränkten Geräten die Nutzung von Large Language Models (LLMs), indem erste Schichten lokal ausgeführt und die dazwischenliegenden Aktivierungen an einen Cloud-Server ausgelagert werden. Diese Architektur setzt jedoch sensible Nutzer-Prompts Prompt-Inversions-Angriffen aus, bei denen Angreifer den ursprünglichen Input aus den geteilten Repräsentationen rekonstruieren können. Bestehende Abwehrmechanismen, wie heuristische Rauschinjektion oder Dimensionsreduktion, lassen fundierte theoretische Garantien hinsichtlich des Informationsabflusses vermissen und scheitern oft daran, das grundlegende Spannungsverhältnis zwischen Aufgaben-Nutzen (Utility) und dem Schutz der Token-Identität zu adressieren. Zudem hat frühere Forschung gezeigt, dass die Token-Identität durch alle Transformer-Schichten hinweg persistiert, was eine einfache tiefenbasierte Obfuskation unwirksam macht.

Methodik
Die Autoren schlagen ein informationstheoretisches Verteidigungsframework vor, das den Informationsabfluss als gegenseitige Information (Mutual Information, MI) zwischen dem Eingabe-Prompt $x$ und den übertragenen geschützten Aktivierungen $A$ modelliert. Die Verteidigung wird als Minimax-Optimierungsproblem formuliert:

Zielsetzung: Minimierung von $I(A; x)$ (Informationsabfluss) bei gleichzeitiger Maximierung von $I(A; y)$ (Nutzen für die Next-Token-Prediction), unter Einhaltung von Latenzbeschränkungen.
Architektur (Privacy Adapters): Der Kernmechanismus besteht aus dem Einfügen leichtgewichtiger, trainierbarer Privacy Adapters zwischen den eingefrorenen Transformer-Schichten auf der Client-Seite. Im Gegensatz zu LoRA-ähnlichen Adaptern, die Residuen-Verbindungen hinzufügen, implementieren diese Adapter einen strikten Information Bottleneck:
- Sie komprimieren die Aktivierungen von einer Dimension $d$ in einen niedrigdimensionalen Subraum $r$ ( $r \ll d$ ) mittels einer Down-Projektion, Nichtlinearität und Up-Projektion.
- Entscheidend ist, dass sie die Aktivierung ersetzen anstatt sie additiv zu perturbieren. Die Autoren beweisen theoretisch, dass injektive Residuen-Verbindungen (üblich in anderen Abwehren) die gegenseitige Information nicht reduzieren können, während nicht-injektive Bottlenecks eine verlustbehaftete Kompression erzwingen, die die MI tatsächlich reduziert.
Optimierung: Das System verwendet ein alternierendes Trainingsschema. Ein Adversary-Netzwerk (ein Token-Klassifikator) wird trainiert, um die Rekonstruktionsgenauigkeit zu maximieren (Minimierung der Cross-Entropy), während die Adapter aktualisiert werden, um eine kombinierte Loss-Funktion aus der Cross-Entropy des Adversarys und der Perplexity der Downstream-Aufgabe zu minimieren. Dies schätzt und minimiert direkt eine variationale obere Schranke der MI.

Wesentliche Beiträge

Informationstheoretisches Minimax-Framework: Die Arbeit etabliert eine formale Verteidigung gegen Prompt-Inversion durch die explizite Minimierung der gegenseitigen Information mittels eines gelernten Adversarys und schließt damit die Lücke zwischen theoretischen Privacy-Schranken und praktischer Implementierung.
Privacy Adapters mit theoretischen Garantien: Die Autoren führen Adapter-Module ein, die eine verlustbehaftete Kompression erzwingen. Sie liefern einen formalen Beweis (Theorem 4.2), dass Residuen-basierte Abwehren (injektive Abbildungen) die gegenseitige Information nicht reduzieren können, was die Notwendigkeit ihres nicht-injektiven Bottleneck-Designs rechtfertigt. Sie leiten zudem Schranken für den Rekonstruktionsfehler als Funktion der Bottleneck-Dimension ab.
Analyse sensibler Token: Das Framework führt eine Methodik ein, um zwischen der Rekonstruktion von sensiblen Tokens (domänenspezifische Begriffe wie medizinische Zustände oder juristische Entitäten) und gemeinsamen strukturellen Tokens (Stoppwörter, Interpunktion) zu unterscheiden. Die Theorie sagt voraus, und Experimente bestätigen, dass der Bottleneck hoch-entropische (sensitive) Tokens überproportional unterdrückt, während nieder-entropische (gemeinsame) Tokens, die für die syntaktische Kohärenz notwendig sind, erhalten bleiben.
Umfassende Evaluierung: Die Methode wird über drei LLMs (LLaMA-2-7B/13B, Mistral-7B) und drei Domänen (Medizin, Recht, Fluggesellschaft-Bewertungen) sowohl gegen klassifikationsbasierte als auch gegen optimierungsbasierte Prompt-Inversions-Angriffe validiert.

Experimentelle Ergebnisse

Privacy-Utility-Tradeoff: Die Methode erreicht eine signifikante Reduktion der Erfolgsraten von Angriffen. In verschiedenen Settings reduziert sie die Rekonstruktion sensibler Tokens um 15–35 % im Vergleich zu Baselines; die besten Konfigurationen (z. B. $\lambda=0.5$ ) zeigen eine Reduktion der Genauigkeit sensibler Tokens um bis zu 35 Prozentpunkte gegenüber gemeinsamen Tokens.
Vergleich mit Baselines: Die vorgeschlagenen Adapter übertreffen bestehende Abwehrmethoden wie Gauß/Laplace-Rauschen, PCA sowie Methoden zur Reduktion des Informationsabflusses (NoPeek, Fisher-basiertes Masking). Bemerkenswerterweise stehen bei rauschbasierten Methoden oft vor einem „Privacy-Utility-Cliff“, bei dem starke Privacy den Nutzen (Perplexity) zerstört, während die Adapter eine nutzbare Perplexity (z. B. PPL < 100) beibehalten und gleichzeitig die Angriffsgenauigkeit signifikant senken.
Effizienz: Der Ansatz führt einen minimalen Latenz-Overhead (<9 %) auf Edge-Geräten ein (getestet auf Jetson Orin Nano) und fügt eine vernachlässigbare Anzahl an Parametern hinzu (<0,3 % des vollständigen Modells).
Robustheit: Die Verteidigung generalisiert über verschiedene Angriffstypen hinweg; „frische“ Angreifer, die von Grund auf auf den geschützten Aktivierungen trainiert wurden, erzielen ähnliche Erfolgsraten wie der Trainings-Adversary, was bestätigt, dass die Verteidigung nicht lediglich Informationen vor einem spezifischen ko-adaptierten Modell verbirgt.

Bedeutung und Ansprüche
Das Paper beansprucht, die erste informationstheoretische Privacy-Verteidigung für kollaborative LLM-Inferenz unter Prompt-Inversions-Angriffen bereitzustellen. Seine primäre Bedeutung liegt im Paradigmenwechsel von heuristischen Perturbationen hin zu einer fundierten, verlustbehafteten Kompression, die nachweisbare Schranken für den Rekonstruktionsfehler bietet. Die Autoren argumentieren, dass ihr Ansatz zeigt, dass gelernte, aufgabenbewusste Transformationen essenziell für praktische Privatsphäre in Edge-Cloud-LLM-Systemen sind, um sensible Anwendungen (Gesundheitswesen, Recht) zu ermöglichen, ohne die rohen Nutzer-Prompts preiszugeben. Die Arbeit stellt fest, dass der Schutz der Privatsphäre nicht uniform sein muss: Durch die selektive Unterdrückung hoch-entropischer Tokens kann das System sensible Inhalte schützen und gleichzeitig die für die Downstream-Inferenz erforderliche strukturelle Integrität bewahren.