🤖 machine learning

Fingerprinting Inference Systems of Large Language Models

Dieser Artikel zeigt, dass subtile numerische Abweichungen, die durch spezifische Komponenten von Inferenzsystemen (wie Engines, Backends und Hardware) verursacht werden, sich auf die Ausgaben von LLMs auswirken, wodurch eine neue Fingerabdruckmethode ermöglicht wird, um diese zugrunde liegenden Systeme zuverlässig zu identifizieren, und belegt, dass eine vollständige Verhinderung einer solchen Identifizierung grundsätzlich schwierig ist.

Ursprüngliche Autoren: Anna Wimbauer, Jonas Möller, Erik Imgrund, Konrad Rieck

Veröffentlicht 2026-05-29

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Anna Wimbauer, Jonas Möller, Erik Imgrund, Konrad Rieck

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Die große Idee: Der „digitale Fingerabdruck" eines Computers

Stellen Sie sich vor, Sie bestellen in drei verschiedenen Restaurants exakt dasselbe Gericht. Selbst wenn sie dasselbe Rezept verwenden, könnte das Essen leicht unterschiedlich schmecken. Ein Koch hackt die Zwiebeln minimal feiner, ein anderer verwendet eine etwas heißere Pfanne und ein dritter rührt den Topf in einer anderen Reihenfolge. Für einen gelegentlichen Esser sieht das Gericht gleich aus. Aber für einen professionellen Food-Kritiker verraten diese winzigen Unterschiede genau, welche Küche das Gericht zubereitet hat.

Dieses Papier argumentiert, dass Large Language Models (LLMs) auf die gleiche Weise funktionieren.

Wenn Sie einer KI eine Frage stellen, wird die Antwort nicht nur vom „Gehirn" (dem Modell) generiert. Sie wird auch von der „Küche" (dem Inferenzsystem) geprägt, in der das Kochen stattfindet. Diese Küche umfasst:

Der Motor: Die Software, die das Gespräch verwaltet (wie vLLM oder SGLang).
Das Backend: Die spezifischen mathematischen Werkzeuge, die zur Verarbeitung von Aufmerksamkeit verwendet werden (wie FlashAttention).
Die Hardware: Die physischen Computerchips (wie eine Nvidia A100 im Vergleich zu einer H100 GPU).

Obwohl die Mathematik theoretisch gleich sein soll, berechnen Computer Zahlen nicht immer in exakt derselben Reihenfolge. Aufgrund dessen treten winzige, unsichtbare Fehler auf (sogenannte numerische Abweichungen). Das Papier zeigt, dass diese winzigen Fehler einzigartig für die spezifische Kombination aus verwendeter Software und Hardware sind.

Wie der Angriff funktioniert: Der „Detektiv-Test"

Die Forscher entwickelten eine Methode, um diese Systeme zu „fingerprinten". Sie agieren wie ein Detektiv, der keinen Zugang zur Küche hat, sondern nur Fragen an den Koch stellen und die Speisekarte lesen kann.

Die Strategie:
Der Detektiv verwendet vier spezifische Arten von „Fallen" (Prompts), um den Computer dazu zu bringen, seine Geheimnisse preiszugeben:

Die seltene-Token-Falle: Die KI wird gebeten, ein seltsames, fremdes Symbol zu erinnern, das in einem Satz versteckt ist. Winzige mathematische Fehler können dazu führen, dass die KI das falsche Symbol errät.
Die Ja/Nein-Falle: Eine einfache Frage wird gestellt, die nur einen Denkschritt erfordert. Dies isoliert, wie der Computer die Frage liest, bevor er antwortet.
Die lange-Geschichte-Falle: Die KI erhält einen sehr langen Text und wird gebeten, eine bestimmte Zahl darin zu finden. Dies zwingt den Computer, die Arbeit in Abschnitte zu teilen und zeigt, wie er große Aufgaben bewältigt.
Die Wiederholungs-Falle: Die KI wird gebeten, einen Satz 100 Mal zu wiederholen. Dies prüft, wie sich der Computer an das erinnert, was es gerade gesagt hat (unter Verwendung eines „Caches").

Indem diese Fallen der KI vorgelegt und die winzigen Unterschiede in den Antworten analysiert werden, erstellten die Forscher einen Klassifikator (eine intelligente Sortiermaschine), der mit hoher Genauigkeit sagen kann: „Diese Antwort wurde auf einem A100-Chip mit dem vLLM-Motor zubereitet."

Was sie herausfanden

Die Forscher testeten dies an vielen verschiedenen Kombinationen aus Software und Hardware.

Perfekte Genauigkeit (der Fall „Null Temperatur"): Wenn die KI so eingestellt ist, dass sie sehr streng und deterministisch ist (keine Zufälligkeit), funktioniert das Fingerprinting zu 100 %. Es ist wie eine perfekte Übereinstimmung.
Gute Genauigkeit (der Fall „Chat"): Wenn die KI erlaubt ist, ein wenig kreativ zu sein (Zufälligkeit ist aktiviert), ist das Fingerprinting immer noch sehr effektiv und trifft es 76 % bis 80 % der Zeit richtig.
Robustheit: Die Methode funktioniert auch dann, wenn die KI gebeten wird, unterschiedliche Datenmengen gleichzeitig zu verarbeiten, oder wenn der System-Prompt (die Anweisungen der KI) sich leicht ändert.

Warum sollten wir uns darum kümmern? (Das Sicherheitsrisiko)

Das Papier hebt ein ernstes Sicherheitsproblem hervor.

Stellen Sie sich vor, ein Hacker möchte in eine Bank einbrechen. Er muss wissen, ob die Bank eine bestimmte Art von Schloss (eine bestimmte Software-Engine) verwendet, um zu wissen, welchen Schlüssel er aufhebeln muss.

Die Schwachstelle: Wenn ein Angreifer die „Küche" (die Inferenz-Engine und die Hardware) allein durch Gespräche mit der KI identifizieren kann, kann er bekannte Schwachstellen (Bugs) in dieser spezifischen Software nachschlagen.
Das Ergebnis: Sie können dann einen gezielten Angriff starten. Das Papier stellt fest, dass kritische Schwachstellen bereits in beliebten Engines wie vLLM und SGLang gefunden wurden. Die Identifizierung des Systems ist der erste Schritt, um es auszunutzen.

Können wir das stoppen?

Das Papier kommt zu dem Schluss, dass dies sehr schwer zu stoppen ist.

Das Dilemma: Um das Fingerprinting zu stoppen, müsste man jeden Computer dazu bringen, Zahlen auf exakt dieselbe Weise zu berechnen, unabhängig von Hardware oder Software. Dies würde jedoch die Vorteile verschiedener, spezialisierter Werkzeuge (wie schnellere Chips oder optimierte Software) zerstören.
Der Kompromiss: Man könnte „Rauschen" (Zufälligkeit) zu den Antworten hinzufügen, um den Fingerabdruck zu verbergen, aber dies würde die KI für Aufgaben, die perfekte Präzision erfordern, wie Programmieren oder Mathematik, unzuverlässiger machen.
Die beste Verteidigung: Die einfachste Verteidigung ist einfach Rate Limiting (Drosselung der Anfragen). Wenn man begrenzt, wie viele Fragen ein Benutzer stellen kann, wird es für einen Hacker zu langsam und zu teuer, genügend Daten zu sammeln, um einen Fingerabdruck zu erstellen.

Zusammenfassung

Dieses Papier zeigt, dass die „Küche", in der eine KI ihre Antworten zubereitet, einen einzigartigen, erkennbaren Geschmack im Essen hinterlässt. Durch die Analyse dieser winzigen Geschmacksnoten können Angreifer genau identifizieren, welche Hardware und Software die KI betreibt, was ihnen potenziell ermöglicht, spezifische Sicherheitslücken ins Visier zu nehmen. Obwohl wir die Ursache nicht leicht beheben können, ohne die Leistung zu opfern, können wir es Angreifern erschweren, die Daten zu sammeln, die sie benötigen.

Technische Zusammenfassung: Fingerprinting von Inferenzsystemen großer Sprachmodelle

Problemstellung

Das Verhalten großer Sprachmodelle (LLMs) wird nicht ausschließlich durch die Modellgewichte bestimmt. Das Inferenzsystem – bestehend aus Inferenz-Engine, Attention-Backend und Hardware-Plattform – führt aufgrund der nicht-assoziativen Natur der Gleitkommaarithmetik zu subtilen numerischen Abweichungen. Während diese Abweichungen typischerweise als harmlose Artefakte behandelt werden, die die Reproduzierbarkeit behindern, geht diese Arbeit davon aus, dass sie kritische Informationen über die zugrunde liegende Infrastruktur preisgeben.

Insbesondere kann ein Angreifer, der das Prompt-Antwort-Verhalten eines LLM beobachten kann (ohne Zugriff auf interne Zustände oder Log-Wahrscheinlichkeiten), die spezifischen Komponenten des Inferenzstapels ableiten. Diese Informationspreisgabe hat direkte Sicherheitsimplikationen: Das Wissen über die spezifische Engine (z. B. vLLM, SGLang) ermöglicht es einem Angreifer, bekannte kritische Schwachstellen in diesen Implementierungen auszunutzen, während die Identifizierung der Hardware-Plattform (z. B. A100 vs. H100) die Verifizierung von Service-Behauptungen oder gezielte hardware-spezifische Angriffe ermöglicht.

Methodik

Die Autoren schlagen eine Fingerprinting-Methode vor, die das Inferenzsystem als Black Box behandelt und ausschließlich den textuellen Input und Output analysiert. Der Ansatz besteht aus zwei Hauptphasen:

1. Bedrohungsmodell

Dem Angreifer wird Folgendes unterstellt:

Chat-Zugriff: Die Fähigkeit, beliebige Prompts einzureichen und Textantworten zu beobachten.
Kenntnis des Modells: Das spezifische LLM und der System-Prompt sind bekannt (wiederherstellbar über bestehende Modell-Fingerprinting- oder Prompt-Extraction-Angriffe).
Offline-Referenzzugriff: Die Fähigkeit, eine Reihe von Referenzsystemen zu instanziieren und abzufragen, die die Kandidatenkomponenten abdecken, um Trainingsdaten zu sammeln.
Kein Zugriff auf Logits: Interne Wahrscheinlichkeitsverteilungen oder verborgene Zustände sind nicht zugänglich.

2. Konstruktion von Prompt-Sets

Um numerische Abweichungen in verschiedenen Berechnungsstadien zu isolieren, konstruieren die Autoren vier verschiedene Prompt-Sets ( $P_1$ bis $P_4$ ):

$P_1$ (Seltene-Token-Prompts): Enthalten seltene Tokens (z. B. nicht-standardisierte Unicode-Zeichen), die in Text eingebettet sind. Diese testen die autoregressive Dekodierung, wobei geringfügige Abweichungen bei der Auswahl von Tokens mit niedriger Wahrscheinlichkeit die endgültige Vorhersage verschieben können.
$P_2$ (Binäre-Entscheidungs-Prompts): Entwickelt, um ein einzelnes Token „Ja" oder „Nein" hervorzurufen. Dies isoliert die Prefill-Phase, da keine autoregressive Generierung stattfindet, die anfängliche Verarbeitungsunterschiede verschleiern könnte.
$P_3$ (Langkontext-Prompts): Lange Texte, die vom Modell die Extraktion einer spezifischen Zahl erfordern. Diese lösen chunked Prefill aus und offenbaren Abweichungen, die durch das Aufteilen langer Kontexte über mehrere Durchläufe entstehen.
$P_4$ (Wiederholungs-Prompts): Anfragen, einen Satz mehrfach zu wiederholen. Dies löst die Wiederverwendung von KV-Cache-Präfixen aus und zeigt auf, wie zwischengespeicherte Zustände verwaltet und geladen werden.

3. Merkmalsextraktion und Klassifizierung

Embedding: Antworten werden unter Verwendung von Scoring-Funktionen in Merkmalsvektoren umgewandelt. Beispielsweise verwenden $P_1$ und $P_3$ Indikatorfunktionen (1, wenn der erwartete Token/die erwartete Zahl vorhanden ist, sonst 0), während $P_4$ die Wiederholungszahl normalisiert.
Klassifizierung: Die resultierenden Merkmalsvektoren werden konkateniert und in Random-Forest-Klassifikatoren eingespeist, die darauf trainiert sind, drei Ziel-Labels zu identifizieren: die Inferenz-Engine, das Attention-Backend und die Hardware-Plattform (GPU).
Stochastische Behandlung: Bei nicht-null Temperatur-Einstellungen fasst die Methode Vorhersagen aus mehreren Stichproben ( $k$ ) pro Prompt mittels Mehrheitsvoting zusammen, um Stichprobenrauschen zu mindern.

Hauptergebnisse

Die Autoren bewerteten ihren Ansatz an 30 verschiedenen Systemkonfigurationen, die 4 Inferenz-Engines, 6 Attention-Backends und 3 Hardware-Geräte (Nvidia A100, H100, L4) über drei Modelle hinweg kombinierten (Llama-3.2-3B, Qwen2.5-7B, Qwen3-4B).

Deterministische Dekodierung (Temperatur = 0)

Perfekte Genauigkeit: Die Methode erreichte 100 % Genauigkeit bei der Identifizierung aller drei Komponenten (Engine, Backend, GPU) über alle Modelle hinweg.
Prompt-Effizienz: Eine perfekte Identifizierung war bereits mit nur 113 Prompts insgesamt möglich, wobei die optimale Zusammensetzung der Prompts je nach Modell variierte. Inferenz-Engines wurden am schnellsten identifiziert (zuverlässig mit ~~10 Prompts), während Backends und GPUs mehr Daten benötigten (~~100 Prompts).

Stochastische Dekodierung (Temperatur > 0)

Robustheit: Die Genauigkeit nahm mit steigender Temperatur aufgrund von Stichprobenrauschen ab, blieb jedoch signifikant.
- Inferenz-Engine: Durchschnittlich ~80 % Genauigkeit über die Temperaturen hinweg ( $T \in \{0.3, 0.6, 0.9\}$ ).
- Attention-Backend & GPU: Die Genauigkeit reichte von 46 % bis 78 %, abhängig vom Modell und der Temperatur.
Aggregation: Die Leistung sättigte sich nach der Aggregation von 10–20 Stichproben pro Prompt, was bestätigt, dass Mehrheitsvoting das Signal effektiv wiederherstellt.

Robustheitsanalyse

Das Fingerprinting blieb unter realistischen Einsatzvariationen effektiv:

System-Prompts: Die Genauigkeit blieb hoch (~99,7 %), selbst bei Verwendung anwendungsspezifischer System-Prompts anstelle von Standardwerten.
Batch-Größe: Das Signal generalisierte sich gut über verschiedene Batch-Größen hinweg (Training bei 32/64/128, Test bei 256), mit nur marginalen Genauigkeitsverlusten.
Proprietäre Komponenten: Wenn eine Komponente (z. B. eine spezifische GPU) während des Trainings nicht gesehen wurde, blieb die Identifizierung der anderen Komponenten (Engine, Backend) robust, obwohl die Identifizierung der unsichtbaren Komponente selbst auf Zufallswahrscheinlichkeit sank.
Temperatur-Mismatch: Wenn sich die Trainings- und Einsatztemperaturen erheblich unterschieden, sank die Genauigkeit erheblich, was darauf hindeutet, dass Angreifer ihre Trainingstemperatur mit dem Ziel abstimmen sollten.

Bedeutung und Behauptungen

Die Arbeit behauptet, die erste Methode zu sein, die Komponenten des LLM-Inferenzsystems (Engine, Backend, Hardware) ausschließlich mit Prompt-Antwort-Paaren und ohne Zugriff auf Logits fingerprintet.

Die Autoren betonen, dass:

Sicherheitsimplikationen: Diese Informationspreisgabe nicht bloß eine Neugier ist; sie bietet Angreifern das präzise Wissen, das erforderlich ist, um bekannte Schwachstellen in weit verbreiteten Inferenz-Engines wie vLLM und SGLang auszunutzen.
Fundamentale Härte der Verteidigung: Die Verhinderung dieses Fingerprintings ist „fundamental schwierig", da dies die Eliminierung numerischer Unterschiede zwischen diversen Hardware- und Software-Stacks erfordern würde. Eine Vereinheitlichung des Stacks ist für den Produktionsbetrieb unrealistisch, und das Hinzufügen von Rauschen zur Verschleierung des Signals beeinträchtigt die Nutzbarkeit (z. B. durch Brechen der deterministischen Dekodierung, die für die Code-Generierung erforderlich ist).
Teilweise Minderungsmaßnahmen: Die Arbeit schlägt vor, dass Rate Limiting die praktischste Verteidigung ist, obwohl es über Sybil-Angriffe umgangen werden kann. Das Hinzufügen von Rauschen ist möglich, geht jedoch mit hohen Kosten für die Anwendungsnutzbarkeit einher.

Die Arbeit schließt, dass maschinelle Lernausgaben untrennbar mit ihrer Ausführungsumgebung verbunden sind und das Ignorieren dieser Verbindung zu Informationspreisgaben führt, die die Systemintegrität und -sicherheit kompromittieren.