💻 computer science

Do System Prompts Leave Behavioral Fingerprints? A Large-Scale Empirical Study of Clone Detection via Output Similarity

Dieses Paper stellt Black-Box Behavioral Fingerprinting (BBF) vor, eine Methode, die es Prompt-Besitzern ermöglicht, geklonte System-Prompts über die Ähnlichkeit der Ausgaben zu erkennen, und validiert durch eine groß angelegte empirische Studie, dass die Wahl des Prompts das Modellverhalten signifikant beeinflusst und die Erkennung zwar im Allgemeinen effektiv ist, jedoch anfällig für spezifische stilistische Manipulationen bleibt.

Ursprüngliche Autoren: Linghan Chen, Yudong Gao, Jiyao Wang, Kaiyan Ji, Honglong Chen

Veröffentlicht 2026-08-26

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Linghan Chen, Yudong Gao, Jiyao Wang, Kaiyan Ji, Honglong Chen

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

In der sich schnell entwickelnden Welt der künstlichen Intelligenz ist eine neue Art von geistigem Eigentum entstanden: der System-Prompt. Dies ist kein physisches Objekt oder eine komplexe Maschine, sondern eine sorgfältig geschriebene Anweisungssammlung, die einem Computerprogramm gegeben wird, bevor es eine Aufgabe beginnt. Man kann es sich als das verborgene Skript vorstellen, das einer universellen KI vorgibt, wie sie sich verhalten soll, welchen Tonfall sie verwenden soll und welche spezifischen Fähigkeiten sie anwenden soll, wodurch ein breites Werkzeug effektiv in ein spezialisiertes Produkt verwandelt wird. Genau wie ein Koch ein geheimes Rezept haben kann, das ein Gericht definiert, entwerfen Entwickler diese Prompts, um einzigartige digitale Dienste zu erschaffen. Diese digitalen Anweisungen sind jedoch, im Gegensatz zu einem physischen Rezeptbuch, das weggeschlossen werden kann, verwundbar. Da sie nur als Text existieren, können sie durch einen Angreifer, der die richtigen Fragen stellt, aus dem System herausgelockt, kopiert und dann von jedem, überall, völlig kostenlos verwendet werden. Sobrem die ursprüngliche Schöpfung einmal gestohlen, hat der Urheber keine Möglichkeit zu beweisen, dass ein konkurrierender Dienst sein gestohlenes Skript verwendet, was ihn ohne Rechtsmittel zurücklässt.

Diese Ungewissheit veranlasste ein Forscherteam zu einer grundlegenden Frage: Selbst wenn ein Dieb die gestohlenen Anweisungen umschreibt, damit sie anders aussehen, hinterlässt das ursprüngliche Skript dennoch eine Spur in den Antworten, die der Computer gibt? Um dies herauszufinden, entwickelten die Forscher eine Methode namens „Black-Box Behavioral Fingerprinting“ (Verhaltens-Fingerabdruck in der Black Box). Sie betrachteten den System-Prompt nicht als einen Text, der gelesen werden muss, sondern als eine Reihe von Gewohnheiten, die das Verhalten einer KI prägen. Ihr Ansatz war einfach, aber leistungsstark. Zuerst sendet ein Prompt-Besitzer eine spezifische Liste von Fragen an seine eigene KI und zeichnet die Antworten auf. Er analysiert dann die Muster in diesen Antworten, um einen einzigartigen „Fingerabdruck“ des Verhaltens dieses spezifischen Prompts zu erstellen. Wenn er später vermutet, dass ein Konkurrent eine gestohlene Version verwendet, stellt er dieselben Fragen an die KI des Konkurrenten. Durch den Vergleich der Muster der Antworten des Konkurrenten mit dem ursprünglichen Fingerabdruck und mit einem zufälligen, nicht verwandten Satz von Antworten kann er feststellen, ob sich die beiden Systeme auf die gleiche Weise verhalten.

Die Forscher testeten diese Idee in großem Maßstab unter Einbeziehung von vier verschiedenen Familien kommerzieller KI-Modelle und acht verschiedenen Arten von Aufgaben, die von medizinischen Fragen bis hin zur Analyse von Rechtsverträgen reichten. Sie generierten fast dreihunderttausend Antworten, um zu sehen, ob die Fingerabdruck-Methode einen Klon zuverlässig erkennen kann. Die Ergebnisse waren beeindruckend. Sie fanden heraus, dass die Wahl des System-Prompts fast ein Viertel der Unterschiede in der Art und Weise erklärt, wie eine KI Fragen beantwortet. Mit anderen Worten: Die verborgenen Anweisungen hinterlassen eine starke, messbare Spur in der Ausgabe. Wenn die Forscher einen gestohlenen Prompt verglichen, der auf demselben Typ von KI läuft wie das Original, identifizierte ihre Methode den Treffer in fast neunzig Prozent der Fälle erfolgreich. Selbst wenn der gestohlene Prompt auf ein völlig anderes KI-Modell übertragen wurde, funktionierte die Methode immer noch, wenn auch mit etwas weniger Sicherheit, und identifizierte den Klon in etwa zweiundsiebzig Prozent der Szenarien im Durchschnitt korrekt.

Die Studie untersuchte auch, wie gut diese Methode gegen einen Angreifer standhält, der versucht, seine Spuren zu verwischen. Die Forscher fanden heraus, dass das bloße Umschreiben der gestohlenen Anweisungen mit anderen Worten oder die Änderung der Satzstruktur das System nicht täuschen konnte. Der Verhaltens-Fingerabdruck blieb stark und ermöglichte es der Erkennungsmethode, selbst dann erfolgreich zu sein, wenn der Text des Prompts stark verändert wurde. Die Forscher entdeckten jedoch eine spezifische Schwäche. Wenn ein Angreifer eine kurze, formale Anweisung ganz am Anfang des Prompts hinzufügte, um die KI zu zwingen, wie ein ernster Akademiker zu klingen, hatte die Methode Schwierigkeiten, wenn die Aufgabe kurze, strukturierte Antworten beinhaltete. In diesen spezifischen Fällen sank die Erkennungsgenauigkeit signifikant, was darauf hindeutet, dass die Methode durch gezielte Versuche, den natürlichen Stil der KI bei kurzen Aufgaben zu überschreiben, verwirrt werden kann.

Um den Prozess noch effizienter zu gestalten, führte das Team eine Regel für die Auswahl der besten Fragen ein. Sie fanden heraus, dass nicht alle Fragen gleichermaßen nützlich sind, um einen Klon aufzuspüren; einige Fragen sind so geradlinig, dass jede KI sie unabhängig vom Prompt auf die gleiche Weise beantworten würde. Durch das Filtern dieser offensichtlichen Fragen und die Konzentration auf jene, bei denen der Prompt einen echten Unterschied macht, verbesserten die Forscher die Erkennungsgenauigkeit um eine signifikante Spanne. Sie stellten fest, dass das Stellen von nur fünfundzwanzig sorgfältig ausgewählten Fragen ausreichte, um einen Diebstahl mit einem sehr hohen Maß an Zuversicht zu bestätigen. Das bedeutet, dass ein Prompt-Besitzer nicht das gesamte System überwachen oder Zugriff auf dessen internen Code haben muss; er muss lediglich ein paar gezielte Fragen stellen und die Ergebnisse vergleichen.

Die Studie kommt zu dem Schluss, dass die Gefahr des Prompt-Diebstahls zwar real und die Fähigkeit, diese Anweisungen zu stehlen, gut etabliert ist, es nun aber einen praktikablen Weg gibt, dies zu erkennen. Die Methode funktioniert, indem sie das Verhalten der KI betrachtet anstatt den Text der Anweisungen, was sie zu einem praktischen Werkzeug für die Verifizierung macht. Sie ist kein perfekter Schutzschild gegen jeden möglichen Angriff, insbesondere gegen solche, die darauf abzielen, den Stil kurzer Antworten zu manipulieren, aber sie bietet eine solide Grundlage für den Schutz des geistigen Eigentums im Zeitalter der generativen KI. Zum ersten Mal haben Prompt-Besitzer eine Möglichkeit, ihre Verdachtsmomente zu prüfen und zu beweisen, dass ein bestimmter Einsatz auf einem gestohlenen Skript läuft, was eine neue Ebene der Sicherheit für die digitale Wirtschaft bietet.

Technisches Resümee: Hinterlassen System-Prompts Verhaltens-Fingerabdrücke?

Problemstellung

Die zunehmende Verbreitung von Plattformen für Large Language Model (LLM)-Anwendungen (z. B. GPT Store, Coze) hat den System-Prompt als eine kritische Form des geistigen Eigentums (IP) etabliert. Während Modellgewichte schwer zu replizieren sind, können System-Prompts mittels adversarieller Abfragen mit Erfolgsraten von über 0,8 im Wortlaut extrahiert und ohne Kosten auf jeder beliebigen Plattform neu implementiert werden. Bestehende Abwehrmechanismen konzentrieren sich auf die Verhinderung der Extraktion, doch sobald ein Prompt gestohlen wurde, fehlt dem Eigentümer ein Mechanismus, um zu verifizieren, ob eine vermutete Implementierung ein Klon ist.

Die zentrale Forschungsfrage ist, ob ein System-Prompt eine nutzbare Verhaltensspur in den Modellausgaben hinterlässt, die eine Extraktion, Paraphrasierung und den Transfer zwischen verschiedenen Modellen übersteht. Falls eine solche Spur existiert, könnte dies Black-Box Behavioral Fingerprinting (BBF) ermöglichen: eine Methode, bei der ein Prompt-Eigentümer eine Verhaltenssignatur seiner ursprünglichen Implementierung registriert und später testet, ob eine verdächtige Implementierung dieser Signatur stärker ähnelt als ein unbezogener Baseline-Wert, wobei lediglich ein Black-Box-API-Zugriff erforderlich ist.

Methodik: Black-Box Behavioral Fingerprinting (BBF)

BBF operationalisiert die Klondetektion als einen Zwei-Stichproben-Vergleich in einem Embedding-Raum, der sich ausschließlich auf Standard-Satz-Embeddings und die Kosinus-Ähnlichkeit stützt. Der Prozess besteht aus zwei Phasen:

Registrierung: Der Verteidiger sendet eine Menge diagnostischer Abfragen $Q = \{q_1, \dots, q_K\}$ an die ursprüngliche Implementierung (Prompt $P$ ). Für jede Abfrage werden $N$ stochastische Ausgabeproben gesammelt, mittels eines Satz-Encoders $\phi$ eingebettet und zu einem Verhaltens-Zentroid $\hat{\mu}_k$ aggregiert. Der Fingerabdruck $F$ ist die Menge dieser Zentroiden.
Detektion: Der Verteidiger sendet dieselben Abfragen an eine verdächtige Implementierung (Prompt $P^*$ ). Verdächtige Zentroiden $\hat{\mu}^*_k$ werden berechnet. Um zu kontrollieren, dass verschiedene Prompts zu derselben faktischen Frage ähnliche Antworten liefern können, berechnet der Verteidiger auch Zentroiden für einen unbezogenen Prompt ( $P_u$ ) aus demselben breiten Fachbereich.
Entscheidungsstatistik: Das Detektionssignal ist die „kontrollierte Differenz“ $\delta_k = s_{clone} - s_{unrel}$ , wobei $s$ die Kosinus-Ähnlichkeit zwischen dem verdächtigen/Klon-Zentroid und dem ursprünglichen Zentroid darstellt. Eine positive Differenz deut otherwise darauf hin, dass der Verdächtige verhaltensmäßig näher am Original liegt als an der unbezogenen Baseline.
Aggregation: Die Detektion erfolgt über eine Mehrheitsentscheidung über $T$ Abfragen. Die theoretische Analyse (Proposition 1) legt nahe, dass die Wahrscheinlichkeit der Detektion mit einem ausreichenden Abfragebudget (z. B. $T=25$ ) exponentiell konvergiert.

Diagnostic Query Optimization (DQO):
Um die Detektionsleistung zu maximieren, schlägt das Paper DQO vor, eine kostenfreie Regel zur Auswahl von Abfragen. Sie postuliert, dass Abfragen, bei denen die ursprünglichen und die unbezogenen Prompts hochgradig divergente Ausgaben erzeugen (niedrige Baseline-Ähnlichkeit $s_{unrel}$ ), am sensitivsten gegenüber Prompt-Änderungen sind. DQO wählt die $T$ Abfragen mit der niedrigsten Baseline-Ähnlichkeit zum unbezogenen Prompt aus, ohne Zugriff auf den verdächtigen Klon zu benötigen.

Experimentelles Setup

Die Studie umfasst eine groß angelegte empirische Evaluierung mit:

Modellen: 4 Modellfamilien (Claude, GPT, DeepSeek, Qwen).
Benchmarks: 8 NLP-Benchmarks über 7 Domänen hinweg (z. B. MMLU, GSM8K, MNLI, MedQA), insgesamt 2.000 diagnostische Abfragen.
Szenarien: 128 Gesamtszenarien, die alle $4 \times 4$ Cross-Model-Kombinationen und 8 Benchmarks abdecken.
Daten: 288.000 generierte Antworten (250 Abfragen $\times$ 3 Samples $\times$ 3 Prompt-Typen $\times$ 128 Szenarien).
Embedding-Modell: all-MiniLM-L6-v2.

Kernergebnisse

1. Existenz von Verhaltens-Fingerabdrücken

Die Studie bestätigt, dass die Wahl des System-Prompts einen signifikanten Teil der Output-Varianz erklärt. Eine einfaktorielle ANOVA ergab eine mittlere Effektstärke von $\eta^2 = 0,244$ (ein „großer“ Effekt nach Cohen's Standards), was darauf hindeutet, dass die Prompt-Wahl etwa 24,4 % der Varianz in den Output-Embeddings erklärt. In 118 von 128 Szenarien lagen die Klon-Outputs näher am Original als an den unbezogenen Outputs.

2. Detektionsleistung

Same-Model Detection: Hochzuverlässig mit einem mittleren AUC von 0,876.
Cross-Model Detection: Die Leistung ist durch die Identität des Detektor-Modells begrenzt.
- Claude als Detektor erreichte die höchste Cross-Model AUC (0,845).
- Qwen als Detektor erreichte die niedrigste (0,665).
- Die gesamte mittlere Cross-Model AUC beträgt 0,725.
Abfragebudget: Ein Budget von 25 Abfragen ist für eine zuverlässige Detektion ausreichend (Szenario-Level-Wahrscheinlichkeit > 0,999).
DQO-Effektivität: Die Anwendung von DQO steigerte die Cross-Model AUC im Durchschnitt um +0,120.

3. Robustheit und Fehlermodi

Paraphrasierung: BBF ist robust gegenüber nicht-adaptiver Paraphrasierung (Synonymsubstitution, strukturelle Reorganisation und funktionale Umformulierung). Selbst unter aggressiver L3-Umformulierung blieb die AUC $\ge 0,889$ .
Unvollkommene Extraktion: Klone, die aus unvollkommener automatisierter Extraktion resultierten, waren mindestens so detektierbar wie handgefertigte Paraphrasen, da die Extraktion das funktionale Framing bewahrt, während handgefertigte Umformulierungen orthogonalen stilistischen Lärm einführen.
Fehlermodi: 11 von 128 Szenarien scheiterten (AUC $\le 0,5$ $\leq 0, 5$ ). Die Ausfälle häuften sich in drei Mustern:
1. Kurze Outputs: Aufgaben mit extrem kurzen Ausgaben (z. B. Sentiment-Analyse auf SST-2), bei denen der Stil die Inhalte dominiert.
2. Datensatz-Artefakte: Der CUAD-Benchmark scheiterte aufgrund eines Problemen beim Laden des Datensatzes, das zu einem Prompt-Query-Mismatch führte.
3. Stil-Mismatch: Spezifische Modellpaare (z. B. Qwen $\to$ GPT) zeigten systematische Stil-Mismatches.
Adaptive Angriffe: Während Paraphrasierung die Detektion nicht umgehen konnte, gelang es einer einzelligen formalen Präfix-Einfügung (formal-tone prefix), die in den Prompt injiziert wurde, die Detektion bei kurzen, strukturierten Aufgaben zu kollabieren (MNLI AUC sank von 0,978 auf 0,547). Dies identifiziert die stil-invariante Detektion als die primäre offene Herausforderung.

Bedeutung und Ansprüche

Das Paper positioniert BBF als ein Verifizierungswerkzeug statt als ein Entdeckungswerkzeug, das dazu gedacht ist, bestehende Mechanismen zur Durchsetzung des geistigen Eigentums zu ergänzen. Seine primäre Bedeutung liegt in:

Machbarkeit: Der Nachweis, dass System-Prompts messbare, transferierbare Verhaltens-Fingerabdrücke in Black-Box-Outputs hinterlassen.
Zugänglichkeit: Die Bereitstellung einer Detektionsmethode, die keine Modellgewichte, keine Plattformkooperation und keine Modifikation des Generierungsprozesses erfordert, sondern lediglich auf API-Zugriff basiert.
Praktikabilität: Die Feststellung, dass ein festes, kostengünstiges Budget von 25 Abfragen in den meisten inhaltsreichen Szenarien für eine hochkonfidente Detektion ausreicht.

Die Autoren kommen zu dem Schluss, dass BBF zwar gegen Standard-Cloning und Paraphrasierung effektiv ist, das Feld jedoch die stil-invariante Detektion adressieren muss, um sich gegen adaptive Adversaries zu verteidigen, die den Tonfall oder das Format des Outputs manipulieren. Die Arbeit beansprucht nicht, den rechtlichen Status von Prompt-Cloning zu lösen, bietet aber ein technisches Protokoll für Eigentümer an, um Verdachtsmomente bezüglich Diebstahls zu untermauern.