🤖 machine learning

FLIPS: Instance-Fingerprinting for LLMs via Pseudo-random Sequences

Dieses Paper stellt FLIPS vor, eine neuartige Methode des Instance-Level-Fingerprinting, die Bias in pseudozufälligen Sequenzen nutzt, um verschiedene Konfigurationen desselben Large Language Models präzise zu unterscheiden und damit eine kritische Lücke in der KI-Regulierung schließt, indem sie die Identifizierung spezifischer bereitgestellter Verhaltensweisen ermöglicht, anstatt sich nur auf die Modellprovenienz zu beschränken.

Ursprüngliche Autoren: Gurvan Richardeau, Gohar Dashyan, Erwan Le Merrer, Gilles Tredan

Veröffentlicht 2026-06-03

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Gurvan Richardeau, Gohar Dashyan, Erwan Le Merrer, Gilles Tredan

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Die Kernidee: Es ist nicht nur der Motor, sondern auch der Fahrer

Stellen Sie sich vor, Sie besitzen ein sehr leistungsstarkes Auto (ein Large Language Model oder LLM). Normalerweise schauen Polizei oder Regulierungsbehörden, wenn sie ein Auto identifizieren wollen, auf den Motor (die Gewichte des Modells). Wenn der Motor derselbe ist, gehen sie davon aus, dass es auch dasselbe Auto ist.

Dieses Paper argumentiert jedoch, dass das nicht ausreicht. Zwei Autos mit exakt demselben Motor können sehr unterschiedlich fahren, je nachdem:

Wer fährt? (Der System-Prompt/die Anweisungen).
Wie schnell sie fahren? (Die Temperatureinstellung).
Welchen Kraftstoff sie verwenden? (Quantisierung oder Fine-Tuning).

Ein Auto kann mit einem Fahrer sicher und höflich sein, aber mit einem anderen rücksichtslos und toxisch. Aktuelle Methoden zur Identifizierung von KI-Modellen sind wie das bloße Betrachten des Motors; sie ignorieren den Fahrer und die Einstellungen. Dieses Paper führt eine neue Methode namens FLIPS ein, die wie ein Nummernschild-Leser funktioniert. Sie identifiziert nicht nur das Automodell, sondern die spezifische Instanz dieses Autos in ihrer aktuellen Konfiguration.

Das Problem: Die „Robustheits“-Falle

Bestehende Werkzeuge zum KI-Fingerprinting wurden entwickelt, um geistiges Eigentum zu schützen (wie das Erwischen von jemandem, der den Code eines Modells gestohlen hat). Um dies zu erreichen, sind sie darauf ausgelegt, „robust“ zu sein – das heißt, sie ignorieren kleine Änderungen. Sie wollen sagen: „Ja, das ist das Llama-3-Modell“, selbst wenn sich die Einstellungen geändert haben.

Das Dilemma der Regulierungsbehörden:
Regulierungsbehörden (wie die EU im Rahmen des AI Acts) interessieren sich nicht für den ursprüngellen Code, sondern für das Verhalten. Wenn ein Unternehmen behauptet, seine KI sei „sicher“, aber die Einstellungen so manipuliert, dass sie „unsicher“ wird, muss die Regulierungsbehörde genau diese spezifische, gefährliche Version erfassen. Aktuelle Werkzeuge sind für diese Änderungen „blind“, weil sie darauf ausgelegt sind, solche Änderungen zu ignorieren.

Die Lösung: FLIPS (Der „Zufälligkeits“-Test)

Die Autoren haben ein Werkzeug namens FLIPS (Fingerprinting LLMs via Pseudo-random Sequences) entwickelt. So funktioniert es, unter Verwendung einer einfachen Analogie:

Die Analogie: Der Münzwurf-Test
Stellen Sie sich vor, Sie bitten eine Person, eine Münze 100 Mal zu werfen und die Ergebnisse (Kopf/Zahl) aufzuschreiben.

Ein perfekter, zufälliger Münzwurf erzeugt ein chaotisches, unvorhersehbares Muster.
Ein Mensch, der versucht, Zufälligkeit vorzutäuschen, fällt oft durch subtile Muster auf (z. B. vermeidet er es, dreimal hintereinander „Kopf“ zu werfen, weil sich das zu unwahrscheinlich anfühlt).

Wie FLIPS funktioniert:

Die Frage: Die Regulierungsbehörde bittet die KI, eine Sequenz von zufälligen binären Token zu generieren (wie „0“ und „1“ oder „Auto“ und „Sonne“).
Der Fehler: KI-Modelle sind schlecht darin, wirklich zufällig zu sein. Sie haben verborgene „Biases“ oder „Gewohnheiten“, die auf ihren spezifischen Gewichten, Einstellungen und Anweisungen basen.
Der Fingerabdruck: FLIPS leitet die Ausgabe der KI durch eine Batterie statistischer Tests (die sogenannte NIST-Suite, was wie eine strenge mathematische Prüfung für Zufälligkeit ist).
Das Ergebnis: Obwohl die KI versucht, zufällig zu sein, hinterlässt sie einen einzigartigen „Fingerabdruck“ ihrer Fehler.
- Beispiel: Modell A wirft vielleicht versehentlich zu oft eine „0“ nach einer „1“. Modell B vermeidet vielleicht „000“.
- FLIPS misst diese winzigen, spezifischen Verzerrungen, um genau die Version der KI zu identifizieren, mit der gerade kommuniziert wird.

Die Ergebnisse: Die „schlechten“ Versionen entlarven

Die Forscher testeten dies an 237 verschiedenen Versionen von 25 verschiedenen KI-Modellen. Sie änderten die Temperatur, die Anweisungen und entfernten sogar Sicherheitsfilter (ein Prozess namens „Abliteration“).

Alte Methode (LLMmap): Als man versuchte, zwischen einem sicheren Modell und einer „gehackten“, unsicheren Version desselben Modells zu unterscheiden, versagte die alte Methode kläglich. Sie dachte, es seien dieselben Autos (in 95 % der Fälle lag sie falsch). Sie war zu „robust“.
FLIPS: Es identifizierte die spezifische Version in einem geschlossenen Test (bei dem es alle Optionen kannte) zu 96 % korrekt und in einem offenen Test (bei dem es sagen musste „Ich kenne dieses Modell nicht“, wenn es nicht in seiner Datenbank war) zu 90 %.

Wichtige Erkenntnis: FLIPS kann den Unterschied zwischen einer sicheren KI und einer gefährlichen, manipulierten Version derselben KI mit sehr wenigen Fragen (so wenig wie 8 Abfragen) feststellen.

Warum das für die Regulierung wichtig ist

Die Autoren vergleichen FLIPS mit einem Nummernschild.

Nummernschilder: Sie sind leicht zu fälschen, aber sie sind der Standard, mit dem die Polizei ein spezifisches Auto auf der Straße identifiziert. Sie müssen nicht die Motorhaube öffnen, um zu wissen, ob ein Auto zu schnell fährt oder in die falsche Richtung fährt.
FLIPS: Es ermöglicht Regulierungsbehörden, das „Nummernschild“ einer KI zu überprüfen, ohne Zugriff auf deren privaten Code (Gewichte) zu benötigen.

Wenn ein Unternehmen sagt: „Wir betreiben die sichere Version unserer KI“, kann eine Regulierungsbehörde FLIPS nutzen, um ein paar zufällige Fragen zu stellen. Wenn die Antworten den „unsicheren Fingerabdruck“ zeigen, weiß die Behörde, dass das Unternehmen lügt oder die Einstellungen geändert hat, ohne den internen Code sehen zu müssen.

Zusammenfassung

Das Problem: Aktuelle KI-Identifizierungstools ignorieren Einstellungen, die das Verhalten einer KI verändern.
Die Lösung: FLIPS nutzt die Unfähigkeit der KI, perfekte Zufälligkeit zu erzeugen, um für jede spezifische Konfiguration einen einzigartigen „Fingerabdruck“ zu erstellen.
Der Nutzen: Regulierungsbehörden können schnell verifizieren, ob eine eingesetzte KI die sichere, genehmigte Version oder eine gefährliche, modifizierte Version ist, indem sie nur sehr wenige Fragen stellen und keinen Zugriff auf den privaten Code benötigen.

Technisches Resümee: FLIPS – Instanz-Fingerprinting für LLMs via Pseudozufallssequenzen

1. Problemstellung

Aktuelle Identifizierungstechniken für Large Language Models (LLMs), die primär auf den Schutz des geistigen Eigentums (Intellectual Property Protection, IPP) abzielen, konzentrieren sich darauf, zu verifizieren, ob ein Zielmodell eine Kopie eines Referenzmodells basierend auf dessen ursprünglichen Gewichten ist. Diese Methoden ignorieren bewusst „instanzspezifische Parameter“ – wie System-Prompts, Sampling-Konfigurationen (z. B. Temperatur) und Quantisierung –, um Robustheit gegenüber geringfügigen Modelländerungen zu erreichen.

Dieser Ansatz schafft jedoch eine kritische Lücke für die KI-Regulierung. Gesetzgebungen wie der EU AI Act und Kaliforniens SB 533 erfordern Compliance-Bewertungen basierend auf dem tatsächlichen eingesetzten Verhalten eines LLMs, nicht nur dessen Provenienz. Ein Modell mit sicheren Gewichten kann unter anderen Konfigurationen (z. B. spezifischen System-Prompts oder hoher Temperatur) toxische Inhalte generieren. Bestehende IPP-Methoden scheitern daran, zwischen einem sicheren Modell und seinen „ablatierteren“ (unkensierten) oder unterschiedlich konfigurierten Varianten zu unterscheiden, was sie für Regulierungsbehörden, die spezifische eingesetzte Instanzen zur Überprüfung der Verhaltens-Compliance identifizieren müssen, unwirksam macht.

Das Paper definiert Instanz-Level-Fingerprinting (IF) als die Aufgabe, eine spezifische Modellinstanz zu unterscheiden, die durch ihre präzisen Gewichte, die instruktive Rahmung und ihre Generierungshyperparameter definiert ist.

2. Methodik: FLIPS

Die Autoren schlagen FLIPS (Instance-Fingerprinting for LLMs via Pseudo-random Sequences) vor, eine Black-Box-, abfrageeffiziente Methode, die darauf ausgelegt ist, instanzspezifische Biases in der Erzeugung von Pseudozufallssequenzen zu detektieren.

Kernrationale

Die Methode nutzt die Beobachtung aus, dass LLMs schlecht darin sind, echte Zufallssequenzen zu generieren. Wenn sie angewiesen werden, binäre Sequenzen zu generieren (z. B. alternierende Token wie „0“ und „1“ oder beliebige Paare wie „Auto“ und „Sonne“), weisen LLMs distinkte, instanzspezifische Biases auf. Diese Biases entstehen aus dem komplexen Zusammenspiel von Gewichten, Attention-Mechanismen, Kontext und Hyperparametern (wie der Temperatur), die einen einzigartigen „Bauplan“ für jede Instanz erstellen.

Technische Pipeline

Abfragestrategie: Das System verwendet ein festes Prompt-Template, das das Modell anweist, eine zufällige binäre Sequenz unter Verwendung eines spezifischen Token-Paares (z. B. $t_A$ und $t_B$ ) zu generieren. Die Autoren nutzen eine Menge distinkter Token-Paare, um unterschiedliche Bias-Signaturen hervorzurufen.
Merkmalsextraktion: Die generierten Ausgabesequenzen werden in binäre Bitströme umgewandelt. Diese Bitströme werden mittels des NIST Statistical Test Suite (einer Standard-Testsuite für kryptographische Zufälligkeit) analysiert. Die Suite liefert einen Vektor von $d$ Teststatistiken (z. B. Häufigkeit von Übergängen, Run-Längen, Musterauftretungen), die als Fingerprint-Merkmale dienen.
Detektortraining: Die Fingerprinting-Aufgabe wird als Multi-Class-Klassifizierungsproblem formuliert. Ein XGBoost-Klassifikator wird auf den extrahierten NIST-Merkmalsvektoren eines Referenzsatzes bekannter Instanzen trainiert.
Verifizierung: Um eine Zielinstanz zu verifizieren, fragt das System diese mit denselben Token-Paaren ab, extrahiert die NIST-Statistiken und speist diese in den trainierten Klassifikator ein. Der Klassifikator sagt die wahrscheinlichste Referenzinstanz voraus oder klassifiziert das Ziel als „Unseen“ (unbekannt), falls die Konfidenz unter einen vordefinierten Schwellenwert fällt.

Operative Einschränkungen

FLIPS ist für den Betrieb unter strengen Black-Box-Bedingungen konzipiert und priorisiert die Abfrageeffizienz. Es unterscheidet zwischen:

Extraktionsbudget ( $N_r$ ): Wird verwendet, um die Referenzdatenbank aufzubauen (z. B. 40 Abfragen pro Instanz).
Verifizierungsbudget ( $N_t$ ): Wird für Routineprüfungen verwendet (z. B. so wenig wie 8 Abfragen).

3. Zentrale Beiträge

Paradigmenwechsel: Das Paper führt das Instanz-Level-Fingerprinting ein und motiviert es, indem es den Fokus von gewichtsbasierter Identifizierung (IPP) auf konfigurationsbewusste Identifizierung für die KI-Regulierung verschiebt.
FLIPS-Algorithmus: Eine neuartige, abfrageeffiziente Methode, die Biases in der Pseudozufallsgenerierung und NIST-Teststatistiken nutzt, um zwischen LLM-Instanzen zu unterscheiden.
Umfassender Benchmark: Die Autoren konstruierten einen Benchmark von 237 Instanzen, die aus 25 Open-Weight-LLMs abgeleitet wurden. Dieser umfasst Variationen in der Temperatur (0,4–1,0), System-Prompts (sicherheitsorientiert, schädlich, personenbasiert), Quantisierung (int4, fp8) und ablatierte Modelle.
Empirische Validierung: Die Studie zeigt, dass FLIPS adaptierte State-of-the-Art IPP-Methoden bei der Unterscheidung von Verhaltensvarianten signifikant übertrifft.

4. Experimentelle Ergebnisse

Evaluierend auf dem 237-Instanzen-Benchmark erreichte FLIPS folgende Leistungsmetriken:

Closed-Set Genauigkeit: 96 % mit 8 Verifizierungsabfragen ( $N_t=8$ ).
Open-Set Genauigkeit: 90 % (wobei 10 % der Zielinstanzen unbekannt/unbekannte Instanzen sind) mit 8 Verifizierungsabfragen.
Baseline-Vergleich: Die adaptierte State-of-the-Art IPP-Methode LLMmap erreichte lediglich 35 % Genauigkeit im Closed-Set-Szenario und wurde im Open-Set-Szenario aufgrund mangelnder Performance nicht evaluiert.
Abfrageeffizienz: Hohe Genauigkeit wurde bereits mit 40 Extraktionsabfragen und 8 Verifizierungsabfragen pro Instanz erreicht.
Robustheit: Die Methode blieb effektiv, selbst wenn die Sequenzlängen auf eine feste Länge gekürzt wurden, was bestätigt, dass das Signal aus dem Bias und nicht aus reinen Längendifferenzen stammt.
Fehleranalyse: Die Methode zeigte eine geringere Recall bei Instanzen mit höheren Temperaturen (erhöhte Output-Entropie) und spezifischen „ablatierte“ Modellen, behielt jedoch im Vergleich zu Baselines eine signifikante diskriminative Kraft bei.

5. Bedeutung und Behauptungen

Das Paper behauptet, dass FLIPS eine praktisch machbare Lösung für KI-Regulierungsbehörden bietet, um die Compliance eingesetzter LLMs zu verifizieren, ohne kostspielige Voll-Audits oder White-Box-Zugriff zu benötigen.

Regulatorische Notwendigkeit: Die Autoren argumentieren, dass da Instanz-Parameter (Prompts, Temperatur) das Modellverhalten drastisch verändern (z. B. Sicherheit vs. Toxizität), Regulierungsbehörden in der Lage sein müssen, spezifische Konfigurationen zu identifizieren, nicht nur Modellgewichte.
Analogie zum Nummernschild: Die Autoren vergleichen FLIPS mit einem „Nummernschild“ für LLMs: ein einfacher, effizienter Mechanismus, um eine Instanz zu identifizieren. Während dies gefälscht werden kann (z. B. indem ein Anbieter Abfragen an einen echten PRNG umleitet), ist eine solche Täuschung detektierbar (da echte PRNGs die NIST-Tests perfekt bestehen) und stellt eine höhere Hürde dar als die aktuelle blinde Stelle in der Regulierung.
Limitierungen: Das Paper räumt ein, dass die diskriminative Kraft dieser Methode abnehmen könnte, wenn sich die internen Random-Generation-Fähigkeiten von LLMs verbessern. Es schlägt jedoch vor, die Aufgabe zu komplexeren Randomness-Herausforderungen (z. B. Poisson-Prozesse) zu skalieren, um die Wirksamkeit aufrechtzuerhalten.

Zusammenfassend demonstriert FLIPS, dass die Ausnutzung subtiler Biases in der Pseudozufallsgenerierung eine effektive, kostengünstige Identifizierung spezifischer LLM-Instanzen ermöglicht und damit eine kritische Lücke in aktuellen KI-Governance-Frameworks schließt.