💬 NLP

Auditing Black-Box LLM APIs with a Rank-Based Uniformity Test

Die vorgestellte Arbeit entwickelt einen effizienten, rangbasierten Uniformitätstest, der es ermöglicht, die Verhaltensgleichheit von Black-Box-LLM-APIs mit lokalen Referenzmodellen zu verifizieren und so subtile Substitutionen durch Quantisierung oder schädliches Fine-Tuning auch unter adversären Bedingungen zuverlässig zu erkennen.

Ursprüngliche Autoren: Xiaoyuan Zhu, Yaowen Ye, Tianyi Qiu, Hanlin Zhu, Sijun Tan, Ajraf Mannan, Jonathan Michala, Raluca Ada Popa, Willie Neiswanger

Veröffentlicht 2026-03-20

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Xiaoyuan Zhu, Yaowen Ye, Tianyi Qiu, Hanlin Zhu, Sijun Tan, Ajraf Mannan, Jonathan Michala, Raluca Ada Popa, Willie Neiswanger

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie bestellen ein hausgemachtes, frisch gebackenes Brot bei einem Bäckerei-Lieferdienst. Sie bezahlen den vollen Preis für das "Premium-Weizenbrot", das Sie online bestellt haben. Aber was, wenn der Bäcker im Hintergrund heimlich ein billiges, trockenes Toastbrot aus dem Gefrierschrank an Ihre Tür liefert, nur um seine Kosten zu senken? Oder schlimmer noch: Was, wenn er das Brot mit einer giftigen Füllung versieht, die Sie nicht sehen können?

Genau dieses Problem haben die Autoren dieses Papers mit dem Titel "Auditing Black-Box LLM APIs" (Überprüfung von Black-Box-KI-Schnittstellen) untersucht.

Hier ist die einfache Erklärung, was sie getan haben, ohne komplizierte Fachbegriffe:

Das Problem: Der "Geheimnisträger" im Internet

Heute nutzen viele Menschen und Firmen große Künstliche Intelligenzen (LLMs) über eine Schnittstelle (API). Das ist wie ein Telefonat mit einem KI-Modell.

Das Problem: Sie hören nur die Stimme (die Antwort), aber Sie sehen nicht, wer spricht. Der Anbieter könnte behaupten: "Das ist das super-teure, hochintelligente Modell X!"
Die Gefahr: Der Anbieter könnte aber heimlich ein billigeres, langsames oder sogar unsicheres Modell (z. B. eine stark komprimierte Version) verwenden, um Geld zu sparen. Oder er hat das Modell so verändert, dass es gefährliche Dinge sagt (Jailbreaks), ohne dass Sie es merken.

Da Sie den Code der KI nicht sehen dürfen (es ist eine "Black Box"), können Sie nicht einfach nachschauen, ob es das richtige Modell ist.

Die Lösung: Der "RUT"-Test (Der Rang-Uniformitäts-Test)

Die Forscher haben eine neue Methode namens RUT entwickelt. Stellen Sie sich RUT wie einen sehr cleveren Koch-Test vor.

Die Idee dahinter:
Stellen Sie sich vor, Sie haben ein Original-Rezept (das "echte" Modell, das Sie lokal auf Ihrem Computer haben) und Sie wollen testen, ob der Lieferdienst das gleiche Rezept benutzt.

Das Experiment: Sie geben dem Lieferdienst (der API) eine Frage (einen "Prompt").
Der Vergleich: Gleichzeitig geben Sie die exakt gleiche Frage Ihrem eigenen, vertrauenswürdigen Original-Modell auf Ihrem Computer. Aber Sie lassen Ihr Computer-Modell nicht nur einmal antworten, sondern 100 Mal.
Die Rangliste: Da KI-Modelle manchmal leicht variieren (wie ein Koch, der das Salz anders würzt), haben die 100 Antworten Ihres Computers eine gewisse Verteilung. Manche Antworten sind sehr wahrscheinlich, andere selten.
- Die Forscher schauen sich nun die eine Antwort des Lieferdienstes an und fragen: "Wo steht diese Antwort in der Rangliste meiner 100 eigenen Antworten?"
- Ist die Antwort des Lieferdienstes ein "Normalfall" in Ihrer Liste? Oder ist sie ein "Ausreißer"?

Der Trick:
Wenn der Lieferdienst das richtige Modell nutzt, sollte seine Antwort zufällig irgendwo in Ihrer Liste landen – wie ein Würfelwurf, der fair ist. Die Antworten sollten sich gleichmäßig über die Liste verteilen (wie ein fairer Kuchen, der in gleich große Stücke geschnitten wurde).

Wenn der Lieferdienst aber ein anderes Modell (z. B. eine billige Kopie) nutzt, wird seine Antwort oft an Stellen landen, die in Ihrer Liste gar nicht vorkommen oder sehr selten sind. Die "Verteilung" ist dann nicht mehr fair, sondern krumm.

Warum ist das so genial?

Es ist unauffällig (Der "Tarnanzug"):
Frühere Methoden versuchten, die KI mit sehr seltsamen, speziellen Fragen zu testen. Ein böswilliger Anbieter könnte diese Fragen erkennen und sagen: "Aha, das ist ein Test! Ich schalte jetzt schnell auf das echte Modell um, damit ich nicht erwischt werde."
RUT nutzt aber ganz normale Fragen, wie sie ein echter Mensch stellen würde. Der Anbieter merkt also gar nicht, dass getestet wird. Er kann nicht "tarnen", weil er nicht weiß, dass er getestet wird.
Es ist effizient (Der "Sparfuchs"):
Frühere Methoden brauchten hunderte von Anfragen an den teuren API-Anbieter, um ein Ergebnis zu bekommen. RUT braucht pro Frage nur einen einzigen Anruf beim Anbieter. Das spart viel Geld und Zeit.
Es ist robust (Der "Stahlhelm"):
Die Tests zeigten, dass RUT selbst dann funktioniert, wenn der Anbieter nur manchmal das falsche Modell nutzt (z. B. bei 10 % der Anfragen). Andere Methoden scheiterten oft, wenn die Veränderung der KI nur klein war (wie bei einer leichten Komprimierung des Modells).

Was haben sie herausgefunden?

Die Forscher haben RUT gegen verschiedene Tricks getestet:

Komprimierung: Der Anbieter nutzt eine "zusammengepresste" Version des Modells (wie ein JPEG-Bild statt eines RAW-Fotos). RUT hat das fast immer erkannt.
Gefährliche Änderungen: Der Anbieter hat dem Modell geheime Anweisungen gegeben, um Zensur zu umgehen (Jailbreaks). RUT hat das sofort gemerkt.
Modell-Tausch: Der Anbieter hat das versprochene Modell komplett durch ein anderes ersetzt. RUT hat das ebenfalls erkannt.

Fazit

Die Autoren haben einen neuen, cleveren "Stethoskop"-Test entwickelt. Mit nur einem einzigen Hörer-Anruf (einer API-Anfrage) und einem Vergleich mit einem eigenen Referenz-Modell können Nutzer überprüfen, ob sie wirklich das bekommen, wofür sie bezahlt haben.

Es ist wie ein unsichtbarer Wachhund, der sicherstellt, dass der Bäckerei-Lieferdienst wirklich das Premium-Brot liefert und nicht heimlich Toastbrot verkauft – und das, ohne dass der Bäcker merkt, dass er beobachtet wird.

1. Problemstellung

Mit dem zunehmenden Zugang zu Large Language Models (LLMs) über APIs interagieren Nutzer zunehmend mit Black-Box-Systemen, die keine Transparenz bezüglich der eingesetzten Modelle bieten. Anbieter haben einen starken Anreiz, die Kosten zu senken oder die Latenz zu verringern, indem sie diskret quantisierte Varianten, feinabgestimmte Modelle (Fine-Tuning) oder sogar völlig andere Modelle anstelle des beworbenen Modells bereitstellen.

Dies führt zu zwei Hauptproblemen:

Leistungsverschlechterung: Quantisierte Modelle können schlechtere Ergebnisse liefern.
Sicherheitsrisiken: Modelle können mit schädlichem Fine-Tuning, Jailbreak-Prompts oder fehlerhaften Systemkomponenten versehen sein.

Das zentrale Hindernis für die Überprüfung (Auditing) ist der Black-Box-Charakter: Nutzer haben keinen Zugriff auf Modellgewichte oder Logits (Wahrscheinlichkeiten der Token-Auswahl). Sie erhalten nur den finalen Textausgang. Bestehende Methoden zur Erkennung von Modellsubstitutionen scheitern oft daran, dass sie entweder zu viele API-Abfragen benötigen, spezifische Abfragemuster verwenden, die von Anbietern erkannt und umgangen werden können (z. B. durch Prompt-Caching), oder nicht robust gegenüber subtilen Änderungen wie Quantisierung sind.

2. Methodik: Rank-Based Uniformity Test (RUT)

Die Autoren schlagen RUT vor, einen asymmetrischen Zweistichproben-Hypothesentest, der die Verhaltensgleichheit eines Black-Box-APIs mit einer lokal bereitgestellten Referenzimplementierung des behaupteten Modells überprüft.

Kernprinzip:
Das Verfahren basiert auf der Annahme, dass wenn das API-Modell ( $\pi_{tgt}$ ) identisch mit dem Referenzmodell ( $\pi_{ref}$ ) ist, die Antworten des APIs statistisch nicht von denen des Referenzmodells zu unterscheiden sind.

Der Ablauf:

Prompt-Auswahl: Für eine Reihe von Prompts $x$ wird eine Antwort vom Ziel-API ( $y_{tgt}$ ) und mehrere Antworten ( $m$ ) vom lokalen Referenzmodell ( $y_{ref}$ ) generiert.
Score-Funktion: Eine skalare Score-Funktion $f(y, x)$ wird auf die Antworten angewendet. Das Papier identifiziert Log-Rank (der Durchschnitt der Logarithmen der Token-Ränge basierend auf den Wahrscheinlichkeiten des Referenzmodells) als die diskriminativste Funktion.
Rangstatistik: Für die API-Antwort wird der Rang innerhalb der Verteilung der Referenzantworten berechnet. Um Diskretisierungsprobleme zu lösen, wird eine randomisierte Quantil-Residuen-Methode verwendet, um eine stetige Verteilung zu erzeugen.
- Wenn die Modelle identisch sind, sollten diese Rang-Percentile einer Gleichverteilung (Uniform Distribution) auf dem Intervall $[0, 1]$ folgen.
- Weicht das API-Modell ab (z. B. durch Quantisierung), weicht die Verteilung der Ränge von der Gleichverteilung ab.
Statistischer Test: Um die Abweichung von der Gleichverteilung zu testen, wird der Cramér-von-Mises-Test (CvM) angewendet. Ein signifikanter p-Wert führt zur Ablehnung der Nullhypothese (dass die Modelle gleich sind).

Vorteile der Methode:

Abfrageeffizienz: Es wird nur ein einziger API-Aufruf pro Prompt benötigt (im Gegensatz zu vielen für andere Methoden).
Robustheit: Da die Prompts normale Nutzeranfragen sein können und keine speziellen Muster aufweisen, ist es für einen böswilligen Anbieter schwierig, die Tests zu erkennen und gezielt umzuleiten (z. B. durch Prompt-Caching).
Keine Logits erforderlich: Die Methode benötigt nur den Textausgang, nicht die internen Logits des API-Anbieters.

3. Schlüsselbeiträge

Neuer Testansatz: Einführung des RUT als asymmetrischer Zweistichproben-Test, der speziell für Black-Box-APIs entwickelt wurde und nur eine Abfrage pro Prompt benötigt.
Umfassende Validierung: Empirische Überprüfung unter verschiedenen Bedrohungsszenarien:
- Quantisierung (4-bit und 8-bit).
- Versteckte Jailbreak-Prompts.
- Supervised Fine-Tuning (SFT) auf harmlosen und schädlichen Datensätzen.
- Vollständiger Austausch des Modells durch ein anderes.
Praktische Anwendung: Validierung an echten kommerziellen API-Endpunkten (z. B. Nebius, Novita, Hugging Face Inference) im Vergleich zu lokalen GPU-Instanzen (A100).

4. Ergebnisse

Die Evaluierung erfolgte unter Verwendung des WildChat-Datensatzes sowie spezialisierter Datensätze für Mathematik (MATH) und Code (BigCodeBench). Als Baselines dienten der Maximum Mean Discrepancy (MMD) Test und der Kolmogorov-Smirnov (KS) Test.

Überlegene Leistung: RUT übertraf in fast allen Szenarien (Quantisierung, Jailbreaking, SFT, Modellaustausch) die Baselines signifikant in Bezug auf die statistische Power (die Wahrscheinlichkeit, eine Substitution korrekt zu erkennen) bei festem Abfragebudget.
Robustheit gegenüber Quantisierung: Während MMD und KS bei 8-bit-Quantisierung oft versagten (Power nahe Null), konnte RUT auch hier signifikante Abweichungen erkennen, insbesondere bei 4-bit-Modellen.
Früherkennung bei Fine-Tuning: RUT konnte Verhaltensänderungen bereits nach dem ersten Trainings-Epoch bei Fine-Tuning erkennen, was eine hohe Sensitivität für frühe Verteilungsverschiebungen zeigt.
Robustheit gegenüber Decoding-Unterschieden: Im Gegensatz zu MMD, das auf String-Hamming-Distanz basiert und durch kleine Formatierungsunterschiede (z. B. fehlende Leerzeichen bei Hugging Face Inference) fehlalarmieren kann, blieb RUT robust, da es auf der semantischen Rangordnung der Token basiert.
Echtwelt-Tests: Bei Tests mit echten API-Anbietern stimmten die Ergebnisse von RUT und MMD weitgehend überein, wobei RUT weniger anfällig für nicht-modellbedingte Artefakte war.

5. Bedeutung und Fazit

Das Paper adressiert ein kritisches Sicherheits- und Vertrauensproblem im Ökosystem der LLM-APIs. Mit RUT stellen die Autoren ein Werkzeug bereit, das es Nutzern und Aufsichtsbehörden ermöglicht, die Integrität von API-Angeboten effizient und schwer zu umgehen zu überprüfen.

Sicherheitsimplikation: Die Methode erschwert es Anbietern, verdeckt minderwertige oder unsichere Modelle zu liefern, ohne dass dies vom Kunden bemerkt wird.
Praktische Relevanz: Durch die hohe Abfrageeffizienz (nur 1 Call pro Prompt) ist ein häufiges Auditing auch bei begrenzten Budgets machbar.
Zukunftsausblick: Die Autoren sehen als nächste Schritte die Untersuchung der Robustheit gegen Adversaries, die das Auditing-Verfahren vollständig kennen und gezielt Prompts umleiten könnten, sowie die Erweiterung auf proprietäre Modelle, für die keine lokale Referenzimplementierung verfügbar ist.

Zusammenfassend bietet RUT einen starken, theoretisch fundierten und empirisch validierten Ansatz, um die „Black Box" von LLM-APIs zu öffnen und die Lücke zwischen beworbener und tatsächlicher Modellleistung zu schließen.