🤖 AI

KBF: Knowledge Boundary as Fingerprint for Language Model and Black-Box API Auditing

Dieser Beitrag stellt KBF vor, ein kostengünstiges Black-Box-Auditing-Protokoll, das eine stabile numerische Recall-Leistung in der Nähe der Wissensgrenze nutzt, um APIs von Sprachmodellen zu fingerprinten und wirtschaftlich relevante Modellsubstitutionen sowie Mixed-Routing-Angriffe über Produktionsendpunkte und Shadow-APIs hinweg effektiv zu erkennen, ohne direkten Zugriff auf die Modelle zu erfordern.

Ursprüngliche Autoren: Yijia Fang, Yiqing Feng, Bingyu Li, Mingxun Zhou

Veröffentlicht 2026-05-29

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Yijia Fang, Yiqing Feng, Bingyu Li, Mingxun Zhou

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie kaufen eine Flasche Wein bei einem schicken, externen Wiederverkäufer. Das Etikett besagt, es handele sich um eine seltene, teure Jahrgangsweine aus einem berühmten Weinberg. Doch Sie können den Inhalt der Flasche nicht sehen, und der Wiederverkäufer lässt Sie nicht vor dem Kauf probieren. Sie vermuten, dass er den teuren Wein gegen eine billige, generische Marke getauscht haben könnte, um die Gewinnmarge hochzuhalten.

Genau dieses Problem steht heute Benutzern von Large Language Models (LLMs) gegenüber. Viele Menschen kaufen Zugang zu diesen KI-Modellen über „Relay"-Dienste oder Wiederverkäufer. Diese Dienste fungieren als Zwischenhändler: Sie zahlen ihnen, und sie leiten Ihre Anfrage an den eigentlichen KI-Anbieter weiter. Das Problem? Der Wiederverkäufer könnte den teuren, hochwertigen KI-Service, für den Sie bezahlt haben, heimlich gegen einen billigeren, minderwertigen austauschen, während er Ihnen gleichzeitig versichert, es handele sich um das Original.

Diese Arbeit stellt ein neues Werkzeug namens KBF (Knowledge Boundary Fingerprinting) vor, um diese „Wein-Tauscher" zu entlarven, ohne die Flasche öffnen oder die Fabrik von innen sehen zu müssen.

Die Kernidee: Die „Wissensgrenze"

Die meisten Menschen denken, man könne zwei KI-Modelle unterscheiden, indem man sie schwierige Fragen stellt oder sie bittet, sich vorzustellen. Doch KIs sind tückisch; sie lügen oft über ihre Identität oder lassen sich dazu verleiten, so zu tun, als wären sie jemand anderes.

Die Forscher entdeckten einen anderen Weg, eine KI zu identifizieren: Schauen Sie an den Rand ihres Wissens.

Stellen Sie sich das Wissen einer KI wie eine Bibliothek vor.

Innerhalb der Bibliothek (Allgemeines Wissen): Wenn Sie fragen: „Was ist 2+2?", wird fast jede KI „4" antworten. Das hilft nicht, sie zu unterscheiden.
Außerhalb der Bibliothek (Zu obskur): Wenn Sie nach einer spezifischen, erfundenen Tatsache aus einem Buch fragen, das nicht existiert, wird die KI einfach zufällig raten. Das ist zu verrauscht, um nützlich zu sein.
Die Grenze (Der Sweet Spot): Dies ist der Rand der Bibliothek. Dies sind Fakten, die sich gerade noch am Rand dessen befinden, was die KI weiß.
- Eine intelligente, teure KI könnte die exakte Antwort kennen.
- Eine billigere KI könnte eine leicht falsche Antwort raten.
- Entscheidend ist: Selbst wenn die KI die Antwort falsch gibt, liefert sie oft jedes Mal dieselbe falsche Antwort.

Die Forscher nennen dies „stabile falsche Antworten". Sie sind wie ein einzigartiger Fingerabdruck. Wenn eine teure KI konsequent sagt: „Der Siedepunkt dieser obskuren Chemikalie beträgt 106 Grad", und eine billige KI konsequent sagt: „Es sind 108 Grad", dann ist dieser Unterschied ein Fingerabdruck. Selbst wenn die teure KI falsch liegt, ist das Muster ihres Fehlers einzigartig für sie.

Wie KBF funktioniert (Der „Audit"-Prozess)

KBF ist ein dreistufiger Prozess, um einen Wiederverkäufer auf frischer Tat zu ertappen:

Fingerabdruck des Originals (Offline):
Zuerst spricht der Prüfer mit der offiziellen KI (dem Modell, das der Wiederverkäufer zu verkaufen behauptet). Er stellt ihm Tausende von Fragen zu obskuren Fakten nahe der „Wissensgrenze". Er notiert genau, was die offizielle KI sagt, selbst wenn es falsch ist. Er erstellt einen „Fingerabdruck" davon, wie dieses spezifische KI-Modell den Rand seines Wissens handhabt.
Kalibrierung des Rauschens:
Der Prüfer stellt der offiziellen KI dieselben Fragen erneut, um zu sehen, wie stark sie „zittert". Manchmal kann selbst die echte KI aufgrund von zufälligem Computer-Rauschen eine leicht abweichende Antwort geben. KBF misst dieses natürliche „Zittern", um zu wissen, wie ein normaler Fehler aussieht.
Der Audit (Online):
Nun stellt der Prüfer dem verdächtigen Wiederverkäufer dieselben Fragen.
- Wenn der Wiederverkäufer ehrlich ist, werden seine Antworten mit dem offiziellen Fingerabdruck übereinstimmen (innerhalb des natürlichen „Zittern"-Bereichs).
- Wenn der Wiederverkäufer betrügt und eine billige KI verwendet, werden die Antworten vom offiziellen Fingerabdruck abweichen. Die billige KI könnte eine andere falsche Antwort geben oder gar keine Antwort.

KBF verwendet einen statistischen Test, um zu entscheiden: „Ist dieser Unterschied nur zufälliges Rauschen, oder ist er der Beweis dafür, dass ein anderes KI-Modell verwendet wird?"

Was sie fanden

Die Forscher testeten KBF an 16 verschiedenen realen KI-Modellen und diversen Wiederverkäuferdiensten. Hier ist, was passierte:

Es fängt Betrüger: KBF identifizierte erfolgreich 155 verschiedene Fälle, in denen ein Wiederverkäufer ein Modell gegen ein billigeres austauschte. Dabei beschuldigte er nie fälschlicherweise einen ehrlichen Wiederverkäufer.
Es ist robust: Wiederverkäufer ändern oft ihre Einrichtung (Hinzufügen von „Personas", Ändern der Temperatureinstellungen oder Verwendung zusätzlicher Tools). KBF funktionierte perfekt, selbst wenn sich die Einrichtung änderte. Andere Methoden scheiterten und beschuldigten ehrliche Leute des Betrugs.
Es fängt Teil-Austausche: Manchmal tauscht ein Wiederverkäufer nicht jede Anfrage aus; er tauscht vielleicht 10 % davon aus, um Geld zu sparen. KBF ist empfindlich genug, um dieses „gemischte Routing" zu erkennen, selbst wenn nur ein kleiner Teil des Datenverkehrs ausgetauscht wird.
Ergebnisse aus der Praxis: Das Team nutzte KBF, um sechs zwielichtige „Shadow"-API-Plattformen zu auditieren, die günstigen Zugang zu erstklassigen Modellen bewerben. Sie fanden heraus, dass 7 von 27 Endpunkten über das ausgeführte Modell lügten. Interessanterweise konzentrierten sich die Lügen hauptsächlich auf die teuersten, Premium-Modelle (wie Claude), denn dort ist das Geld zu sparen.

Warum das wichtig ist

Bevor dies möglich war, musste man raten, wenn man wissen wollte, ob ein Wiederverkäufer ehrlich ist, die KI fragen „Wer bist du?" (was sie möglicherweise über ihre Identität lügen lässt) oder sich auf ungeprüfte Community-Tests verlassen.

KBF bietet eine kostengünstige, wissenschaftliche Methode, um zu verifizieren, was Sie kaufen. Es erfordert keine Kooperation des Wiederverkäufers, keinen speziellen Zugriff auf den internen Code der KI und keine Aufforderung an die KI, etwas Gefährliches oder Seltsames zu tun. Es fragt die KI einfach nach obskuren Fakten und prüft, ob die Antworten mit dem „Fingerabdruck" des Modells übereinstimmen, für das Sie bezahlt haben.

Kurz gesagt ist KBF ein Lügendetektor für KI-Wiederverkäufer, der sicherstellt, dass Sie, wenn Sie für den „Premium-Wein" bezahlen, tatsächlich die Premium-Flasche erhalten und nicht einen billigen Ersatz.

Technische Zusammenfassung: KBF – Wissensgrenze als Fingerabdruck für die Auditierung von Sprachmodellen und Black-Box-APIs

1. Problemformulierung

Der Beitrag behandelt das „Vertrauensproblem", das im wachsenden Ökosystem von Relay- und Weitervertriebs-APIs für Large Language Models (LLMs) inhärent ist. Nutzer greifen häufig über Drittanbieter-Intermediäre auf LLMs zu, die Modelle aggregieren und einheitliche Abrechnung sowie Wechselmöglichkeiten bieten. Diese Intermediäre können jedoch stillschweigend ein beworbenes, teures Flaggschiff-Modell durch ein günstigeres, weniger leistungsfähiges Backend ersetzen, um die Gewinnmargen zu erhöhen.

Die Kernherausforderung besteht im Black-Box-Relay-Audit: Zu bestimmen, ob ein verdächtiger Relay-Endpunkt ( $O_{sus}$ ) das spezifische Modell bedient, das er beansprucht ( $O_{ref}$ ), ohne Zugriff auf:

Modellgewichte, Logits oder Trainingsdaten.
Serverseitige Routing-Protokolle oder versteckte Systemprompts.
Mitwirkung des Anbieters (z. B. Wasserzeichen oder verifizierbare Inferenz).

Der Auditor verfügt ausschließlich über öffentlichen API-Zugriff sowohl auf den offiziellen Referenzendpunkt als auch auf den verdächtigen Endpunkt. Das Ziel ist die Erkennung einer vollständigen Substitution (Bedienung eines völlig anderen Modells) und einer gemischten Weiterleitung (Bedienung einer Mischung aus dem beanspruchten Modell und einem günstigeren Ersatz), wobei eine niedrige False-Positive-Rate (Vermeidung falscher Beschuldigungen ehrlicher Anbieter) beizubehalten und robust gegenüber benignen Bereitstellungsvariationen (z. B. unterschiedliche Systemprompts, Temperaturen oder RAG-Wrapper) zu bleiben ist.

Bestehende Black-Box-Methoden erfüllen diese Anforderungen nicht gleichzeitig. Verhaltens-Fingerprinting (z. B. LLMmap) stützt sich auf feste Proben, die leicht umgangen werden oder empfindlich auf Wrapper reagieren. Verteilungstests (z. B. MET) leiden unter hoher Varianz bei Konfigurationsänderungen. Selbstidentifikations-Prompts sind unzuverlässig, da Modelle ihre Identität oft falsch angeben.

2. Methodik: Wissensgrenzen-Fingerprinting (KBF)

Die Autoren schlagen KBF vor, ein Protokoll, das stabile numerische Abrufleistung nahe der Wissensgrenze als Fingerabdruck nutzt.

Grundlegende Intuition

Die Autoren beobachten, dass Modelle zwar bei gemeinsamen Fakten übereinstimmen (geringes Signal) und bei obskuren Fakten versagen (instabil), jedoch ein distintives Verhalten nahe der „Wissensgrenze" aufweisen:

Innerhalb der Grenze: Modelle rufen numerische Fakten stabil korrekt ab.
Knapp außerhalb der Grenze: Modelle produzieren oft stabile, aber faktisch falsche numerische Werte.
Diese „falschen, aber stabilen" Werte wirken als persistente, modellspezifische parametrische Assoziationen. Ein Ersatzmodell ist unwahrscheinlich in der Lage, exakt denselben stabilen Fehler oder den spezifischen stabilen korrekten Wert des Referenzmodells zu reproduzieren.

Das KBF-Protokoll

KBF arbeitet in drei Phasen:

Phase 1: Probengenerierung (Offline)

Adaptive Frontier-Suche: Der Auditor befragt den offiziellen Referenzendpunkt ( $O_{ref}$ ), um Kandidaten für numerische Fakten in verschiedenen Domänen (Chemie, Astronomie, Mathematik usw.) vorzuschlagen. Die Suche passt sich an, um sich zu zunehmend obskuren Fakten nahe der Grenze des stabilen Abrufs zu bewegen.
Referenz-Konsistenzprüfungen: Kandidaten werden unter mehreren benignen Konfigurationen (z. B. variierende Systemprompts, Temperaturen) erneut abgefragt. Nur Kandidaten, bei denen $O_{ref}$ einen stabilen, parsbaren numerischen Wert liefert (auch wenn faktisch falsch), werden beibehalten.
Kontrastives Screening (Optional): Zur Effizienzsteigerung werden Kandidaten gegen einen bekannten günstigeren Ersatz (z. B. ein 9B-Parameter-Modell) geprüft. Wenn der Ersatz mit der Referenz übereinstimmt, wird die Probe verworfen, um diskriminierende Kraft zu gewährleisten.
Ausgabe: Ein kompakter Satz von Proben $P_{ref} = \{(q_i, d_i, a_i, match_{d_i})\}$ , wobei $a_i$ der Konsenswert der Referenz ist.

Phase 2: Selbstkalibrierung

Der Auditor befragt $O_{ref}$ erneut mit den eingeschriebenen Proben unter der spezifischen Audit-Konfiguration, die für den Verdächtigen vorgesehen ist.
Das System zählt Selbstdiskrepanzen ( $k_{self}$ ), um das „gewöhnliche Eigenrauschen" des Referenzendpunkts zu schätzen.
Eine obere Konfidenzgrenze nach Clopper-Pearson (CP) ( $p_0$ ) wird berechnet. Dies setzt eine konservative Null-Toleranz für die Anzahl der Fehler fest, die von der Referenz selbst erwartet werden.

Phase 3: Audit des verdächtigen Endpunkts (Online)

Der Auditor sendet die eingeschriebenen Proben an den verdächtigen Endpunkt ( $O_{sus}$ ).
Antworten werden geparst und unter Verwendung domänenspezifischer Matching-Regeln mit dem Referenzkonsens $a_i$ verglichen.
Ein binomialer statistischer Test wird durchgeführt: Wenn die Anzahl der Diskrepanzen ( $k$ ) den durch $p_0$ definierten Schwellenwert (auf Signifikanzniveau $\alpha = 0.05$ ) überschreitet, wird die Nullhypothese ( $H_0$ : $O_{sus} \approx O_{ref}$ ) verworfen, und der Endpunkt wird als VERSCHIEDEN markiert.

Erweiterung für adaptive Weiterleitung
Für gemischte Weiterleitung (wobei nur ein Bruchteil $\alpha$ des Verkehrs substituiert wird) setzt KBF ein Audit in zwei Runden ein:

Runde 1: Audit aller Proben.
Runde 2: Neu-Audit nur der Proben, die in Runde 1 nicht übereinstimmten.
Dies konzentriert Abfragen auf den am wahrscheinlichsten substituierten Verkehr und ermöglicht die Erkennung selbst bei niedrigen Substitutionsraten (z. B. 5–10 %).

3. Hauptbeiträge

Neuartige Signalidentifikation: Der Beitrag identifiziert „numerischen Abruf an der Wissensgrenze" (einschließlich wiederholbarer falscher Antworten) als ein stabiles, modellspezifisches Signal, das keine Selbstidentifikation, keinen Stil oder privilegierte Metadaten erfordert.
End-to-End-Protokoll (KBF): Ein Black-Box-Audit-Protokoll, das dieses Signal durch adaptive Frontier-Suche, Konfigurationsstabilitätsfilterung und kontrastives Screening in kompakte Probensätze transformiert.
Umfassende Evaluation: Evaluation über 16 produktive LLM-Endpunkte (8 Familien, 3 Preisklassen), die eine hohe Diskriminierung gegenüber wirtschaftlich relevanten Substitutionen demonstriert.
Anwendung in der realen Welt: Einsatz auf sechs „Shadow-API"-Plattformen, bei dem statistisch inkonsistente Endpunkte in einer realen Umgebung erfolgreich markiert wurden, ohne Mitwirkung des Anbieters.
Offene Ressourcen: Veröffentlichung von Code, Daten und Benchmark-Probensätzen zur Unterstützung der Reproduzierbarkeit.

4. Empirische Ergebnisse

Die Autoren evaluierten KBF gegen drei Baselines (MET, LLMmap, ZeroPrint) und fanden:

Hohe Genauigkeit: KBF erkannte alle 155 wirtschaftlich relevanten Substitutionen (einschließlich Downgrades innerhalb derselben Familie) mit 0 False Positives bei Kontrollen mit gleicher Referenz. Baselines litten unter hohen False-Positive-Raten (bis zu 37,5 % für LLMmap) oder verpassten Substitutionen.
Robustheit: Unter sechs verschiedenen Bereitstellungskonfigurationen (Rollenprompts, Temperaturänderungen, RAG-Wrapper) behielt KBF 0 False Positives bei und erkannte 100 % der Substitutionen. Baselines erzeugten entweder übermäßige Fehlalarme oder verpassten substituierte Modelle aufgrund der Empfindlichkeit gegenüber Wrappern.
Erkennung gemischter Weiterleitung: KBF erkannte Substitutionen, wenn nur 5–10 % des Verkehrs an einen Ersatz weitergeleitet wurden (für Opus-basierte Modelle) und bis zu 50 % für schwierigere Fälle (Sonnet-basiert).
Kosteneffizienz:
- Einschreibekosten: ~22 $ einmalige Kosten zur Generierung von Proben für eine Modellversion.
- Auditkosten: ~0,39 $ insgesamt für den Audit aller 16 Modelle (ca. 0,02–0,24 $ pro Modell).
Ergebnisse zu Shadow-APIs: Bei einem Audit von 27 Endpunkten auf 6 Shadow-Plattformen:
- 7 Endpunkte wurden als statistisch inkonsistent markiert.
- 6 der 7 Markierungen konzentrierten sich auf Premium-Claude-Endpunkte (Opus und Sonnet), was mit dem wirtschaftlichen Anreiz übereinstimmt, teure Modelle zu substituieren.
- Preisklassen-Analyse: Auf Plattformen, die mehrere Preisklassen für dasselbe Modell anbieten, waren niedrigere Preisklassen signifikant wahrscheinlicher markiert als höhere Preisklassen, was eine preisklassenabhängige Backend-Substitution nahelegt.

5. Bedeutung und Behauptungen

Der Beitrag behauptet, dass KBF eine praktische, kostengünstige und robuste Lösung für die Drittanbieter-Auditierung von LLM-Relay-APIs bietet. Seine Bedeutung liegt in:

Operativer Machbarkeit: Es funktioniert strikt in einer Black-Box-Umgebung und erfordert keine Mitwirkung des Modellanbieters oder des Relays.
Wirtschaftliche Relevanz: Es zielt spezifisch auf die wirtschaftlichen Anreize von Relays ab (Substitution teurer Modelle durch günstige) und nicht auf eine generische Modellidentifikation.
Zuverlässigkeit: Durch Kalibrierung gegen das spezifische Eigenrauschen des Referenzendpunkts vermeidet es die hohen False-Positive-Raten, die Verteilungs- oder Verhaltens-Fingerprinting-Methoden plagen, wenn sich Bereitstellungskonfigurationen ändern.
Handlungsrelevanz: Es ermöglicht Nutzern und Forschern, Dienstleistungsversprechen zu verifizieren und „Shadow"-APIs zu identifizieren, die möglicherweise degradierte oder inkonsistente Dienste bereitstellen, insbesondere für hochwertige proprietäre Modelle.

Die Autoren nehmen eine bescheidene Haltung ein und stellen fest, dass KBF ein statistisches Triage-Werkzeug und kein kryptografischer Beweis der Backend-Identität ist. Sie räumen ein, dass ein Einsatz in hochriskanten operativen Szenarien eine weitere Kalibrierung erfordert (z. B. wiederholte Audits über Zeit und Regionen hinweg) und dass das aktuelle binomiale Modell die Unabhängigkeit der Proben annimmt, was möglicherweise eine Korrektur für Domänenblock-Korrelationen erfordert.