💬 NLP

SVIP: Towards Verifiable Inference of Open-source Large Language Models

SVIP ist ein recheneffizientes, auf Geheimnissen basierendes Protokoll, das es Nutzern ermöglicht, die Ehrlichkeit dezentraler LLM-Inferenzanbieter zu verifizieren, indem eine Proxy-Aufgabe auf verborgenen Repräsentationen trainiert wird, um das Modell eindeutig zu identifizieren und einen unbefugten Austausch durch kleinere, weniger leistungsfähige Versionen zu verhindern.

Ursprüngliche Autoren: Yifan Sun, Yuhang Li, Yue Zhang, Yuchen Jin, Huan Zhang

Veröffentlicht 2026-02-03

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Yifan Sun, Yuhang Li, Yue Zhang, Yuchen Jin, Huan Zhang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie engagieren einen Koch, um ein sehr teures, komplexes Gericht nach einem speziellen, hochwertigen Rezept (einem großen KI-Modell) zuzubereiten. Da Ihre eigene Küche nicht groß genug ist, um es selbst zu kochen, senden Sie die Bestellung an einen externen, unabhängigen Koch (einen dezentralen Computing-Anbieter).

Das Problem? Der externe Koch könnte faul oder gierig sein. Anstatt das teure, zeitaufwendige Rezept zu verwenden, für das Sie bezahlt haben, verwendet er heimlich ein billiges, schnelles, minderwertiges Rezept, das dem Original ähnlich sieht, aber schrecklich schmeckt. Da Sie nicht in seine Küche sehen können, haben Sie keine Möglichkeit zu wissen, ob er tatsächlich die richtigen Zutaten verwendet oder nur das Ergebnis vorgetäuscht hat.

Dieses Paper stellt SVIP vor, ein cleveres „Geheimhandschlag“-System, um sicherzustellen, dass der Koch tatsächlich das richtige Rezept verwendet hat.

Das Kernproblem: Der „falsche Koch“

In der Welt der Open-Source-KI werden Modelle immer größer. Normalbürger können diese nicht auf ihren eigenen Computern ausführen. Also bezahlen sie Drittanbieter dafür, die KI für sie auszuführen.

Das Risiko: Ein unehrlicher Anbieter könnte das große, leistungsstarke KI-Modell durch ein winziges, schwaches Modell austauschen, um Strom und Hardware zu sparen, während er Ihnen trotzdem den vollen Preis für das große Modell berechnet.
Die Falle: Sie können das Ergebnis nicht einfach nur prüfen. Eine kleine KI könnte eine „gut genuegende“ Antwort liefern, die wie das Werk der großen KI aussieht. Sie benötigen einen Weg, um zu beweisen, wie die Antwort zustande kam, und nicht nur, was die Antwort ist.

Die Lösung: SVIP (Der „Check der geheimen Zutat“)

Die Autoren schlagen ein System vor, bei dem der Anbieter beweisen muss, dass er das spezifische Modell verwendet hat, ohne das Modell selbst offenzulegen. So funktioniert es, unter Verwendung einiger Analogien:

1. Der „Verborgene Fingerabdruck“ (Nicht nur die Antwort)

Wenn eine KI denkt, gibt sie nicht einfach nur Text aus; sie leitet Informationen durch viele Schichten von „verborgenen Gedanken“ (genannt „hidden representations“) weiter, bevor sie die endgültige Antwort liefert.

Der alte Weg: Sie erhalten nur den fertigen Text.
Der SVIP-Weg: Der Anbieter muss Ihnen zusätzlich eine komprimierte Zusammenfassung dieser „verborgenen Gedanken“ senden.
Die Analogie: Stellen Sie sich vor, der Koch schickt Ihnen nicht nur die Suppe; er schickt Ihnen auch eine winzige Probe der Brühe aus jeder Phase des Kochvorgangs. Das „Geschmacksprofil“ der Brühe ist einzigartig für das verwendete Rezept.

2. Der „Proxy-Test“ (Die Geschmacksprüfung)

Das System nutzt einen speziellen, vortrainierten „Geschmackstester“ (eine Proxy-Aufgabe).

Dieser Tester wurde ausschließlich auf den „verborgenen Gedanken“ der spezifischen großen KI trainiert, die Sie angefordert haben.
Wenn der Anbieter die „verborgenen Gedanken“ der großen KI zurücksendet, sagt der Geschmackstester: „Ja, das passt perfekt zum großen Rezept!“
Wenn der Anbieter es mit einer kleinen KI gefächt hat, werden die „verborgenen Gedanken“ anders schmecken, und der Tester wird sagen: „Nein, das ist nicht das richtige Rezept.“

3. Die „Geheime Sauce“ (Das Sicherheits-Upgrade)

Zuerit stellten die Autoren fest, dass ein schlauer Betrüger einfach den „richtigen Geschmack“ auswendig lernen und die verborgenen Gedanken vortäuschen könnte. Um dies zu verhindern, fügten sie ein Geheimnis hinzu.

Wie es funktioniert: Bevor die Bestellung gesendet wird, gibt das System dem Nutzer einen geheimen Code (wie ein zufälliges Passwort), den der Anbieter niemals zu Gesicht bekommt.
Die „verborgenen Gedanken“ werden mit diesem geheimen Code vermischt, bevor sie zurückgesendet werden.
Das Ergebnis: Der Anbieter kann die Antwort nicht einfach auswendig lernen, da sich die „geheime Sauce“ jedes Mal ändert. Er kann den geheimen Code nicht erraten, also kann er die verborgenen Gedanken nicht fälschen. Er muss tatsächlich die echte KI ausführen, um das richtige Ergebnis zu erhalten.

Warum das wichtig ist

Das Paper behauptet, dass SVIP:

Schnell ist: Es dauert weniger als ein Wimpernschlag (0,01 Sekunden), um zu verifizieren. Es ist nicht wie andere Methoden, die Stunden dauern.
Genau ist: Es entlarvt Betrüger fast zu 100 % (weniger als 5 % Chance, einen Betrug zu übersehen, und weniger als 3 % Chance, einen ehrlichen Koch fälschlicherweise zu beschuldigen).
Leichtgewichtig ist: Es erfordert nicht, dass der Nutzer einen Supercomputer besitzt; ein gewöhnlicher Laptop kann die Verifizierung durchführen.

Das Fazit

SVIP ist ein Vertrauensmechanismus für die KI-Ökonomie. Es ermöglicht Ihnen, einem Fremden zu bezahlen, um ein massives KI-Modell auszuführen, im Wissen, dass Ihr „Geheimhandschlag“-System ihn sofort entlarvt, falls er versucht, Abkürzungen zu nehmen und ein kleineres, billigeres Modell zu verwenden. Es verwandelt den unsichtbaren Prozess des KI-Denkens in etwas, das man verifizieren kann, und stellt sicher, dass Sie genau das bekommen, wofür Sie bezahlt haben.

Technisches Resümee: SVIP – Hin zu verifizierbarer Inferenz von Open-Source-Large-Language-Models

1. Problemstellung

Das rasante Wachstum von Open-Source-Large-Language-Models (LLMs) hat die lokale Bereitstellung für einzelne Nutzer aufgrund des hohen Rechenaufwands unpraktikabel gemacht. Infolgedessen hat sich das dezentrale Computing als kosteneffiziente Alternative herauskristallisiert, bei der Nutzer die LLM-Inferenz an Drittanbieter (Einzelpersonen oder kleine Unternehmen) mit überschüssigen Ressourcen auslagern.

Diese Umgebung führt jedoch zu einem kritischen Vertrauensproblem: der verifizierbaren Inferenz. Ein böswilliger Rechenanbieter könnte heimlich das vom Nutzer angeforderte Modell mit hoher Kapazität (z. B. Llama-3.1-70B) durch ein kleineres, weniger leistungsfähiges Modell (z. B. Llama-2-7B) ersetzen, um Rechenkosten zu sparen, während er weiterhin für das größere Modell abrechnet. Da Anbieter oft nur den Black-Box-API-Zugriff bieten, können Nutzer solche Substitutionen nicht leicht erkennen. Bestehende Lösungen stehen vor erheblichen Einschränkungen:

Kryptographische Methoden (z. B. Zero-Knowledge-Proofs) verursachen prohibitive Rechenüberlastungen (z. B. >800 Sekunden pro Abfrage).
Spieltheoretische Protokolle stützen sich auf unrealistische Annahmen über rationale, nicht-kooperative Anbieter.
Watermarking/Fingerprinting werden typischerweise von den Modellherstellern implementiert und sind für Szenarien der Nutzer-Anbieter-Verifizierung ungeeignet.

Das Ziel ist es, ein Protokoll zu entwerfen, das es einem Nutzer ermöglicht, mit hoher Konfidenz zu verifizieren, dass ein spezifisches LLM für die Inferenz verwendet wurde, während gleichzeitig die Recheneffizienz, niedrige Falsch-Positiv-/Negativ-Raten und die Qualität der Vervollständigung gewahrt bleiben.

2. Methodik

Die Autoren schlagen SVIP (Secret-based Verifiable Inference Protocol) vor, welches verborgene Repräsentationen (hidden representations) aus dem LLM-Inferenzprozess nutzt, anstatt sich auf kryptographische Beweise zu verlassen.

2.1. Kernmechanismus: Proxy-Aufgabe auf verborgenen Zuständen

Das Protokoll basiert auf der Intuition, dass die durch ein spezifisches Modell generierten verborgenen Zustandsrepräsentationen einzigartige Signaturen enthalten.

Datenaustausch: Der Rechenanbieter gibt nicht nur den generierten Text zurück, sondern auch einen komprimierten Vektor der verarbeiteten verborgenen Repräsentationen ( $z(x)$ ) des spezifizierten Modells.
Proxy-Aufgabe: Eine „Proxy-Aufgabe“ wird ausschließlich auf den verborgenen Repräsentationen des spezifizierten Modells ( $M_{spec}$ ) trainiert. Diese Aufgabe transformiert die verborgenen Repräsentationen in einen eindeutigen Identifikator für dieses Modell.
Verifizierung: Der Nutzer evaluiert den zurückgegebenen Vektor $z(x)$ lokal auf der Proxy-Aufgabe. Wenn das verwendete Modell $M_{spec}$ ist, sollte der Vektor bei der Aufgabe gut abschneiden; wenn ein kleineres Alternativmodell ( $M_{alt}$ ) verwendet wurde, wird die Leistung signifikant sinken.

2.2. Das einfache Protokoll und seine Schwachstelle

Zunächst wird ein einfaches Protokoll vorgeschlagen, bei dem der Nutzer einen binären Klassifikator auf verborgenen Zuständen trainiert. Dies ist jedoch anfällig für Direct Vector Optimization Attacks. Ein böswilliger Anbieter, der die Labeling-Funktion kennt, könnte das LLM vollständig umgehen, einen Vektor $\tilde{z}$ direkt so optimieren, dass er den Klassifikator zufriedenstellt, und diesen dann zurückgeben, wodurch er betrügt, ohne Inferenzkosten zu verursachen.

2.3. Das Geheimnis-basierte Protokoll (SVIP)

Um Optimierungsangriffe zu kontern, führt SVIP einen Geheimnis-Mechanismus ein:

Geheimnis-Zuweisung: Die Plattform weist dem Nutzer ein eindeutiges Geheimnis ( $s$ ) zu, das niemals mit dem Rechenanbieter geteilt wird.
Geheimnis-abhängiges Labeling: Die Labeling-Funktion $y(x, s)$ hängt vom Geheimnis ab. Ein böswwilliger Anbieter kann das korrekte Label nicht bestimmen, ohne $s$ zu kennen.
Geheimnis-Einbettung: Das Geheimnis $s$ wird als Token $t_\psi(s)$ in die Aufgabe eingebettet und mit den verborgenen Zuständen vor der Komprimierung konkateniert.
Kontinuierliche Verifizierung: Die Verifizierung prüft, ob der Abstand zwischen dem vorhergesagten Proxy-Output und dem geheimnisabhängigen Label-Vektor unter einem Schwellenwert $\eta$ liegt.

2.4. Verteidigung gegen adaptive Angriffe

Das Paper analysiert zwei adaptive Angriffe:

Adapter-Angriff: Ein Angreifer trainiert einen neuronalen Adapter, um verborgene Zustände von $M_{alt}$ so abzubilden, dass sie unter einem spezifischen Geheimnis $M_{spec}$ nachahmen.
Geheimnis-Rekonstruktions-Angriff: Ein Angreifer versucht, das Geheimnis $s$ aus der bereitgestellten Einbettung $t_\psi(s)$ durch das Sammeln vieler Geheimnis-Einbettungs-Paare zu rekonstruieren.

Verteidigungsmechanismus: SVIP nutzt einen Update-Mechanismus. Geheimnisse werden nach einer Schwellenwert-Anzahl von Abfragen ( $M^*$ ) rotiert, und das gesamte Protokoll wird nach einer Gesamtzahl von genutzten Geheimnissen ( $N^*$ ) neu trainiert. Dies begrenzt die Datenmenge, die ein Angreifer unter einem einzelnen Geheimnis sammeln kann, wodurch die Angriffe unwirksam werden.

3. Zentrale Beiträge

Formalisierung: Systematische Formalisierung des Problems der verifizierbaren LLM-Inferenz und Vorschlag eines Protokolls, das verarbeitete verborgene Repräsentationen nutzt.
Geheimnis-basierte Sicherheit: Einführung eines neuartigen Geheimnis-Mechanismus, der verborgene Repräsentationen in eindeutige, geheimnisabhängige Identifikatoren transformiert und dadurch direkte Vektor-Optimierungsangriffe effektiv neutralisiert.
Umfassende Analyse: Durchführung einer gründlichen Sicherheitsanalyse gegenüber starken und adaptiven Szenarien (Adapter- und Geheimnis-Rekonstruktions-Angriffe).
Empirische Validierung: Nachweis der Effektivität des Protokolls über 5 spezifizierte Open-Source-LLMs (13B bis 70B Parameter) und 6 Alternativmodelle hinweg.

4. Experimentelle Ergebnisse

Die Experimente wurden unter Verwendung des LMSYS-Chat-1M Datensatzes und verschiedener Modellfamilien (Llama, GPT-NeoX, OPT, Falcon) durchgeführt.

Genauigkeit:
- False Negative Rate (FNR): Konsistent unter 5 % pro Abfrage (Durchschnitt 3,49 % über alle Modelle). Dies zeigt, dass ehrliche Anbieter selten fälschlicherweise beschuldigt werden.
- False Positive Rate (FPR): Konsistent unter 3 % pro Abfrage über alle Alternativmodelle hinweg. Dies zeigt, dass unehrliche Anbieter selten freigesprochen werden.
- Aggregierte Zuverlässigkeit: Durch Aggregation der Ergebnisse über mehrere Abfragen (z. B. $B=30$ ) erreicht das Protokoll extrem niedrige Typ-I- und Typ-II-Fehlerraten (z. B. Typ-I-Fehler $\approx 1,7 \times 10^{-49}$ für Llama-3.1-70B vs. Llama-2-7B).
Effizienz:
- Latenz: Die Verifizierung fügt eine vernachlässigbare Verzögerung hinzu und benötigt < 0,01 Sekunden pro Prompt-Abfrage sowohl für den Nutzer als auch für den Anbieter. Dies ist um Größenordnungen schneller als kryptographische Alternativen (z. B. benötigt zkLLM ~803 Sekunden).
- Speicher: Der Anbieter benötigt ~980 MB GPU-Speicher für den Feature-Extraktor; der Nutzer benötigt ~1428 MB, was auf Standard-Lokalkomponenten machbar ist.
Robustheit:
- Adapter-Angriff: Das Protokoll widersteht Adapter-Angriffen, selbst wenn Angreifer 400–800 Prompt-Samples pro Geheimnis sammeln.
- Geheimnis-Rekonstruktion: Die Erfolgsrate für die Rekonstruktion von Geheimnissen bleibt auch nach dem Sammeln von 200.000 Geheimnis-Einbettungs-Paaren unter 50 %. Mit dem Update-Mechanismus kann SVIP 80 bis 120 Millionen Prompt-Abfragen sicher handhaben, bevor ein Retraining erforderlich ist.
Generalisierbarkeit: Das Protokoll behält eine niedrige FPR/FNR bei ungesehenen Datensätzen (ToxicChat, Web Questions, GSM8K, Verifiable-Coding-Problems) bei, was die Robustheit über verschiedene Domänen hinweg demonstriert.

5. Bedeutung und Ansprüche

Das Paper behauptet, dass SVIP ein praktisches Gleichgewicht zwischen Recheneffizienz und Sicherheit bietet, was eine verifizierbare Inferenz für reale dezentrale LLM-Dienste ermöglicht. Im Gegensatz zu kryptographischen Methoden, die für Echtzeit-Interaktionen zu langsam sind, ermöglicht SVIP es Nutzern, die Modellnutzung mit hoher Konfidenz und minimaler Latenz zu verifizieren.

Die Autoren betonen, dass SVIP zwar nicht die strikten mathematischen Garantien von Zero-Knowledge-Proofs bietet, seine niedrigen Fehlerraten in Kombination mit Hypothesentests über mehrere Abfragen jedoch ein „vernünftiges und praktisch bedeutsames Sicherheitsniveau“ gewährleisten. Die Arbeit zielt darauf ab, das Vertrauen zwischen Nutzern und Rechenanbietern zu fördern und so die breitere Akzeptanz von Open-Source-LLMs in dezentralen Computing-Ökosystemen zu unterstützen. Die Autoren räumen potenzielle Risiken des Missbrauchs (z. B. Reverse-Engineering) ein, argumentieren jedoch, dass das Design des Protokolls die Robustheit gegenüber solchen Vektoren priorisiert.