Evidence-Bound Gateway-Path Provenance for Third-Party LLM Inference
Dieses Paper schlägt eine evidenzgebundene LLM-Gateway-Architektur vor, die eine attestierte Ausführungsebene nutzt, um alle Routing-, Fallback- und Streaming-Entscheidungen kryptografisch zu verifizieren und zu signieren, wodurch es Clients ermöglicht, Richtlinienverstöße, Routen-Substitution und Stream-Manipulation durch Drittanbieter-Gateway-Betreiber unabhängig zu erkennen und zu verhindern.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Das Problem: Der „Black Box“-Vermittler
Stellen Sie sich vor, Sie möchten eine maßgeschneiderte Torte von einer Bäckerei bestellen, aber Sie möchten nicht direkt mit dem Bäcker zu verhandeln. Also engagieren Sie einen Lieferdienst (das Gateway), der die Bestellung übernimmt. Sie sagen dem Lieferdienst: „Bitte hol eine Schokoladentorte von Bäckerei A.“
In der heutigen Welt der KI ist dieser Lieferdienst ein „Third-Party LLM Gateway“. Er sitzt zwischen Ihnen und den großen KI-Unternehmen (wie OpenAI, Anthropic usw.).
Das Vertrauensproblem:
Das Problem ist, dass der Lieferdienst, sobald Ihre Bestellung Ihr Haus verlässt, die totale Kontrolle hat. Er könnte:
- Die Bäckerei austauschen und eine günstigere, minderwertigere Torte bestellen, ohne es Ihnen zu sagen.
- Ihre Anfrage in „Vanillekuchen“ ändern, bevor er sie an die Bäckerei schickt.
- Eine gekaufte Torte liefern, aber behaupten, sie sei handgemacht.
- Später die Rechnung so ändern, dass dort steht, Sie hätten eine riesige Etagentorte bestellt, obwohl Sie nur eine kleine bestellt haben.
Da der Lieferdienst den Beleg schreibt und den LKW steuert, haben Sie keine Möglichkeit zu beweisen, dass er geschummelt hat. Sie müssen ihm einfach vertrauen.
Die Lösung: Der „versiegelte, beurkundete Tresor“
Diese Arbeit schlägt einen neuen Weg vor, diese Lieferdienste unter Verwendung eines Sicheren Tresors (einer sogenannten Attested Gateway Runtime oder AGR) und eines Notarsystems zu betreiben.
So funktioniert ihr neues System Schritt für Schritt:
1. Der versiegelte Tresor (Die AGR)
Anstatt dass der Lieferdienst Ihre Bestellung in einem offenen Büro bearbeitet, platziert er die Auftragsabwicklung in einen hochmodernen, unzerbrechlichen Glastresor (eine Trusted Execution Environment, oder TEE).
- Die Regel: Nur dieser spezifische Tresor darf Ihre versiegelte Bestellung öffnen, lesen, was Sie geschrieben haben, entscheiden, welche Bäckerei genutzt werden soll, und mit der Bäckerei kommunizieren.
- Der Haken: Der Manager des Lieferdienstes (die „Business Plane“) kann zwar sehen, wie der LKW fährt und wie die Pakete verladen werden, aber er kann nicht in den Tresor hineinsehen. Er kann weder die Bestellung ändern noch in die Torte hineinspähen, während sie gemacht wird.
2. Die Notar-Prüfung (Remote Attestation)
Bevor Sie Ihre Bestellung senden, vertrauen Sie nicht einfach darauf, dass der Tresor existiert. Sie verlangen einen Notar-Stempel (Remote Attestation).
- Der Tresor zeigt Ihnen einen digitalen Ausweis, der beweist: „Ich bin der korrekte, unveränderte Tresor und ich führe exakt die Softwareversion aus, die Sie genehmigt haben.“
- Wenn der Lieferdienst versucht, den Tresor durch einen gefälschten zu ersetzen, passt der Notar-Stempel nicht, und Sie senden Ihre Bestellung nicht ab.
3. Die „Beweiskette“ (Der Beleg)
Sobald der Tresor Ihre Anfrage bearbeitet und die Torte erhalten hat, übergibt er sie nicht einfach so. Er erstellt einen manipulationssicheren digitalen Beleg (Inference Evidence Chain).
- Dieser Beleg wird vom Tresor selbst signiert.
- Er beweist: „Ich bin der Tresor. Ich habe Ihre spezifische Anfrage erhalten. Ich durfte zu Bäckerei A gehen. Ich habe die Antwort von Bäckerei A erhalten. Ich habe genau diesen Text an Sie geliefert.“
- Wenn der Lieferdienst versucht, die Torte auszutauschen oder den Beleg zu ändern, bricht die Signatur und der Beleg wird ungültig. Sie wissen sofort, dass etwas nicht stimmt.
Was dieses System tatsächlich leistet (und was nicht)
Was es behebt:
- Keine versteckten Wechsel mehr: Sie wissen genau, welches KI-Modell verwendet wurde.
- Keine geheimen Änderungen mehr: Der Lieferdienst kann weder Ihren Prompt noch die Antwort heimlich ändern.
ute - Keine gefälschten Rechnungen mehr: Die Aufzeichnung dessen, was passiert ist, wird vom Tresor signiert, nicht vom Lieferdienst-Manager.
- Fail-Safe: Wenn der Tresor manipuliert wird oder der Beweis fehlt, stoppt das System (fail-closed), anstatt Ihnen eine falsche Antwort zu geben.
Was es NICHT behebt (Die Grenzen der Arbeit):
- Es stoppt den Bäcker nicht: Wenn die Bäckerei (der KI-Anbieter) selbst entscheidet, Ihnen eine schlechte Torte oder ein gefährliches Rezept zu geben, kann der Tresor das nicht verhindern. Der Tresor beweist nur, dass der Lieferweg ehrlich war, nicht dass der Bäcker ehrlich ist.
- Es verbirgt die Zeit nicht: Der Lieferdienst kann immer noch sehen, wie lange der LKW unterwegs war oder wie groß das Paket ist, auch wenn er nicht hineinsehen kann.
- Es stoppt keine DoS-Angriffe: Wenn der Lieferdienst beschließt, einfach gar nicht erst zu fahren, kann er das weiterhin tun.
Die „Testfahrt“-Ergebnisse
Die Autoren haben einen funktionierenden Prototyp (einen „Rust-Prototyp“) gebaut, um diese Idee zu testen.
- Sie testeten ihn mit einem „Mock“- (gefälschten) KI-Anbieter und einem echten (GPT).
- Geschwindigkeit: Es war sehr schnell. Die zusätzlichen Sicherheitsschritte (Prüfen des Tresors und Signieren des Belegs) fügten nur eine winzige Menge Zeit hinzu (Millisekunden), was kaum merkbar ist.
- Sicherheit: Als sie versuchten, das System zu „hacken“, indem sie Modelle austauschten, Fallbacks verbargen oder den Beleg änderten, erkannte das System jeden einzelnen Versuch und lehnte ihn ab.
Das Fazrem Fazit
Diese Arbeit führt einen Weg ein, um Drittanbieter-KI-Gateways durch Design ehrlich zu machen. Anstatt Sie zu bitten, dem Unternehmen, das das Gateway betreibt, zu vertrauen, zwingt es das Gateway dazu, mit kryptografischer Mathematik zu beweisen, dass es die Regeln exakt befolgt hat.
Man kann es sich wie einen versiegelten, notariell beglaubigten Vertrag für jede einzelne KI-Interaktion vorstellen. Sie müssen dem Vermittler nicht vertrauen; Sie müssen nur der Mathematik und der Hardware vertrauen, die den Beleg unterschreibt.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.