Evidence-Bound Gateway-Path Provenance for Third-Party LLM Inference
Dit artikel stelt een bewijsgebonden LLM-gatewayarchitectuur voor die gebruikmaakt van een geattesteerd executievlak om alle routerings-, fallback- en streamingbeslissingen cryptografisch te verifiëren en te ondertekenen, waardoor cliënten onafhankelijk schendingen van beleid, route-substitutie en stream-manipulatie door externe gateway-operators kunnen detecteren en voorkomen.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Het Probleem: De "Black Box" Tussenpersoon
Stel je voor dat je een speciale taart wilt bestellen bij een bakkerij, maar je wilt niet rechtstreeks met de bakker omgaan. Daarom huur je een bezorgservice (de Gateway) in om de bestelling af te handelen. Je zegt tegen de bezorgservice: "Haal alsjeblieft een chocoladetaart bij Bakkerij A."
In de huidige wereld van AI is deze bezorgservice een "Third-Party LLM Gateway." Deze zit tussen jou en de grote AI-bedrijven (zoals OpenAI, Anthropic, etc.) in.
Het Vertrouwensprobleem:
Het probleem is dat zodra jouw bestelling jouw handen verlaat, de bezorgservice de volledige controle heeft. Zij kunnen:
- De bakkerij vervangen door een goedkopere, kwalitatief minder goede bakkerij zonder het aan jou te vertellen.
- Jouw verzoek veranderen in "Vanilletaart" voordat het naar de bakkerij wordt gestuurd.
- Een kant-en-klare taart uit de winkel leveren, maar beweren dat het een speciaal gemaakte taart is.
- Later de rekening aanpassen zodat er staat dat je een enorme taart met meerdere lagen hebt besteld, terwijl je alleen een kleine taart bestelde.
Omdat de bezorgservice het bonnetje schrijft en de vrachtwagen bestuurt, heb je geen enkele manier om te bewijzen dat ze niet hebben valsgespeeld. Je moet er gewoon op vertrouwen.
De Oplossing: De "Verzegelde, Geverifieerde Kluis"
Dit paper stelt een nieuwe manier voor om deze bezorgdiensten te laten draaien met behulp van een Beveiligde Kluis (een Attested Gateway Runtime of AGR) en een Notaris-systeem.
Zo werkt hun nieuwe systeem, stap voor stap:
1. De Verzegelde Kluis (De AGR)
In plaats van dat de bezorgservice jouw bestelling afhandelt in een open kantoor, plaatsen ze de verwerking van de bestelling in een hoogtechnologische, onbreekbare glazen kluis (een Trusted Execution Environment, of TEE).
- De Regel: Alleen deze specifieke kluis mag jouw verzegelde bestelling openen, lezen wat je hebt geschreven, beslissen welke bakkerij te gebruiken moet worden en met de bakkerij praten.
- De Catch: De manager van de bezorgservice (het "Business Plane") kan zien dat de vrachtwagen beweegt en dat de pakketten worden ingeladen, maar zij kunnen niet in de kluis kijken. Ze kunnen de bestelling niet veranderen of stiekem in de taart kijken terwijl deze wordt gemaakt.
2. De Notariscontrole (Remote Attestation)
Voordat je jouw bestelling verstuurt, vertrouw je niet zomaar op het bestaan van de kluis. Je vraagt om een stempel van een notaris (Remote Attestation).
- De kluis laat je een digitale identiteitskaart zien die bewijst: "Ik ben de juiste, niet-gemanipuleerde kluis, en ik draai exact de softwareversie die jij hebt goedgekeurd."
- Als de bezorgservice probeert de kluis te vervangen door een nepplantje, komt de stempel van de Notaris niet overeen en stuur je jouw bestelling niet.
3. De "Bewijsketen" (Het Bonnetje)
Zodra de kluis jouw verzoek verwerkt heeft en de taart heeft ontvangen (de AI-respons), geeft hij deze niet zomaar af. De kluis maakt een onvervalst digitaal bonnetje aan (Inference Evidence Chain).
- Dit bonnetje is ondertekend door de kluis zelf.
- Het bewijst: "Ik ben de kluis. Ik heb jouw specifieke verzoek ontvangen. Ik mocht naar Bakkerij A gaan. Ik heb de respons van Bakkerij A gekregen. Ik heb exact deze tekst aan jou geleverd."
- Als de bezorgservice probeert de taart te vervangen of het bonnetje te wijzigen, verbreekt de handtekening en is het bonnetje ongeldig. Je weet dan direct dat er iets mis is gegaan.
Wat dit Systeem Wel (en Niet) Doet
Wat het oplost:
- Geen verborgen wissels meer: Je weet precies welk AI-model is gebruikt.
- Geen geheime wijzigingen meer: De bezorgservice kan jouw prompt of het antwoord niet stiekem veranderen.
- Geen valse rekeningen meer: Het verslag van wat er is gebeurd, wordt ondertekend door de kluis, niet door de manager van de bezluifservice.
- Fail-Safe: Als de kluis wordt gemanipuleerd of als het bewijs ontbreekt, stopt het systeem met werken (fail-closed) in plaats van je een foutief antwoord te geven.
Wat het NIET oplost (de beperkingen van het Paper):
- Het stopt de Bakker niet: Als de bakkerij (de AI-provider) zelf besluit je een slechte taart of een gevaarlijk recept te geven, kan de kluis dat niet tegenhouden. De kluis bewijst alleen dat het leveringspad eerlijk was, niet dat de bakker eerlijk is.
- Het verbergt de timing niet: De bezorgservice kan nog steeds zien hoe lang de vrachtwagen onderweg was of hoe groot het pakket is, ook al kunnen ze niet zien wat erin zit.
- Het stopt DoS-aanvallen niet: Als de bezorgservice besluit om simpelweg te weigeren jouw vrachtwagen te rijden, kunnen ze dat nog steeds doen.
De "Proefrit"-Resultaten
De auteurs hebben een werkende prototype (een "Rust prototype") gebouwd om dit idee te testen.
- Ze hebben het getest met een "mock" (nep) AI-provider en een echte (GPT).
- Snelheid: Het was erg snel. De extra beveiligingsstappen (het controleren van de kluis en het ondertekenen van het bonnetje) voegden slechts een fractie van een seconde toe (milliseconden), wat nauwelijks merkbaar is.
- Beveiliging: Toen ze probeerden het systeem te "hacken" door modellen te wisselen, fallbacks te verbergen of het bonnetje te wijzigen, ving het systeem elke poging op en wees het af.
De Kern van het Verhaal
Dit paper introduceert een manier om derde partij AI-gateways ontworpen eerlijk te maken. In plaats van dat je het bedrijf dat de gateway beheert moet vertrouwen, dwing je de gateway om met cryptografische wiskunde te bewijzen dat ze zich exact aan de regels hebben gehouden.
Beschouw het als een verzegd, genoteerd contract voor elke individuele AI-interactie. Je hoeft de tussenpersoon niet te vertrouwen; je hoeft alleen de wiskunde en de hardware te vertrouwen die het bonnetje ondertekenen.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.