🤖 AI

Secure Tool Manifest and Digital Signing Solution for Verifiable MCP and LLM Pipelines

Dit artikel stelt een Secure Tool Manifest en Digital Signing Framework voor dat Model Context Protocols (MCP) verbetert door het implementeren van cryptografisch ondertekende manifesten en transparante verificatielogs om de integriteit, verifieerbaarheid en veilige uitvoering van Large Language Model-pipelines in gevoelige domeinen te waarborgen.

Oorspronkelijke auteurs: Saeid Jamshidi, Kawser Wazed Nafi, Arghavan Moradi Dakhel, Foutse Khomh, Amin Nikanjam, Mohammad Adnan Hamdaqa

Gepubliceerd 2026-02-02

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Saeid Jamshidi, Kawser Wazed Nafi, Arghavan Moradi Dakhel, Foutse Khomh, Amin Nikanjam, Mohammad Adnan Hamdaqa

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een keuken met hoge inzet runt waar een zeer slimme, maar soms onvoorspelbare hoofdkok (het Large Language Model of LLM) complexe gerechten bereidt op basis van bestellingen van klanten. Deze chef kan verschillende gereedschappen gebruiken—messen, ovens, blenders (externe tools)—om de klus te klaren.

Het probleem is dat in de huidige opstelling iedereen zomaar de keuken in kan sluipen, de receptenkaart van de chef kan vervangen door een valse, of de chef kan misleiden om een vies mes te gebruiken. Als de chef een slechte bestelling volgt, kan het eten vergiftigd zijn, en zou niemand weten wie de bestelling heeft gegeven of wat er precies is gebeurd. Dit is de kwetsbaarheid die het artikel behandelt.

De auteurs stellen een nieuw systeem voor genaamd het Secure Tool Manifest and Digital Signing Framework. Zo werkt het, met behulp van eenvoudige analogieën:

1. De "Onvervalsbare Receptenkaart" (Het Manifest)

Voordat de chef ook maar een gereedschap aanraakt, moet elke aanvraag worden opgeschreven op een speciale, digitale "receptenkaart" genaamd een Manifest.

De Analogie: Denk hierbij aan een verzegelde, officiële envelop. Hierin staat precies vermeld wat de chef mag doen.
De Twist: Het artikel scheidt het "perspectief van de klant" (wat de gebruiker ziet) van het "perspectief van de chef" (de interne technische details). Dit voorkomt dat de klant per ongeluk (of kwaadwillig) geheimen lekt over hoe de keuken werkt.

2. De "Notarisklem" (Digitale Ondertekening)

Voordat de chef de receptenkaart zelfs maar mag bekijken, moet deze gestempeld zijn door een vertrouwde notaris (een Hardware Security Module of HSM).

De Analogie: Stel je een notaris voor die de receptenkaart controleert, de regels verifieert en er vervolgens een uniek, onvervalsbaar zegel op plaatst met een speciale inkt (een digitale handtekening).
Het Resultaat: Als iemand zelfs maar één letter op de kaart probeert te veranderen nadat de stempel is aangebracht, veegt de inkt uit en wordt de kaart direct als vals herkend. De chef weigert dan te koken.

3. Het "Openbaar Grootboek" (Transparantie-logs)

Elke keer dat een receptenkaart wordt gestempeld en gebruikt, wordt een kopie van het bonnetje toegevoegd aan een gigantisch, onveranderlijk boek genaamd een Transparency Log (met behulp van iets dat een Merkle Tree wordt genoemd).

De Analogie: Denk hierbij aan een blockchain of een openbaar dagboek dat iedereen kan lezen, maar niemand kan wissen of bewerken. Als je wilt weten wat de chef vijf minuten geleden heeft gedaan, kun je het daar opzoeken.
Het Voordeel: Als de chef iets vreemds doet, kun je bewijzen wanneer het precies gebeurde en wie het heeft geautoriseerd. Je kunt het bewijs niet verbergen.

4. De "Snelheidstest" (Schaalbaarheid)

De auteurs hebben dit systeem getest met tot wel 50.000 bestellingen (een enorme hoeveelheid kookwerk).

De Bevinding: Ze ontdekten dat het toevoegen van meer bestellingen de keuken niet op een rommelige manier vertraagde. In plaats daarvan werd het systeem sneller en efficiënter per bestelling, bijna als een goed geoliede machine. Het schaalde "lineair", wat betekent dat als je de bestellingen verdubbelt, de tijd die nodig is ook gewoon verdubbelt (wat verwacht wordt), maar het raakte niet overbelast of vastgelopen.
De Analogie: Het is als een snelweg die voor elke 1.000 auto's een nieuwe rijstrook toevoegt, zodat het verkeer zelfs tijdens de spits soepel blijft doorstromen.

5. De "Rechtvaardigheidstoets" (Evenwichtige Gebruik)

Het systeem maakt gebruik van drie verschillende soorten chefs (GPT-4, LLaMA en DeepSeek).

De Bevinding: Het systeem verdeelde de taken automatisch, zodat geen enkele chef overbelast raakte terwijl anderen niets deden. Het was als een slimme ober die tafels evenredig verdeelt onder alle koks.
De Beveiliging: Dit voorkomt dat een kwaadwillende actor één specifieke chef overbelast om een crash te veroorzaken (een Denial-of-Service aanval).

6. De "Zelfcorrectie" (Foutafhandeling)

Het systeem is ontworpen om "fail-closed" te zijn.

De Analogie: Als een receptenkaart er ook maar een klein beetje verdacht uitziet, of als de tijdstempel niet klopt (zoals een recept van volgend jaar), vergrendelt het systeem onmiddellijk de deur en zegt "Nee". Het neemt geen enkel risico.
Het Resultaat: Het heeft alle valse of defecte bestellingen in hun tests succesvol afgewezen, terwijl de geldige bestellingen gewoon werden doorgelaten.

Samenvatting

Kortom, dit artikel bouwt een beveiliger, een notaris en een openbare recorder voor AI-systemen. Het zorgt ervoor dat wanneer een AI gereedschappen gebruikt, deze een geverifieerde, ondertekende en geregistreerde set regels volgt. Het bewijst dat je AI-systemen zo veilig kunt maken zonder ze te vertragen, zelfs wanneer duizenden mensen hen tegelijkertijd gebruiken.

Het artikel beweert niet dat dit de "intelligentie" van de AI oplost of deze slimmer maakt; het zorgt er alleen voor dat de acties die de AI onderneemt veilig, traceerbaar en onmogelijk te vervalsen zijn.

Technische Samenvatting: Veilig Tool Manifest en Digitaal Ondertekeningsoplossing voor Verifieerbare MCP en LLM-pipelines

1. Probleemstelling

Large Language Models (LLM's) worden steeds vaker ingezet in gevoelige domeinen zoals de gezondheidszorg en de financiële sector, maar hun executiepipelines blijven kwetsbaar voor manipulatie, onverifieerbaar gedrag en adversariële aanvallen. Hoewel het Model Context Protocol (MCP) een fundament biedt voor het structureren van interacties tussen LLM's en externe tools, missen bestaande implementaties vaak verifieerbare handhaving en transparante validatie van modelacties.

Huidige controlemechanismen definiëren compliance-policies maar falen in het voorkomen van:

Onverifieerde tool-aanroepen: Het toestaan dat tools worden aangeroepen zonder cryptografisch bewijs van autorisatie.
Adversariële prompt-manipulatie: Technieken zoals Tool Invocation Prompt (TIP) aanvallen die de executie-flows kapen.
Ondoorzichtige runtime-werking: Gebrek aan deterministische actietracen en expliciete contextversie.
Sleutelconcentratie en timing side-channels: Risico's voortvloeiend uit asymmetrische sleuteldominantie en tijdstempelvariantie die werkbelastingpatronen kunnen lekken.

Bestaande oplossingen, zoals runtime-attestatie of enclave-gebaseerde benaderingen (bijv. Scanclave), slagen er vaak niet in de probabilistische, tool-gestuurde aard van LLM-workloads aan te pakken of schalen niet naar heterogene multi-model deployments. Er is een kritieke kloof in systeembeveiliging die cryptografische verantwoording verenigt met transparante, schaalbare executiepipelines.

2. Methodologie

De auteurs stellen een Secure Tool Manifest en Digital Signing Framework voor, een gestructureerde uitbreiding van het Model Context Protocol (MCP). Het framework handhaaft een zesfasen-pipeline ontworpen om deterministische integriteit, metadata-scheiding en transparante auditing te waarborgen.

Kernarchitectuur

Het framework werkt via de volgende sequentiële fasen:

Manifest Creatie: Elke LLM-toolaanvraag wordt ingekapseld in een deterministisch manifest $M = (M_u, M_m, \tau)$ , waarbij $M_u$ de gebruikersgerichte parameters vertegenwoordigt, $M_m$ de modelgerichte inputs en $\tau$ een freshness timestamp is. Deze structuur dwingt informatie-flow-scheiding af om lekkage te voorkomen.
Policy Handhaving en Ondertekening: Voordat uitvoering plaatsvindt, wordt het manifest geëvalueerd tegen deterministische compliance-regels $C(M)$ . Indien compliant, wordt een digitale handtekening $\sigma$ gegenereerd met behulp van een Hardware Security Module (HSM) en de hash van het manifest.
Verificatie: Het systeem verifieert de handtekening en de policy-compliance. Alleen manifesten met geldige handtekeningen en die de policy-checks passeren, gaan door naar de executie.
Transparantie Logging: Gevalideerde manifesten worden toegevoegd aan een onveranderlijke transparantie-log geïntegreerd via een Merkle-boom. Dit zorgt voor forward integriteit en maakt efficiënte inclusion proofs mogelijk.
Audit Exporteren: Het systeem genereert compacte, cryptografisch verifieerbare bewijstuppels die executie-latentie, verificatie-latentie en Merkle-root referenties bevatten.
Metriek Collectie: Temporele metrieken en beveiligingsoverhead worden bijgehouden om schaalbaarheid en trade-offs te analyseren.

Dreigingsmodel

Het systeem gaat uit van een probabilistic polynomial-time (PPT) adversary die in staat is communicatie te onderscheppen, payloads te injecteren en manifesten te herhalen (replay). De adversary kan echter de onderliggende cryptografische primitieven (collision-resistant hashing, EUF-CMA signatures) of de HSM niet compromitteren. Het framework begrenst de waarschijnlijkheid van succesvolle aanvallen (vervalsing, replay, manipulatie) mathematisch tot een verwaarloosbaar niveau ( $negl(\lambda)$ ).

Algoritmische Implementatie

De methodologie wordt geoperationaliseerd via drie onderling afhankelijke algoritmen:

Algoritme 1 (Manifest Creatie & Ondertekening): Construeert het canonieke manifest, hasht het, handhaaft policy-regels en ondertekent de digest.
Algoritme 2 (Verificatie & Logging): Valideert handtekeningen, voegt entries toe aan de Merkle-log en werkt de root hash bij.
Algoritme 3 (Auditing & Metrieken): Berekent executie- en verificatie-latenties, genereert output digests en exporteert bewijslast voor externe auditors.

3. Belangrijkste Bijdragen

Het paper levert drie primaire bijdragen:

Framework Design: Een nieuw Secure Tool Manifest en Digital Signing framework dat een cryptografisch ondertekend manifestformaat definieert voor MCP-conforme LLM-executie. Het waarborgt manifest-integriteit, handhaaft metadata-scheiding en bouwt vertrouwen op in executiepipelines.
Evaluatie Methodologie: Een dual-perspectief pipeline die prestatie- en beveiligingsmetrieken combineert om trade-offs op schaal systematisch te beoordelen. Dit biedt een reproduceerbare basis voor toekomstige studies naar veilige LLM-infrastructuren.
Systeem-niveau Inzichten: De eerste vergelijkende analyse van veilige executie over verschillende LLM's (GPT-4-turbo, LLaMA-3.5 en DeepSeek-V3). De studie identificeert en kwantificeert kwetsbaarheden zoals asymmetrische sleuteldominantie en timestamp-variantie, en biedt bruikbare richtlijnen voor veerkrachtige deployment.

4. Experimentele Resultaten

Het framework werd geëvalueerd over workloads variërend van 100 tot 50.000 manifest-instanties met drie representatieve LLM's.

Schaalbaarheid

Bijna-Lineaire Schaalbaarheid: Het systeem vertoont bijna perfect lineaire schaalbaarheid met een regressie-fit van $R^2 = 0.998$ . De computationele complexiteit convergeert naar $O(\log N)$ voor logging en $O(1)$ voor ondertekening/verificatie per aanvraag.
Overhead: De genormaliseerde beveiligingsoverhead blijft onder de 5% ( $\delta < 0.05$ ) over alle schalen, wat bevestigt dat cryptografische handhaving de prestaties niet significant verslechtert.

Eerlijkheid en Distributie

Model Utilisatie: Het modelgebruik convergeerde naar een gebalanceerde distributie van ongeveer 33% per model (GPT-4-turbo, LLaMA-3.5, DeepSeek-V3), met een fairness index $F = 0.97$ .
Sleutelgebruik: De studie identificeerde een kwetsbaarheid waarbij een enkele sleutel (dev-k1) de utilisatie domineerde (80% op schaal), wat de noodzaak voor adaptieve sleutelrotatie-strategieën benadrukt.
Ernst Handhaving: Het systeem vertoonde adaptieve handhaving, waarbij "warn" en "block" uitkomsten proportioneel toenamen met adversariële stress, wat een gecontroleerd feedbackmechanisme demonstreert.

Verificatie en Betrouwbaarheid

Nauwkeurigheid: Het framework bereikte een gemiddelde verificatie-succesratio van 80% voor geldige executies, terwijl het ongeldige of vervalste manifesten consequent afwees.
Latentie Stabiliteit: De verificatie-latentie bleef begrensd (mediaan 1.9ms voor GPT-4-turbo) met een lage variantie, wat timing-gebaseerde side-channel inferentie voorkomt.
Foutgedrag: Hoewel absolute foutenaantallen superlineair toenamen door specifieke revocatie-fouten, stabiliseerde de genormaliseerde foutendichtheid asymptotisch ( $\rho_E \to 0.15$ ), wat aangeeft dat het systeem niet lijdt onder cumulatief verificatierisico.

5. Betekenis en Claims

Het paper claimt dat het voorgestelde framework succesvol de kloof overbrugt tussen model-centrische veiligheidsonderzoek en systeem-niveau executiebeveiliging. De betekenis ligt in:

Operationalisering van Verantwoording: In tegenstelling tot eerder werk dat zich richt op post-hoc forensische analyse of geïsoleerde enclave-attestatie, embedt dit framework proactieve cryptografische handhaving en real-time transparantie-logging direct in de executiepipeline.
Schaalbare Vertrouwen: Door het aantonen van bijna-lineaire schaalbaarheid en begrensde overhead, bewijst de oplossing dat high-assurance cryptografische mechanismen (ondertekening, Merkle-logging) kunnen samenwerken met de low-latency vereisten van gereguleerde LLM-deployments.
Mathematische Formalisering: Het werk biedt een formele stabiliteitsenvelop waarbij empirisch gedrag (latentie, eerlijkheid, foutenratio's) convergeert met theoretische cryptografische grenzen, wat een mathematisch gefundeerde aanpak biedt voor betrouwbare AI.

De auteurs concluderen dat hun framework een fundament legt voor verifieerbare, auditeerbare en eerlijke LLM-pipelines, essentieel voor veiligheidskritische domeinen waar zelfs kleine executiefouten of policy-schendingen tot ernstige compliance- en beveiligingsgevolgen kunnen leiden.