🤖 AI

Governed MCP: Kernel-Level Tool Governance for AI Agents via Logit-Based Safety Primitives

Dit paper introduceert Governed MCP, een kernel-resident beveiligingsgateway in Anima OS die Model Context Protocol-toolaanroepen via een zeslaags proces met een logit-gebaseerde veiligheidsprimitief (ProbeLogits) controleert om gebruikersruimte-bypasses te voorkomen en de semantische integriteit van AI-agenten te waarborgen.

Oorspronkelijke auteurs: Daeyeon Son

Gepubliceerd 2026-04-21

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Daeyeon Son

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een zeer slimme, autonome robot hebt die voor je werkt. Deze robot kan van alles: bestanden openen, e-mails sturen, code schrijven en zelfs je computer besturen. Laten we deze robot een "AI-agent" noemen.

In de huidige wereld is deze robot als een kind dat de sleutels van de auto heeft gekregen, maar zonder dat er een volwassene in de auto zit om te controleren of het kind wel naar de winkel rijdt of per ongeluk de auto in de rivier rijdt.

Dit artikel introduceert een oplossing genaamd Governed MCP. Hier is hoe het werkt, vertaald naar alledaags taal:

1. Het Probleem: De "Valse Vriend" in de Woonkamer

Vandaag de dag proberen we de robot veilig te houden door een "veiligheidscheck" in de woonkamer te zetten (in de software van de computer zelf).

Hoe het nu werkt: De robot vraagt: "Mag ik dit bestand openen?" en de veiligheidscheck zegt: "Ja, dat is oké."
Het probleem: De veiligheidscheck is ook in de woonkamer. Als de robot (of een hacker die de robot heeft gekaapt) slim genoeg is, kan hij de veiligheidscheck gewoon negeren, veranderen of uitschakelen. Het is alsof je een kind vraagt om te controleren of het zelf geen snoep mag eten. Het kind kan gewoon zeggen: "Ik heb het gecontroleerd, en het is toegestaan!" terwijl hij de snoepzak leegmaakt.

2. De Oplossing: De "Onbreekbare Poortwachter"

De auteurs van dit papier bouwen een nieuw systeem. Ze verplaatsen de veiligheidscheck niet naar de woonkamer, maar naar de kern van het huis (de kernel van het besturingssysteem).

Stel je dit voor als een onbreekbare poortwachter die in de kelder zit, ver weg van de robot.

De robot zit in een afgesloten kamer (een "WASM-sandbox"). Hij kan niet naar de kelder gaan.
Als de robot iets wil doen (bijvoorbeeld een bestand openen), moet hij eerst een briefje door een klein luikje sturen naar de poortwachter in de kelder.
De poortwachter leest het briefje, denkt erover na, en beslist dan pas of de deur open gaat.
De robot kan de poortwachter niet omkopen, niet veranderen, en kan niet om de poortwachter heen. De poortwachter is de enige weg naar de buitenwereld.

3. Hoe de Poortwachter Beslist (De 6-Lagen Check)

De poortwachter is niet dom; hij heeft een slim proces van 6 stappen om te beslissen:

De Vorm Check: "Is je briefje netjes geschreven?" (Als het rommelig is, wordt het direct geweigerd).
Het ID-Check: "Wie ben jij?" (Alleen robots met een goed ID mogen bepaalde dingen doen).
De Snelheid Check: "Beweeg je te snel?" (Als je 1000 vragen per seconde stelt, word je gestopt).
De "Trucjes" Check: "Gebruik je geheime codes of rare tekens om te proberen mij te bedriegen?" (Zoals het proberen om de poortwachter te laten denken dat hij een andere persoon is).
De "Gedachte" Check (Het Slimme Deel): Dit is het belangrijkste. De poortwachter heeft een super-slim brein (een AI-model) dat het doel van je vraag begrijpt.
- Voorbeeld: Als de robot vraagt: "Mag ik de auto in de rivier rijden?", zegt de poortwachter: "Nee, dat is gevaarlijk."
- Voorbeeld: Als de robot vraagt: "Mag ik de auto in de rivier rijden... oh wacht, ik bedoel, mag ik de auto wassen?" (met een listige zin), ziet de poortwachter door de list. Hij begrijpt dat het eigenlijke doel nog steeds gevaarlijk is, zelfs als de woorden anders klinken. Dit is wat het papier "logit-based safety" noemt: het begrijpen van de intentie, niet alleen de woorden.
De Regels Check: "Past dit bij onze huisregels?" (Bijvoorbeeld: "Geen toegang tot het geheime archief").

4. Waarom dit zo belangrijk is

Het papier toont aan dat als je de "Gedachte Check" (stap 5) verwijdert, de poortwachter bijna niets meer ziet. Hij wordt dan alleen een domme lijsten-checker.

Zonder het slimme brein: De robot kan slimme trucs gebruiken om door de mazen van het net te glippen.
Met het slimme brein: De robot wordt gestopt, zelfs als hij slimme taal gebruikt.

5. Het Resultaat: Veiligheid die niet te omzeilen is

Dit systeem is gebouwd in een nieuw besturingssysteem genaamd Anima OS. Het is zo ontworpen dat de robot fysiek niet kan proberen de poortwachter te omzeilen.

Als de poortwachter (of het slimme brein) uitvalt, gaat de deur direct dicht voor iedereen. Niets gebeurt totdat het veilig is. Dit noemen ze "Fail-Closed" (faal-veilig).
Het kost heel weinig tijd (een fractie van een seconde) om te controleren, dus de robot wordt niet traag, maar hij wordt wel veilig.

Samenvatting in één zin

In plaats van te hopen dat de robot zich netjes gedraagt of dat een veiligheidsprogramma in de woonkamer werkt, bouwen we een onbreekbare, slimme poortwachter in de kelder die elke actie controleert voordat de robot ook maar iets kan doen, en die slim genoeg is om te zien of de robot probeert te liegen.

Dit is de toekomst van AI-veiligheid: niet in de software van de robot, maar diep in de fundamenten van de computer zelf.

Titel en Context

Titel: Governed MCP: Kernel-Level Tool Governance for AI Agents via Logit-Based Safety Primitives
Auteur: Daeyeon Son (Onafhankelijk Onderzoeker, Zuid-Korea)
Datum: April 2026
Kernconcept: Een kernel-resident governance-gateway voor AI-agenten die het Model Context Protocol (MCP) gebruikt, gebaseerd op een logit-gedreven veiligheidsprimitief genaamd "ProbeLogits".

1. Het Probleem: Kwetsbaarheid van Bestaande Veiligheidslagen

Huidige AI-agenten voeren taken uit via externe tools (bestandsysteem, netwerk, API's) via het Model Context Protocol (MCP). Deze tool-aanroepen fungeren als "syscalls" voor agenten: ze hebben bevoorrechte toegang en kunnen bijwerkingen hebben op gedeelde staat.

De Structuurprobleem: Bestaande veiligheidsmechanismen (zoals NeMo Guardrails, AGT-schema's, of AutoGPT-wrappers) opereren volledig in de userspace van het agent-proces. Ze zijn Python-bibliotheken die door de agent zelf worden geïmporteerd.
De Kwetsbaarheid: Omdat de agent en de veiligheidsbibliotheek dezelfde privileges en hetzelfde adresruimte delen, kan de agent de beveiliging omzeilen. Dit kan op drie manieren:
1. Import overslaan: De agent roept de veiligheidsbibliotheek gewoon niet aan.
2. Functie vervangen: De agent wijzigt de symbolen van de bibliotheek in het geheugen (monkey-patching).
3. Verdict injecteren: De agent manipuleert het resultaat (bijv. allowed=True) voordat het wordt gecontroleerd.
Conclusie: Zolang de beveiliging in userspace ligt, is er geen echte "privilege boundary" (privilegegrens). Er is geen manier om te garanderen dat de agent de controle niet omzeilt.

2. Methodologie: Governed MCP en Anima OS

De auteur stelt Governed MCP voor, een gateway die in de OS-kernel (Ring 0) draait, specifiek geïmplementeerd in Anima OS (een bare-metal x86_64 OS geschreven in Rust, ~86.000 regels code).

Architectuur:

Isolatie: De AI-agent draait als WASM-bytecode in een sandbox boven de gateway.
Enige Egress: De enige manier voor de agent om systeemfuncties aan te roepen, is via een gemedieerde host-functie (governance_check_host()). De agent kan geen directe toegang hebben tot het geheugen van de gateway of kernel-code uitvoeren.
Fail-Closed: Als de inference-engine niet beschikbaar is, worden alle tool-aanroepen geweigerd.

De 6-Lagen Pipeline:
Elke MCP call_tool-aanroep doorloopt een vast volgorde van zes lagen:

Schema Validatie: JSON-RPC en tool-specificatie validatie (syntactisch).
Trust Tier Check: Controle of de agent (gebaseerd op herkomst/ondertekening) bevoegd is voor de gevraagde tool.
Rate Limiting: Token-bucket limieten per tool om DoS en pathologische lussen te voorkomen.
Adversarial Pre-filter: Een snelle O(n) regex-check voor bekende prompt-injectie patronen (bijv. "ignore previous instructions").
ProbeLogits Gate (De Kern): De enige semantische laag. Hier wordt een enkele forward pass uitgevoerd door een geladen inferentiemodel (bijv. Qwen 2.5-7B). Het model leest de "logits" (kansverdeling) op een specifieke "verbalizer" positie (bijv. "Veilig" vs. "Gevaarlijk") om de intentie van de tool-aanroep te beoordelen.
Constitutional Policy: Een match van 12 principes (bijv. "geen toegang tot /etc/shadow") die specifieke implementatiebeleid afhandelt.

Audit: Elke beslissing wordt vastgelegd in een onvervalsbare audit-keten met Blake3-hash.

3. Belangrijkste Bijdragen

Eerste Kernel-Resident MCP Gateway: Een systeem dat semantische veiligheidscontroles onder de privilegegrens van de agent plaatst, waardoor in-process omzeilingen structureel onmogelijk worden.
ProbeLogits als "Load-Bearing" Laag: Het paper demonstreert dat semantisch begrip essentieel is. Handmatige regels (firewalls) zijn onvoldoende zonder semantische interpretatie.
Volledige Mediatie van WASM ABI: Er wordt bewezen dat alle 15 WASM-naar-systeem host-functies door de gateway worden gemedieerd. Een test-suite verifieert 123 mogelijke paden die allemaal door de gateway gaan.
Open Source Implementatie: Een werkend bewijs in Anima OS (Rust) dat kernel-grade governance mogelijk is zonder proprietary hardware of hypervisor-trucs.

4. Resultaten en Evaluatie

De evaluatie is uitgevoerd op een AMD Ryzen 9800X3D met een Qwen 2.5-7B (Q4_0) model.

Prestatie (Latentie):
- De 5 niet-inferentie lagen (schema, trust, rate, pre-filter, constitutional) voegen slechts 65,3 µs overhead toe per aanroep.
- De ProbeLogits-laag (inference) kost 65 ms per aanroep (bepalend voor de totale latency).
- Dit is aanzienlijk sneller dan bestaande userspace-oplossingen (vaak 2-5 seconden per check).
Effectiviteit (Ablatie-studie):
- Een benchmark van 101 prompts (Custom-101) toonde aan dat de volledige 6-lagen pipeline een F1-score van 0,773 bereikt.
- Kritieke bevinding: Wanneer de ProbeLogits-laag (laag 5) wordt verwijderd, daalt de F1-score naar 0,327 (een daling van $\Delta F1 = -0.446$ ).
- Dit bewijst dat handmatige regels (zonder semantisch model) bijna nutteloos zijn tegen geavanceerde aanvalspaden (zoals eufemismen of multi-stap plannen).
Veiligheid:
- De gateway is bestand tegen de in Listing 1 beschreven omzeilingen, omdat de agent geen toegang heeft tot de kernel-code.
- Bij uitval van de inference-engine wordt het systeem veilig afgesloten (Fail-Closed).

5. Betekenis en Toekomstperspectief

Paradigmaverschuiving: Het paper stelt dat tool-aanroepen voor AI-agenten behandeld moeten worden als syscalls en dat beveiliging daarom in de kernel moet plaatsvinden, niet in de applicatielaag.
Deployability: Met de wijdverspreide adoptie van MCP in 2024-2025 is het cruciaal om nu de juiste architectuur te definiëren voordat de huidige zwakke (userspace) patronen verankerd raken.
Beperkingen & Toekomst:
- De huidige latency wordt gedomineerd door de inferentie (65 ms). Toekomstig werk richt zich op GPU/NPU-offloading om dit naar <10 ms te brengen.
- Er is nog geen verificatie van model-provenance bij het opstarten (risico op vervanging van het model).
- Toekomstige versies zullen ook tool-outputs controleren (tegen indirecte prompt-injectie) en multi-tenant schaalbaarheid onderzoeken.

Conclusie: Governed MCP bewijst dat het mogelijk is om AI-agenten te beveiligen met een kernel-resident, semantisch bewust systeem dat structureel onmogelijk te omzeilen is door de agent zelf, en dat semantische analyse (via logit-reading) essentieel is voor effectieve beveiliging.