Technische Samenvatting: MCP-SandboxScan (SandScope)

Probleemstelling

Het Model Context Protocol (MCP) stelt Large Language Model (LLM) agenten in staat om externe tools aan te roepen en toegang te krijgen tot databronnen, wat een nieuw oppervlak voor de software supply-chain creëert. Hoewel tools worden geïnstalleerd als third-party pakketten, komen hun outputs vaak in de redeneercontext van de agent terecht. Deze architectuur introduceert een confused-deputy risico: door een aanvaller gecontroleerde inputs (bijv. via door LLM gegenereerde argumenten, opgehaalde webpagina's of repository-metadata) kunnen ogenschijnlijk onschuldige of vertrouwde tools induceren om legitieme autoriteit uit te oefen over lokale bestanden, omgevingsvariabelen of netwerkoperaties. Het kritieke gevaar is dat deze tools gevoelige of instructie-achtige inhoud kunnen teruggeven in velden die zichtbaar zijn voor de LLM, wat effectief geheimen lekt of instructies injecteert in de volgende redeneerstap van de agent.

Bestaande beveiligingsbenaderingen zijn onvoldoende omdat:

1. Statische inspectie van tool-beschrijvingen of broncode gedrag niet kan detecteren dat zich pas tijdens runtime manifesteert (bijv. geobfusceerde bestandstoegang of geheimen afgeleid van runtime file-reads).
2. Proxy-gebaseerde monitoring van verkeer faalt vaak om interne tool-procesgedragingen of de specifieke datastroom van externe inputs naar LLM-zichtbare outputs te vangen.
3. Directe executie van third-party tools op de host is onveilig vanwege de brede privileges die deze tools vaak erven.

Er is een gat in runtime observability en containment: auditors moeten stromen van externe inputs naar LLM-zichtbare outputs observeren zonder onbetrouwde tools onbeperkte host-autoriteit te verlenen.

Methodologie: SandScope Framework

De auteurs stellen SandScope voor, een MCP-bewust auditframework dat gecontroleerde executie combineert met runtime witness detectie en semantische tool profiling. Het opereert zonder ervan uit te gaan dat de toolcode zelf kwaadaardig is, en richt zich in plaats daarvan op het confused-deputy gedrag dat wordt geïnduceerd door externe inputs.

1. Executie Backends

SandScope ondersteunt twee executiepaden om een balans te vinden tussen containment en protocolgetrouwheid:

• WASI Sandbox Pad: Voor draagbare tools (WebAssembly-artefacten of tools die zijn ingepakt in lichtgewicht adapters), voert SandScope deze uit onder de WebAssembly System Interface (WASI). Dit verleent expliciete, beperkte capaciteiten (bijv. specifieke omgevingsvariabelen, vooraf geopende datadirectories) en weigert netwerktoegang standaard.
• Native stdio Pad: Voor ongewijzigde MCP-servers (Node.js, Python, Go, etc.), stuurt SandScope de server aan via standaard invoer/uitvoer (stdin/stdout). Hoewel dit de protocolgetrouwheid behoudt, vertrouwt het op externe OS-niveau sandboxing (bijv. Docker, Bubblewrap) voor containment.

2. Evidence Pipeline

Het framework volgt een zesfasen-pipeline:

1. Audit Source Setup: SandScope zaait onderscheidbare "canary" waarden in omgevingsvariabelen, bestandscatiteiten en tool-call argumenten. Het houdt ook netwerk-intent signalen bij (bijv. strings die wijzen op uitgaande verzoeken).
2. Target Discovery & Adaptation: Het identificeert de target (draagbaar artefact versus native server) en selecteert het passende executiepad. Voor native servers voert het een oppervlakkige scan uit om tools/list metadata te herstellen.
3. Controlled Execution: De target wordt uitgevoerd. Voor native servers initialiseert een driver het protocol, vraagt tool-lijsten op en roept tools aan.
4. Runtime Monitoring: Het systeem registreert begrensde stdout/stderr, exit codes, MCP-transcripts (JSON-RPC) en sandbox-events (bijv. geweigerde verbindingen).
5. Sink Extraction: SandScope identificeert LLM-zichtbare sinks—tekstuele regio's die waarschijnlijk opnieuw in de prompt van de agent worden geplaatst. Dit omvat:
   • Regels die prompt-markers bevatten (bijv. PROMPT:).
   • prompt of messages velden in JSON-responses.
   • String-waardige leaf nodes in gestructureerde tool-returns.
6. Witness Detection: Het systeem matcht source canaries tegen geëxtraheerde sinks. Het maakt gebruik van een positive-evidence detector die controleert op:
   • Exacte substrings.
   • Prefix/suffix windows (om partiële lekken zoals API-keys te vangen).
   • Genormaliseerde en gedecodeerde vormen (afhandeling van ROT13, Hex, Base64 en separator chunking).

3. Semantische Profiling

Om gevallen aan te pakken waarbij dynamische executie faalt (door build-fouten, ontbrekende credentials of complexe staat), bevat SandScope een semantische laag. Het extraheert verklaarde capaciteiten uit:

• Runtime tools/list responses.
• Statische registraties op bronniveau (bijv. decorators, functiedefinities).
• Repository-metadata (READMEs).
  Deze laag karakteriseert het aanvalsoppervlak (bijv. "netwerktoegang", "bestandstoegang") en prioriteert tools voor testen, zelfs als ze niet dynamisch uitgevoerd kunnen worden.

Belangrijkste Bijdragen

1. Definitie van MCP Security Sinks: De auteurs definiëren LLM-zichtbare MCP-responsevelden (tool-resultaten, prompt/message velden, gestructureerde payloads) formeel als protocol-niveau security sinks en kaderen externe-naar-sink expositie als een runtime risico.
2. Scenario-gestuurd Runtime Audit Pipeline: Een systeem dat tools uitvoert onder WASI of native stdio servers aanstuurt, waarbij het de omgeving, file en tool-input bronnen koppelt aan LLM-zichtbare sinks via auditeerbare black-box witnesses, terwijl het tegelijkertijd netwerk-intent evidence registreert.
3. Complementaire Semantische Profiling: Een methode om verklaarde tool-capaciteiten te herstellen uit metadata en statische registraties, wat aanvalsoppervlak-karakterisering mogelijk maakt wanneer dynamische executie incompleet is en het toestaat om verklaarde egress-risico's te kruis-valideren met runtime-bewijs.
4. Empirische Evaluatie: Een uitgebreide evaluatie over gecontroleerde cross-language subjects, een evasion benchmark en een 100-repository MCP corpus.

Evaluatieresultaten

De auteurs hebben SandScope op drie fronten geëvalueerd:

1. Gecontroleerde Runtime Benchmarks

• Subjects: 30 cross-language subjects (Go, Python, Rust, TypeScript) die benign tools, environment leaks, file exfiltration en C2-beacon fixtures dekken.
• Prestaties: SandScope bereikte 100% precisie (0 false positives) en 88,9% recall (F1 = 0.941).
• Bevindingen: Het detecteerde succesvol 16 true positives waar authority-bearing sources de LLM-zichtbare sinks bereikten. De twee false negatives kwamen voor in non-protocol C2-beacon gevallen waar de output geen herstelbare source-to-sink witness produceerde onder de huidige extractieregels.

2. Evasion Benchmark

• De verbeterde detector (ondersteuning voor ROT13, Hex, Base64 en chunking) identificeerde succesvol low-effort transformaties die raw substring matching miste.
• Beperking: Het systeem blijft een positive-evidence detector; het claimt geen volledigheid tegen encryptie, compressie, hashing of semantische herschrijving.

3. Real-World Corpus (100 Repositories)

• Dynamische Dekking: SandScope loste 91 repositories op en voltooide shallow dynamic scans voor 35 (38,5% succespercentage). Falen kwam voornamelijk door build, startup of protocol initialisatie problemen, niet door de detector zelf.
• Targeted Exploration: Op de 35 succesvol gescande repositories voerde een gerichte schema-gestuurde exploratie-pass opnieuw 33 uit en observeerde source-to-sink witnesses in 12 repositories (60 totale witnesses).
• Semantische Profiling: De semantische laag herstelde tool-level metadata voor 71 repositories (dekking van 1.127 tools), inclusief 886 tools met ten minste één security-sensitive verklaarde capaciteit (bijv. netwerktoegang, bestandstoegang, credential handling).
• Kruis-validatie: Het vergelijken van verklaarde egress capabilities met runtime bewijs onthulde gevallen waar capaciteiten werden verklaard maar niet werden uitgeoefend, en gevallen waar runtime gedrag (bijv. geweigerde outbound verbindingen) werd geobserveerd ondanks een gebrek aan verklaarde metadata.

Betekenis en Claims

Het paper positioneert SandScope als het eerste MCP-specifieke gedragsauditframework dat LLM-zichtbare protocolvelden behandelt als security sinks en runtime source-to-sink witnesses rapporteert over ongewijzigde MCP-servers en draagbare WASI subjects.

• Bescheiden Claims: De auteurs stellen expliciet dat SandScope niet een volledige taint-tracking engine of een standalone kwetsbaarheidsdetector is. Het leidt geen willekeurige transformaties of versleutelde flows af.
• Kernwaarde: De bijdrage is het bieden van praktisch, auditeerbaar bewijs voor MCP tool risico. Door semantische metadata (verklaarde capaciteiten) te scheiden van runtime witnesses (geobserveerde stromen), biedt het een gelaagd beeld van risico dat helpt bij het prioriteren van testen en het begrijpen van de kloof tussen wat een tool beweert te doen en wat het daadwerkelijk blootstelt in een specifieke executie scenario.
• Reproduceerbaarheid: De broncode is vrijgegeven om reproduceerbaarheid te faciliteren, en het framework is ontworpen om te werken met bestaande MCP-implementaties zonder dat modificaties aan de code van de tools zelf vereist zijn.