Technische Samenvatting: Spider-Sense: Intrinsieke Risico-perceptie voor Efficiënte Agent-defensie met Hiërarchische Adaptieve Screening

1. Probleemstelling

Naarmate Large Language Models (LLM's) evolueren naar autonome agenten die in staat zijn tot omgevingsperceptie, taakplanning en tool-executie, is hun toepasbaarheid uitgebreid naar kritieke domeinen zoals finance, coderen en webinteractie. Deze uitgebreide actieruimte introduceert echter aanzienlijke beveiligingsrisico's, waaronder prompt injection, memory poisoning en tool-gebaseerde exploits die kunnen leiden tot reële gevolgen zoals datalexfiltratie en ongeautoriseerde systeemoperaties.

De auteurs identificeren een fundamentele tekortkoming in bestaande defensiemechanismen: deze hanteren voornamelijk een verplichte controle-paradigma. In deze systemen wordt beveiligingsvalidatie geforceerd getriggerd op vooraf gedefinieerde stadia van de agent-levenscyclus (bijv. actiegeneratie of tool-invocatie), ongeacht of er daadwerkelijk een risico aanwezig is. Deze aanpak leidt tot:

• Hoge latentie: Elke extra planningsstap of tool-call brengt een beveiligingscontrole met zich mee, wat zorgt voor snel accumulerende overhead in complexe, meerstaps workflows.
• Vals-positieven: Veelvuldige, onnodige controles verstoren normale gebruikersinteracties.
• Schaalbaarheidsproblemen: Veel benaderingen vertrouwen op externe verifier-modellen, wat aanzienlijke computationele kosten met zich meebrengt en systeemafhankelijkheden introduceert die praktische implementatie beperken.

Het artikel betoogt dat effectieve agent-beveiliging intrinsiek en selectief moet zijn, waarbij er alleen wordt ingegrepen wanneer een echt risico wordt waargenomen, in plaats van een architecturaal ontkoppelde, verplichte procedure te zijn.

2. Methodologie: Het SPIDER-SENSE Framework

Het voorgestelde SPIDER-SENSE framework introduceert een event-gestuurd defensieparadigma gebaseerd op Intrinsieke Risico-perceptie (IRS) en Hiërarchische Adaptieve Screening (HAS).

2.1 Intrinsieke Risico-perceptie (IRS)

IRS internaliseert beveiliging als een natuurlijke cognitieve functie van de agent, waardoor deze een "latente staat van waakzaamheid" kan handhaven tijdens de gehele executieflow.

• Mechanisme: De agent evalueert autonoom een risico-perceptie-indicator ($\phi_t^{(k)}$) bij elk van de vier beveiligingskritieke stadia: Query ($q$), Plan ($P_t$), Action ($a_t$) en Observation ($o_t$).
• Triggering: Op basis van het huidige artefact, de interactiegeschiedenis en de systeeminstructies besluit de agent of er een risico-perceptie-indicator geproduceerd moet worden. Als een potentieel risico wordt waargenomen, pauzeert de agent de standaard flow.
• Implementatie: De agent plaatst het verdachte artefact in een gespecialiseerd template (bijv. <|sanitize_observation|> voor tool-outputs) en routeert dit naar het beveiligingscontrolemechanisme. Dit proces is endogeen en vereist geen externe supervisie of architecturale overhead.

2.2 Hiërarchische Adaptieve Screening (HAS)

Zodra getriggerd, ondergaat het verdachte artefact een tweeledig verificatieproces dat ontworpen is om een balans te vinden tussen efficiëntie en precisie:

1. Grofmazige Detectie (Snelle Screening):
   • Het systeem onderhoudt stadium-specifieke attack vector databases ($D^{(k)}$) die vectorrepresentaties van bekende aanvalspatronen bevatten.
   • Het huidige artefact wordt geëmbetted en vergeleken met opgeslagen patronen middels cosine similarity.
   • Als de similarity score een drempelwaarde ($\tau^{(k)}$) overschrijdt, wordt er onmiddellijk een resultaat met hoge betrouwbaarheid geretourneerd, waardoor bekende patronen met minimale latentie worden afgehandeld.
2. Fijnmazige Analyse (Diepe Redenering):
   • Als de similarity score onder de drempelwaarde ligt (wat duidt op ambiguïteit of onbekende patronen), escaleert het systeem naar een diepere redeneringsfase.
   • Een Large Language Model (LLM) voert expliciete redenering uit over het huidige artefact en de top-$K$ meest gelijkaardige gevonden gevallen om een onderbouwde uitkomst te produceren.
3. Besluitvorming: De hoofdagent ontvangt het verificatieresultaat en besluit autonoom om de executie te ACCEPTEREN, te WEIGEREN of te SANITIZEN.

3. Belangrijkste Bijdragen

1. Intrinsieke Risico-perceptie (IRS): De auteurs stellen een paradigma voor dat risicobewustzijn direct in de executieflow van de agent embedt via instructie-niveau conditionering. Dit maakt endogene, event-gestuurde defensie mogelijk zonder externe guard-modellen of constante stage-wise inspectie.
2. Hiërarchische Adaptieve Screening (HAS): Een nieuw mechanisme dat efficiëntie en nauwkeurigheid adaptief in evenwicht brengt. Het maakt gebruik van stadium-specifieke attack vector databases om bekende dreigingen af te handelen via snelle vector-matching, terwijl ambigue gevallen worden gerouteerd naar diepe interne redenering, waardoor de afhankelijkheid van externe modellen voor elke controle wordt geëlimineerd.
3. S2Bench Benchmark: De auteurs introduceren S2Bench, een lifecycle-bewuste benchmark die ontworpen is om in-situ agent-interceptie rigoureus te evalueren. In tegenstelling tot bestaande statische benchmarks, beschikt S2Bench over:
   • Multi-stage en Multi-scenario: Dekking van vier agent-stadia over acht applicatiedomeinen en 79 sub-taakscenario's.
   • Real Tool Execution: Integratie van een grootschalige tool-library (~300 functies) en realistische return-inhoud (meer dan 100 typen) in plaats van placeholder tekst.
   • Hard Benign Prompts: 153 zorgvuldig geconstrueerde benign samples die aanvalstructuren nabootsen om over-defensie en vals-positieven te testen.
   • Realistische Aanvalsimulatie: Een externe injector die tool-outputs en memory retrieval dynamisch manipuleert om state-dependent executie-afwijkingen te induceren.

4. Experimentele Resultaten

De auteurs evalueerden SPIDER-SENSE tegen statische guardrails (bijv. LLaMA-Guard 3, gpt-oss-safeguard) en agentic defenses (bijv. GuardAgent, AGrail) met behulp van de Mind2Web, eICU, en S2Bench datasets.

• Defensie Prestaties: SPIDER-SENSE behaalde de laagste Attack Success Rate (ASR) en False Positive Rate (FPR) over alle benchmarks.
  • Op Mind2Web, bij gebruik van Claude-3.5, verbeterde SPIDER-SENSE de Label Prediction Accuracy (LPA) van 84,8% (baseline) naar 95,8% en de F1 van 90,3% naar 92,1%.
  • Op S2Bench reduceerde het de ASR in de "Plan" fase (een bekend blinde vlek voor andere defensies) aanzienlijk naar 17,7% (Claude-3.5) en 20,0% (Qwen-max), terwijl een lage FPR werd gehandhaafd.
• Efficiëntie: Het framework bereikte een superieure trade-off tussen beveiliging en nut. Het veroorzaakte een marginale latentie-overhead van slechts 8,3% vergeleken met de baseline, terwijl bestaande "always-on" defensies overheads hadden variërend van 197% tot 381%.
• Ablatie Studies:
  • Het verwijderen van sensing in een enkel stadium veroorzaakte een significante stijging in ASR (bijv. +29,9% wanneer de action-stage sensing werd uitgeschakeld), wat de noodzaak van full-lifecycle monitoring bevestigt.
  • Het verwijderen van de fijnmazige analyse-fase verlaagde de defensie-precisie aanzienlijk, terwijl het verwijderen van de grofmazige detectie de efficiëntie ernstig degradeerde, wat het hiërarchische ontwerp valideert.

5. Betekenis en Claims

Het artikel claimt dat Spider-Sense een verschuiving vertegenwoordigt van externe, verplichte beveiligingsprocedures naar intrinsieke, selectieve risico-bewustzijn. Door beveiliging te behandelen als een natuurlijke cognitieve functie, stelt het framework agenten in staat om "latente waakzaamheid" te behouden en defensie alleen te triggeren bij risico-perceptie.

De auteurs stellen dat deze aanpak:

• Nut Behoudt: Door constante, repetitieve controles te vermijden, voorkomt het de latentie en vals-positieven die de praktische inzet van complexe agenten hinderen.
• Schaalbaarheid Verbetert: Door te vertrouwen op interne redenering en lichtgewicht similarity matching in plaats van externe verifier-modellen voor elke stap, vermindert het computationele kosten en systeemafhankelijkheden.
• Robuuste Evaluatie Biedt: Via S2Bench biedt het werk een meer realistische evaluatiestandaard die rekening houdt met de dynamische, state-dependent aard van agent-aanvallen, waarmee het verder gaat dan statische text-level injection tests.

Het werk concludeert dat intrinsiek risico-bewustzijn een praktisch fundament is voor schaalbare agent-beveiliging, waardoor agenten veilig in real-world omgevingen kunnen opereren zonder hun efficiëntie of autonomie in gevaar te brengen.