Send a SCOUT First: Pre-hoc Reasoning for Adaptive Detector Allocation in Prompt-Injection Defense

Technische Samenvatting: SCOUT – Pre-hoc Redeneren voor Adaptieve Detector Allocatie

Probleemstelling
Detectoren voor prompt-injectie zijn inherent heterogeen; elke detector blinkt uit in specifieke segmenten van aanvalscategorieën (bijv. lexicale regels, attention-probes, lichtgewicht classifiers), terwijl hij op andere vlakken tekortschiet. Bestaande verdedigingssystemen vertrouwen doorgaans op vaste pipelines, zoals een enkele detector of een statische cascade, wat elke aanvraag dwingt door de blinde vlekken van een specifieke detector te gaan. Bovendien brengt de meest nauwkeurige verdediging, een LLM-rechter (bijv. GPT-4o), een prohibitente latentie met zich mee (ongeveer 1,5 seconde per aanvraag) vergeleken met lichtgewicht detectoren (sub-milliseconde tot tientallen milliseconden). De kernuitdaging is het balanceren van veiligheid (het vangen van aanvallen) tegen nut (het minimaliseren van latentie en het behouden van benigne doorvoerratentjes) zonder vast te zitten aan de beperkingen van één enkele detector of de hoge kosten van een altijd-aan LLM-beoordeling.

Methodologie: SCOUT-framework
De auteurs stellen SCOUT voor (Scalable and Controllable Outcome-prediction for Uncertainty-aware Triage), een framework dat verdediging herdefinieert als een per-input detector allocatieprobleem. In plaats van een vaste cascade, beslist SCOUT dynamisch welke detectoren moeten worden uitgevoerd voor een specifieke aanvraag en of er moet worden geëscaleerd naar een LLM-rechter.

Het systeem werkt via drie hoofdonderdelen:

1. Detector-vingerafdrukken en Retrieval:

   • SCOUT houdt een vaste set "anker"-inputs bij (Anchor-400) die diverse injectiestructuren vertegenwoordigen.
   • Voor elke detector in de pool wordt een vingerafdruk geconstrueerd door het gedrag ervan (oordeel, correctheid en latentie) op deze ankers vast te leggen.
   • Tijdens de inferentie zoekt het systeem voor een nieuwe aanvraag $x$ de top-$K$ meest vergelijkbare ankers op basis van de injectiestructuur (categorie, verbergingsstrategie, drager, mechanisme) in plaats van de topische inhoud. Deze retrieval is detector-agnostisch.

2. Outcome Predictor (Pre-hoc Redeneren):

   • Een klein taalmodel (Qwen3-4B) fungeert als voorspeller. Het neemt de opgehaalde fingerprint-records en de doelcampel als input.
   • Met behulp van een twee-fasen trainingsproces (Supervised Fine-Tuning met hindsight-distilled rationales gevolgd door Group Relative Policy Optimization), schat de voorspeller twee waarden in voor elke detector $D$ op input $x$:
     • Voorspelde Correctheid ($pred\_corr$): Of $D$ de classificatie van $x$ correct zal uitvoeren.
     • Voorspelde Latentie ($pred\_lat$): Hoe lang het zal duren om $D$ uit te voeren.
   • De voorspeller is getraind om een redeneerketen (Chain-of-Thought) uit te stoten vóór de gestructureerde voorspelling, wat de kalibratie verbetert.

3. Uncertainty-Aware Triage (Routing):

   • Subset Selectie: De router filtert de "lichte pool" van detectoren en houdt alleen de detectoren over waar $pred\_corr = 1$.
   • Trust-Weighted Stemmen: De geselecteerde detectoren draaien parallel. Hun stemmen worden samengevoegd met een vertrouwensgewicht dat lokale bewijslast (nauwkeurigheid op opgehaalde ankers) mengt met globale priors (algehele nauwkeurigheid).
   • Escalatie-poort: Als de gewogen stemming onzeker is (overeenstemming $< \tau$), overweegt het systeem te escaleren naar de LLM-rechter. Cruciaal is dat escalatie alleen plaatsvindt als de voorspeller ook inschat dat de rechter betrouwbaar is op die specifieke input.
   • Latentiecontrole: Omdat de voorspeller de latentie inschat, kan het systeem de totale wandkloktijd voor elke drempelwaarde $\tau$ voorspellen voordat de aanvraag wordt uitgevoerd. Operators kunnen $\tau$ instellen om aan een specifiek latentiebudget te voldoen.

Belangrijkste Bijdragen

• Herformulering van Verdediging: Het artikel verschuift het paradigma van vaste detectie-pipelines naar per-input detector allocatie, waardoor het systeem de detector kan afstemmen op de specifieke aanvalscategorie van de input.
• Het SCOUT-framework: Een innovatieve architectuur die gedragsvingerafdrukken, een kleine outcome-voorspeller en een controleerbare routingregel combineert. Het maakt het mogelijk dat nieuwe detectoren de pool kunnen toetreden zonder hertraining (alleen een enkele passage over de ankers om een vingerafdruk te generen).
• SCOUT-450 Benchmark: Een nieuwe evaluatiebenchmark die is verrijkt met structureel complexe, agent-gerichte injecties (specifiek de hidden_tricky categorie) die oudere benchmarks ondervertegenwoordigen. Het bevat 255 aanvals- en 195 benigne samples.
• Controleerbaarheid: Het systeem biedt een enkele operator-drempel ($\tau$) waarmee veiligheid tegen latentie kan worden uitgeruild, met de mogelijkheid om de totale wandkloktijd vooraf te voorspellen.

Resultaten
Geëvalueerd op SCOUT-450 en drie externe benchmarks (BIPIA, IPI, IHEval), vertoont SCOUT significante verbeteringen ten opzichte van baselines:

• Veiligheid-Nut Grens: Op SCOUT-450 vermindert SCOUT bij het headline operationele punt ($\tau=0.875$) de Attack Success Rate (ASR) met 46% en de totale wandkloklatentie met 40% vergeleken met een altijd-aan GPT-4o rechter.
• Nauwkeurigheid: SCOUT bereikt een nauwkeurigheid van 0,933, waarmee het de beste enkele detector (PIGuard, 0,669) en de altijd-aan rechter (GPT-4o, 0,924) overtreft.
• Benigne Nut: Hoewel SCOUT een daling van 5,1 punten in benigne nut ervaart vergeleken met de altijd-aan rechter (0,928 vs. 0,979), behoudt het een hoge doorvoersnelheid terwijl de latentie aanzienlijk wordt verminderd.
• Generalisatie: Het systeem wordt zonder hertraining overgedragen naar externe benchmarks (BIPIA, IPI, IHEval), waarbij het zich aanpast aan verschillende aanvalsdistributies door detectoren opnieuw toe te wijzen. Zo vermindert het op BIPIA de latentie met 3,7x vergeleken met de GPT-5.1 rechter, terwijl de hoge nauwkeurigheid behouden blijft.
• Ablaties: De studie bevestigt dat de winst voortkomt uit het vermogen van de voorspeller om betrouwbaarheidschattingen te kalibreren (beter presterend dan niet-LLM voorspellers zoals KNN/MLP) en de per-input allocatiestrategie (beter presterend dan uniforme-trust cascades).

Betekenis en Claims
Het artikel claimt dat SCOUT een schaalbare en controleerbare oplossing biedt voor prompt-injectie verdediging.

• Schaalbaarheid: Het toevoegen van een nieuwe detector vereist alleen het genereren van zijn vingerafdruk op de anker-set; er is geen hertraining van de retriever, voorspeller of router nodig.
• Controleerbaarheid: Operators kunnen het systeem afstemmen op een specifiek latentiebudget of veiligheidsdoel met de enkele drempelwaarde $\tau$, waarbij het systeem de kosten vooraf voorspelt.
• Heterogeniteit Bewustzijn: Door te erkennen dat geen enkele detector universeel sterk is, benut SCOUT de diverse sterktes van een heterogene pool, waarbij moeilijke gevallen naar de LLM-rechter worden gerouteerd alleen wanneer dat nodig is en wanneer de rechter als betrouwbaar wordt voorspeld.

De auteurs erkennen beperkingen, waarbij zij opmerken dat SCOUT niet de collectieve capaciteit van de beschikbare detectorpool kan overtreffen en dat de effectiviteit afhangt van de mate waarin de anker-set de structurele assen van de testdistributie dekt. Ze merken ook op dat het framework momenteel niet beschermt tegen adaptieve aanvallers die de router zelf targeten.