🤖 machine learning

Send a SCOUT First: Pre-hoc Reasoning for Adaptive Detector Allocation in Prompt-Injection Defense

Das Paper stellt SCOUT vor, ein dynamisches Framework, das die Verteidigung gegen Prompt-Injection durch die adaptive Zuweisung heterogener Detektoren und LLM-Judges basierend auf vorhergesagter Zuverlässigkeit und Latenz optimiert und dabei signifikante Reduktionen der Erfolgsraten von Angriffen sowie der Latenz im Vergleich zu statischen Single-Detektor- oder Always-on-Judge-Ansätzen erreicht.

Ursprüngliche Autoren: Shuhao Zhang, Jiarui Li, Qi Cao, Ruiyi Zhang, Pengtao Xie

Veröffentlicht 2026-06-01

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Shuhao Zhang, Jiarui Li, Qi Cao, Ruiyi Zhang, Pengtao Xie

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sind der Sicherheitschef eines belebten Flughafens. Ihr Job ist es, Terroristen (Prompt-Injection-Angriffe) aufzuhalten, die die Flugzeuge (Large Language Models) kapern wollen, während Sie reguläre Passagiere (gutartige Anfragen) schnell durchlassen.

In der Vergangenheit haben Sicherheitsteams versucht, zwei Hauptansätze zu verfolgen:

Der „Super-Scanner“-Ansatz: Sie stellen einen unglaublich klugen, teuren Sicherheitswachmann ein, der jeden einzelnen Menschen überprüft. Diese Person ist großartig darin, Bösewichte zu entdecken, aber langsam, teuer und verursacht lange Schlangen.
Der „Ein-Werkzeug“-Ansatz: Sie wählen ein spezifisches Werkzeug (wie einen Metalldetektor) und zwingen jeden hindurch. Das ist schnell, aber wenn ein Terrorist eine Bombe versteckt hat, die aus Plastik besteht (eine Art von Angriff, die der Metalldetektor übersieht), kommt er durch.

Das Problem ist, dass die Bösewichte clever sind. Sie ändern ihre Taktiken. Manchmal verstecken sie sich direkt vor den Augen aller; manchmal verwenden sie komplexe Codes. Kein einzelner Sicherheitswachmann oder ein einzelnes Werkzeug ist perfekt darin, jede Art von Bedrohung zu erfassen.

Hier kommt SCOUT ins Spiel: Der „Smarte Sicherheits-Dispatcher“

Das Paper stellt ein neues System namens SCOUT vor. Anstatt jeden Passagier durch dasselbe Gate zu schicken, fungiert SCOUT wie ein smarter Dispatcher, der jeden Menschen bevor er das Gate erreicht betrachtet und entscheidet, welches Sicherheitsteam am besten geeignet ist, ihn zu überprüfen.

So funktioniert es, unter Verwendung einfacher Analogien:

1. Die „Fingerabdruck“-Bibliothek

Stellen Sie sich vor, jeder Sicherheitswachmann in Ihrem Gebäude hat einen „Fingerabdruck“ seiner vergangenen Leistung.

Wachmann A ist fantastisch darin, Leute zu entdecken, die Waffen in ihren Schuhen verstecken, aber schlecht darin, Leute zu entdecken, die sie im Gepäck verstecken.
Wachmann B ist gut bei Gepäck, übersieht aber Schuh-Bedrohungen.
Wachmann C ist der „Super-Scanner“ (die teure KI-Richterin), der fast alles erwischt, aber pro Person 10 Minuten braucht.

SCOUT rät nicht einfach nur; es führt ein detailliertes Protokoll (einen Fingerabdruck) darüber, wie jeder Wachmann bei tausenden vergangenen Passagieren abgeschnitten hat. Es weiß genau, welcher Wachmann für welche Art von Passagier zuverlässig ist.

2. Die „Pre-Hoc“-Vorhersage (Vorausschauendes Handeln)

Wenn ein neuer Passagier ankommt, schickt SCOUT ihn nicht zu einem zufälligen Wachmann. Es fragt einen kleinen, schnellen KI-Assistenten: „Basierend darauf, wie dieser Passagier aussieht und was er bei sich trägt, welche Wachmen waren in der Vergangenheit bei Menschen wie diesem erfolgreich?“

Dies ist der Teil des „Pre-hoc Reasoning“ (vorheriges Denken). Es sagt das Ergebnis voraus, bevor die eigentliche Kontrolle stattfindet.

Wenn der Passagier wie eine „Schuh-Bedrohung“ aussieht, schickt SCOUT ihn zu Wachmann A.
Wenn der Passagier wie eine „Gepäck-Bedrohung“ aussieht, schickt SCOUT ihn zu Wachmann B.
Wenn der Passagier sehr komplex ist und die schnellen Wachmänner unsicher sind, schickt SCOUT ihn an den „Super-Scanner“ (die teure KI) zur endgültigen Entscheidung.

3. Die „Team-Abstimmung“

SCOUT schickt den Passagier oft an ein Team von schnellen Wachmännern, die ihn alle gleichzeitig (parallel) überprüfen.

Wenn Wachmann A und Wachmann B beide sagen: „Diese Person ist sicher“, lässt SCOUT sie sofort passieren.
Wenn sie sich uneinig sind oder unsicher wirken, eskaliert SCOUT den Fall an den „Super-Scanner“ für ein endgültiges, definitives Urteil.

4. Der „Geschwindigkeit vs. Sicherheit“-Regler

Das Beste daran ist, dass der Flughafenmanager (der Betreiber) einen einzigen Regler hat, an dem er drehen kann.

Drehen Sie nach links (Niedrige Sicherheit, Hohe Geschwindigkeit): SCOUT verlässt sich hauptsächlich auf die schnellen Wachmänner. Es ist unglaublich schnell, aber ein paar Bösewichte könnten durchschlüpfen.
Drehen Sie nach rechts (Hohe Sicherheit, Niedrigere Geschwindigkeit): SCOUT schickt mehr Menschen zum „Super-Scanner“. Es erwischt fast jeden, aber die Schlange wird länger.

Das System sagt exakt voraus, wie lang die Schlange für jede Einstellung des Reglers sein wird, sodass der Manager das perfekte Gleichgewicht wählen kann, noch bevor der Tag überhaupt beginnt.

Was haben sie herausgefunden?

Die Forscher entwickelten einen neuen, harten Test namens SCOUT-450 (eine Sammlung von schwierigen, komplexen Angriffen, die ältere Tests übersehen haben). Sie testeten ihr System gegen:

Die Nutzung von nur schnellen Wachmännern (verpasste viele Angriffe).
Die Nutzung von nur dem „Super-Scanner“ (erfasste Angriffe, war aber sehr langsam).
SCOUT (Der Dispatcher).

Die Ergebnisse:

Sicherheit: SCOUT fing 46 % mehr Angriffe ab als die alleinige Nutzung des „Super-Scanners“.
Geschwindigkeit: Es war 40 % schneller als die Nutzung des „Super-Scanners“ für alle.
Flexibilität: Wenn man einen neuen Sicherheitswachmann zum Team hinzufügt, kann SCOUT lernen, ihn sofort zu nutzen, ohne neu trainiert werden zu müssen. Es schaut einfach auf dessen „Fingerabdruck“ und beginnt, ihn einzusetzen.

Das Faz-it

SCOUT ändert das Spiel von „Einheitsgröße für alle“ hin zu „Das richtige Werkzeug für den richtigen Job“. Es nutzt einen smarten, schnellen Prädiktor, um zu entscheiden, welches Sicherheitsteam für die jeweilige Anfrage zu verwenden ist, wodurch Sie die beste Sicherheit bei gleichzeitig vertretbaren Wartezeiten erhalten. Es ist, als hätte man ein Sicherheitssystem, das genau weiß, welches Schloss es für jede spezifische Tür knacken muss.

Technisches Resümee: SCOUT – Pre-hoc-Reasoning für adaptive Detektoren-Allokation

Problemstellung
Detektoren für Prompt-Injektionen sind inhärent heterogen; jeder Detektor ist auf spezifische Slices von Angriffs-Kategorien spezialisiert (z. B. lexikalische Regeln, Attention-Probes, leichtgewichtige Klassifikatoren), scheitert jedoch an anderen. Bestehende Verteidigungssysteme verlassen sich typischerweise auf feste Pipelines, wie etwa einen einzelnen Detektor oder eine statische Kaskade, was jeden Request durch die blinden Flecken eines spezifischen Detektors zwingt. Darüber hinaus verursacht der genaueste Verteidigungsmechanismus, ein LLM-Judge (z. B. GPT-4o), eine prohibitive Latenz (ca. 1,5 Sekunden pro Request) im Vergleich zu leichtgewichtigen Detektoren (Sub-Millisekunden bis hin zu Zehn-Millisekunden). Die Kernherausforderung besteht darin, Sicherheit (Abfangen von Angriffen) gegen Nutzen (Minimierung der Latenz und Aufrechterhaltung der Benign-Pass-Through-Raten) abzuwägen, ohne sich auf die Einschränkungen eines einzelnen Detektors oder die hohen Kosten eines permanent aktiven LLM-Judgings festzulegen.

Methodik: SCOUT-Framework
Die Autoren schlagen SCOUT vor (Scalable and Controllable Outcome-prediction for Uncertainty-aware Triage), ein Framework, das die Verteidigung als ein pro-Input-Detektor-Allokationsproblem neu definiert. Anstatt einer festen Kaskade entscheidet SCOUT dynamisch, welche Detektoren für den jeweiligen spezifischen Request ausgeführt werden sollen und ob eine Eskalation zu einem LLM-Judge notwendig ist.

Das System arbeitet durch drei Hauptkomponenten:

Detektor-Fingerprints und Retrieval:
- SCOUT unterhält eine feste Menge an „Anker“-Inputs (Anchor-400), die diverse Injektionsstrukturen repräsentieren.
- Für jeden Detektor im Pool wird ein Fingerprint erstellt, indem dessen Verhalten (Urteil, Korrektheit und Latenz) auf diesen Ankern aufgezeichnet wird.
- Bei der Inferenz $x$ eines neuen Requests extrahiert das System die Top- $K$ ähnlichsten Anker basierend auf der Injektionsstruktur (Kategorie, Versteckstrategie, Carrier, Mechanismus) statt auf dem thematischen Inhalt. Dieses Retrieval ist detektor-agnostisch.
Outcome Predictor (Pre-hoc-Reasoning):
- Ein kleines Sprachmodell (Qwen3-4B) fungiert als Prädiktor. Es nimmt die abgerufenen Fingerprint-Datensätze und den Ziel-Sample als Input entgegen.
- Unter Verwendung eines zweistufigen Trainingsprozesses (Supervised Fine-Tuning mit Hindsight-distillierten Rationales, gefolgt von Group Relative Policy Optimization) schätzt der Prädiktor für jeden Detektor $D$ $D$ auf Input $x$ $x$ zwei Werte:
  - Predicted Correctness ( $pred\_corr$ ): Ob $D$ den Input $x$ korrekt klassifizieren wird.
  - Predicted Latency ( $pred\_lat$ ): Wie lange die Ausführung von $D$ dauern wird.
- Der Prädiktor ist darauf trainiert, vor der strukturierten Vorhersage eine Reasoning-Kette (Chain-of-Thought) auszugeben, was die Kalibrierung verbessert.
Uncertainty-Aware Triage (Routing):
- Subset Selection: Der Router filtert den „Light Pool“ der Detektoren und behält nur diejenigen, bei denen $pred\_corr = 1$ gilt.
- Trust-Weighted Vote: Die ausgewählten Detektoren laufen parallel. Ihre Stimmen werden mittels eines Trust-Gewichts aggregiert, das lokale Evidenz (Genauigkeit auf den abgerufenen Ankern) und globale Priors (Gesamtgenauigkeit) kombiniert.
- Escalation Gate: Wenn die gewichtete Stimme unsicher ist (Agreement $< \tau$ ), erwägt das System eine Eskalation zum LLM-Judge. Entscheidend ist, dass eine Eskalation nur dann erfolgt, wenn der Prädiktor auch schätzt, dass der Judge für diesen spezifischen Input zuverlässig ist.
- Latency Control: Da der Prädiktor die Latenz schätzt, kann das System die gesamte Wall-Clock-Zeit für jeden Schwellenwert $\tau$ vorhersagen, bevor der Request ausgeführt wird. Operatoren können $\tau$ setzen, um ein spezifisches Latenzbudget einzuhalten.

Zentrale Beiträge

Neudefinition der Verteidigung: Die Arbeit verschiebt das Paradigma von festen Detektions-Pipelines hin zur pro-Input-Detektor-Allokation, wodurch das System den Detektor auf die spezifische Angriffs-Kategorie des Inputs abstimmen kann.
Das SCOUT-Framework: Eine neuartige Architektur, die Behavioral Fingerprints, einen kleinen Outcome-Predictor und eine kontrollierbare Routing-Regel kombiniert. Es ermöglicht neuen Detektoren, dem Pool ohne Retraining beizutreten (nur ein einzelner Durchlauf über die Anker zur Generierung eines Fingerprints erforderlich).
SCOUT-450 Benchmark: Ein neuer Evaluierungs-Benchmark, der durch strukturell komplexe, agenten-orientierte Injektionen (speziell die Kategorie hidden_tricky) angereichert wurde, die ältere Benchmarks unterrepräsentieren. Er umfasst 255 Angriffe und 195 Benign-Samples.
Kontrollierbarkeit: Das System bietet einen einzelnen Operator-Schwellenwert ( $\tau$ ), der Sicherheit gegen Latenz abwägt, mit der Fähigkeit, die Gesamtkosten im Voraus vorherzusagen.

Ergebnisse
Evaluierungen auf SCOUT-450 und drei externen Benchmarks (BIPIA, IPI, IHEval) zeigen signifikante Verbesserungen gegenüber Baselines:

Safety-Utility-Frontier: Auf SCOUT-450 reduziert SCOUT am primären Betriebspunkt ( $\tau=0,875$ ) die Attack Success Rate (ASR) um 46 % und die gesamte Wall-Clock-Latenz um 40 % im Vergleich zu einem permanent aktiven GPT-4o-Judge.
Genauigkeit: SCOUT erreicht eine Genauigkeit von 0,933 und übertrifft damit den besten Einzeldetektor (PIGuard, 0,669) sowie den permanent aktiven Judge (GPT-4o, 0,924).
Benign Utility: Während SCOUT im Vergleich zum permanent aktiven Judge einen Rückgang der Benign-Utility um 5,1 Punkte verzeichnet (0,928 vs. 0,979), hält es einen hohen Durchsatz bei gleichzeitig signifikanter Reduktion der Latenz aufrecht.
Generalisierung: Das System transferiert ohne Retraining auf externe Benchmarks (BIPIA, IPI, IHEval) und passt sich durch die Neuallokation von Detektoren an unterschiedliche Angriffs-Distributionen an. Beispielsweise reduziert es auf BIPIA die Latenz im Vergleich zum GPT-5.1 Judge um den Faktor 3,7 bei gleichbleibend hoher Genauigkeit.
Ablationsstudien: Die Untersuchung bestätigt, dass der Gewinn aus der Fähigkeit des Prädiktors resultiert, Zuverlässigkeitsschätzungen zu kalibrieren (er übertrifft nicht-LLM-basierte Prädiktoren wie KNN/MLP) sowie aus der pro-Input-Allokationsstrategie (die uniforme-trust-Kaskaden übertrifft).

Bedeutung und Ansprüche
Die Arbeit behauptet, dass SCOUT eine skalierbare und kontrollierbare Lösung für die Prompt-Injection-Verteidigung bietet.

Skalierbarkeit: Das Hinzufügen eines neuen Detektors erfordert lediglich die Generierung seines Fingerprints auf dem Anker-Set; ein Retraining des Retrievers, Prädiktors oder Routers ist nicht notwendig.
Kontrollierbarkeit: Operatoren können das System über den einzelnen Schwellenwert $\tau$ auf ein spezifisches Latenzbudget oder ein Sicherheitsziel abstimmen, wobei das System die Kosten im Voraus vorhersagt.
Heterogenitäts-Bewusstsein: Indem es erkennt, dass kein einzelner Detektor universell stark ist, nutzt SCOUT die diversen Stärken eines heterogenen Pools und routet schwierige Fälle zum LLM-Judge, aber nur dann, wenn der Judge auch als zuverlässig vorhergesagt wird.

Die Autoren räumen Einschränkungen ein und merken an, dass SCOUT nicht die kollektive Kapazität des verfügbaren Detektor-Pools übertreffen kann und dass die Effektivität davon abhängt, dass der Anker-Satz die strukturellen Achsen der Test-Distribution abdeckt. Sie stellen zudem fest, dass das Framework derzeit nicht gegen adaptive Angreifer verteidigt, die gezielt den Router selbst angreifen.