🤖 machine learning

Detecting Contaminated Code-Generation Prompt Batches via Influence Functions

Das Paper stellt CodeSIFT vor, eine modellunabhängige Detektionsmethode, die Einflussfunktionen nutzt, um Batches von bösartigen Code-Generierungs-Prompts zu identifizieren, indem sie deren anomale Auswirkung auf die Modellparameter misst, wodurch eine hohe Detektionsgenauigkeit über verschiedene Schwachstellen hinweg erreicht wird, ohne auf vordefinierte Angriffsmuster angewiesen zu sein.

Ursprüngliche Autoren: Francesco Quinzan, Noor Munir, Yishun Lu, Stephen Roberts

Veröffentlicht 2026-08-17

📖 6 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Francesco Quinzan, Noor Munir, Yishun Lu, Stephen Roberts

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sind ein Küchenchef, der gerade einen sehr talentierten, aber etwas schelmischen Sous-Chef eingestellt hat. Dieser Sous-Chef ist eine Künstliche Intelligenz (KI), die Rezepte (Code) für Sie schreiben kann. Normalerweise ist sie großartig, aber manchmal, wenn man sie auf die falsche Weise fragt, schleicht sie ein Rezept ein, das zwar köstlich aussieht, aber tatsächlich ein verstecktes Gift enthält – wie etwa ein fehlendes Sicherheitsventil an einem Schnellkochtopf oder eine offene Tür. Das Problem ist, dass die KI nicht weiß, dass sie etwas falsch macht; sie folgt einfach nur Ihren Anweisungen.

Lange Zeit versuchten Sicherheitsexperten, diese schlechten Rezepte zu erwischen, indem sie ein riesiges „Fahndungsplakat“ aller bekannten Gifte führten, die sie je gesehen hatten. Wenn ein Rezept wie ein bekanntes Gift aussah, wurde es markiert. Aber was, wenn der Bösewicht ein brandneues Gift erfindet, das noch nicht auf dem Plakat steht? Die alten Methoden wären blind dafür. Dieses Paper, geschrieben von Forschern der Universität Oxford, widmet sich genau diesem Problem. Sie schlagen einen neuen Weg vor, um schlechte KI-Anweisungen zu erkennen – nicht indem man das Rezept selbst untersucht, sondern indem man darauf hört, wie das „Gehirn“ der KI reagt, wenn sie die Anfrage hört. Sie verwenden ein mathematisches Werkzeug namens „Influence Functions“, das wie ein hochempfindliches Seismograph ist, welches misst, wie stark eine spezifische Anfrage die internen Einstellungen der KI erschüttert. Wenn eine Anfrage ein massives, seltsames Beben im Vergleich zu normalen Anfragen verursacht, handelt es sich wahrscheinlich um eine Falle.

Das Problem: Die „Bad Prompt“-Falle

Large Language Models (LLMs) sind die Gehirne hinter Werkzeugen, die für uns Computercode schreiben. Sie sind unglaublich nützlich und helfen Entwicklern beim Aufbau von allem, von Login-Bildschirmen bis hin zu Datenbankverbindungen. Aber es gibt einen Haken: Wenn man die KI auf die richtige (oder falsche) Weise fragt, kann sie Code generieren, der perfekt aussieht, aber versteckte Sicherheitslücken enthält. Diese Löcher sind wie unsichtbare Risse in einem Damm; das Wasser (die Daten) sieht gut aus, bis es plötzlich durchbricht.

Die übliche Methode, dies zu verhindern, ist die Verwendung von „statischen Analysatoren“. Betrachten Sie diese als Rechtschreibprüfer für Sicherheit. Sie scannen den von der KI geschriebenen Code und suchen nach einer Liste bekannter Fehler, wie zum Beispiel „Verwendung eines schwachen Passworts“ oder „Vergessen, die Tür abzuschließen“. Aber dieser Ansatz hat einen großen Fehler: Er funktioniert nur, wenn der Fehler bereits auf der Liste steht. Wenn ein Hacker einen brandneuen Weg erfindet, um einzubrechen, oder die KI dazu überlistet, einen subtilen Fehler zu machen, den noch niemand katalogisiert hat, übersieht der Rechtschreibprüfer dies komplett. Die Forscher argumentieren, dass es sich bei der Abhängigkeit von einer Liste bekannter schlechter Dinge darum handelt, wie der Versuch, ein neues Virus zu stoppen, indem man nur nach der Grippe sucht.

Die neue Idee: Auf den „Herzschlag“ der KI hören

Anstatt den von der KI produzierten Code zu betrachten, entschieden sich die Autoren dieses Papers, Francesco Quinzan und sein Team, darauf zu schauen, was im Inneren des Gehirns der KI passiert, während sie denkt. Sie verwenden ein Konzept namens Influence Functions.

Um dies zu verstehen, stellen Sie sich vor, die KI wurde mit Millionen von normalen, sicheren Codierungsaufgaben trainiert. Ihr Gehirn ist wie ein gut gestimmtes Klavier. Wenn Sie eine normale Note spielen (einen sicheren Prompt), vibriert das Klavier auf eine vertraute, vorhersehbare Weise. Aber wenn Sie eine Note spielen, die völlig verstimmt ist oder etwas verlangt, wozu das Klavier nie trainiert wurde (einen bösartigen Prompt), vibrieren die Klaviersaiten seltsam. Die „Influence Function“ ist ein Weg, exakt zu messen, wie sehr die interne Spannung des Klaviers durch das Spielen einer bestimmten Note verändert wird.

Die Forscher nennen ihr neues Werkzeug CodeSIFT. So funktioniert es in einfachen Schritten:

Die Baseline: Zuerst füttern sie die KI mit einer Reihe von normalen, sicheren Codierungsanfragen. Sie messen, wie sehr sich die internen „Einstellungen“ der KI als Reaktion darauf bewegen. Dies erzeugt einen „normalen Herzschlag“ für die KI.
Der Test: Dann füttern sie die KI mit einer Gruppe neuer Anfragen. Einige könnten sicher sein, aber einige könnten „vergiftete“ Prompts sein, die darauf ausgelegt sind, die KI dazu zu bringen, schlechten Code zu schreiben.
Die Messung: Für jede neue Anfrage berechnet CodeSIFT, wie stark sich die internen Einstellungen der KI verschieben müssten, um diese Anfrage zu erfüllen. Wenn eine Anfrage seltsam oder bösartig ist, muss die KI einen riesigen, unnatürlichen Sprung in ihrer internen Logik machen, um sie zu erfüllen. Dies erzeugt einen großen „Influence Score“.
Das Urteil: Wenn das durchschnittliche „Wackeln“ einer ganzen Gruppe von Anfragen viel größer ist als der normale Herzschlag, schlägt CodeSIFT Alarm. Es spielt keine Rolle, was der spezifische Fehler ist; es weiß einfach, dass die Anfrage eine abnormale Reaktion hervorruft.

Was sie herausgefunden haben

Das Team testete CodeSIFT auf drei verschiedenen KI-Modellen (mit einer Spanne von 3 bis 7 Milliarden Parametern) und zwei Arten von kniffligen Szenarien: eines, das Passwörter und Loginsicherheit betraf (AuthSec), und ein anderes, das Cloud-Server und Netzwerktricks beinhaltete (InfraCloud). Sie erstellten einen speziellen Datensatz mit 400 bösartigen und 400 sicheren Prompts, um dagegen zu testen.

Die Ergebnisse waren sehr vielversprechend. Wenn sie eine Gruppe von schlechten Prompts hineinmischten, wurde CodeSIFT besser darin, sie zu erkennen, wenn die Anzahl der schlechten Prompts zunahm.

Bei den Tests zur Passwortsicherheit war es unglaublich genau und erreichte einen Wert von 0,98 (wobei 1,0 perfekt ist), wenn die Gruppe stark kontaminiert war.
Bei den Cloud-Sicherheitstests war es etwas schwieriger, aber immer noch sehr stark und erreichte ebenfalls bis zu 0,98.
Entscheidend ist, dass es nicht zu oft Fehlalarm schlug. Wenn sie es nur mit sicheren Prompts fütterten, identifizierte es diese fast jedes Mal korrekt als sicher und hielt die „Fehlalarmrate“ sehr niedrig.

Im Gegensatz dazu waren die alten „Rechtschreibprüfer“-Methoden (wie Bandit und Semgrep) inkonsistent. Manchmal funktionierten sie, aber oft übersahen sie die schlechten Prompts komplett, oder schlimmer noch, sie markierten sichere Codes als gefährlich, wenn sich die KI-Modelle änderten. Die Forscher fanden heraus, dass diese alten Werkzeuge zu sehr auf oberflächliche Muster fokussiert waren, die sich nicht gut zwischen verschiedenen KI-Modellen übertragen ließen, während die Methode von CodeSIFT, auf die interne Reaktion der KI zu hören, über alle Modelle hinweg funktionierte.

Warum das wichtig ist

Der aufregendste Teil dieser Entdeckung ist, dass CodeSIFT nicht wissen muss, wie der Angriff aussieht. Es benötigt keine Liste bekannter Viren. Es muss nur wissen, was „normal“ aussieht. Dies deutet darauf hin, dass wir in Zukunft unsere KI-Coding-Assistenten vor brandneuen, nie zuvor gesehenen Angriffen schützen können, indem wir einfach beobachten, wie sie auf unsere Fragen reagieren.

Die Autoren halten diesen Ansatz für eine sehr vielversprechende Richtung. Obwohl sie ihn an Modellen bis zu 7 Milliarden Parametern getestet haben, glauben sie, dass die Mathematik auch bei noch größeren Modellen funktionieren könnte. Sie merken jedoch auch an, dass dies derzeit ein Test für Gruppen von Anfragen (Batches) ist und nicht dazu dient, einen einzelnen schlechten Prompt mitten in einer Million sicherer Prompts abzufangen. Aber für den Moment bietet es einen neuen, klugen Weg, auf den Herzschlag der KI zu hören und die Unruhestifter zu fassen, bevor sie eine einzige Zeile gefährlichen Codes schreiben.

Technisches Resümee: Erkennung kontaminierter Batch-Generierung von Code-Prompts mittels Einflussfunktionen

Problemstellung

Große Sprachmodelle (LLMs) werden zunehmend für die Codegenerierung eingesetzt, bleiben jedoch anfällig für Prompts, die unsichere Implementierungen hervorrufen. Bestehende Abwehrmechanismen, wie statische Analysetools (z. B. Bandit, Semgrep) und Taint-Tracker, stützen sich auf vordefinierte Bedrohungsmodelle oder Kataloge bekannter Schwachstellenmuster. Diese Ansätze sind blind gegenüber neuartigen Angriffsvektoren oder Varianten außerhalb ihrer spezifischen Kataloge. Darüber hinaus existieren zwar Detektoren für Jailbreaks oder Prompt-Injections, die auf das Befolgen von Anweisungen abzielen, aber es gibt bisher keine zuverlässige Methode, um Prompts zu erkennen, die spezifisch eine Fehlausrichtung (Misalignment) in der Codegenerierung hervorrufen – definiert als das Einführen sicherheitsrelevanter Schwächen (gemäß CWE/OWASP), die eine wohltätige (benigne) Vervollständigung derselben Aufgabe nicht aufweisen würde. Die zentrale Herausforderung besteht darin, bösartige Prompt-Batches zu erkennen, ohne Vorwissen über die spezifische Schwachstellenklasse oder die Angriffsmethode zu besitzen.

Methodik: CodeSIFT

Die Autoren schlagen CodeSIFT vor, eine bedrohungsmodell-agnostische Erkennungsmethode, die Einflussfunktionen (Influence Functions) nutzt, um Batches von Prompts zu identifizieren, die ein anomales Modellverhalten induzieren. Anstatt den generierten Code auf spezifische Schwachstellen zu analysieren, misst CodeSIFT den „Parameterraum-Einfluss“ des generierten Codes, um zu bestimmen, ob ein Kandidaten-Prompt-Set von einer benignen Referenzverteilung abweicht.

Kernmechanismus

Einflussfunktionen (IFs): Die Methode quantifiziert den Effekt eines spezifischen Trainingsbeispiels (in diesem Fall einer generierten Antwort) auf die Parameter des Modells. Sie schätzt, wie stark sich die Parameter des Modells verschieben würden, wenn ein gegebenes Beispiel während des Trainings stärker gewichtet würde.
- Formal misst der Einfluss-Score für einen Prompt $z$ und eine Antwort $\hat{z}$ das Ausmaß der Parameteraktualisierung $\|\hat{\theta} - \hat{r}_{\hat{z}, \text{lin}}(\varepsilon)\|_p$ , wobei $\hat{\theta}$ die konvergierten Parameter sind und $\hat{r}$ die linearisierte Antwortfunktion darstellt, welche die Proximal Bregman Response Function (PBRF) approximiert.
- Die Prämisse ist, dass Antworten, die durch bösartige Prompts hervorgerufen werden (Misalignment), eine größere Parameterverschiebung erfordern, um angepasst zu werden, als Antworten von benignen Prompts, da sie inkonsistent mit der benignen Trainingsverteilung des Modells sind.
Statistischer Test:
- Der Algorithmus berechnet einen Einfluss-Score ( $IF_{p,\varepsilon}(z)$ ) für jeden Prompt in einem Kandidaten-Batch ( $D$ ) und einem bekannten benignen Referenz-Batch ( $D^*$ ).
- Er aggregiert diese Scores und führt einen Welch-t-Test für eine einseitige Zwei-Stichproben-Vergleich durch, um den mittleren Einfluss des Kandidaten-Batches gegen den benignen Referenz-Batch zu vergleichen.
- Hypothese: $H_0$ (Benigne): Der Kandidaten-Batch übt denselben durchschnittlichen Einfluss im Parameterraum aus wie der benigne Referenz-Batch. $H_1$ (Bösartig): Der Kandidaten-Batch induziert eine signifikant größere Parameterverschiebung.
- Wenn der p-Wert unter einem Signifikanzniveau $\alpha$ liegt, wird der Batch als kontaminiert markiert.
Recheneffizienz:
- Um die Unpraktikabilität der exakten Berechnung der inversen Hesse-Matrix für große Modelle zu bewältigen, verwenden die Autoren eine Kronecker-Faktorisierte Approximations-Krümmung (K-FAC).
- Sie nutzen eine „einseitige Vereinfachung“, bei der sie nur den Kronecker-Faktor beibehalten, der der Hidden-Dimension des Transformers entspricht, und den größeren MLP-Zwischen-Dimension-Faktor verwerfen.
- Dichte Krümmungsfaktoren werden auf einem separaten Krümmungsdatensatz ( $D_c$ , eine Teilmenge von The Stack v2) vorberechnet, der die Pretraining-Verteilung des Modells approximiert, wodurch der Zugriff auf die ursprünglichen Trainingsdaten vermieden wird.

Zentrale Beiträge

Ein neuartiger Detektionsrahmen: Der Vorschlag von CodeSIFT, ein statistischer Test zur Erkennung bösartiger Code-Generierungs-Prompts basierend auf Einflussfunktionen. Im Gegensatz zu bisherigen Arbeiten, die IFs für Interpretierbarkeit oder Generalisierungsstudien nutzen, verwendet diese Arbeit den Einfluss als aggregierten Detektionsstatistiken, der kein Annahme über das Bedrohungsmodell erfordert.
Neue Benchmark-Datensätze: Die Konstruktion zweier neuer Datensätze, AuthSec (Authentifizierung, Autorisierung, Sitzungssicherheit) und InfraCloud (Infrastruktur, Cloud, Protokoll-Exploitation), die jeweils 200 bösartige Prompts und einen entsprechenden benignen Referenzsatz enthalten. Diese sind spezifisch für die Diskriminierung auf Batch-Ebene und nicht für die per-Sample Schwachstellenbewertung konzipiert.
Umfassende Evaluierung: Eine Evaluierung von CodeSIFT gegenüber drei statischen Analyse-Baselines (Bandit, Semgrep und einem benutzerdefinierten AST-basierten Taint-Tracker) über drei Open-Weight-Code-LLMs (3B bis 7B Parameter) hinweg.

Experimentelle Ergebnisse

Die Autoren evaluierten CodeSIFT auf drei Modellen: Granite-3B, DeepSeek-Coder-6.7B und Qwen2.5-Coder-7B.

Detektionsgenauigkeit (AUROC):
- CodeSIFT zeigte eine monotone Verbesserung der Detektionsgenauigkeit mit steigender Injektionsrate (Prozentsatz bösartiger Prompts in einem Batch).
- Auf dem AuthSec-Datensatz erreichte die AUROC bei moderater Kontamination (40–50 %) nahezu perfekte Werte (nahe 1,0).
- Auf dem heterogeneren InfraCloud-Datensatz lag die AUROC zwischen 0,88 und 0,98, abhängig vom Modell.
- Im Gegensatz dazu zeigten die statischen Baselines eine inkonsistente Leistung über verschiedene Modelle hinweg. Während Bandit bei DeepSeek-Coder gut abschnitt, bewegte es sich bei anderen Modellen nahe an der Zufallsgrenze. Semgrep und der AST-Taint-Tracker fielen mit steigenden Injektionsraten häufig unter 0,5 AUROC (antikorreliert mit den wahren Labels).
Kontrolle der Falsch-Positiv-Rate:
- CodeSIFT hielt über alle Modelle und Datensätze hinweg gut kalibrierte Falsch-Positiv-Raten (FPR) aufrecht, die eng dem nominalen Signifikanzniveau $\alpha$ folgten (zwischen 0,01 und 0,09).
- Die statischen Baselines zeigten eine inkonsistente Kalibrierung und wiesen aufgrund ihrer binären pro-Sample-Flagging-Natur oft stufenartige Muster auf.

Bedeutung und Behauptungen

Das Paper behauptet, dass die detektionsbasierte Erkennung mittels Einflussfunktionen einen vielversprechenden Weg darstellt, um bösartige Code-Generierungs-Prompts zu identifizieren, ohne vorab Kenntnis über die zugrunde liegende Angriffsklasse haben zu müssen.

Bedrohungsmodell-Agnostik: Die Methode erkennt Fehlausrichtungen erfolgreich, ohne dass Schwachstellen im Voraus katalogisiert werden müssen, und adressiert damit die Einschränkung statischer Analysetools, die gegenüber neuartigen Angriffen blind sind.
Transferierbarkeit: Das Detektionssignal (Parameterraum-Einfluss) überträgt sich über verschiedene Modellarchitekturen (3B bis 7B Parameter) und Familien hinweg, während oberflächliches Musterabgleichen (statische Analyse) nicht konsistent generalisieren kann.
Effektivität auf Batch-Ebene: Der Ansatz ist besonders effektiv bei der Identifizierung kontaminierter Batches von Prompts, eine kritische Fähigkeit für automatisierte Entwickler-Workflows, in denen Prompts in Gruppen verarbeitet werden.

Die Autoren bleiben hinsichtlich des Umfangs bescheiden und merken an, dass die aktuelle Evaluierung auf Python und spezifische Schwachstellenfamilien beschränkt ist und dass die Methode derzeit als Test auf Batch-Ebene und nicht als Werkzeug zur Lokalisierung einzelner bösartiger Prompts innerhalb eines Batches konzipiert ist. Sie legen nahe, dass der Ansatz auf größere Modelle skalierbar sein sollte (unter Verweis auf vorangegangene Arbeiten bis zu 52B Parametern) und auf andere Sprachen sowie Angriffsflächen ausgeweitet werden könnte.