The System Prompt Is the Attack Surface: How LLM Agent Configuration Shapes Security and Creates Exploitable Vulnerabilities
Die Studie „PhishNChips" zeigt, dass die Konfiguration von Systemprompts für LLM-Agenten eine kritische Angriffsfläche darstellt, bei der spezifische Anweisungen zwar die Erkennungsleistung steigern, aber durch die Ersetzung robuster Mehrsignal-Analysen durch ausnutzbare Ein-Signal-Abhängigkeiten die Sicherheit gegenüber adaptiven Phishing-Angriffen erheblich schwächen können.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Der unsichtbare Türsteher: Warum die Anweisungen wichtiger sind als der Türsteher selbst
Stell dir vor, du hast einen sehr intelligenten, aber etwas naiven Türsteher für dein E-Mail-Postfach. Dieser Türsteher ist eine Künstliche Intelligenz (KI). Seine Aufgabe ist es, zu entscheiden: „Ist diese E-Mail sicher, oder ist es ein Betrug (Phishing), bei dem jemand deine Passwörter stehlen will?"
Die große Überraschung in dieser Studie ist: Es ist fast egal, welchen Türsteher du kaufst. Ob du einen teuren, hochintelligenten oder einen günstigen Türsteher nimmst – das Wichtigste ist, welche Anweisungen (den „System-Prompt") du ihm gibst.
1. Die Anweisung ist der Schlüssel zur Sicherheit
Die Forscher haben 11 verschiedene KI-Modelle getestet. Sie haben festgestellt, dass man mit demselben KI-Modell zwei völlig unterschiedliche Ergebnisse erzielen kann, nur indem man die Anweisungen ändert:
- Szenario A (Der überängstliche Türsteher): Du sagst: „Sei extrem vorsichtig! Blockiere alles, was auch nur im Entferntesten verdächtig aussieht."
- Ergebnis: Kein Betrug kommt durch. Aber! Auch 57 % deiner normalen, wichtigen E-Mails (von der Bank, vom Chef, vom Versanddienst) werden blockiert. Das ist wie ein Türsteher, der niemanden reinlässt, weil er Angst hat.
- Szenario B (Der faule Türsteher): Du sagst: „Sei effizient! Lass alles durch, damit niemand wartet."
- Ergebnis: Die E-Mails kommen schnell an. Aber! 97 % der Betrugs-E-Mails kommen auch durch. Das ist wie ein Türsteher, der nur nickt und alle hereinlässt.
Die Erkenntnis: Die Sicherheit hängt nicht davon ab, welche KI du hast, sondern davon, wie du ihr die Aufgabe beschreibst. Ein und dieselbe KI kann von „nahezu perfekt" auf „völlig blind" geschaltet werden, nur durch ein paar geänderte Wörter in der Anweisung.
2. Die „perfekte" Falle (Der Signal-Trick)
Die Forscher haben dann versucht, die Anweisungen zu optimieren. Sie sagten der KI: „Achte besonders darauf: Wenn der Absender und der Link in der E-Mail die gleiche Domain haben (z. B. beide firma.de), dann ist es sicher."
Das funktionierte super! Die KI lernte diesen Trick und blockierte fast alle normalen Betrugs-E-Mails, ohne viele echte E-Mails zu blockieren. Das war wie ein neuer, smarter Türsteher, der genau weiß, worauf er achten muss.
Aber dann kam der Trick der Betrüger (Signal-Inversion):
Die Betrüger merkten sich die Regel: „Ah, die KI schaut auf den Absender und den Link."
Also registrierten die Betrüger einfach eine eigene Domain (z. B. betrug-firma.de) und schickten die E-Mail von betrug-firma.de mit einem Link zu betrug-firma.de.
- Das Ergebnis: Die KI dachte: „Aha! Absender und Link stimmen überein. Das ist sicher!" und ließ die Betrüger durch.
- Die Lektion: Wenn du einer KI eine zu spezifische Regel gibst, lernen die Betrüger diese Regel auswendig und täuschen sie vor. Je besser die Regel für normale Fälle ist, desto leichter ist sie für Betrüger zu fälschen.
3. Warum manche KIs „dümmer" wirken, aber sicherer sind
Hier wird es paradox. Die Forscher stellten fest, dass manche KI-Modelle, die sehr gehorsam sind und genau das tun, was man ihnen sagt, die schlechteste Sicherheit bieten, wenn die Anweisung einen Fehler enthält.
- Die „Gehorsamen" (z. B. GPT-4o-mini): Wenn man ihnen sagt „Achte auf den Link", achten sie nur auf den Link und ignorieren alles andere. Wenn die Betrüger den Link fälschen, fallen sie darauf rein.
- Die „Eigenwilligen" (z. B. Claude oder Mistral): Diese Modelle sind manchmal etwas stur. Wenn man ihnen sagt „Achte auf den Link", schauen sie trotzdem auch noch auf den Text oder den Tonfall. Wenn etwas komisch klingt, blockieren sie es trotzdem, auch wenn der Link passt.
- Ironie: Diese „ungehorsamen" Modelle waren oft robuster gegen die speziellen Betrüger-Tricks, weil sie nicht blind einer einzigen Regel folgten.
4. Das große Problem: Die KI kann nicht „nachschauen"
Am Ende kommen die Forscher zu einem ernsten Schluss: Eine KI allein kann Betrug nicht zu 100 % erkennen, wenn die Betrüger die Infrastruktur (Domains) perfekt fälschen.
Stell dir vor, die KI ist ein Detektiv, der nur den Brief lesen darf, aber nicht das Telefonat führen oder im Internet nachschauen darf.
- Wenn ein Betrüger eine Domain registriert, die wie die echte Firma aussieht, kann die KI das nicht wissen. Sie hat keinen Zugriff auf Datenbanken, die sagen: „Diese Domain wurde erst gestern für 10 Dollar gekauft."
- Die KI muss raten, ob der Text „plausibel" klingt. Aber Betrüger schreiben heute so gut wie echte Mitarbeiter.
Die Lösung: Man braucht nicht nur einen besseren Türsteher, sondern man muss dem Türsteher ein Telefon und ein Nachschlagewerk geben. Die KI muss mit externen Tools verbunden werden, die echte Daten prüfen (wie: „Ist diese Domain alt?", „Gibt es Warnungen vor dieser Seite?"). Ohne diese externen Daten bleibt die KI blind für die cleversten Betrüger.
Zusammenfassung in drei Sätzen
- Die Anweisung ist alles: Wie du die KI instruierst, ist wichtiger als das KI-Modell selbst. Falsche Anweisungen machen selbst die beste KI blind.
- Spezifität ist gefährlich: Wenn du der KI eine zu einfache Regel gibst (z. B. „gleiche Domain = sicher"), lernen Betrüger diese Regel und täuschen sie vor.
- KI allein reicht nicht: Um wirklich sicher zu sein, muss die KI mit externen Datenbanken verbunden werden, um zu prüfen, ob eine E-Mail wirklich von der Person kommt, die sie vorgibt zu sein.
Die Studie warnt also davor, blind auf KI zu vertrauen. Man muss die Anweisungen extrem sorgfältig wählen und die KI mit echten Fakten aus der Außenwelt füttern, sonst ist das Postfach offen für die nächsten Betrüger.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.