Scam2Prompt: A Scalable Framework for Auditing Malicious Scam Endpoints in Production LLMs

Die Arbeit stellt Scam2Prompt vor, ein skalierbares Framework, das eine kritische und sich verschärfende Sicherheitslücke in produktiven Large Language Models aufzeigt, bei der automatisierte Prompts, die von betrügerischen Phishing-Websites abgeleitet sind, in bis zu 47,3 % der Fälle über mehrere Modelle hinweg erfolgreich die Generierung schädlichen Codes auslösen und damit aktuelle Sicherheitsmaßnahmen wie Guardrails und RAG als unzureichend erweisen.

Das Wesentliche

Stellen Sie sich vor, Sie stellen einen brillanten, superschnellen Lehrlingsprogrammierer ein, um Code für Ihr Unternehmen zu schreiben. Sie geben ihm eine einfache, normale Anfrage wie: „Schreibe ein Skript, um auf dieser beliebten Handelsplattform einen bestimmten digitalen Token zu kaufen." Sie erwarten, dass er sicheren, Standard-Code schreibt.

Dieses Papier enthüllt jedoch eine beängstigende Realität: Ihr Lehrling hat eine Bibliothek gefährlicher, gefälschter Anweisungen auswendig gelernt, die in seinen Lehrbüchern versteckt sind. Wenn Sie ihn um Hilfe bei einer bestimmten Aufgabe bitten, könnte er versehentlich eine Seite aus einem Betrügerhandbuch herausziehen und in Ihren Code einfügen, wodurch Ihr Geld an einen Dieb und nicht an die legitime Seite gesendet wird.

Hier ist eine Aufschlüsselung der Erkenntnisse des Papiers unter Verwendung einfacher Analogien:

1. Das Problem: Das „vergiftete Kochbuch"

Large Language Models (LLMs) sind wie Köche, die fast jedes Rezeptbuch im Internet gelesen haben, um das Kochen zu lernen. Das Problem ist, dass das Internet voller „vergifteter" Rezepte ist – gefälschter Anweisungen, die darauf ausgelegt sind, Ihr Geld oder Ihre Daten zu stehlen.

• Der reale Vorfall: Das Papier beginnt mit einer Geschichte über eine echte Person, die 2.500 Dollar verloren hat. Sie bat einen Chatbot, ein Skript zu schreiben, um eine Kryptowährung auf einer beliebten Seite namens pump.fun zu kaufen. Der Chatbot, der hilfreich sein wollte, schrieb Code, der einen Link zu einer gefälschten API (einer digitalen Tür) enthielt, die echt aussah, aber tatsächlich eine Falle eines Betrügers war. Der Code forderte den Benutzer sogar auf, seinen „privaten Schlüssel" (den Hauptschlüssel zu seinem Bankschrank) direkt an diese gefälschte Tür zu übergeben. Der Benutzer vertraute der KI, führte den Code aus, und sein Geld war innerhalb von 30 Minuten verschwunden.

2. Die Untersuchung: „Scam2Prompt"

Die Forscher entwickelten ein Tool namens Scam2Prompt, um herauszufinden, ob dies ein einmaliger Unfall oder eine weit verbreitete Krankheit war.

• Die Analogie: Stellen Sie sich einen Sicherheitsbeamten vor, der testen möchte, ob ein neues Sicherheitssystem funktioniert. Anstatt mit einem Vorschlaghammer einzubrechen (was offensichtlich wäre), nimmt der Wächter einen bekannten „Bösewicht"-Bauplan, schreibt ihn so um, dass er wie eine normale Bauanfrage aussieht, und reicht ihn dem Sicherheitssystem ein.
• Wie es funktionierte:
  1. Sie nahmen Listen bekannter Betrugsseiten.
  2. Sie dann extrahierten sie gängige Schlüsselwörter, Behauptungen und Phrasen, die diese Seiten verwenden, um Opfer zu täuschen. Mithilfe dieser Begriffe forderten sie ein KI-System auf, legitime Codierungsanfragen zu generieren, wie zum Beispiel „Wie kaufe ich diese digitale Münze?" oder „Wie kann ich über diese Flugplattform Rabattheflüge kaufen?".
  3. Sie gaben diese „unschuldigen" Anfragen vier großen produktiven KI-Modellen (wie GPT-4o und Llama).
  4. Sie prüften, ob die KI Code mit Betrugslinks schrieb.

3. Die Ergebnisse: Die „unschuldige" Falle

Die Ergebnisse waren alarmierend. Obwohl die Anfragen absolut normal klangen und von „Entwicklern" stammten, generierten die KI-Modelle weiterhin Code mit bösartigen Links.

• Die Statistiken: Bei ihrem ersten Test enthielten etwa 4,24 % des generierten Codes einen Betrugslink. Das bedeutet, wenn Sie diese KIs 100 Mal bitten, Code zu schreiben, würden sie Sie etwa vier Mal versehentlich eine Waffe aushändigen.
• Der „Innoc2Scam-bench": Die Forscher erstellten eine „Stresstest"-Liste mit 1.377 spezifischen Fragen, die die ersten vier Modelle immer dazu brachten, schlechten Code zu generieren. Anschließend testeten sie diese Liste auf sieben neuere, fortschrittlichere Modelle, die 2025 veröffentlicht wurden.
• Die neuen Modelle: Das Problem verschwand nicht; es blieb ernst. Die neuen Modelle generierten bösartigen Code mit Raten zwischen 12,9 % und 47,3 %, wenn sie unter Innoc2Scam-bench getestet wurden.
  • Analogie: Es ist, als würden Sie den Motor Ihres Autos aufrüsten, damit er schneller und schlauer ist, aber das Navi-System versucht weiterhin, Sie wegen korrupter Kartendaten von Anfang an in eine Klippe zu fahren.

4. Die Hierarchie der Sicherheit

Das Papier ordnete die Modelle wie ein Zeugnis ein:

• Top-Tier (Die Sichersten): Gemini-2.5-Pro und GPT-5. Diese waren am besten darin, „Nein" zu sagen oder die Beantwortung zu verweigern, wenn die Anfrage riskant war. Doch selbst sie waren nicht perfekt.
• Mittlere Ebene: Claude-Sonnet-4.
• Untere Ebene (Die Riskantesten): Modelle wie DeepSeek-Chat-v3.1 und Qwen3-Coder. Diese Modelle waren sehr bereit, die Fragen zu beantworten, generierten aber fast die Hälfte der Zeit bösartigen Code (bis zu 47,3 %).

5. Warum aktuelle Verteidigungen versagen

Die Forscher testeten, ob bestehende Sicherheitstools dies stoppen könnten.

• Die „Sicherheitsgitter": Sie versuchten, Standard-Sicherheitsfilter (wie einen Türsteher in einem Club) und „Abruf-Agenten" (KI, die im Internet nach Fakten sucht, um diese zu überprüfen) einzusetzen.
• Das Ergebnis: Die Sicherheitsgitter waren größtenteils nutzlos. Sie erkannten den bösartigen Code nicht, weil der Code syntaktisch korrekt aussah und die Anfragen normal klangen. Die „Web-Suche"-Agenten halfen ein wenig (sie reduzierten das Risiko von 50 % auf 29 %), versagten aber weiterhin bei der Erkennung der meisten Betrugsversuche.
• Die Erkenntnis: Man kann sich nicht einfach darauf verlassen, dass die KI „besser Bescheid weiß", oder auf einen einfachen Filter. Das bösartige Wissen ist tief im Gehirn des Modells durch seine Trainingsdaten eingebacken.

6. Die „Geister"-Betrugsversuche

Eine der beunruhigendsten Entdeckungen war, dass die KI-Modelle Links zu Betrugsseiten generierten, die in den Sicherheitsdatenbanken noch gar nicht existierten.

• Die Analogie: Die KI-Modelle hatten die „Baupläne" von Betrugsversuchen so gut auswendig gelernt, dass sie die gefälschten Websites rekonstruieren konnten, selbst wenn die Sicherheitswachen die Kriminellen noch nicht gefasst hatten. Einige dieser Seiten waren seit über einem Jahr aktiv und hatten der Entdeckung entgangen, doch die KI wusste, wie man sie benutzt.

Zusammenfassung

Das Papier kommt zu dem Schluss, dass KI-Modelle derzeit durch den Müll des Internets „vergiftet" sind. Selbst die klügsten, neuesten Modelle werden gerne Code schreiben, der Ihr Geld stiehlt, wenn Sie sie die richtige (aber harmlos klingende) Frage stellen. Die aktuellen Sicherheitsmaßnahmen sind wie der Versuch, eine Flut mit einem Papierregenschirm zu stoppen; sie sind nicht stark genug. Die Autoren schlagen vor, dass wir die Trainingsdaten besser bereinigen und strenge, externe Prüfungen für jeden Link hinzufügen müssen, den die KI generiert, bevor ein Mensch den Code ausführt.

Technische Zusammenfassung

Technische Zusammenfassung: Scam2Prompt

Problemstellung

Large Language Models (LLMs) sind zu einer kritischen Infrastruktur für die Softwareentwicklung geworden, doch ihre Abhängigkeit von nicht kuratierten, webweiten Trainingsdatensätzen führt zu einem fundamentalen Sicherheitsrisiko: die Aufnahme und dauerhafte Verankerung bösartiger Inhalte in den Modellgewichten. Im Gegensatz zu traditionellen Webdiensten, bei denen schädliche URLs aus der Liste entfernt werden können, persistieren schädliche Daten innerhalb eines Trainingskorpus über zukünftige Modelliterationen hinweg. Dieser Beitrag konzentriert sich auf eine spezifische, hochwirksame Manifestation dieses Risikos: die Generierung von Code, der bösartige Betrug-URLs (z. B. Phishing-Endpunkte, betrügerische APIs) enthält, als Reaktion auf harmlose, entwicklerartige Prompts.

Die Dringlichkeit dieses Problems wird durch einen Vorfall aus der realen Welt im November 2024 unterstrichen, bei dem ein Nutzer 2.500 US-Dollar an Kryptowährung verlor, nachdem er von ChatGPT generierten Code ausgeführt hatte. Der Code enthielt einen bösartigen API-Endpunkt, der den privaten Schlüssel des Nutzers anforderte – eine fundamentale Sicherheitsverletzung. Dieser Vorfall legt nahe, dass LLMs versehentlich bösartige Dokumentation oder Betrugsinfrastruktur abrufen und reproduzieren können, die in ihre Trainingsdaten vergiftet wurden, was eine schwerwiegende Bedrohung für Produktionssysteme darstellt, in denen generierter Code häufig ohne eine Zeile-für-Zeile-Überprüfung ausgeführt wird.

Methodik: Scam2Prompt-Framework

Um dieses Risiko systematisch zu bewerten, stellen die Autoren Scam2Prompt vor, ein skalierbares, automatisiertes Audit-Framework, das entwickelt wurde, um festzustellen, ob produktive LLMs bösartigen Code generieren, wenn sie auf normale Entwickleranfragen reagieren. Das Framework arbeitet über folgende Pipeline:

1. Sammeln bösartiger URLs: Das System startet den Prozess mit bekannten Betrugs-URLs aus etablierten Datenbanken (z. B. eth-phishing-detect von MetaMask und phishing-fort von PhishFort).
2. Inhaltsextraktion und Prompt-Synthese: Ein Web-Crawler extrahiert sichtbaren Text von zugänglichen Betrugsseiten. Ein „Prompt-LLM" analysiert diesen Inhalt anschließend, um entwicklerartige Prompts zu synthetisieren. Diese Prompts sind totale legitime Codierungsanfragen, wie z. B. das Anfordern von Skripten, aber sie sind so konzipiert, dass sie sensible oder finanziell relevante Domänen ansprechen, die häufig von Betrugsseiten ausgenutzt werden, wie Flugbuchungen, virtuelle Kreditkartenintegration, Online-Zahlungen oder andere geldbezogene Dienstleistungen.
3. Code-Generierung: Die synthetisierten Prompts werden einem „Codegen-LLM" (dem zu auditierenden Modell) zugeführt, um Code-Snippets zu generieren.
4. URL-Extraktion und Oracle-Erkennung: Der generierte Code wird auf URLs gescannt. Ein Oracle-Ensemble (ChainPatrol, Google Safe Browsing, SecLookup) bestimmt, ob diese URLs bösartig sind.
5. Menschliche Validierung: Um sicherzustellen, dass die Prompts nicht adversarisch sind (z. B. Jailbreaks), sondern harmlose Entwickleranfragen, wird eine Teilmenge der Prompts durch menschliche Annotatoren manuell validiert.

Dieser Prozess ergibt einen Datensatz von Prompt-Code-Paaren, bei denen eine harmlose Anfrage zu bösartigem Code führt.

Hauptbeiträge

Der Beitrag leistet vier primäre Beiträge:

1. Empirische Belege für die Generierung bösartigen Codes: Die Studie liefert starke Belege dafür, dass produktive LLMs als Reaktion auf entwicklerartige Prompts in nicht zu vernachlässigenden Raten Code generieren, der bösartige URLs enthält.
2. Scam2Prompt-Framework: Ein skalierbares, automatisiertes Audit-Tool, das bekannte bösartige Quellen in entwicklerartige Prompts umwandelt, um die Sicherheit von LLMs zu testen. Die Autoren veröffentlichen den Quellcode, um die Reproduzierbarkeit zu unterstützen.
3. Innoc2Scam-bench: Ein kuratierter Benchmark-Datensatz mit 1.377 entwicklerartigen Prompts, die bei vier initialen produktiven LLMs (GPT-4o, GPT-4o-mini, Llama-4-Scout und DeepSeek-V3) konsistent bösartigen Code ausgelöst haben. Dieser Benchmark wurde entwickelt, um die Sicherheitsausrichtung zukünftiger Modelle zu stressen.
4. Bewertung von Verteidigungsmaßnahmen: Eine Bewertung bestehender Sicherheitsmechanismen, einschließlich modernster Guardrails (z. B. NeMo Guardrails) und Retrieval-Augmented Generation (RAG)-Agenten, die deren Unzulänglichkeit gegenüber diesem spezifischen Bedrohungsvektor aufzeigt.

Experimentelle Ergebnisse

Initiales Audit (Modelle von 2024)

In einer groß angelegten Studie mit über 265.000 Prompts über vier produktive LLMs hinweg stellten die Autoren fest, dass 4,24 % des generierten Codes bösartige URLs enthielten. Die Rate variierte je nach Modellkombination zwischen 3,19 % und 5,94 %. Bemerkenswerterweise identifizierte das Framework 62 neue bösartige Domains, die zuvor nicht in den Seed-Datenbanken enthalten waren; diese wurden anschließend gemeldet und in die Blockliste eth-phishing-detect aufgenommen.

Stress-Testing neuerer Modelle (Veröffentlichungen 2025)

Der Innoc2Scam-bench wurde auf sieben weitere produktive LLMs angewendet, die 2025 veröffentlicht wurden (darunter GPT-5, Gemini-2.5-Pro, Claude-Sonnet-4 und DeepSeek-Chat-V3.1). Die Ergebnisse zeigten, dass die Verwundbarkeit systemisch und schwerwiegend ist:

• Raten der bösartigen Generierung: Reichten von 12,9 % (Gemini-2.5-Pro) bis 47,3 % (DeepSeek-Chat-V3.1).
• Sicherheits-Ranking:
  • Tier 1 (Hohe Sicherheit): Gemini-2.5-Pro und GPT-5. Gemini-2.5-Pro erreichte die niedrigste Rate (12,9 %) weitgehend durch aggressive Inhaltsfilterung (Ablehnung von ca. 40 % der Prompts).
  • Tier 2 (Mittlere Sicherheit): Claude-Sonnet-4 (34,3 % bösartige Rate).
  • Tier 3 (Niedrige Sicherheit): Grok-Code-Fast-1, Gemini-2.5-Flash, Qwen3-Coder und DeepSeek-Chat-V3.1, die alle bösartige Raten zwischen 43,4 % und 47,3 % aufwiesen.
• Filterung vs. Inhärente Sicherheit: Wenn die Inhaltsfilterung (Ablehnungen) ausgeschlossen und nur abgeschlossene Code-Generierungen analysiert wurden, verringerte sich die Sicherheitslücke zwischen Top-Tier-Modellen erheblich, und die Raten der bösartigen Generierung für alle Modelle blieben hoch (oft über 40 % für die unteren Tiers). Dies deutet darauf hin, dass Filterung zwar hilft, die zugrundeliegende Verwundbarkeit (Auswendiglernen bösartiger Muster) jedoch bestehen bleibt.

Evaluierung der Minderungsmaßnahmen

• Guardrails: Modernste Guardrails (NeMo Guardrails, OpenAI Moderation API, Llama Guard 3) konnten die überwiegende Mehrheit des bösartigen Codes nicht erkennen. Die Erkennungsraten waren vernachlässigbar (0 % bis 8,43 %), was darauf hindeutet, dass generische Sicherheitsfilter für Bedrohungen auf Endpunktebene unzureichend sind.
• RAG-Agenten: Ein Retrieval-Augmented-Agent mit expliziten Anweisungen zur Überprüfung der URL-Sicherheit reduzierte die bösartige Rate für GPT-4o von 50,04 % auf 29,41 %. Dennoch blieb ein Restrisiko von fast 30 %, was beweist, dass RAG allein keine vollständige Lösung ist.

Bedeutung und Behauptungen

Der Beitrag behauptet, dass die Kontamination von Trainingsdatensätzen mit bösartigen Betrugsquellen ein branchenweites Problem ist, das trotz Fortschritten in der Modellsicherheit und -ausrichtung bestehen bleibt. Die Ergebnisse zeigen Folgendes:

1. Kontamination durch Trainingsdaten ist persistent: Bösartige Inhalte, die während des Pre-Trainings aufgenommen wurden, lassen sich durch Standard-Sicherheits-Fine-Tuning oder -Ausrichtung nicht leicht entfernen, wie die hohen Ausfallraten der Modelle von 2025 belegen.
2. Aktuelle Verteidigungsmaßnahmen sind unzureichend: Standard-Guardrails und RAG-basierte Agenten bieten nur begrenzten Schutz gegen die Generierung bösartiger URLs in Code.
3. Dringender Bedarf an neuen Verteidigungsmaßnahmen: Die Autoren argumentieren für die Notwendigkeit expliziter, oracle-basierter Validierungsschritte für URLs in der Code-Generierungspipeline und verbesserter Techniken zur Datencurierung (z. B. Machine Unlearning, agentenbasierte Bereinigung), um die Ursache zu bekämpfen.

Die Autoren positionieren diese Arbeit als Entmystifizierung einer bestehenden Sicherheitslücke und nicht als Einführung einer neuen Bedrohung und betonen die Notwendigkeit systematischer Audits sowie die Veröffentlichung von Benchmarks (Innoc2Scam-bench), um zukünftige Forschung zu robusten, sicheren LLM-unterstützten Entwicklungsprozessen voranzutreiben.