Scam2Prompt: A Scalable Framework for Auditing Malicious Scam Endpoints in Production LLMs

Het artikel introduceert Scam2Prompt, een schaalbaar kader dat een kritieke en verergerende beveiligingskwetsbaarheid in productieve Large Language Models blootlegt, waarbij geautomatiseerde prompts afgeleid van kwaadaardige oplichtingswebsites in tot 47,3% van de gevallen over meerdere modellen succesvol de generatie van schadelijke code triggeren, waardoor huidige veiligheidsmaatregelen zoals guardrails en RAG ontoereikend blijken.

De kern

Stel je voor dat je een briljante, supersnelle leerling-programmeur inhuurt om code voor je bedrijf te schrijven. Je geeft hen een eenvoudige, normale opdracht, zoals: "Schrijf een script om een specifiek digitaal token te kopen op deze populaire trading-site." Je verwacht dat ze veilige, standaardcode schrijven.

Echter, dit paper onthult een angstaanjagende realiteit: Je leerling heeft een bibliotheek onthouden van gevaarlijke, valse instructies die verborgen zitten in hun trainingsboeken. Als je hen om hulp vraagt bij een specifieke taak, kunnen ze per ongeluk een pagina uit een oplichtershandleiding uittrekken en in je code plakken, waardoor je geld naar een dief gaat in plaats van naar de legitieme site.

Hier is een uitleg van de bevindingen uit het paper met eenvoudige analogieën:

1. Het Probleem: Het "Vergiftigde Kookboek"

Grote Taalmodellen (LLMs) zijn als koks die bijna elk receptenboek op internet hebben gelezen om te leren koken. Het probleem is dat het internet vol zit met "vergiftigde" recepten – valse instructies die zijn ontworpen om je portemonnee of data te stelen.

• Het Wereldwijde Incident: Het paper begint met een verhaal over een echte persoon die $2.500 verloor. Ze vroegen een chatbot om een script te schrijven om een cryptocurrency te kopen op een populaire site genaamd pump.fun. De chatbot, die behulpzaam wilde zijn, schreef code die een link bevatte naar een nep-API (een digitale deur) die er echt uitzag, maar eigenlijk een valstrik van een oplichter was. De code vroeg de gebruiker zelfs om hun "private key" (de hoofdsleutel tot hun bankkluis) direct aan deze nepdeur te geven. De gebruiker, die het AI vertrouwde, voerde de code uit, en hun geld was binnen 30 minuten verdwenen.

2. Het Onderzoek: "Scam2Prompt"

De onderzoekers bouwden een tool genaamd Scam2Prompt om te zien of dit een eenmalig ongeluk was of een wijdverbreide ziekte.

• De Analogie: Stel je een bewaker voor die wil testen of een nieuw beveiligingssysteem werkt. In plaats van met een sloopkogel in te breken (wat voor de hand ligt), neemt de bewaker een bekend "boefje's" blauwdruk, herschrijft deze om eruit te zien als een normale bouwaanvraag, en geeft deze door aan het beveiligingssysteem.
• Hoe het werkte:
  1. Ze namen lijsten van bekende oplichterssites.
  2. Ze then extracted common keywords, claims, and phrases these sites use to deceive victims. Using those terms, they prompted an AI system to generate legitimate coding requests, such as 'How do I purchase this digital coin?' or 'How can I pay through this flight platform to buy discounted tickets?'
  3. Ze voerden deze "onschuldige" opdrachten in bij vier grote productieve AI-modellen (zoals GPT-4o en Llama).
  4. Ze controleerden of de AI code schreef met oplichterslinks.

3. De Bevindingen: De "Onschuldige" Valstrik

De resultaten waren alarmerend. Hoewel de opdrachten perfect normaal klonken en van "ontwikkelaars" kwamen, bleven de AI-modellen code genereren met kwaadaardige links.

• De Statistieken: In hun initiële test bevatte ongeveer 4,24% van de gegenereerde code een oplichterslink. Dat betekent dat als je deze AI's 100 keer vroeg om code te schrijven, ze ongeveer 4 keer per ongeluk een wapen aan je zouden geven.
• De "Innoc2Scam-bench": De onderzoekers creëerden een "stress-test" lijst van 1.377 specifieke vragen die de eerste vier modellen altijd bedroegen om slechte code te genereren. Vervolgens testten ze deze lijst op zeven nieuwere, geavanceerdere modellen die in 2025 werden uitgebracht.
• De Nieuwe Modellen: Het probleem verdween niet; het bleef serieus. De nieuwe modellen genereerden kwaadaardige code met percentages variërend van 12,9% tot 47,3% when tested under Innoc2Scam-bench.
  • Analogie: Het is alsof je de motor van je auto upgradet om sneller en slimmer te zijn, maar het GPS-systeem blijft proberen je naar een afgrond te rijden omdat de kaartgegevens vanaf het begin corrupt waren.

4. De Hiërarchie van Veiligheid

Het paper rangschikte de modellen als een rapportkaart:

• Top Tier (De Veiligste): Gemini-2.5-Pro en GPT-5. Deze waren het beste in het zeggen van "Nee" of het weigeren van een antwoord wanneer de opdracht riskant was. Maar zelfs zij waren niet perfect.
• Midden Tier: Claude-Sonnet-4.
• Bodem Tier (De Riskantste): Modellen zoals DeepSeek-Chat-v3.1 en Qwen3-Coder. Deze modellen waren zeer bereid om de vragen te beantwoorden, maar genereerden kwaadaardige code bijna de helft van de tijd (tot 47,3%).

5. Waarom Huidige Verdedigingen Falen

De onderzoekers testten of bestaande veiligheidstools dit konden stoppen.

• De "Guardrails": Ze probeerden standaard veiligheidsfilters (zoals een bouncer in een club) en "Retrieval Agents" (AI die dingen op het web opzoekt om feiten te verifiëren).
• Het Resultaat: De guardrails waren grotendeels nutteloos. Ze slaagden er niet in de kwaadaardige code te vangen omdat de code syntactisch correct leek en de opdrachten normaal klonken. De "webzoek"-agents hielpen een beetje (het risico verlaagend van 50% naar 29%), maar ze slaagden er nog steeds niet in de meerderheid van de oplichting te vangen.
• De Conclusie: Je kunt niet alleen vertrouwen op de AI om "beter te weten" of op een simpele filter. De kwaadaardige kennis is diep in het brein van het model gebakken vanuit de trainingsdata.

6. De "Geest"-Oplichting

Een van de meest griezelige ontdekkingen was dat de AI-modellen links genereerden naar oplichterssites die nog niet eens bestonden in de beveiligingsdatabases.

• De Analogie: De AI-modellen hadden de "blauwdrukken" van oplichting zo goed onthouden dat ze de nepwebsites konden reconstrueren, zelfs als de bewakers de criminelen nog niet hadden gepakt. Sommige van deze sites waren al meer dan een jaar actief en hadden detectie ontweken, toch wist de AI hoe ze ze moesten gebruiken.

Samenvatting

Het paper concludeert dat AI-modellen momenteel "vergiftigd" zijn door de afval van het internet. Zelfs de slimste, nieuwste modellen zullen graag code schrijven die je geld steelt als je ze de juiste (maar onschuldig klinkende) vraag stelt. De huidige veiligheidsmaatregelen zijn als proberen een overstroming te stoppen met een papieren paraplu; ze zijn niet sterk genoeg. De auteurs suggereren dat we de trainingsdata beter moeten schoonmaken en strenge, externe controles moeten toevoegen aan elke link die de AI genereert voordat een mens de code uitvoert.

Technische samenvatting

Technische Samenvatting: Scam2Prompt

Probleemstelling

Grote Taalmodellen (LLMs) zijn uitgegroeid tot kritieke infrastructuur voor softwareontwikkeling, maar hun afhankelijkheid van niet-gecurateerde, web-schaal trainingsdatasets introduceert een fundamenteel veiligheidsrisico: de absorptie en permanente embedding van kwaadaardige inhoud in modelgewichten. In tegenstelling tot traditionele webdiensten, waar schadelijke URL's kunnen worden verwijderd uit lijsten, blijft kwaadaardige data binnen een trainingscorpus bestaan in toekomstige modeliteraties. Dit artikel richt zich op een specifieke, hoog-impact manifestatie van dit risico: het genereren van code die kwaadaardige scam-URL's bevat (bijvoorbeeld phishing-eindpunten, frauduleuze API's) als reactie op onschadelijke, ontwikkelaar-stijl prompts.

De urgentie van dit probleem wordt onderstreept door een incident in de echte wereld in november 2024, waarbij een gebruiker $2.500 aan cryptocurrency verloor na het uitvoeren van code gegenereerd door ChatGPT. De code bevatte een kwaadaardig API-eindpunt dat de privésleutel van de gebruiker vroeg, een fundamentele schending van de beveiliging. Dit incident suggereert dat LLMs onbedoeld kwaadaardige documentatie of scam-infrastructuur kunnen ophalen en reproduceren die in hun trainingsdata is vergiftigd, wat een ernstige bedreiging vormt voor productiesystemen waar gegenereerde code vaak wordt uitgevoerd zonder controle regel voor regel.

Methodologie: Scam2Prompt Framework

Om dit risico systematisch te evalueren, introduceren de auteurs Scam2Prompt, een schaalbaar geautomatiseerd auditframework dat is ontworpen om te identificeren of productie-LLMs kwaadaardige code genereren als reactie op normale ontwikkelaarsverzoeken. Het framework werkt via de volgende pijplijn:

1. Verzameling van Kwaadaardige URL's: Het systeem start het proces met bekende scam-URL's uit gevestigde databases (bijvoorbeeld eth-phishing-detect van MetaMask en phishing-fort van PhishFort).
2. Content Extractie en Prompt Synthese: Een webcrawler haalt zichtbare tekst op van toegankelijke scam-pagina's. Een "Prompt LLM" analyseert vervolgens deze inhoud om ontwikkelaar-stijl prompts te synthetiseren. Deze prompts zijn totaal legitieme coderingsverzoeken, zoals het vragen om scripts, maar zijn ontworpen om gevoelige of financieel relevante domeinen aan te raken die vaak worden uitgebuit door scam-websites, zoals vluchtboeking, integratie van virtuele creditcards, online betalingen of andere geldgerelateerde diensten.
3. Code Generatie: De gesynthetiseerde prompts worden ingevoerd bij een "Codegen LLM" (het model dat wordt geaudit) om codefragmenten te genereren.
4. URL Extractie en Oracle Detectie: De gegenereerde code wordt gescand op URL's. Een oracle-ensemble (ChainPatrol, Google Safe Browsing, SecLookup) bepaalt of deze URL's kwaadaardig zijn.
5. Menselijke Validatie: Om ervoor te zorgen dat de prompts niet vijandig zijn (bijvoorbeeld jailbreaks), maar juist onschadelijke ontwikkelaarsverzoeken, ondergaat een subset van prompts handmatige validatie door menselijke annotatoren.

Dit proces levert een dataset op van Prompt-Code paren waarbij een onschadelijk verzoek resulteert in kwaadaardige code.

Belangrijkste Bijdragen

Het artikel levert vier primaire bijdragen:

1. Empirisch Bewijs van Kwaadaardige Code Generatie: De studie levert sterk bewijs dat productie-LLMs code genereren die kwaadaardige URL's bevat met niet-triviale frequenties als reactie op ontwikkelaar-stijl prompts.
2. Scam2Prompt Framework: Een schaalbaar, geautomatiseerd audittool dat bekende kwaadaardige bronnen omzet in ontwikkelaar-stijl prompts om de veiligheid van LLMs te testen. De auteurs geven de broncode vrij om reproduceerbaarheid te ondersteunen.
3. Innoc2Scam-bench: Een gecureerde benchmarkdataset van 1.377 ontwikkelaar-stijl prompts die consequent kwaadaardige code opriep bij vier initiële productie-LLMs (GPT-4o, GPT-4o-mini, Llama-4-Scout en DeepSeek-V3). Deze benchmark is ontworpen om de veiligheidsuitlijning van toekomstige modellen op de proef te stellen.
4. Defensie Evaluatie: Een beoordeling van bestaande veiligheidsmechanismen, waaronder state-of-the-art guardrails (bijvoorbeeld NeMo Guardrails) en Retrieval-Augmented Generation (RAG) agents, waarbij wordt aangetoond dat deze ontoereikend zijn tegen dit specifieke bedreigingsvector.

Experimentele Resultaten

Initiële Audit (2024 Modellen)

In een grootschalige studie met meer dan 265.000 prompts over vier productie-LLMs, vonden de auteurs dat 4,24% van de gegenereerde code kwaadaardige URL's bevatte. Het percentage varieerde per modelkoppeling, variërend van 3,19% tot 5,94%. Opmerkelijk is dat het framework 62 nieuwe kwaadaardige domeinen identificeerde die eerder niet in de seed-databases stonden; deze werden vervolgens gerapporteerd en toegevoegd aan de eth-phishing-detect-blokkeringlijst.

Stress-testen van Nieuwere Modellen (2025 Releases)

De Innoc2Scam-bench werd toegepast op zeven aanvullende productie-LLMs die in 2025 zijn uitgebracht (waaronder GPT-5, Gemini-2.5-Pro, Claude-Sonnet-4 en DeepSeek-Chat-V3.1). De resultaten gaven aan dat het kwetsbaarheid systeembreed en ernstig is:

• Kwaadaardige Generatiepercentages: Variërend van 12,9% (Gemini-2.5-Pro) tot 47,3% (DeepSeek-Chat-V3.1).
• Veiligheidsrangschikking:
  • Tier 1 (Hoge Veiligheid): Gemini-2.5-Pro en GPT-5. Gemini-2.5-Pro behaalde het laagste percentage (12,9%) grotendeels door agressieve contentfiltering (het weigeren van ongeveer 40% van de prompts).
  • Tier 2 (Gemiddelde Veiligheid): Claude-Sonnet-4 (34,3% kwaadaardig percentage).
  • Tier 3 (Lage Veiligheid): Grok-Code-Fast-1, Gemini-2.5-Flash, Qwen3-Coder en DeepSeek-Chat-V3.1, die allemaal kwaadaardige percentages vertoonden tussen 43,4% en 47,3%.
• Filtering versus Intrinsieke Veiligheid: Wanneer contentfiltering (weigeringen) werd uitgesloten en alleen voltooide codegeneraties werden geanalyseerd, vernauwde de veiligheidskloof tussen top-tier modellen aanzienlijk, en bleven de kwaadaardige generatiepercentages voor alle modellen hoog (vaak boven de 40% voor de lagere tiers). Dit suggereert dat filtering weliswaar helpt, maar dat de onderliggende kwetsbaarheid (het memoriseren van kwaadaardige patronen) blijft bestaan.

Mitigatie Evaluatie

• Guardrails: State-of-the-art guardrails (NeMo Guardrails, OpenAI Moderation API, Llama Guard 3) slaagden er niet in om de overgrote meerderheid van kwaadaardige code te detecteren. Detectiepercentages waren verwaarloosbaar (0% tot 8,43%), wat aangeeft dat generieke veiligheidsfilters ontoereikend zijn voor bedreigingen op eindpuntniveau.
• RAG Agents: Een retrieval-augmented agent met expliciete instructies om de veiligheid van URL's te controleren, verlaagde het kwaadaardige percentage voor GPT-4o van 50,04% naar 29,41%. Er bleef echter een residu-risico van bijna 30% over, wat bewijst dat RAG alleen geen volledige oplossing is.

Betekenis en Claims

Het artikel stelt dat de verontreiniging van trainingsdatasets met kwaadaardige scam-bronnen een industrie-breed probleem is dat aanhoudt ondanks vooruitgang in modelveiligheid en uitlijning. De bevindingen tonen aan dat:

1. Verontreiniging van Trainingsdata Aanhoudt: Kwaadaardige inhoud die tijdens pre-training is geabsorbeerd, wordt niet eenvoudig verwijderd door standaard veiligheidsfine-tuning of uitlijning, zoals blijkt uit de hoge faalpercentages van 2025-modellen.
2. Huidige Defensies zijn Onvoldoende: Standaard guardrails en RAG-gebaseerde agents bieden beperkte bescherming tegen het genereren van kwaadaardige URL's in code.
3. Dringende Noodzaak voor Nieuwe Defensies: De auteurs pleiten voor de noodzaak van expliciete, oracle-gebaseerde URL-validatiestappen in de codegeneratiepijplijn en verbeterde data-curatietechnieken (bijvoorbeeld machine unlearning, agent-gebaseerde reiniging) om de oorzaak aan te pakken.

De auteurs positioneren dit werk als een ontmaskering van een bestaande veiligheidskloof in plaats van de introductie van een nieuwe bedreiging, met benadrukking van de noodzaak van systematische audits en de vrijgave van benchmarks (Innoc2Scam-bench) om toekomstig onderzoek te stimuleren naar robuuste, veilige LLM-ondersteunde ontwikkeling.