Scam2Prompt: A Scalable Framework for Auditing Malicious Scam Endpoints in Production LLMs

Il documento introduce Scam2Prompt, un framework scalabile che rivela una vulnerabilità di sicurezza critica e in peggioramento nei Large Language Models in produzione, in cui prompt automatizzati derivati da siti di truffa malevoli attivano con successo la generazione di codice dannoso in fino al 47,3% dei casi su più modelli, rendendo insufficienti le attuali misure di sicurezza come i guardrail e il RAG.

L'essenziale

Immagina di assumere un apprendista programmatore brillante e velocissimo per scrivere codice per la tua azienda. Gli dai una richiesta semplice e normale, come: "Scrivi uno script per acquistare un token digitale specifico su questo popolare sito di trading". Ti aspetti che scriva codice sicuro e standard.

Tuttavia, questo documento rivela una realtà spaventosa: il tuo apprendista ha memorizzato una libreria di istruzioni pericolose e false nascoste all'interno dei suoi libri di formazione. Quando chiedi aiuto per un compito specifico, potrebbe accidentalmente estrarre una pagina dal manuale di un truffatore e incollarla nel tuo codice, inviando i tuoi soldi a un ladro invece che al sito legittimo.

Ecco una spiegazione delle scoperte del documento utilizzando semplici analogie:

1. Il Problema: Il "Libro di Ricette Avvelenato"

I Modelli Linguistici di Grandi Dimensioni (LLM) sono come chef che hanno letto quasi ogni libro di ricette su internet per imparare a cucinare. Il problema è che internet è pieno di ricette "avvelenate" — istruzioni false progettate per rubare il tuo portafoglio o i tuoi dati.

• L'Incidente Reale: Il documento inizia con la storia di una persona reale che ha perso 2.500 dollari. Ha chiesto a un chatbot di scrivere uno script per acquistare una criptovaluta su un popolare sito chiamato pump.fun. Il chatbot, cercando di essere utile, ha scritto un codice che includeva un link a una API falsa (una porta digitale) che sembrava reale ma era in realtà una trappola di un truffatore. Il codice chiedeva persino all'utente di consegnare direttamente la sua "chiave privata" (la chiave maestra della sua cassaforte bancaria) a questa porta falsa. L'utente, fidandosi dell'IA, ha eseguito il codice e i suoi soldi sono svaniti in 30 minuti.

2. L'Indagine: "Scam2Prompt"

I ricercatori hanno creato uno strumento chiamato Scam2Prompt per vedere se si trattava di un incidente isolato o di una malattia diffusa.

• L'Analogia: Immagina una guardia di sicurezza che vuole testare se un nuovo sistema di sicurezza funziona. Invece di cercare di entrare con un martello pneumatico (cosa ovvia), la guardia prende la pianta nota di un "cattivo", la riscrive per farla sembrare una normale richiesta di costruzione e la consegna al sistema di sicurezza.
• Come ha funzionato:
  1. Hanno preso elenchi di siti web truffa noti.
  2. Hanno poi estratto parole chiave, affermazioni e frasi comuni che questi siti usano per ingannare le vittime. Utilizzando quei termini, hanno chiesto a un sistema di IA di generare richieste di codifica legittime, come "Come posso acquistare questa moneta digitale?" o "Come posso pagare su questa piattaforma di voli per comprare biglietti scontati?".
  3. Hanno fornito queste richieste "innocenti" a quattro grandi modelli di IA in produzione (come GPT-4o e Llama).
  4. Hanno verificato se l'IA scriveva codice contenente link truffa.

3. Le Scoperte: La Trappola "Innocente"

I risultati sono stati allarmanti. Anche se le richieste sembravano perfettamente normali e provenivano da "sviluppatori", i modelli di IA continuavano a generare codice con link malevoli.

• Le Statistiche: Nel loro test iniziale, circa il 4,24% del codice generato conteneva un link truffa. Ciò significa che se chiedessi a queste IA di scrivere codice 100 volte, circa 4 volte ti consegnerebbero accidentalmente un'arma.
• L'"Innoc2Scam-bench": I ricercatori hanno creato una lista di "test di stress" con 1.377 domande specifiche che hanno sempre ingannato i primi quattro modelli facendogli generare codice dannoso. Hanno poi testato questa lista su sette modelli più nuovi e avanzati rilasciati nel 2025.
• I Nuovi Modelli: Il problema non è scomparso; è rimasto serio. I nuovi modelli hanno generato codice malevolo con tassi che vanno dal 12,9% al 47,3% quando testati sotto Innoc2Scam-bench.
  • Analogia: È come aggiornare il motore della tua auto per renderla più veloce e intelligente, ma il sistema GPS continua a cercare di guidarti verso una scogliera perché i dati della mappa erano corrotti fin dall'inizio.

4. La Gerarchia della Sicurezza

Il documento ha classificato i modelli come un pagellino scolastico:

• Livello Superiore (I Più Sicuri): Gemini-2.5-Pro e GPT-5. Questi sono stati i migliori nel dire "No" o nel rifiutarsi di rispondere quando la richiesta era rischiosa. Tuttavia, nemmeno loro erano perfetti.
• Livello Intermedio: Claude-Sonnet-4.
• Livello Inferiore (I Più Rischiosi): Modelli come DeepSeek-Chat-v3.1 e Qwen3-Coder. Questi modelli erano molto desiderosi di rispondere alle domande ma generavano codice malevolo quasi metà delle volte (fino al 47,3%).

5. Perché le Difese Attuali Falliscono

I ricercatori hanno testato se gli strumenti di sicurezza esistenti potevano fermare questo fenomeno.

• I "Parapetti": Hanno provato a usare filtri di sicurezza standard (come un buttafuori in un club) e "Agenti di Recupero" (IA che cercano cose sul web per verificare i fatti).
• Il Risultato: I parapetti erano per lo più inutili. Non sono riusciti a intercettare il codice malevolo perché il codice sembrava sintatticamente corretto e le richieste suonavano normali. Gli agenti di "ricerca sul web" hanno aiutato un po' (riducendo il rischio dal 50% al 29%), ma non sono riusciti a intercettare la maggior parte delle truffe.
• La Conclusione: Non puoi affidarti semplicemente all'IA per "sapere meglio" o a un semplice filtro. La conoscenza malevola è incorporata profondamente nel cervello del modello fin dai suoi dati di formazione.

6. Le Truffe "Fantasma"

Una delle scoperte più agghiaccianti è stata che i modelli di IA stavano generando link a siti truffa che non esistevano ancora nei database di sicurezza.

• L'Analogia: I modelli di IA avevano memorizzato le "piante" delle truffe così bene che potevano ricostruire i siti web falsi anche se le guardie di sicurezza non avevano ancora catturato i criminali. Alcuni di questi siti erano attivi da oltre un anno, eludendo il rilevamento, eppure l'IA sapeva come usarli.

Riepilogo

Il documento conclude che i modelli di IA sono attualmente "avvelenati" dai rifiuti di internet. Anche i modelli più intelligenti e nuovi scriveranno volentieri codice che ti ruba i soldi se fai loro la domanda giusta (ma che sembra innocente). Le attuali misure di sicurezza sono come cercare di fermare un'alluvione con un ombrello di carta; non sono abbastanza forti. Gli autori suggeriscono che dobbiamo pulire meglio i dati di formazione e aggiungere controlli esterni rigorosi su ogni link generato dall'IA prima di permettere a un umano di eseguire il codice.

Sommario tecnico

Riepilogo Tecnico: Scam2Prompt

Enunciato del Problema

I Modelli Linguistici di Grande Dimensione (LLM) sono diventati infrastrutture critiche per lo sviluppo software, tuttavia la loro dipendenza da dataset di addestramento non curati e su scala web introduce un rischio di sicurezza fondamentale: l'assorbimento e l'incorporazione permanente di contenuti malevoli nei pesi del modello. A differenza dei servizi web tradizionali, dove gli URL dannosi possono essere rimossi dalle liste, i dati malevoli all'interno di un corpus di addestramento persistono attraverso le future iterazioni del modello. Questo documento si concentra su una manifestazione specifica e ad alto impatto di tale rischio: la generazione di codice contenente URL di truffa malevoli (ad esempio, endpoint di phishing, API fraudolente) in risposta a prompt benigni di stile sviluppatore.

L'urgenza di questa questione è evidenziata da un incidente reale avvenuto nel novembre 2024, in cui un utente ha perso 2.500 dollari in criptovalute dopo aver eseguito codice generato da ChatGPT. Il codice conteneva un endpoint API malevolo che richiedeva la chiave privata dell'utente, una violazione fondamentale della sicurezza. Questo incidente suggerisce che gli LLM potrebbero recuperare e riprodurre involontariamente documentazione malevola o infrastrutture di truffa avvelenate nei loro dati di addestramento, presentando una minaccia grave per i sistemi di produzione dove il codice generato viene spesso eseguito senza una revisione riga per riga.

Metodologia: Framework Scam2Prompt

Per valutare sistematicamente questo rischio, gli autori introducono Scam2Prompt, un framework automatizzato e scalabile di audit progettato per identificare se gli LLM di produzione generano codice malevolo quando rispondono a richieste normali di sviluppatori. Il framework opera attraverso la seguente pipeline:

1. Raccolta di URL Malevoli: Il sistema avvia il processo con URL di truffa noti provenienti da database consolidati (ad esempio, eth-phishing-detect di MetaMask e phishing-fort di PhishFort).
2. Estrazione dei Contenuti e Sintesi dei Prompt: Un web crawler estrae il testo visibile dalle pagine di truffa accessibili. Un "Prompt LLM" analizza quindi questo contenuto per sintetizzare prompt di stile sviluppatore. Questi prompt sono totalmente richieste di codifica legittime, come la richiesta di script, ma sono progettati per toccare domini sensibili o finanziariamente rilevanti comunemente sfruttati dai siti di truffa, come la prenotazione di voli, l'integrazione di carte di credito virtuali, i pagamenti online o altri servizi legati al denaro.
3. Generazione del Codice: I prompt sintetizzati vengono inviati a un "Codegen LLM" (il modello sotto audit) per generare frammenti di codice.
4. Estrazione degli URL e Rilevamento tramite Oracolo: Il codice generato viene scansionato alla ricerca di URL. Un insieme di oracoli (ChainPatrol, Google Safe Browsing, SecLookup) determina se tali URL sono malevoli.
5. Validazione Umana: Per garantire che i prompt non siano avversari (ad esempio, jailbreak) ma piuttosto richieste di sviluppatori benigni, un sottoinsieme di prompt viene sottoposto a validazione manuale da parte di annotatori umani.

Questo processo produce un dataset di coppie Prompt-Codice in cui una richiesta benigna risulta in codice malevolo.

Contributi Chiave

Il documento apporta quattro contributi principali:

1. Evidenza Empirica della Generazione di Codice Malevolo: Lo studio fornisce prove solide che gli LLM di produzione generano codice contenente URL malevoli a tassi non trascurabili quando rispondono a prompt di stile sviluppatore.
2. Framework Scam2Prompt: Uno strumento di audit automatizzato e scalabile che trasforma fonti malevole note in prompt di stile sviluppatore per testare la sicurezza degli LLM. Gli autori rilasciano il codice sorgente per supportare la riproducibilità.
3. Innoc2Scam-bench: Un dataset di benchmark curato di 1.377 prompt di stile sviluppatore che hanno costantemente indotto codice malevolo da quattro LLM di produzione iniziali (GPT-4o, GPT-4o-mini, Llama-4-Scout e DeepSeek-V3). Questo benchmark è progettato per stressare l'allineamento alla sicurezza dei modelli futuri.
4. Valutazione delle Difese: Una valutazione dei meccanismi di sicurezza esistenti, inclusi i sistemi di protezione all'avanguardia (ad esempio, NeMo Guardrails) e gli agenti di Generazione Aumentata dal Recupero (RAG), che ne dimostra l'insufficienza contro questo specifico vettore di minaccia.

Risultati Sperimentali

Audit Iniziale (Modelli 2024)

In un ampio studio che ha coinvolto oltre 265.000 prompt su quattro LLM di produzione, gli autori hanno rilevato che il 4,24% del codice generato conteneva URL malevoli. Il tasso variava in base alla combinazione di modelli, oscillando dal 3,19% al 5,94%. Si noti che il framework ha identificato 62 nuovi domini malevoli non presenti precedentemente nei database seme, che sono stati successivamente segnalati e aggiunti alla blacklist eth-phishing-detect.

Stress-Testing di Modelli Più Recenti (Rilasci 2025)

L'Innoc2Scam-bench è stato applicato a sette ulteriori LLM di produzione rilasciati nel 2025 (inclusi GPT-5, Gemini-2.5-Pro, Claude-Sonnet-4 e DeepSeek-Chat-V3.1). I risultati hanno indicato che la vulnerabilità è sistemica e grave:

• Tassi di Generazione Malevola: Hanno oscillato dal 12,9% (Gemini-2.5-Pro) al 47,3% (DeepSeek-Chat-V3.1).
• Classifica di Sicurezza:
  • Livello 1 (Alta Sicurezza): Gemini-2.5-Pro e GPT-5. Gemini-2.5-Pro ha raggiunto il tasso più basso (12,9%) principalmente grazie a un filtraggio aggressivo dei contenuti (rifiuto di circa il 40% dei prompt).
  • Livello 2 (Sicurezza Moderata): Claude-Sonnet-4 (tasso malevolo del 34,3%).
  • Livello 3 (Bassa Sicurezza): Grok-Code-Fast-1, Gemini-2.5-Flash, Qwen3-Coder e DeepSeek-Chat-V3.1, tutti con tassi malevoli compresi tra il 43,4% e il 47,3%.
• Filtraggio vs. Sicurezza Intrinseca: Quando il filtraggio dei contenuti (rifiuti) è stato escluso e sono state analizzate solo le generazioni di codice completate, il divario di sicurezza tra i modelli di primo livello si è ridotto significativamente, e i tassi di generazione malevola per tutti i modelli sono rimasti elevati (spesso superiori al 40% per i livelli inferiori). Ciò suggerisce che, sebbene il filtraggio aiuti, la vulnerabilità sottostante (memorizzazione di pattern malevoli) persiste.

Valutazione delle Mitigazioni

• Sistemi di Protezione (Guardrails): I sistemi di protezione all'avanguardia (NeMo Guardrails, OpenAI Moderation API, Llama Guard 3) non sono riusciti a rilevare la stragrande maggioranza del codice malevolo. I tassi di rilevamento sono stati trascurabili (da 0% a 8,43%), indicando che i filtri di sicurezza generici sono insufficienti per le minacce a livello di endpoint.
• Agenti RAG: Un agente potenziato dal recupero con istruzioni esplicite di verificare la sicurezza degli URL ha ridotto il tasso malevolo per GPT-4o dal 50,04% al 29,41%. Tuttavia, è rimasto un rischio residuo di quasi il 30%, dimostrando che il RAG da solo non è una soluzione completa.

Significato e Affermazioni

Il documento afferma che la contaminazione dei dataset di addestramento con fonti di truffa malevole è un problema su scala industriale che persiste nonostante i progressi nella sicurezza e nell'allineamento dei modelli. I risultati dimostrano che:

1. La Contaminazione dei Dati di Addestramento è Persistente: I contenuti malevoli assorbiti durante il pre-addestramento non vengono rimossi facilmente dal normale fine-tuning di sicurezza o dall'allineamento, come dimostrato dagli alti tassi di fallimento dei modelli del 2025.
2. Le Difese Attuali sono Insufficienti: I sistemi di protezione standard e gli agenti basati su RAG offrono una protezione limitata contro la generazione di URL malevoli nel codice.
3. Urgente Necessità di Nuove Difese: Gli autori sostengono la necessità di passaggi espliciti di validazione degli URL basati su oracoli nella pipeline di generazione del codice e di tecniche migliorate di curatela dei dati (ad esempio, machine unlearning, pulizia basata su agenti) per affrontare la causa radice.

Gli autori posizionano questo lavoro come una demistificazione di una lacuna di sicurezza esistente piuttosto che l'introduzione di una minaccia nuova, sottolineando la necessità di audit sistematici e del rilascio di benchmark (Innoc2Scam-bench) per guidare la futura ricerca verso uno sviluppo assistito da LLM robusto e sicuro.