Riepilogo Tecnico: Clouding the Mirror

Definizione del Problema

Gli attacchi di phishing stanno aumentando in termini di volume e sofisticatezza, con i totali trimestrali recenti che superano 1,1 milioni di incidenti. Sebbene i Large Language Models (LLM) siano emersi come strumenti promettenti per il rilevamento dei siti di phishing attraverso l'analisi olistica di URL, HTML e contenuti renderizzati, essi introducono una nuova vulnerabilità critica: la Prompt Injection (PI).

Il problema centrale affrontato è l'"asimmetria percettiva" tra gli utenti umani e gli LLM. Gli attaccanti, che possiedono il controllo totale sui componenti del sito di phishing (URL, HTML, script, immagini), possono incorporare istruzioni malevole che sono impercettibili per gli utenti umani ma completamente analizzabili dall'LLM. Queste istruzioni nascoste possono manipolare il giudizio dell'LLM per classificare erroneamente i siti di phishing come legittimi, interrompere la pipeline di rilevamento o esaurire le risorse del sistema. Nonostante la prevalenza della PI nell'IA conversazionale, i suoi rischi specifici e le strategie di mitigazione nel contesto del rilevamento automatizzato del phishing rimangono ampiamente inesplorati.

Metodologia

Lo studio impiega un framework di valutazione sistematica composto da una nuova tassonomia, test empirici e validazione della difesa.

1. Tassonomia Bidimensionale

Gli autori introducono una tassonomia per categorizzare le strategie di PI nel rilevamento del phishing, definita da due assi:

• Tecniche di Attacco:
  • Tecniche Principali: Legitimate Pretexting (rivendicare scopi educativi o di ricerca), Role Hijacking (assegnare nuovi ruoli agli LLM), Safety Policy Triggering (forzare il rifiuto tramite filtri di sicurezza), Tool/Function Hijacking (corrompere i formati di output) e Content Flooding/Distraction (indurre DoS o esaurimento dei token).
  • Tecniche Ausiliarie: Stealth Encoding (occultamento visivo) e Parser Boundary Confusion (sfruttare le ambiguità del parsing dei tag).
• Superfici di Attacco: Le posizioni specifiche in cui vengono incorporate le iniezioni, inclusi HTML Metadata (titolo, meta tag), Script e Commenti, Contenuto Visibile HTML, Contenuto Invisibile HTML (nascosto tramite CSS), Risorse Incorporate (immagini/SVG) e Strutture URL.

2. Configurazione Sperimentale

• Dataset: È stato costruito un dataset controllato di 2.000 file HTML, che imitano le pagine di login dei 10 marchi più bersagliati (ad es. Amazon, Google, Microsoft). Ogni file incorporava diversi messaggi di PI attraverso otto distinte posizioni di inserimento.
• Modelli Valutati: Sono stati testati quattro LLM con diverse architetture e livelli di performance: OpenAI GPT-5, xAI Grok 4 Fast, Meta Llama 4 Maverick e Google Gemma 3 27B.
• Modalità di Rilevamento:
  • Standard: Query semplice ("Questo è un sito di phishing?").
  • Advanced: Prompt strutturati con procedure di analisi dettagliate.
  • InjectDefuser: Il framework di difesa proposto.

3. Framework di Difesa: InjectDefuser

Gli autori propongono InjectDefuser, un meccanismo di difesa a strati composto da:

• Prompt Hardening: Implementazione di confini di contesto basati su UUID unici per separare le istruzioni di sistema fidate dai dati esterni non fidati, e l'uso di meta-istruzioni per proibire esplicitamente l'esecuzione di direttive trovate in regioni non fidate.
• Allowlist RAG (Retrieval-Augmented Generation): Un sistema che estrae i nomi dei brand dal sito target, recupera una lista di domini legittimi da un database vettoriale e aumenta il prompt con questo contesto verificato per ancorare il processo decisionale dell'LLM.
• Validazione dell'Output: Verifica rigorosa della risposta dell'LLM rispetto a schemi JSON predefiniti, controllando sintassi, campi richiesti e tipi di dati per rilevare la manipolazione del formato.

Risultati Chiave

Vulnerabilità dei Modelli State-of-the-Art

Anche i modelli più avanzati rimangono altamente suscettibili alla PI senza difese specifiche:

• GPT-5: In modalità "Standard", l'Attack Success Rate (ASR) era del 39,9%. Anche in modalità "Advanced", rimaneva vulnerabile a tecniche specifiche (ASR del 10,1%).
• Altri Modelli: Llama 4 ha mostrato un ASR dell' 84,7% in modalità Standard, mentre Grok 4 Fast e Gemma 3 hanno mostrato tassi rispettivamente del 65,1% e del 64,7%.
• Efficacia delle Tecniche: Il "Legitimate Pretexting" è stato l'attacco più efficace, raggiungendo ASR fino al 99,8% su certi modelli. Anche il "Role Hijacking" e il "Safety Policy Triggering" hanno dimostrato alti tassi di successo a seconda del modello.

Efficacia di InjectDefuser

Il framework di difesa proposto ha ridotto significativamente i tassi di successo degli attacchi in tutti i modelli:

• GPT-5: L'ASR è sceso dal 39,9% allo 0,3% (5 fallimenti su 2000).
• Grok 4 Fast: L'ASR è ridotto dal 65,1% al 26,1%.
• Llama 4: L'ASR è ridotto dall' 84,7% al 61,7%.
• Gemma 3: L'ASR è ridotto dal 64,7% al 36,7%.

La difesa è stata particolarmente efficace contro "Legitimate Pretexting" e "Role Hijacking", riducendo l'ASR di GPT-5 per queste tecniche quasi a zero. Tuttavia, il "Content Flooding" è rimasto una sfida, con un ASR residuo dell'1,0% su GPT-5, indicando che gli attacchi di esaurimento delle risorse sono più difficili da mitigare completamente.

Valutazione basata su URL e Sistemi Esistenti

• PI basata su URL: InjectDefuser ha ottenuto un ASR dello 0,0% su GPT-5 per le iniezioni basate su URL, neutralizzando completamente i tentativi che precedentemente avevano raggiunto il 20,0% di successo.
• Pipeline Esistenti: Quando applicato a sistemi di rilevamento basati su LLM esistenti (PhishLLM, KnowPhish, PhishAgent), gli attacchi PI hanno avuto successo nel 2,5% - 25,0% dei casi, dimostrando che i fallimenti parziali dei componenti possono compromettere l'intera pipeline di rilevamento.

Significato e Rivendicazioni

Il documento sostiene di fornire la prima valutazione completa degli attacchi di prompt injection che colpiscono specificamente il rilevamento del phishing basato su LLM multimodali. I suoi principali contributi sono:

1. Tassonomia: Stabilisce una comprensione sistematica di come l' "asimmetria percettiva" possa essere sfruttata, categorizzando gli attacchi per tecnica e superficie.
2. Evidenza Empirica: Dimostra che gli attuali modelli state-of-the-art, incluso GPT-5, non sono intrinsecamente robusti contro la PI nei contesti di phishing, sfidando l'assunto che le capacità di ragionamento avanzato equivalgano alla sicurezza.
3. Difesa Pratica: Introduce InjectDefuser, un framework di difesa pratico e agnostico rispetto al sistema che combina prompt engineering, RAG e validazione dell'output. Gli autori dimostrano che questo approccio migliora significativamente l'affidabilità senza richiedere il riaddestramento del modello.

Gli autori concludono che, sebbene la PI rappresenti una minaccia concreta per il dispiegamento delle prossime contromisure di phishing, le strategie di difesa proposte offrono una via percorribile verso sistemi di rilevamento robusti e affidabili. Notano che, sebbene i loro risultati suggeriscano che questi attacchi non siano ancora ampiamente diffusi sul campo, la fattibilità e il basso costo di tali attacchi rendono necessarie misure difensive immediate.