Riepilogo Tecnico: Benchmarking di Large Language Models per il rilevamento di URL di phishing zero-shot e few-shot

Problematica

Gli attacchi di phishing si sono evoluti in una sofisticata minaccia alla sicurezza informatica, sfruttando sempre più l'IA generativa per creare URL contestuali e ingannevoli che sono difficili da distinguere per gli utenti e per gli strumenti di rilevamento tradizionali. Sebbene esistano protezioni reattive come l'HTTPS, la struttura stessa dell'URL manca di meccanismi intrinseci di sicurezza o resilienza contro le frodi. I sistemi di rilevamento tradizionali, in particolare quelli basati su blacklist o caratteristiche lessicali artigianali, faticano con gli URL di nuova generazione o offuscati a causa della loro dipendenza da conoscenze pregresse. Inoltre, la rapida escalation delle tattiche di phishing — evidenziata da un aumento del volume del 4.000% dal 2022 — supera la produzione di dati etichettati necessari per l'apprendimento supervisionato. Ciò crea una necessità critica di metodi di rilevamento capaci di generalizzare su esempi inediti o avversari con una supervisione minima.

Metodologia

Gli autori presentano un benchmark completo che valuta tre modelli linguistici di grandi dimensioni (LLM) proprietari — GPT-4o (OpenAI), Claude-3.7-sonnet-2025021ong (Anthropic) e Grok-3-Beta (xAI) — sul compito di classificazione di URL di phishing. Lo studio utilizza un framework di prompting unificato per valutare le prestazioni sia in configurazioni zero-shot che few-shot.

Configurazione Sperimentale

• Dataset: La valutazione utilizza il dataset PhiUSIIL Phishing URL.
  • Valutazione Bilanciata: È stato costruito un corpus di 10.000 URL (5.000 phishing, 5.000 legittimi) tramite campionamento casuale.
  • Valutazione Sbilanciata: Sono stati creati set di test da 1.000 URL con rapporti di phishing dell'1% e del 10% per simulare le distribuzioni di classe del mondo reale.
• Costruzione del Prompt:
  • Zero-shot ($P_{ZS}$): Consiste in un'istruzione del compito ($I$) e una query ($Q(u)$). L'istruzione definisce il modello come un esperto di cybersecurity e richiede una risposta binaria (0 per phishing, 1 per legittimo).
  • Few-shot ($P_{FS}$): Include l'istruzione, la query e un set di esempi ($E$). Negli esperimenti bilanciati, sono stati utilizzati 6 esempi (3 phishing, 3 legittimi). Negli esperimenti sbilanciati, il numero di esempi variava (1, 3 o 9).
• Inferenza: Tutti i modelli sono stati accessibili tramite le loro API ufficiali con una temperatura pari a 0 e un output massimo di 10 token. Le risposte sono state analizzate per estrarre le predizioni binarie.
• Metriche: Le prestazioni sono state quantificate utilizzando sei metriche: Accuratezza, Precisione Macro-averaged, Recall, F1-score, AUROC e AUPRC.

Contributi Chiave

Il documento apporta tre contributi primari alla comunità di ricerca sulla cybersecurity e sull'IA:

1. Benchmark Unificato: Stabilisce un benchmark standardizzato per gli LLM proprietari istruiti tramite istruzioni nel rilevamento di URL di phishing, confrontando le capacità zero-shot e few-shot tra più modelli.
2. Valutazione Controllata: Lo studio valuta i modelli su un dataset bilanciato utilizzando design di prompt coerenti e indipendenti dal modello, affrontando la mancanza di confronti equi nella letteratura precedente dove i dataset o le metriche spesso variavano.
3. Riproducibilità: Gli autori rilasciano il proprio codice per facilitare l'ulteriore ricerca e la riproducibilità.

Risultati Sperimentali

Dataset Bilanciato (10.000 URL)

Il prompting few-shot con sei esempi ha migliorato significativamente le prestazioni in tutti i modelli rispetto ai baseline zero-shot.

• Grok-3-Beta è emerso come il miglior performer nell'impostazione few-shot, raggiungendo l'Accuratezza più alta (0.9405), la Precisione più alta (0.9492), l'F1-score più alto (0.9399), l'AUROC più alto (0.9405) e l'AUPRC più alto (0.9573). Ha dimostrato un cambiamento notevole nel trade-off precisione-recall, aumentando la precisione da 0.8361 a 0.9492 pur riducendo leggermente la recall.
• Claude-3.7 ha ottenuto la Recall più alta (0.9526) nell'impostazione few-shot, ma aveva una precisione inferiore rispetto a Grok-3-Beta.
• GPT-4o ha mostrato guadagni costanti in tutte le metriche, ma è rimasto in coda agli altri due modelli in termini di prestazioni complessive.
• Matrici di Confusione: Il prompting few-shot ha ridotto i falsi negativi in tutti i modelli. Grok-3-Beta ha ridotto i falsi negativi da 950 (zero-shot) a 248 (few-shot).

Dataset Sbilanciato (Rapporti di Phishing dell'1% e 10%)

• Prestazioni Zero-Shot: Grok-3-Beta ha dimostrato forti capacità zero-shot, raggiungendo un'accuratezza di 0.976 e una recall di 0.938 con un rapporto di phishing del 10%.
• Sensibilità Few-Shot: L'impatto del numero di esempi è variato a seconda del modello:
  • Grok-3-Beta: Ha raggiunto il picco con 1 solo esempio (F1: 0.906) e le prestazioni sono leggermente diminuite con 3 o 9 esempi.
  • Claude-3.7: Ha mostrato un miglioramento costante all'aumentare degli esempi, raggiungendo il suo miglior F1-score (0.876) con 9 esempi.
  • GPT-4o: Ha dimostrato guadagni costanti da 1 esempio (F1: 0.709) a 9 esempi (F1: 0.861).
• Robustezza: I modelli hanno mantenuto prestazioni robuste attraverso diversi seed casuali (S123, S456), con differenze di F1-score inferiori a 0.05 al 10% di sbilanciamento.

Significato e Rivendicazioni

L'articolo sostiene che, poiché le tattiche di phishing evolvono più velocemente di quanto i dati etichettati possano essere prodotti, l'apprendimento zero-shot e few-shot con gli LLM offre una soluzione tempestiva e adattabile. Lo studio conclude che il prompting few-shot migliora efficacementamente le prestazioni di rilevamento in più LLM proprietari, consentendo la generalizzazione con una supervisione minima.

Nello specifico, gli autori affermano che:

• Gli approcci basati su prompt possono rilevare efficacemente gli URL di phishing con pochissimi esempi (ad esempio, Grok-3-Beta che performa bene con un singolo esempio).
• Esistono distinti trade-off operativi tra i modelli; alcuni (come Grok-3-Beta) eccellono con il minimo numero di esempi e un'alta precisione, mentre altri (come Claude-3.7) possono beneficiare di più esempi per massimizzare la recall.
• L'attuale panorama manca di un benchmarking unificato per gli LLM in questo dominio, e questo lavoro colma tale lacuna fornendo un framework di valutazione coerente.

Gli autori mantengono un ambito modesto, osservando che sono necessari futuri lavori per validare queste scoperte su dataset diversificati, esplorare strategie di ottimizzazione dei prompt e investigare i trade-off tra l'inferenza basata su prompt e i modelli fine-tuned in contesti operativi.