Eliciting Least-to-Most Reasoning for Phishing URL Detection

Sintesi Tecnica: Elicitare il Ragionamento Least-to-Most per il Rilevamento di URL di Phishing

Definizione del Problema
Il phishing rimane un vettore primario per attacchi informatici e violazioni di dati. Sebbene i metodi di rilevamento tradizionali (machine learning, deep learning e approcci basati su URL) offrano un'elevata accuratezza, spesso funzionano come "black box", carendo di interpretabilità riguardo al motivo per cui un determinato URL viene classificato come benigno o malevolo. Inoltre, questi modelli supervisionati richiedono tipicamente grandi dataset etichettati e faticano a generalizzare su diversi dataset. Sebbene i Large Language Models (LLM) abbiano mostrato potenziale nel rilevamento del phishing tramite il prompting few-shot, gli approcci esistenti spesso trattano il processo di ragionamento del modello come un processo a singolo step o una black box, fallendo nell'analizzare come il processo di ragionamento stesso influenzi la previsione finale.

Metodologia
Gli autori propongono un framework di prompting Least-to-Most specificamente adattato per il rilevamento di URL di phishing. A differenza delle strategie di prompting standard (come One-shot o Chain-of-Thought) che generano previsioni in un singolo prompt o in una singola catena, questo framework istruisce l'LLM a decomporre il problema di classificazione in sottoproblemi più piccoli e iterativi.

Un componente innovativo di questo lavoro è il meccanismo di "sensibilità alla risposta" (answer sensitivity). In questo processo iterativo:

1. L'LLM genera una sotto-domanda riguardante una specifica caratteristica dell'URL (ad es., struttura del dominio, nomi delle directory).
2. Il modello risponde alla sotto-domanda e fornisce una stima percentuale della probabilità che l'URL sia phishing (0% = benigno, 100% = phishing).
3. Questa percentuale funge da guida per l'iterazione. Il processo continua finché il punteggio di sensibilità non attraversa soglie definite dall'utente (ad es., ≥90% per phishing o ≤10% per benigno).
4. Per prevenire loop infiniti, il framework limita programmaticamente le iterazioni a 10. Se la soglia non viene raggiunta alla decima iterazione, l'URL viene classificato conservativamente in base al punteggio finale.

Contributi Chiave

1. Proposta del Framework: L'introduzione di un framework di prompting Least-to-Most per il rilevamento di URL di phishing che decompone esplicitamente il problema in sotto-domande iterative.
2. Meccanismo di Sensibilità alla Risposta: Lo sviluppo di un meccanismo che guida il processo di ragionamento iterativo tramite stime di confidenza basate su percentuali, consentendo al modello di affinare la propria previsione attraverso molteplici passaggi anziché impegnarsi in una risposta a step singolo.
3. Valutazione Empirica: Una valutazione completa utilizzando tre dataset pubblici di URL (HP, EBBU, ISCX) e quattro LLM allo stato dell'arte (Gemma 3, Llama 3.1, GPT-4.1, Gemini 2.5-Flash). Il framework è stato confrontato con un baseline di prompting One-shot e un modello basato su BERT supervisionato (URLTran).

Risultati
I risultati sperimentali dimostrano che il framework Least-to-Most supera costantemente il baseline One-shot e si avvicina alle prestazioni del modello supervisionato URLTran, nonostante non richieda dati di addestramento etichettati.

• Guadagni di Performance: L'approccio Least-to-Most ha raggiunto un F1 score medio di 0,9040 su tutti i dataset e i modelli, rispetto allo 0,8726 del baseline One-shot (un miglioramento medio di 0,03 F1).
• Confronto con Modelli Supervisionati: Nella sua configurazione con le migliori prestazioni (Gemini 2.5-Flash), il framework ha raggiunto un F1 medio di 0,9621, che è entro 0,03 F1 dal punteggio del modello supervisionato URLTran di 0,99.
• Efficacia Iterativa: L'analisi ha rivelato che, mentre molte previsioni corrette richiedevano poche iterazioni, un numero significativo di previsioni corrette era possibile solo dopo un numero "anomalo" di iterazioni. Il meccanismo di sensibilità alla risposta ha permesso al modello di correggere errori di classificazione iniziali (ad es., un URL inizialmente valutato al 25% di phishing che sale al 90% dopo sei iterazioni) che il metodo One-shot avrebbe mancato.
• Consistenza: In quasi tutti i casi, il metodo Least-to-Most ha prodotto più previsioni corrette uniche e meno previsioni errate rispetto al metodo One-shot, anche per modelli con prestazioni inferiori come Llama.

Significatività
L'articolo sostiene che questo lavoro dimostra il valore del ragionamento strutturato a più step negli LLM per compiti di sicurezza. Andando oltre i prompt a step singolo, il framework elica capacità di ragionamento più forti che migliorano l'accuratezza della previsione senza la necessità di estesi dati di addestramento o esempi few-shot. Il meccanismo di "sensibilità alla risposta" è evidenziato come un fattore critico nel guidare questi guadagni, poiché consente al modello di affinare iterativamente la propria valutazione della malevolità di un URL. Gli autori concludono che questa strategia di prompting semplice ma potente offre un'alternativa robusta e interpretabile sia ai modelli supervisionati tradizionali che alle tecniche di prompting standard per il rilevamento del phishing.