Sintesi Tecnica: Gli LLM sono in grado di ragionare sull'appartenenza ai Brand?

Definizione del Problema

I difensori della cybersecurity si trovano di fronte a un'ambiguità critica quando incontrano nuovi domini che somigliano a marchi popolari: il dominio è un sito di squatting creato da un attaccante per il phishing, o è un dominio legittimo registrato dal brand stesso per scopi difensivi (ad esempio, per bloccare i typosquat) o per il lancio di nuovi prodotti?

Gli attuali sistemi di sicurezza che segnalano tutti i domini adiacenti a un brand come malevoli senza verificarne la proprietà generano un numero significativo di falsi positivi. Bloccare un dominio di proprietà di un brand (ad esempio, google-web.com di proprietà di Google) danneggia gli utenti finali, erode la fiducia negli strumenti di sicurezza ed espone i difensori a rischi legali e reputazionali. La sfida centrale è la Brand Intelligence: la capacità di determinare, su larga scala e quasi in tempo reale, se un dominio specifico è di proprietà di o affiliato a un noto brand. Questo compito è difficile perché i brand registrano continuamente nuovi domini, ne acquisiscono altri e ne dismettono di vecchi, mentre i dati WHOIS sono spesso protetti da proxy per la privacy.

Metodologia

Gli autori presentano la prima valutazione empirica sistematica degli LLM come motori di brand intelligence. Lo studio valuta quattro modelli allo stato dell'arte (Gemini 2.5 Flash, Gemini 3.5 Flash, Claude Sonnet 4.5 e Claude Sonnet 4.6) su 36 dei brand più soggetti a phishing (che spaziano tra finanza, tecnologia, social media e infrastrutture).

La valutazione è strutturata attorno a tre compiti distinti:

1. Q1: Enumerazione dei Domini: L'LLM è in grado di enumerare 50 domini legittimamente posseduti da un brand partendo dalla propria memoria?
2. Q2: Attribuzione del Brand: Dato un dominio non visto prima (proprietà del brand o squatting), l'LLM può identificare il brand associato?
3. Q3: Verifica della Proprietà: L'LLM può determinare se un dominio specifico appartiene a un determinato brand (classificazione binaria)?

Configurazioni Sperimentali:
I modelli sono stati testati sotto quattro configurazioni di recupero:

• ICL (In-Context Learning): Nessun strumento esterno; si basa esclusivamente sui dati di addestramento.
• Search: Accesso a uno strumento di ricerca web DuckDuckGo.
• WHOIS: Accesso a uno strumento di ricerca WHOIS (che fornisce organizzazione del registrante, registrar e data di creazione).
• Search+WHOIS: Accesso combinato a entrambi gli strumenti.

Costruzione del Dataset:
La verità di base (ground truth) è stata stabilita tramite una pipeline in sei fasi che include scansioni WHOIS di Tranco, matching con Crunchbase, varianti di DNStwist, query di ricerca, scansioni dei TLD e log di Certificate Transparency (CT). Il dataset include fino a 50 domini di proprietà e 50 domini di squatting/non appartenenti al brand per ogni marchio.

Risultati Chiave

1. Enumerazione dei Domini (Q1)

• La Memoria è Forte: Gli LLM possiedono una conoscenza memorizzata significativa dei portafogli dei brand. Claude Sonnet 4.5 ha raggiunto la Precision@50 media più alta di 0,821 in modalità ICL.
• Limitazioni della Ricerca: La ricerca web non ha migliorato costantemente le prestazioni. Per Gemini 2.5 Flash, la ricerca ha causato un crollo catastrofico della precisione (a 0,047) a causa di timeout degli strumenti e conseguenti allucinazioni. Gemini 3.5 Flash è stato l'unico modello a beneficiare in modo affidabile della ricerca, migliorando leggermente il proprio punteggio ICL.

2. Attribuzione del Brand (Q2)

• Accuratezza Elevata: L'attribuzione è generalmente accurata, con Claude Sonnet 4.6 che raggiunge fino a 0,950 di accuratezza utilizzando WHOIS.
• Impatto degli Strumenti: WHOIS aiuta a confermare l'identità per i domini di proprietà, ma può confondere i modelli sui domini di squatting (dove il registratore è l'attaccante, non il brand). Claude Sonnet 4.5 ha mostrato il maggior miglioramento dal potenziamento del recupero (+0,307 punti), suggerendo che compensa la debole conoscenza memorizzata con l'accesso agli strumenti.

3. Verifica della Proprietà (Q3) – Il Compito Critico

• Fallimento di ICL: Senza strumenti esterni, i modelli non riescono a distinguere le registrazioni difensive dagli attacchi. In modalità ICL, i punteggi macro-F1 sono bassi (massimo 0,37) e il richiamo (recall) è estremamente scarso (8–26%). I modelli mostrano un forte bias verso la previsione di "no" (non di proprietà), portando a un tasso di falsi negativi del 74–92% per i domini di proprietà del brand (il che significa che il 74–92% dei domini legittimi verrebbe erroneamente passato a classificatori malevoli a valle).
• WHOIS è Decisivo: L'integrazione con la ricerca WHOIS ha trasformato le prestazioni. I punteggi macro-F1 sono aumentati di 0,47 - 0,65 punti in tutti i modelli.
  • Claude Sonnet 4.5 con Search+WHOIS ha raggiunto un macro-F1 di 0,870 con una precisione quasi perfetta (0,999) e un richiamo dell'80,3%.
  • Claude Sonnet 4.6 con Search+WHOIS ha raggiunto una precisione di 1,000 (zero falsi positivi sui domini di squatting) ma un richiamo inferiore (0,570), lasciando comunque il 43% dei domini di proprietà ancora classificato erroneamente.
• Solo Ricerca (Search Alone): La ricerca web da sola non ha aiutato la Q3 e spesso ha degradato le prestazioni fornendo meno contesto rispetto a ICL quando le query fallivano.

4. Efficienza dei Costi

• Gemini vs. Claude: Sebbene i modelli Claude abbiano generalmente raggiunto un'accuratezza grezza superiore, costano 40–200× di più per token rispetto ai modelli Gemini.
• Miglior Valore: Gemini 3.5 Flash con Search+WHOIS ha offerto il miglior rapporto prestazioni-prezzo, fornendo un macro-F1 di 0,847 e un'accuratezza Q2 di 0,933 a una frazione del costo di Claude.

Significato e Rivendicazioni

Il documento sostiene di fornire il primo studio empirico rigoroso sugli LLM per l'intera pipeline di brand intelligence. I suoi principali contributi sono:

1. Dimostrare la "Dicotomia Marcata": Gli LLM possiedono una forte conoscenza memorizzata per l'enumerazione e l'attribuzione, ma sono fondamentalmente inaffidabili per la verifica della proprietà senza strumenti esterni.
2. Identificare il Rischio di Falsi Positivi: Lo studio quantifica che affidarsi solo a ICL per la verifica della proprietà comporta tassi di falsi positivi inaccettabili (il 74–92% dei domini di proprietà verrebbe segnalato come minaccia).
3. Validare WHOIS come Strumento Critico: Gli autori concludono che l'integrazione con WHOIS è trasformativa ed è necessaria per ridurre i falsi positivi. È l'unico scenario che corregge il bias del modello verso il "non di proprietà".
4. Raccomandazioni Pratiche per la Pipeline: Gli autori propongono una pipeline in tre fasi per i professionisti:
   • Usare Claude Sonnet 4.5 (ICL) per costruire un inventario iniziale di domini.
   • Usare Claude Sonnet 4.6 o Gemini 3.5 Flash (con WHOIS) per l'attribuzione.
   • Usare modelli potenziati da WHOIS come gate obbligatorio prima di qualsiasi classificazione malevola per verificare la proprietà.

Il documento conclude che, sebbene gli LLM siano promettenti motori a configurazione zero, devono essere abbinati a ricerche WHOIS in tempo reale per essere affidabili per la protezione del brand. La ricerca web è considerata inaffidabile per questo compito specifico. Gli autori suggeriscono che il lavoro futuro dovrebbe esplorare il fine-tuning su compiti di brand intelligence e l'integrazione di feed di certificate-transparency in tempo reale per gestire i domini registrati dopo il cutoff di addestramento del modello.