Riepilogo Tecnico: HackerSignal

Enunciato del Problema

La cybersecurity applicata moderna affronta una sfida centrale nella comprensione di come le minacce informatiche emergano, si propaghino e si relazionino alle vulnerabilità. I segnali che tracciano questa traiettoria sono distribuiti attraverso fonti testuali eterogenee, inclusi forum di hacker, database pubblici di exploit, avvisi ufficiali sulle vulnerabilità (ad es. NVD, CISA KEV) e commit di correzione open-source. I dataset pubblici esistenti in questo dominio tipicamente coprono solo un singolo livello o un sottoinsieme di queste fonti e sono spesso proprietari. Inoltre, dataset strutturati che collegano il discorso della comunità hacker ai registri formali delle vulnerabilità sono largamente assenti dalla letteratura pubblica. I benchmark attuali spesso mancano di rigore temporale, non riescono a valutare come i modelli si generalizzino a minacce che non esistevano al momento dell'addestramento e soffrono frequentemente di problemi di perdita di dati che gonfiano le affermazioni sulle prestazioni.

Metodologia

Gli autori introducono HackerSignal, un corpus e un benchmark su larga scala, strutturatamente temporali e multi-sorgente, progettati per collegare il discorso della comunità hacker all'intero ciclo di vita delle vulnerabilità CVE.

Costruzione del Dataset

• Scala e Ambito: Il dataset aggrega 7,45 milioni di documenti esatti deduplicati da 64 identificatori pubblici di forum e sorgenti che coprono una gerarchia di sorgenti a 8 livelli e una finestra temporale di 36 anni (1990–2026).
• Livelli di Sorgente: Il corpus integra:
  1. Comunità hacker e di sicurezza (6,97M righe, inclusi marketplace darkweb e board di sicurezza).
  2. Riferimenti alle vulnerabilità (NVD).
  3. Archivi di exploit (ad es. ExploitDB).
  4. Riferimenti a Q&A sugli exploit.
  5. Riferimenti agli avvisi.
  6. Divulgazioni di bug-bounty.
  7. Riferimenti ai commit di correzione.
  8. Riferimenti allo sfruttamento (CISA KEV).
• Unificazione: Tutte le sorgenti sono normalizzate in uno schema JSONL comune unificato da un namespace condiviso di identificatori CVE. Un indice CVE separato mappa i record ai riferimenti tramite chiavi esterne, abilitando join tra sorgenti.
• Preprocessing: La raccolta dei dati ha coinvolto API ufficiali, l'ingestione di dataset pubblici esistenti e web scraping etico. Le fasi di elaborazione hanno incluso normalizzazione Unicode, rimozione HTML, sostituzione URL, collasso degli spazi bianchi e filtraggio per contenuti non in inglese e post brevi (<20 caratteri). È stata applicata una deduplicazione esatta (SHA-256) e una deduplicazione quasi-esatta (MinHash-LSH).
• Divisioni Temporali: Per garantire una generalizzazione prospettica, i dati sono divisi temporalmente:
  • Task 1 & 3: Addestramento (<2022), Validazione (2022–2023), Test (2024+).
  • Task 2: Addestramento (<2020), Validazione (2020–2022), Test (≥2023).

Task del Benchmark

Il documento definisce tre task di benchmark per valutare la generalizzazione temporale fuori distribuzione (OOD):

1. Recupero di Collegamento CVE (CVE-R): Un task di grounding di entità cross-sorgente in cui il modello recupera la descrizione CVE corretta dal corpus NVD (340K voci) dato un query testuale di exploit/avviso.
   • Baseline: BM25, bi-codificatori densi (MiniLM, mpnet, BGE, E5) e un approccio ibrido sparso+densa.
2. Classificazione del Tipo di Exploit (ETC): Un task di classificazione a 8 classi che prevede i tipi di vulnerabilità (ad es. Injection, XSS, Corruzione di Memoria, RCE) dal testo dell'exploit.
   • Baseline: Classificatori bag-of-words (Decision Tree, TF-IDF+LR, SVM), RNN (RNN, GRU, LSTM, BiLSTM) e un transformer specifico per il dominio (SecBERT).
3. Generalizzazione Temporale (TG): Un task di recupero rigoroso identico al Task 1 ma con un vincolo di disgiunzione CVE ($C_{train} \cap C_{test} = \emptyset$). I modelli devono generalizzare a descrizioni di vulnerabilità completamente inedite, prevenendo la memorizzazione di voci CVE specifiche.

Protocolli di Valutazione

• Audit di Perdita di Dati: Gli autori auditano esplicitamente per perdite temporali e di sorgente, verificando la disgiunzione CVE programmaticamente.
• Scala di Baseline: Seguendo le metodologie BEIR e WILDS, la valutazione impiega una scala eterogenea di modelli che va da quelli lessicali (BM25) ad architetture dense e ibride.
• Metriche: I task di recupero utilizzano Recall@k e Mean Reciprocal Rank (MRR); la classificazione utilizza Macro-F1 e F1 per classe.

Risultati Chiave

• Recupero di Collegamento CVE (Task 1): Il modello E5-base-v2 ha raggiunto le prestazioni più alte con un MRR di 0,587, superando l'approccio ibrido BM25+mpnet (0,567) e altri bi-codificatori simmetrici. Ciò suggerisce che l'addestramento con prefissi asimmetrici query/passage è particolarmente efficace per il grounding cross-sorgente delle CVE.
• Classificazione del Tipo di Exploit (Task 2): Il modello BiLSTM ha ottenuto il miglior Macro-F1 di 0,871, superando la migliore baseline bag-of-words (SVM a 0,799) e il SecBERT specifico per il dominio (0,846). Ciò indica che il contesto bidirezionale è cruciale per il testo degli exploit, mentre il pre-addestramento specifico per il dominio ha offerto benefici solo modesti rispetto alle architetture standard.
• Generalizzazione Temporale (Task 3): In condizioni rigorose di disgiunzione CVE, E5-base-v2 ha nuovamente guidato con un MRR di 0,602. I modelli hanno generalmente mantenuto o migliorato le prestazioni rispetto al Task 1, confermando che le divisioni temporali hanno efficacemente prevenuto una memorizzazione significativa dei dati di addestramento.

Contributi Chiave

1. Un Corpus CTI Basato sul Tempo: Un dataset di 7,45M documenti che copre otto livelli di sorgente con metadati di collegamento CVE, supportando diversi task NLP oltre ai tre benchmark (ad es. riassunto di codice exploit, modellazione di argomenti).
2. Tre Task di Benchmark: Una suite di task con divisioni temporali di addestramento/validazione/test progettate per testare una generalizzazione progressivamente più difficile, inclusi recupero cross-sorgente, classificazione a 8 classi e valutazione prospettica di disgiunzione CVE.
3. Artifatti di Governance e Trasparenza: Una scala completa di modelli, diagnosi di scorciatoie di sorgente, pacchetti di audit manuale, un datasheet e un addendum di governance del rilascio per garantire l'integrità e prevenire la perdita di dati.

Significato e Affermazioni

Il documento posiziona HackerSignal come una risorsa fondamentale per l'intelligence sulle minacce informatiche (CTI) temporale fuori distribuzione. Il suo significato primario risiede in:

• Colmare il Divario: È tra i primi benchmark pubblici a mappare l'intera traiettoria dal discorso della comunità hacker ai registri formali delle vulnerabilità e alle correzioni software.
• Valutazione Rigorosa: Imponendo divisioni temporali e vincoli di disgiunzione CVE, affronta il problema comune di affermazioni sui benchmark gonfiate causate da perdita di dati e valutazioni non prospettiche.
• Focus sulla Ricerca Difensiva: Il dataset è curato esplicitamente per la ricerca difensiva, con regole di governance che vietano il fine-tuning di modelli automatizzati di exploit o la de-anonimizzazione degli utenti.

Gli autori riconoscono le limitazioni, notando che i collegamenti CVE sono derivati dai metadati e non giurisdicati da esperti (introducendo rumore), che il recupero cross-linguale non è stato valutato e che i reranker di grandi modelli linguistici non sono stati inclusi a causa dei costi computazionali. Tuttavia, il rilascio del codice, dei dati e dei metadati Croissant mira a supportare future estensioni nel riassunto di codice exploit, nell'analisi delle interazioni della comunità e nell'estrazione di CTI cross-linguale.