Sintesi Tecnica: IA Agente e Generativa per l'Open-Source Intelligence e le Indagini Cyber

1. Definizione del Problema

La rapida proliferazione di informazioni digitali pubblicamente disponibili ha reso l'analisi manuale tradizionale dell'Open-Source Intelligence (OSINT) insufficiente per i contemporanei requisiti di cybersecurity e di investigazione cyber. Sebbene i Large Language Models (LLM) e i sistemi di IA Agente offrano il potenziale per automatizzare il ragionamento multi-step, la selezione degli strumenti e la sintesi dell'intelligence, esiste uno squilibrio strutturale critico nella letteratura: le dimostrazioni di capacità hanno superato sostanzialmente le infrastrutture di valutazione.

Il settore soffre di tre deficit primari:

1. Gap di Valutazione: I sistemi vengono proposti e descritti, ma mancano di benchmark standardizzati, dataset riproducibili e condizioni di test avversarie.
2. Gap Allucinazione-Validazione: Sebbene l'allucinazione sia ampiamente riconosciuta come una primaria preoccupazione di affidabilità in oltre venti studi, essa è misurata empiricamente in un solo sistema specifico per l'OSINT (un tasso del 4% in condizioni favorevoli).
3. Squilibrio del Workflow: La ricerca favorisce pesantemente le fasi di raccolta e analisi, mentre la verifica, la reportistica, la disseminazione e il supporto alle decisioni rimangono sistematicamente sottoesplorati.

Inoltre, esiste una tensione tra l'implementazione basata su cloud (che offre scalabilità ma introduce rischi di sicurezza operativa e GDPR) e l'implementazione on-premise (che garantisce la sovranità dei dati ma può limitare la scala del modello). Allo stesso modo, le prestazioni nei benchmark (ad esempio, il richiamo della conoscenza a scelta multipla) spesso non riescono a predire la prontezza operativa in flussi di lavoro complessi e aperti di threat intelligence.

2. Metodologia

Questa revisione sistematica della letteratura segue i principi dello stile PRISMA per costruire e analizzare un corpus di 74 studi unici pubblicati tra il 2014 e il 2026.

• Strategia di Ricerca: Il corpus è stato assemblato tramite curatela esperta attraverso ACM Digital Library, IEEE Xplore, arXiv, Google Scholar e repository istituzionali, guidata da una stringa di ricerca concettuale che copre OSINT, LLM, IA agente, RAG e domini correlati.
• Criteri di Inclusione: Gli studi sono stati inclusi se applicavano LLM, IA generativa o sistemi agenti all'OSINT, alla Cyber Threat Intelligence (CTI) o alle investigazioni cyber, o se fornivano contributi metodologici diretti (ad esempio, prompt engineering, framework di valutazione) trasferibili a questi domini.
• Tier Analitici: I 74 studi sono stati classificati in quattro tier:
  • Primari/Core (37 studi): Applicazioni dirette dell'IA a task OSINT/CTI.
  • Supporto Metodologico (11 studi): Contributi a prompting, fine-tuning o benchmarking.
  • Contesto/Background (22 studi): Paper fondamentali sugli LLM (ad esempio, leggi di scala, chain-of-thought).
  • Esclusi/Periferici (4 studi): Opere non rilevanti per OSINT o IA.
• Estrazione dei Dati: È stata applicata una matrice di evidenza strutturata a 21 campi ai 48 paper primari e metodologici. I campi chiave includevano lo stato di misurazione dell'allucinazione, le metriche di valutazione, le fasi del workflow coperte e la robustezza avversaria.
• Sintesi: La revisione impiega una sintesi tematica e comparativa piuttosto che una meta-analisi quantitativa, organizzando i risultati in una tassonomia di 11 categorie e mappandoli contro il ciclo di vita del workflow OSINT.

3. Contributi Chiave

Il documento apporta quattro contributi primari alla letteratura:

1. Tassonomia a 11 Categorie: Organizza la letteratura in una distinta tassonomia che separa l'IA Agente (selezione autonoma degli strumenti, ragionamento multi-step) dal semplice prompting di LLM. Le categorie spaziano:
   • Fondamenta (LLM, Transformer).
   • Workflow OSINT (Raccolta, Estrazione).
   • Architetture Agenti (ReAct, Orchestrazione degli Strumenti).
   • Infrastruttura della Conoscenza (RAG, Knowledge Graph).
   • Applicazioni di Dominio (CTI, Dark Web).
   • Rischi ed Etica (Allucinazione, Attacchi Avversari).
2. Identificazione del Gap Allucinazione-Validazione: La revisione stabilisce come reperto a livello di corpus che, sebbene l'allucinazione sia citata come un rischio maggiore in >20 studi, solo uno studio [6] fornisce un tasso di allucinazione empirico end-to-end (4%) per un sistema specifico dell'OSINT. Tutte le altre misurazioni dell'errore sono derivate da QA di dominio generale o catene di ragionamento, non da pipeline specifiche dell'OSINT.
3. Analisi della Copertura del Workflow: La revisione mappa il corpus rispetto al ciclo di vita OSINT, rivelando uno squilibrio strutturale. Raccolta e Analisi sono ben servite, mentre Verifica, Reportistica, Disseminazione e Supporto alle Decisioni sono significativamente sottoesplorate, creando un divario tra capacità tecnica e affidabilità dell'intelligence operativa.
4. Sintesi del Rischio Avversario: Sintetizza le evidenze che mostrano come ogni grande capacità agente abbia un corrispondente rischio di doppio uso avversario (ad esempio, avvelenamento di Knowledge Graph, generazione di CTI avversaria) che è documentato nella letteratura sui rischi ma mai affrontato nel design di valutazione dei paper di sistema stessi.

4. Risultati Chiave e Reperti

A. Capacità Tecniche vs. Realtà Operativa

• Raccolta ed Estrazione: Gli LLM dimostrano alte prestazioni nella classificazione binaria (F1 ~0.94 per GPT-4 su dati CTI) e nell'estrazione di entità di base. Tuttavia, il Named Entity Recognition (NER) per entità specifiche della cybersecurity (IP, CVE, famiglie di malware) cade circa del 25% al di sotto dei modelli specializzati pre-addestrati in contesti zero-shot/few-shot.
• Sistemi Agenti: I sistemi che utilizzano il paradigma ReAct (Reason + Act) possono orchestrare autonomamente strumenti (Shodan, Maltego, VirusTotal) e integrare fonti di Knowledge Graph (Neo4j) e del Dark Web (Tor). Tuttavia, questi sistemi sono valutati esclusivamente in condizioni benigne, assumendo che i dati in input siano genuini.
• Allucinazione: L'unica misurazione empirica dell'allucinazione in un sistema OSINT è del 4% (in un'architettura aumentata da RAG utilizzando un dataset privato e curato). Questa cifra rappresenta un pavimento empirico in condizioni favorevoli, non un benchmark trasferibile.
• Discrepanza di Valutazione: Esiste un netto contrasto tra performance nei benchmark e performance operative. CyberMetric [17] mostra che GPT-4o raggiunge un'accuratezza del 91.25% sulle domande a scelta multipla di cybersecurity (superando gli esperti umani), mentre CyberThreat-Eval [3], utilizzando un workflow realistico per analisti in tre fasi (triage, ricerca profonda, stesura report), trova che nessun LLM raggiunge una prestazione accettabile per un analista su complessa attribuzione di minacce o qualità del report.

B. Rischi e Vulnerabilità

• CTI Avversaria: Il fine-tuning di un modesto modello GPT-2 su dati sorgenti da OSINT può generare falsa intelligence sulle minacce che i professionisti della threat hunting giudicano come genuina a tassi comparabili alla CTI autentica.
• Avvelenamento di Knowledge Graph: Il contenuto avversario ingerito tramite pipeline NER standard può corrompere i Knowledge Graph, trasformando i meccanismi di grounding (RAG) in meccanismi di amplificazione dell'errore.
• Privacy e Legge: L'implementazione tramite API basata su cloud pone rischi GDPR per i dati personali. La raccolta automatizzata dal Dark Web manca di framework legali per la catena di custodia e l'ammissibilità.
• Supervisione Umana: Gli analisti con alta esperienza CTI hanno spesso una bassa familiarità con gli LLM (mediana 2/5), e gli attuali meccanismi di supervisione umana non sono empiricamente validati per rilevare efficacemente contenuti avversari o allucinazioni.

C. Architettura di Implementazione

La revisione non trova alcun benchmark aperto e standardizzato per il confronto tra studi. Di conseguenza, l'architettura di implementazione più difendibile nel breve termine è un modello di co-pilota uomo-IA strutturato. In questo modello:

• Gli LLM supportano la raccolta, il triage e l'analisi preliminare.
• Gli analisti umani mantengono la responsabilità della verifica, della reportistica e del supporto finale alle decisioni.
• Questa architettura è necessaria data la mancanza di affidabilità validata, tracciabilità della provenienza e robustezza avversaria nei sistemi autonomi attuali.

5. Significato e Rivendicazioni

Il documento rivendica la sua importanza nel spostare il focus del campo dalla dimostrazione di capacità alla affidabilità validata. Sostiene che l'attuale letteratura è caratterizzata da uno "squilibrio strutturale" dove l'ambizione architettonica supera l'infrastruttura metodologica necessaria per un dispiegamento operativo responsabile.

La revisione non argomenta contro l'uso degli LLM nell'OSINT, ma afferma che la capacità senza affidabilità validata, tracciabilità della provenienza, salvaguardie etiche e supervisione umana strutturata è insufficiente. Identifica il gap allucinazione-validazione come il fallimento centrale della cultura di valutazione del settore.

Sulla base delle evidenze, gli autori propongono un agenda di ricerca in dieci punti per affrontare questi gap, che include:

1. Protocolli standardizzati di misurazione dell'allucinazione.
2. Suite di benchmark OSNT-AI aperte e adottate dalla comunità.
3. Valutazione dell'affidabilità delle API e della sicurezza dell'orchestrazione in condizioni operative.
4. Sviluppo di dataset multilingue e multi-piattaforma.
5. Metodologie di raccolta dal Dark Web legalmente ammissibili.
6. Norme di disclosure responsabile per la ricerca sull'IA offensiva/difensiva.
7. Formazione strutturata sulla alfabetizzazione agli LLM per i professionisti.
8. Valutazione empirica dell'efficacia della supervisione umana.
9. Dataset e repository di codice obbligatoriamente aperti.
10. Framework legali e di governance completi.

Il documento conclude che l'IA Agente e Generativa per l'OSINT è una capacità presente in attesa di essere responsabilmente validata, e la strada da seguire richiede un passaggio dalla dimostrazione tecnica alla fiducia operativa attraverso una valutazione rigorosa, avversaria e riproducibile.