Technische Samenvatting: Agentic en Generatieve AI voor Open-Source Intelligence en Cyberonderzoeken

1. Probleemstelling

De snelle proliferatie van publiekelijk beschikbare digitale informatie heeft de traditionele handmatige Open-Source Intelligence (OSINT) analyse ontoereikend gemaakt voor hedendaagse cybersecurity- en cyberonderzoeksvereisten. Hoewel Large Language Models (LLM's) en Agentic AI-systemen het potentieel bieden om meerstapsredenering, toolselectie en intelligentiesynthese te automatiseren, bestaat er een kritiek structureel onbalans in de literatuur: de demonstratie van capaciteiten heeft de evaluatie-infrastructuur substantieel ingehaald.

Het vakgebied kampt met drie primaire tekorten:

1. Evaluatiekloof: Systemen worden voorgesteld en beschreven, maar missen gestandaardiseerde benchmarks, reproduceerbare datasets en adversariële testcondities.
2. Hallucinatie-Validatiekloof: Hoewel hallucinatie breed wordt erkend als een primaire betrouwbaarheidscor concern in meer dan twintig studies, wordt het slechts in één OSINT-specifiek systeem empirisch gemeten (een percentage van 4% onder gunstige omstandigheden).
3. Workflow-onbalans: Onderzoek neigt zwaar naar de fasen van verzameling en analyse, terwijl verificatie, rapportage, disseminatie en besluitvormingsondersteuning systematisch onderbelicht blijven.

Verder is er een spanning tussen cloud-gebaseerde implementatie (die schaalbaarheid biedt maar operationele beveiligings- en GDPR-risico's met zich meebrengt) en on-premise implementatie (die datasoevereiniteit waarborgt maar de modelschaal kan beperken). Ook schiet benchmarkprestaties (bijv. meerkeuze kennisreproductie) vaak tekort in het voorspellen van operationele inzetbaarheid in complexe, open eind workflow's voor dreigingsinformatie.

2. Methodologie

Deze systematische literatuurreview volgt PRISMA-achtige principes om een corpus van 74 unieke studies te construeren en te analyseren, gepubliceerd tussen 2014 en 2026.

• Zoekstrategie: Het corpus werd samengesteld via deskundige curatie uit de ACM Digital Library, IEEE Xplore, arXiv, Google Scholar en institutionele repositories, geleid door een conceptuele zoekstring die OSINT, LLM's, agentic AI, RAG en gerelateerde domeinen omvat.
• Inclusiecriteria: Studies werden opgenomen als ze LLM's, generatieve AI of agentic systemen toepasten op OSINT, Cyber Threat Intelligence (CTI) of cyberonderzoek, of directe methodologische bijdragen leverden (bijv. prompt engineering, evaluatiekaders) die overdraagbaar zijn naar deze domeinen.
• Analytische Lagen: De 74 studies werden geclassificeerd in vier lagen:
  • Primair/Kern (37 studies): Directe toepassingen van AI op OSINT/CTI-taken.
  • Methodologische Ondersteuning (11 studies): Bijdragen aan prompting, fine-tuning of benchmarking.
  • Achtergrond/Context (22 studies): Fundamentele LLM-papers (bijv. scaling laws, chain-of-thought).
  • Uitgesloten/Perifeer (4 studies): Niet-OSINT of niet-AI relevante werken.
• Data-extractie: Een gestructureerde matrix met 21 velden werd toegepast op de 48 primaire en methodologische papers. Belangrijke velden waren onder meer de status van hallucinatiemeting, evaluatiemetrieken, gedekte workflow-fasen en adversariële robuustheid.
• Synthese: De review maakt gebruik van thematische en comparatieve synthese in plaats van kwantitatieve meta-analyse, waarbij de bevindingen worden georganiseerd in een taxonomie van 11 categorieën en tegen de OSINT-workflowcyclus worden afgezet.

3. Belangrijkste Bijdragen

Het artikel levert vier primaire bijdragen aan de literatuur:

1. 11-Categorie Taxonomie: Het organiseert de literatuur in een duidelijke taxonomie die Agentic AI (autonome toolselectie, meerstapsredenering) onderscheidt van eenvoudige LLM-prompting. De categorieën omvatten:
   • Fundamenten (LLM's, Transformers).
   • OSINT-workflows (Verzameling, Extractie).
   • Agentic Architecturen (ReAct, Tool Orchestration).
   • Kennisinfrastructuur (RAG, Knowledge Graphs).
   • Domeintoepassingen (CTI, Dark Web).
   • Risico's en Ethiek (Hallucinatie, Adversariële Aanvallen).
2. Identificatie van de Hallucinatie-Validatiekloof: De review stelt als corpusbrede bevinding vast dat hoewel hallucinatie in >20 studies wordt genoemd als een groot risico, slechts één studie [6] een empirisch, end-to-end hallucinatiepercentage (4%) biedt voor een OSINT-specifiek systeem. Alle andere foutmetingen zijn afgeleid van algemene QA of redeneerketens, niet van OSINT-specifieke pipelines.
3. Workflow Dekkingsanalyse: De review brengt het corpus in kaart tegen de OSINT-levenscyclus, wat een structurele onbalans onthult. Verzameling en Analyse zijn goed bediend, terwijl Verificatie, Rapportage, Disseminatie en Besluitvormingsondersteuning aanzienlijk onderbelicht zijn, wat een kloof creëert tussen technische capaciteit en operationele intelligentiebetrouwbaarheid.
4. Synthese van Adversariële Risico's: Het synthetiseert bewijs dat elke belangrijke agentic capaciteit een corresponderend adversarieel dual-use risico heeft (bijv. Knowledge Graph vergiftiging, adversariële CTI-generatie) dat gedocumenteerd is in de risicoliteratuur maar nooit wordt geadresseerd in het evaluatieontwerp van de systeempapers zelf.

4. Belangrijkste Resultaten en Bevindingen

A. Technische Capaciteiten versus Operationele Realiteit

• Verzameling & Extractie: LLM's vertonen hoge prestaties in binaire classificatie (F1 ~0,94 voor GPT-4 op CTI-data) en basisentiteitsextractie. Echter, de Named Entity Recognition (NER) voor cybersecurity-specifieke entiteiten (IP's, CVE's, malwarefamilies) ligt ongeveer 25% lager dan gespecialiseerde pre-trained modellen in zero-shot/few-shot settings.
• Agentic Systemen: Systemen die het ReAct (Reason + Act) paradigma gebruiken, kunnen autonoom tools (Shodan, Maltego, VirusTotal) orkestreren en Knowledge Graphs (Neo4j) en Dark Web (Tor) bronnen integreren. Deze systemen worden echter uitsluitend onder beneagene condities geëvalueerd, uitgaande van de veronderstelling dat de inputdata authentiek is.
• Hallucinatie: De enige empirische meting van hallucinatie in een OSINT-systeem is 4% (in een RAG-geaugmenteerde architectuur met een private, gecureerde dataset). Dit cijfer vertegenwoordigt een empirische bodem onder gunstige omstandigheden, geen overdraagbare benchmark.
• Evaluatie Discrepantie: Er bestaat een scherp contrast tussen benchmarkprestaties en operationele prestaties. CyberMetric [17] laat zien dat GPT-4o een nauwkeurigheid van 91,25% bereikt op meerkeuzevragen over cybersecurity (waarmee het menselijke experts overtreft), terwijl CyberThreat-Eval [3], met een realistische driefasige analistenworkflow (triage, diepe zoektocht, rapportontwerp), vindt dat geen enkele LLM een voor de analist acceptabele prestatie behaalt op complexe dreigingsattributie of rapportkwaliteit.

B. Risico's en Kwetsbaarheden

• Adversariële CTI: Het finetunen van een bescheiden GPT-2 model op OSINT-brongegevens kan valse dreigingsinformatie genereren die door professionele threat hunters als authentiek wordt beoordeeld met percentages die vergelijkbaar zijn met authentieke CTI.
• Knowledge Graph Vergiftiging: Adversariële content die via standaard NER-pipelines wordt opgenomen, kan Knowledge Graphs corrumperen, waardoor grondingsmechanismen (RAG) veranderen in amplificatiemechanismen voor fouten.
• Privacy & Juridisch: Cloud-gebaseerde API-implementatie vormt GDPR-risico's voor persoonsgegevens. Geautomatiseerde Dark Web-verzameling mist juridische kaders voor keten van bewijsvoering (chain-of-custody) en toelaatbaarheid.
• Menselijk Toezicht: Analisten met veel CTI-ervaring hebben vaak weinig LLM-kennis (mediaan 2/5), en huidige mechanismen voor menselijk toezicht zijn niet empirisch gevalideerd om adversariële content of hallucinaties effectief te detecteren.

C. Implementatie Architectuur

De review vindt geen gestandaardiseerde, open benchmark voor vergelijking tussen studies. Bijgevolg is de meest verdedigbare nabije implementatiearchitectuur een gestructureerd mens-AI co-pilootmodel. In dit model:

• Ondersteunen LLM's de verzameling, triage en voorlopige analyse.
• Behouden menselijke analisten de verantwoordelijkheid voor verificatie, rapportage en uiteindelijke besluitvormingsondersteuning.
• Deze architectuur is noodzakelijk gezien het gebrek aan gevalideerde betrouwbaarheid, herkomsttracking en adversariële robuustheid in huidige autonome systemen.

5. Betekenis en Claims

Het artikel claimt dat de betekenis ervan ligt in de verschuiving van de focus in het veld van capaciteitsdemonstratie naar gevalideerde betrouwbaarheid. Het stelt dat de huidige literatuur wordt gekenmerkt door een "structurele onbalans" waarbij architecturale ambitie de methodologische infrastructuur die nodig is voor verantwoorde operationele inzetgeving overtreft.

De review is niet tegen het gebruik van LLM's in OSINT, maar stelt dat capaciteit zonder gevalideerde betrouwbaarheid, herkomsttracking, ethische waarborgen en gestructureerd menselijk toezicht onvoldoende is. Het identificeert de hallucinatie-validatiekloof als het centrale falen van de evaluatiecultuur in het vakgebied.

Op basis van het bewijs stelt de auteur een tienpunten onderzoekagenda voor om deze hiaten aan te pakken, inclusief:

1. Gestandaardiseerde protocollen voor hallucinatiemeting.
2. Open, door de gemeenschap geadopteerde OSINT-AI benchmark suites.
3. Evaluatie van API-betrouwbaarheid en orchestratiebeveiliging onder operationele condities.
4. Ontwikkeling van meertalige, multi-platform datasets.
5. Juridisch toelaatbare Dark Web verzamelmethodologieën.
6. Verantwoorde openbaarmakingsnormen voor offensief/defensief AI-onderzoek.
7. Gestructureerde LLM-geletterdheidstraining voor professionals.
8. Empirische evaluatie van de effectiviteit van menselijk toezicht.
9. Verplichte open datasets en code-repositories.
10. Uitgebreide juridische en bestuurlijke kaders.

Het artikel concludeert dat Agentic en Generatieve AI voor OSINT een aanwezige capaciteit is die verantwoord moet worden gevalideerd, en dat de weg vooruit een verschuiving vereist van technische demonstratie naar operationele betrouwbaarheid door middel van rigoureuze, adversariële en reproduceerbare evaluatie.