💻 computer science

Open Security Benchmark: Towards Autonomous Enterprise Cyber Defense

Dit artikel introduceert de Open Security Benchmark (OSB), een nieuw framework ontworpen om vertrouwen te evalueren en op te bouwen in autonome AI-agenten voor enterprise cyberdefensie door een bevroren, holistische en querybare beveiligingsomgeving te bieden met grondwaarheid-antwoorden om de kritieke kloof in publieke, cross-vendor evaluatiegegevens te overbruggen.

Oorspronkelijke auteurs: Gal Engelberg, Michael Arenzon, Leon Goldberg

Gepubliceerd 2026-07-31

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Gal Engelberg, Michael Arenzon, Leon Goldberg

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je een wereld voor waarin computers niet alleen bevelen opvolgen, maar optreden als junior detectives die beveiligingslekken opsporen in enorme, rommelige kantoorgebouwen voordat de boeven kunnen inbreken. Dit is de droom van "autonome cyberverdediging", waarbij AI-agenten constant de digitale staat van een organisatie scannen — controleren wie de sleutels van de serverruimte heeft, welke software verouderd is en of er iemand rondsluipt. Maar hier is het addertje onder het gras: om een detective te kunnen vertrouwen, moet je weten of ze daadwerkelijk de zaak oplossen of gewoon gokken. Op dit moment is er een groot probleem: echte bedrijfsgegevens zijn geheim, waardoor onderzoekers deze AI-detectives niet kunnen testen op dezelfde rommelige, real-world scenario's. Het is alsof je probeert een piloot te leren vliegen door hem alleen maar foto's van wolken te laten zien, zonder hem ooit de controles in een echte storm te laten aanraken. Zonder een gedeelde, eerlijke testomgeving weten we niet of deze AI-agenten klaar zijn om ons te redden of dat ze gewoon dingen verzinnen.

Dit artikel introduceert een oplossing genaamd de Open Security Benchmark (OSB), wat in essentie een gigantische, bevroren, neppe "digitale stad" is, gebouwd specifiek om deze AI-detectives te testen. Denk aan een massief, onveranderlijk videogame-niveau dat er precies zo uitziet en aanvoelt als een echte onderneming, compleet met nepmedewerkers, nep-cloudservers en nepwachtwoorden. De auteurs hebben deze "stad" gecreëerd om de kloof tussen theorie en realiteit te dichten. Ze hebben een framework gebouwd waarbij AI-agenten een mysterie krijgen opgelost — zoals: "Vind alle werknemers die vorige maand zijn ontslagen, maar nog steeds toegang hebben tot de geheime bestanden van het bedrijf" — en de agenten moeten het antwoord vinden met behulp van twee verschillende methoden: ofwel door een query te schrijven in een speciale taal (SQL) om een enorme database te doorzoeken, ofwel door zich voor te doen als een menselijke operator die door echte tools van leveranciers zoals AWS of Google Workspace klikt.

Het artikel zegt niet alleen: "kijk, we hebben een spelletje gemaakt." Het legt een rigoureus framework uiteen om deze agenten te testen door de omgeving te bevriezen, zodat elke keer dat een agent draait, de "ground truth" (het juiste antwoord) exact hetzelfde blijft. Dit stelt onderzoekers in staat om de AI niet alleen te beoordelen op basis van of het het juiste antwoord kreeg, maar ook op hoe het daar kwam. Stelde het de juiste vragen? Legde het de verbanden tussen verschillende systemen? De studie implementeert dit framework met synthetische, nepbedrijven, waardoor testen mogelijk is over verschillende groottes van bedrijven (van kleine teams van 75 mensen tot grote organisaties met 2.000 werknemers). Het framework is ontworpen om te onthullen of AI-agenten de complexiteit van real-world taken aankunnen, zoals het verbinden van een personeelsadministratie aan een cloudaccount bij verschillende leveranciers, een vaardigheid die berucht moeilijk is voor tools van één enkele leverancier.

Cruciaal is dat het artikel stelt dat we een AI-agent niet kunnen vertrouwen enkel omdat deze een zelfverzekerd klinkend antwoord geeft. De auteurs sluiten expliciet de mogelijkheid uit dat we deze agenten in isolatie of op kleine, schone datasets kunnen evalueren; ze benadrukken dat de omgeving "bevroren" en cross-vendor moet zijn om eerlijk te zijn. Ze beweren niet dat AI de cyberverdediging al heeft opgelost. In plaats daarvan suggereren ze dat deze benchmark een noodzakelijk hulpmiddel is om vooruitgang te meten, waardoor de vage vraag "Is deze AI veilig?" wordt omgezet in een concreet scorebord. Door een gedeeld, reproduceerbaar doel te bieden, beoogt OSB het veld te verplaatsen van gissen naar meten, zodat we precies weten hoe ze zullen presteren wanneer we de AI-agenten uiteindelijk het stuur in onze echte digitale steden laten overnemen.

Technische Samenvatting: Open Security Benchmark (OSB)

Probleemstelling: De Kloof in Omgevingsdata

Het artikel identificeert een kritieke flessenhals in de ontwikkeling van autonome enterprise cyberverdediging: het gebrek aan een gedeelde, doorvraagbare en reproduceerbare omgeving voor het evalueren van agentic AI. Terwijl ondernemingen bewegen naar agents die in staat zijn om de beveiligingsstatus waar te nemen, te redeneren en erop te handelen, lijdt het veld aan een "omgevingsdata-kloof". Echte enterprise-omgevingen zijn privaat, beslaan meerdere leveranciers en bevatten diep gecorreleerde data die niet publiekelijk beschikbaar is. Bijgevolg is er geen gedeeld substraat om defensieve posture-onderzoekende agents end-to-end te evalueren met "gold" antwoorden. Bestaande benchmarks richten zich op smalle segmenten (bijv. offensieve beveiliging, specifieke kwetsbaarheidsdetectie) of missen het cross-vendor, holistische overzicht dat vereist is voor Security Posture Management (SPM). Praktijkbeoefenaars kunnen agents niet vergelijken op basis van het werkelijke werk waarvoor ze worden ingezet, en onderzoekers missen een stabiel doelwit voor systematische evaluatie.

Methodologie

Het Open Security Benchmark (OSB) framework pakt deze kloof aan door gecureerde, synthetische enterprise-omgevingen te presenteren als een bevroren, onveranderlijk snapshot van de beveiligingsstatus van een organisatie. De methodologie is gebouwd op vijf kerncomponenten:

1. De Datalaag en Omgeving

OSB maakt gebruik van synthetische-organisatie datasets die volledig fictief zijn (geen echte personen of credentials), maar gesynthetiseerd uit echte productdatamodellen en productie-gedragspatronen (bijv. identity lifecycles, privilege structuren, veelvoorkomende misconfiguraties).

Scope: De initiële release dekt acht leveranciers-stijl bronnen (AWS, Azure AD, GCP, GitHub, Google Workspace, HRIS, MongoDB Atlas, Okta) bestaande uit 44 relationele tabellen.
Schaal: Omgevingen worden gegenereerd op drie schalen (Small: ~75 werknemers; Mid: ~400; Large: ~2.000) om generalisatie en robuustheid te testen.
Vertrouwensgrens: Er bestaat een strikte scheiding tussen wat de agent observeert (schema en data) en wat de evaluator observeert (gold referentie, seed data).

2. Onderzoeksmethodieken (Investigation Modalities)

OSB evalueert agents over twee verschillende modaliteiten met gebruik van dezelfde onderliggende omgeving en grondwaarheid:

Text-to-SQL (Relationeel): Agents interageren met een read-only relationele snapshot. De taak wordt geformuleerd als een paar $(D, q)$ , waarbij $D$ de database is en $q$ een natuurlijke taal beveiligingsvraag. De agent moet relevante tabellen ontdekken, SQL-queries samenstellen en een antwoord synthetiseren. Deze modaliteit standaardiseert de evaluatie van cross-vendor correlatie (bijv. het koppelen van HR-data aan cloud-toegang) zonder vooraf gedefinieerde foreign keys, waardoor de agent gedwongen wordt om paden voor identiteitsresolutie af te leiden.
Native Vendor API's: Dezelfde omgeving-snapshot wordt gecompileerd naar een uitvoerbare wereld die wordt bediend via echte vendor API's (bijv. AWS CLI, HTTP-calls naar IdP's). Agents interageren met behulp van echte vendor-tools en documentatie. Het geregistreerde request-trace dient als bewijs voor de scoring, ter vervanging van de SQL-query trace.

3. Taak- en Evaluatiesets

Taken zijn beveiligingsvragen die een gestructureerd antwoord vereisen (een oordeel, een set overeenkomende onderwerpen, of configuratiefeiten).

Verpakking: Het framework wordt geleverd met twee initiële packs afgeleid van Sola Security benchmarks: ISPM Visibility (single-platform inventarisatie en hygiëne) en ISPM Cross-Vendor (federated correlatie over grenzen heen).
Grondwaarheid (Ground Truth): Antwoorden zijn "closed-form" en onafhankelijk van het plan. Scoring is gebaseerd op de denotatie (het antwoord) in plaats van de logische vorm (de specifieke query of API-sequentie), wat semantische equivalentie mogelijk maakt.

4. Scoringlaag

Evaluatie is multidimensionaal en vermijdt het samenvoegen van resultaten tot één enkele geaggregeerde score. Het hanteert een vierfasige pijplijn:

Executie: Voer de agent uit tegen de taak.
Bewijsverzameling: Verzamel de reasoning trace en de query/API traces.
Rubric-Locked LLM Judges: Een panel van twee judges van verschillende providers scoort criteria zoals Answer Correctness, Reasoning Utility, en SQL Semantic Appropriateness op een schaal van 0–1.
Deterministische Structurele Checks: Metrieken zoals Tables/Joins Recall en Precision verifiëren of de agent de juiste datastructuren heeft geraadpleegd.

Metrieken: Scores worden gerapporteerd met bootstrap 95% betrouwbaarheidsintervallen en inter-judge overeenkomst (Cohen's $\kappa$ ) om de ruis van de scorers bloot te leggen.

5. De Harness en Bring-Your-Own (BYO) Pad

Harness: Een minimale, auditeerbare executie-substraat die agents beperkt tot get-schema en run-query (of API-equivalenten). Elke actie wordt vastgelegd in een bewijsarchief, wat reproduceerbaarheid garandeert.
BYO Pad: Onderzoekers kunnen publieke packs draaien voor vergelijking, terwijl praktijkbeoefenaars hun eigen private tenant-data en succesdefinities kunnen aanleveren. Private evaluaties draaien op zelf-gehoste of open-weights judges binnen de grenzen van de tenant, zodat vertrouwelijke data de organisatie nooit verlaat.

Belangrijkste Bijdragen

Het artikel presenteert drie primaire bijdragen:

Het OSB Framework: Een gestandaardiseerd substraat voor het evalueren van agentic AI op beveiligingsposture-taken, voorzien van een datalaag, taak/evaluatie-setlaag, multidimensionale scoring, een auditeerbare harness en een BYO-pad.
Gecureerde Datacatalogus: Een collectie synthetische-organisatie datasets die de omgevingsdata-kloof dichten, door een gedeeld, cross-vendor, doorvraagbaar doelwit met "gold" posture antwoorden te bieden.
Initiële Use-Case Packs: Twee identity-security packs (Visibility en Cross-Vendor) die het framework end-to-end instantiëren, waarmee een pad wordt gecreëerd voor community-authored packs binnen andere posture subdomeinen (bijv. cloud configuratie, kwetsbaarheidsstatus).

Resultaten en Claims

Het artikel presenteert geen experimentele resultaten die specifieke AI-modellen vergelijken (bijv. "Model X scoorde 85%"). In plaats daarvan claimt het de significantie van het framework zelf:

Het overbruggen van de kloof: OSB biedt de eerste gedeelde, defensief georiënteerde, cross-vendor relationele omgeving gekoppeld aan gold antwoorden en reproduceerbare scoring.
Vertrouwen via Meting: Door antwoorden te verankeren aan een closed-form grondwaarheid in een bevroren omgeving, verschuift OSB de vraag over agent-vertrouwen van subjectief oordeel naar objectieve meting.
Schaalbaarheid en Uitbreidbaarheid: Het framework is ontworpen om verder te gaan dan identity naar andere posture subdomeinen en defensieve fasen (risicoprioritering, remediatie, verificatie).
Trainingspotentieel: De bewijsarchieven die tijdens de evaluatie worden gegenereerd, zijn gestructureerd om te dienen als input voor offline reinforcement learning en imitation learning, wat potentieel agents in staat stelt te verbeteren via "bootstrapped self-improvement" met behulp van de eigen geverifieerde traces van de benchmark.

Significantie

De auteurs positioneren OSB niet louter als een scoreboard, maar als een motor voor het bevorderen van autonome cyberverdediging. Door een stabiel, reproduceerbaar en privacy-veilig substraat te bieden, stelt OSB de community in staat om packs te schrijven, agents te vergelijken op het werkelijke werk dat ze moeten uitvoeren, en elke evaluatie te transformeren in data die de volgende generatie agents vooruithelpt. Het uiteindelijke doel is om betrouwbare agentic AI uit te breiden naar de situationele bewustheidskern van autonome enterprise cyberverdediging, waardoor de beoordeling van de beveiligingsstatus een kwestie van meting wordt in plaats van oordeel.