Technisch Overzicht: Cross-Vendor Sola ISPM Benchmark

Probleemstelling

De snelle proliferatie van multi-cloud en SaaS-architecturen heeft Identity Security Posture Management (ISPM) getransformeerd tot een fundamenteel cross-vendor uitdaging. Kritieke beveiligingsrisico's, zoals paden voor privilege escalatie en misconfiguraties, overspannen steeds vaker uiteenlopende Identity Providers (IdP's), Cloud Service Providers (CSP's) en productiviteitspakketten die nooit ontworpen zijn om met elkaar te interopereren. Hoewel Large Language Models (LLM's) steeds vaker worden ingezet voor security operations, ontbreekt het het vakgebied aan een gestandaardiseerde, datagedreven benchmark om te beoordelen of agentic AI betrouwbare redeneringen kan uitvoeren over deze gefragmenteerde grenzen heen.

Bestaande benchmarks, zoals Spider 2.0 voor text-to-SQL, opereren over goed gedefinieerde, single-database schema's met expliciete foreign keys. In tegenstelling hiertoe vereist cross-vendor ISPM het navigeren door uiteenlopende systemen die geen gedeelde schema's bezitten. Dit creëert een "Correlation Gap", waarbij een agent in staat moet zijn tot multi-hop entiteitsresolutie (bijv. afleiden dat een Okta-gebruikersidentiteit overeenkomt met een specifieke AWS IAM-rol) zonder expliciete relationele metadata. Huidige evaluaties falen in het meten van het vermogen van een agent om de precieze ondersteunende entiteiten, join-relaties en cross-platform bewijslast te reconstrueren die nodig zijn om tot beveiligingsconclusies te komen.

Methodologie

De Cross-Vendor Sola ISPM Benchmark

Om dit evaluatievacuüm aan te pakken, introduceren de auteurs een productiewaardige benchmark bestaande uit 50 datagedreven taken. Deze taken worden uitgerold over een live, geïntegreerde enterprise omgeving bestaande uit acht verschillende platforms:

• Identity & HR: Okta, Azure Active Directory, HiBob (HRIS).
• Cloud & Infrastructure: AWS, Google Cloud Platform (GCP), MongoDB Atlas.
• Productivity & DevOps: Google Workspace, GitHub.

De benchmark dekt kritieke cross-vendor use cases, waaronder MFA bypass kwetsbaarheden, de proliferatie van inactieve accounts over gefedereerde tenants, en multi-hop privilege escalatie vectoren.

Vraaggeneratie Pipeline:
De 50 taken werden geconstrueerd via een iteratieve multi-agent pipeline:

1. Generatie: Een schema-bewuste generatieve agent, uitgerust met web-search capaciteiten, stelt kandidaat natuurlijke-taalvragen en SQL-queries voor op basis van door experts gedefinieerde security thema's.
2. Filtering: Een geautomatiseerde executie-filter verwerpt kandidaten waarbij de SQL niet kan worden uitgevoerd of niet deterministisch beantwoord kan worden door de live omgeving.
3. Refinement: Een "Critic-Composer" loop verfijnt vragen en queries iteratief tegen expert-gedefinieerde criteria (technische correctheid, operationeel realisme, PPI-compliance).
4. Validatie: Een menselijke cybersecurity expert voert de finale validatie uit om semantische uniciteit en operationeel realisme te waarborgen.

Evaluatiekader

De auteurs stellen een uitgebreid evaluatiekader voor dat niet alleen de definitieve juistheid van het antwoord meet, maar ook de kwaliteit van de redeneerketen. Het kader maakt gebruik van een LLM-as-a-Judge benadering met een dual-judge consensus mechanisme (Anthropic Claude Sonnet 4.6 en OpenAI GPT-4.1) en deterministische structurele metrieken.

Kernmetrieken:

• Antwoordkwaliteit: AnswerCorrectnessVsGT (semantische equivalentie), AnswerVerdictCorrectnessVsGT (binair ja/nee oordeel), SuccessRate, en FailureRate.
• Retrieval & Context Gebruik: ContextualRelevancy, RetrievalUseQuality, en EvidenceCompletenessVsGT.
• Redeneerkwaliteit: ReasoningUtility (voortgang naar resolutie).
• SQL Kwaliteit: SQLSemanticAppropriateness en SQLEquivalenceVsGT.
• Deterministische Structurele Metrieken: Precisie, Recall, en F1-scores voor Tables en Joins vergeleken met de ground truth, wat garandeert dat de agent de noodzakelijke databronnen en cross-vendor join-paden correct heeft geïdentificeerd.

Experimentele Opstelling

De studie evalueert de Sola AI Agent over drie frontier LLM's (GPT-5.5, Gemini 3.1 Pro, Claude 4.6 Sonnet, en Claude 4.8 Opus) onder vijf verschillende context configuraties:

1. Geen Context: Blinde autonome ontdekking.
2. Alleen Schema: Ruwe tabeldefinities.
3. Schema + Graaf: Schema's plus Sola's Security Graph (expliciete cross-vendor join-paden).
4. Schema + Voorbeelden: Schema's plus few-shot text-to-SQL voorbeelden.
5. Volledige Context: Schema's, Security Graph, en Voorbeelden.

De agent opereert in full-path exploration mode, waarbij iteratieve redenering en step-journaling worden uitgevoerd om de impact van contextuele grounding op expliciete redeneertrajecten te isoleren.

Belangrijkste Bijdragen

1. Cross-Vendor ISPM Vraagset: Een gestandaardiseerde set van 50 taken die multi-hop entiteitsresolutie en cross-systeem data correlatie vereisen over acht geïntegreerde enterprise platforms, representatief voor real-world gefedereerde identiteitsonderzoek workflows.
2. Evidentiary Grounding Metriek Framework: Een nieuw evaluatiesuite die de volledige redeneerketen beoordeelt, inclus inclusief structurele join reconstructie, multi-schema entiteitsresolutie en retrieval utilitatie, reikend voorbij eenvoudige antwoordcorrectheid.
3. Ablatie Studie op Contextuele Grounding: Een systematische analyse die aantoont hoe gestructureerde relationele context (specifiek graaf topologie en schema metadata) de cross-vendor redeneervoliditeit en executie-efficiëntie vormgeeft.

Resultaten

Prestatiewinst door Context

De studie toont aan dat het verrijken van agents met gestructureerde relationele context de prestaties aanzienlijk verbetert:

• Antwoordcorrectheid: Onder de Full Context configuratie behaalde het best presterende model (Claude 4.8 Opus) een AnswerCorrectnessVsGT score van 78%, een relatieve verbetering van ongeveer 34% ten opzichte van de No Context baseline (58%).
• Reductie van Fouten: De Full Context configuratie reduceerde de FailureRate (volledige onjuistheden) tot 4%, vergeleken met 28–38% in de No Context baseline.
• Efficiëntie: Het verrijken van de agent met context verminderde het gemiddeld aantal exploratie-queries met ongeveer 70% over alle modellen. Dit geeft aan dat expliciete relationele context inefficiënte trial-and-error exploratie transformeert in gerichte, graaf-bewuste executiestrategieën.

Structurele Fideliteit

De inclusie van de Security Graph (cross-vendor topologie) werd geïdentificeerd als een primaire drijfveer van de winst.

• Join Fideliteit: Modellen vertoonden een duidelijke opwaartse traject in JoinsF1 scores wanneer graafkennis werd geïnjecteerd. Bijvoorbeeld, de join fideliteit van Gemini steeg van 0.55 (Schema Only) naar 0.68 (Full Context).
• Redenering vs. Bewijs: Een kritieke bevinding is de kloof tussen AnswerVerdictCorrectness (hoog niveau security conclusie) en AnswerCorrectness (volledig semantisch bewijs). Zelfs in No Context behaalden modellen vaak hoge verdict scores (bijv. correct identificeren dat een risico bestond), maar faalden ze in het reconstrueren van de precieze ondersteunende entiteiten en join-paden. Full Context verkleinde deze kloof aanzienlijk, wat bewijst dat de primaire beperking van frontier LLM's in dit domein niet de abstracte redeneerkracht is, maar de beschikbaarheid van expliciete relationele context voor entiteitsresolutie en wayward bewijslast.

Model Vergelijkingen

• Claude 4.8 Opus presteerde consequent beter dan andere modellen, met de hoogste nauwkeurigheid en laagste foutpercentages onder Full Context.
• GPT-5.5 demonstreerde een hoge executie-efficiëntie (laagste query-aantallen) maar lagere semantische nauwkeurigheid vergeleken met top-tier Claude modellen.
• Gemini 3.1 Pro toonde een sterke sensitiviteit voor contextuele verrijking, maar leek een milde context-verzadigingsdrempel te bereiken waarbij extra metadata-lagen een afnemend rendement opleverden.

Betekenis en Claims

Het artikel claimt dat de Cross-Vendor Sola ISPM Benchmark de eerste gestandaardiseerde methode biedt om te evalueren of agentic systemen betrouwbaar door de "Correlation Gap" in gefedereerde identiteitsbeveiliging kunnen navigeren.

De auteurs stellen dat:

1. Niet-ondersteunde LLM's onvoldoende zijn voor betrouwbare enterprise data exploratie over gefragmenteerde systemen.
2. Frontier LLM's beschikken over substantiële latente security redeneerkracht, maar hun vermogen om betrouwbare cross-vendor analyse uit te voeren wordt fundamenteel beperkt door het gebrek aan gestructureerde relationele context.
3. Context orchestratie is cruciaal: Het injecteren van rijke metadata—specifiek relationele schema's, semantische grafen en few-shot exemplaren—stabiliseert de text-to-SQL executie fundamenteel, wat fungeert als zowel een nauwkeurigheidsmultiplier als een operationele accelerator.
4. Structurele grafen zijn essentieel: De integratie van structurele graaf topologieën is universeel essentieel voor het bereiken van een optimale balans tussen text-to-SQL nauwkeurigheid en runtime efficiëntie in cross-vendor omgevingen.

Het werk concludeert dat toekomstige ISPM evaluatie verder moet gaan dan geïsoleerde platform checks om de capaciteit van de agent te beoordelen om bewijs te reconstrueren over heterogene ecosystemen, een capaciteit die momenteel afhankelijk is van expliciete, domein-bewuste context orchestratie.