How Reliable Are NVD CWE Labels? A Large-Scale Semantic Audit with Seclometry
Dit artikel presenteert een grootschalige semantische audit met behulp van de gevalideerde CWEAgent-tool die onthult dat bijna de helft van de CWE-labels in de National Vulnerability Database (NVD) niet exact overeenkomt met de op code gebaseerde kwetsbaarheidsemantiek, waarbij structurele foutpatronen worden geïdentificeerd en wordt aangetoond dat de betrouwbaarheid van labels significant varieert per toewijzende organisatie en zwakte-type.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
In de digitale wereld wordt ervan uitgegaan dat elke softwarefout die door een kwaadwillende actor kan worden misbruikt, wordt gecatalogiseerd in een enorme openbare bibliotheek genaamd de National Vulnerability Database. Beschouw deze database als een centraal archiefsysteem voor de softwareproblemen van de wereld. Wanneer een fout wordt gevonden, krijgt deze een uniek ID en een label dat beschrijft wat voor soort fout de oorzaak was. Dit label is cruciaal omdat het fungeert als een sorteertag voor beveiligingsteams, onderzoekers en geautomatiseerde tools. Als een tag zegt dat een probleem een "gebroken slot" is, weten beveiligingsteams dat ze moeten controleren op zwakke authenticatie. Als het zegt "overstromende emmer", zoeken ze naar geheugenfouten. Jarenlang heeft iedereen ervan uitgegaan dat deze tags accuraat en betrouwbaar zijn, en ze behandeld als de absolute waarheid voor het bouwen van betere beveiligingssystemen en het meten van hoe goed nieuwe tools werken.
Echter, alleen omdat een label bestaat, betekent dit niet dat het correct is. De uitdaging ligt in het feit dat de mensen die de initiële rapporten schrijven, vaak beschrijven wat er is gebeurd — het symptoom, zoals het gestolen worden van gegevens — in plaats van de grondoorzaak, zoals een specifieke programmeerfout die de diefstal mogelijk maakte. Een rapport kan zeggen "een aanvaller heeft gegevens gestolen", wat leidt tot een generiek label, terwijl de werkelijke code een zeer specifiek mechanisme onthult, zoals een hergebruikte encryptiesleutel. Als het label onjuist is, misleidt het iedereen die er afhankelijk van is, waardoor tools echte gevaren missen of tijd verspillen aan valse alarmen. Tot nu toe had niemand systematisch de nauwkeurigheid van deze miljoenen labels gecontroleerd, grotendeels omdat dit het lezen van de werkelijke code en patches vereist om de ware aard van de fout te begrijpen, een taak die te complex is voor eenvoudige geautomatiseerde controles.
Een team van onderzoekers zette zich af om dit probleem op te lossen door een nieuw soort audit-tool te bouwen. Ze creëerden een systeem dat niet alleen de tekst van een kwetsbaarheidsrapport leest, maar in plaats daarvan de werkelijke codewijzigingen onderzoekt die het probleem hebben opgelost. Het systeem vertaalt zowel de kwetsbaarheid als de officiële labels naar een gestructureerde beschrijving van de onderliggende mechanismen: wat de fout veroorzaakte, welke beveiligingsregel werd geschonden en hoe de code faalde. Door het officiële label te vergelijken met deze op code gebaseerde beschrijving, kan het systeem bepalen of het label exact juist is, of het een verdedigbare maar bredere beschrijving is, of dat het simpelweg fout is. De onderzoekers testten dit instrument op een zorgvuldig samengestelde set van honderd bekende kwetsbaarheden om te garanderen dat het correct werkte, waarbij ze een hoog niveau van nauwkeurigheid bereikten. Vervolgens pasten ze het toe op een enorme collectie van meer dan vijftien duizend open-source kwetsbaarheden die werden ontdekt tussen 2017 en 2026.
De resultaten onthulden een landschap dat veel genuanceerder is dan een eenvoudige lijst met juiste of onjuiste antwoorden. De studie toonde aan dat bijna de helft van de officiële labels perfect overeenkwam met het bewijs in de code. Nog een aanzienlijk deel was technisch gezien niet onjuist maar wel onnauwkeurig, waarbij een bredere categorie werd aangeboden die weliswaar verdedigbaar was, maar minder specifiek dan het bewijs toeliet. Echter, een kleine maar kritieke fractie van de labels — ongeveer 3,6 procent — was direct inconsistent met het bewijs, wat betekent dat het label een ander type zwakte beschreef dan degene die daadwerkelijk in de code aanwezig was. De onderzoekers ontdekten dat de betrouwbaarheid van een label sterk afhing van wie het had toegewezen. Sommige organisaties leverden consequent precieze, accurate tags, terwijl andere organisaties vaak brede of onjuiste labels gebruikten. Verrassend genoeg voorspelde de ernst van de kwetsbaarheid de nauwkeurigheid van het label niet; de gevaarlijkste fouten waren net zo vaak verkeerd gelabeld als de minder kritieke fouten.
In de loop van de tijd is de kwaliteit van deze labels verschoven. Hoewel de snelheid van perfecte overeenkomsten relatief stabiel is gebleven, is het aantal labels dat de code-evidentie tegenspreekt in de afgelopen jaren gegroeid, van ongeveer één tot drie procent in de vroege jaren van de studie naar drie tot zes procent in de latere jaren. De onderzoekers identificeerden zes terugkerende patronen in deze fouten. De meest voorkomende fout was het verwarren van het gevolg van een fout met de oorzaak, zoals het labelen van een kwetsbaarheid als "informatie-expositie" wanneer de grondoorzaak eigenlijk een specifieke cryptografische fout was. Andere frequente fouten betroffen het verwarren van vergelijkbare subtypen van geheugenfouten of het verwarren van verschillende typen injectie-aanvallen. Deze fouten waren niet willekeurig; ze kwamen vaak voort uit de manier waarop het labelingsysteem zelf is gestructureerd, waarbij brede categorieën gemakkelijker toe te wijzen zijn dan specifieke, of waar het initiële rapport niet over de technische details beschikte die nodig waren om de juiste keuze te maken.
De studie benadrukte ook dat deze fouten geen geïsoleerde incidenten zijn, maar structurele problemen binnen de metadata-ecosysteem. Soms wordt een correct label toegevoegd door de oorspronkelijke rapporteur, maar introduceert een latere update door de databasebeheerders een conflicterend, onjuist label dat in het dossier blijft staan. In andere gevallen ontbreken de noodzakelijke technische details simpelweg in het oorspronkelijke rapport, waardoor de labelaar moet gissen, wat leidt tot een fout die technisch gezien consistent is met het rapport, maar fout is op basis van de code. De onderzoekers concludeerden dat hoewel de database een vitale bron is, gebruikers de labels niet als de absolute waarheid kunnen beschouwen. In plaats daarvan moeten ze kijken naar wie het label heeft toegewezen en begrijpen dat een aanzienlijk deel van de data menselijke verificatie of een diepere blik op de code vereist om echt betrouwbaar te zijn. Het werk suggereert dat hoewel geautomatiseerde tools kunnen helpen bij het beheren van de groeiende achterstand aan kwetsbaarheden, het definitieve oordeel over wat een fout werkelijk is, geworteld moet blijven in het bewijs van de code zelf.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.