The Dual-Use Nature of Large Language Models in Cybersecurity: A Bibliometric Analysis and Critical Review
Dit artikel combineert een bibliometrische analyse van 7.369 documenten met een kritische review om aan te tonen dat onderzoek naar grote taalmodellen in cybersecurity gefragmenteerd is over geïsoleerde offensieve en defensieve rollen, wat de auteurs ertoe aanzet een gekoppeld dual-use-raamwerk en acht geprioriteerde onderzoeksrichtingen voor te stellen om het gebrek aan adaptieve evaluatie en geïntegreerde beveiligingsstrategieën aan te pakken.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
In de afgelopen jaren is er een nieuw soort computerprogramma opgekomen dat menselijke taal kan lezen, schrijven en begrijpen. Deze programma's, bekend als grote taalmodellen (large language models), zijn niet alleen chatbots; het zijn krachtige instrumenten die organisaties beginnen te gebruiken om hun digitale beveiliging te beheren. Ze kunnen duizenden beveiligingswaarschuwingen scannen om echte dreigingen te vinden, code schrijven om softwarelekken te repareren, of zelfs beveiligingsteams helpen bij het plannen van hun defensie. Maar deze zelfde instrumenten hebben een schaduwkant. Omdat ze zo goed zijn in het opvolgen van instructies en het genereren van tekst, kunnen kwaadwillenden hen misleiden om malware te schrijven, overtuigende nep-e-mails te creëren of veiligheidsregels te omzeilen. Dit creëert een unieke situatie waarin één enkele technologie tegelijkertijd dient als het schild, het wapen en het doelwit. Het is het schild wanneer het een netwerk beschermt, het wapen wanneer het een aanvaller helpt, en het doelwit wanneer iemand probeert het programma zelf te misleiden. Begrijpen hoe deze drie rollen met elkaar interageren is cruciaal, want als we het hulpmiddel alleen bestuderen als verdediger, missen we het feit dat het hulpmiddel zelf kwetsbaar is voor precies die aanvallen die het probeert te stoppen.
Een team van onderzoekers zette zich scharpe om dit complexe landschap in kaart te brengen, niet door een paar artikelen te lezen, maar door duizenden te analyseren om te zien hoe de wetenschappelijke gemeenschap daadwerkelijk over deze problemen denkt. Ze verzamelden bijna 13.000 records gepubliceerd tussen 2023 en eind 2026, en filterden deze terug naar een kernversie van 7.369 documenten die direct betrekking hadden op de intersectie van deze taalmodellen en cybersecurity. Met een methode die onderzoek behandelt als een kaart, keken ze naar hoe vaak verschillende onderwerpen samen voorkwamen en welke studies het meest werden geciteerd. Ze wilden weten of wetenschappers de drie rollen van deze modellen samen bestudeerden, of dat ze in aparte silo's werkten. Ze wilden ook zien of het bewijs dat de veiligheid van deze instrumenten ondersteunt, even solide was als het lijkt.
De onderzoekers vonden dat het veld ongelooflijk snel groeit, waarbij het aantal relevante documenten bijna elk jaar verdubbelt of verdrievoudigt. De research is echter diep verdeeld. De overgrote meerderheid van de studies richt zich slechts op één van de drie rollen in isolatie. Slechts ongeveer acht procent van de onderzochte documenten onderzocht meer dan één rol tegelijkertijd. Dit betekent dat de mensen die bestuderen hoe men deze modellen kan aanvallen, zelden praten met de mensen die bestuderen hoe men ze voor defensie kan gebruiken. Nog zorgwekkender is dat wanneer onderzoekers een defensief systeem bouwen met behulp van deze modellen, ze bijna nooit testen of dat systeem kan worden misleid door de zeer aanvallen die het juist zou moeten stoppen. In de defensieve studies die zij beoordeelden, vermeldde slechts ongeveer elf procent het risico dat het model zelf gecompromitteerd wordt. De onderzoekers concludeerden dat hoewel de technologie van nature verbonden is — waarbij een defensief instrument ook een potentieel doelwit is — de onderzoekscommunity dit nog niet heeft ingehaald.
Toen het team nauwkeuriger keek naar het bewijs voor hoe goed deze modellen werken als wapen of schild, ontdekten ze dat de cijfers gerapporteerd in verschillende studies enorm inconsistent waren. Bijvoorbeeld, wanneer onderzoekers testten hoe goed een kunstmatige intelligentie een computersysteem kon hacken, varieerden de gerapporteerde succespercentages van nul procent tot negentig procent. Deze enorme kloof kwam niet doordat de modellen veranderden, maar omdat de manier waarop de tests waren ontworpt, verschilde. Sommige studies gaven het model een groot voordeel door precies aan te geven wat de zwakte was, terwijl andere het testten in een realistische omgeving waar het de zwakte zelfstandig moest vinden. De onderzoekers merkten op dat veel studies hun defensie niet testten tegen aanvallers die actief probeerden uit te zoeken hoe ze de defensie konden breken. In plaats daarvan testten ze tegen statische, voorspelbare aanvallen. Dit is als het testen van een slot tegen een sleutel die nooit verandert, in plaats van tegen een slotenmaker die probeert het slot te kraken.
De studie onthulde ook dat de gevaarlijkste dreigingen hoger op de ladder klimmen. Vroeg onderzoek richtte zich op eenvoudige trucjes om het model iets te laten zeggen wat het niet zou moeten zeggen. Nu verschuift de focus naar complexere systemen waarbij het model eerdere gesprekken kan onthouden, hulpmiddelen kan gebruiken en beslissingen kan nemen over een langere periode. Deze "agentic" systemen zijn veel moeilijker te beschermen omdat één enkele fout kan leiden tot een keten van slechte acties die zich over een netwerk verspreidt. De onderzoekers vonden dat hoewel er veel nieuwe manieren zijn om deze systemen aan te vallen, de defensies vaak fragiel zijn. Een defensie die vandaag werkt, kan morgen falen als de aanvaller zijn aanpak licht verandert. Bovendien zijn de instrumenten die worden gebruikt om succes te meten vaak verouderd of alleen beschikbaar in het Engels, wat betekent dat ze mogelijk niet werken voor de rest van de wereld.
Uiteindelijk betoogt het artikel dat we deze modellen niet kunnen behandelen als eenvoudige instrumenten die óf goed óf slecht zijn. Het zijn technologieën met een dubbel gebruik (dual-use) waarbij de lijn tussen offensief en defensief vervaagt. De onderzoekers suggereren dat het belangrijkste werk voor de toekomst niet alleen het uitvinden van nieuwe aanvallen of nieuwe defensies is, maar het bouwen van betere manieren om ze te testen. We moeten stoppen met aannemen dat een defensie werkt simpelweg omdat het een eenvoudige test heeft doorstaan. In plaats daarvan moeten we elke defensieve system testen alsover het ook een doelwit is, door constant te controleren of het misleid kan worden door de inhoud die het juist moet analyseren. Totdat de onderzoekscommunity deze drie rollen samen begint te bestuderen, zullen we blind blijven voor het volledige beeld van hoe deze krachtige instrumenten kunnen worden gebruikt, misbruikt en beschermd.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.