Do Machine Learning Security Detectors Survive New Attacks? A Leakage Free Evaluation of Hidden Prompt Injection Detection in AI Coding Agents, Malicious npm and PyPI Package Detection, and Network Intrusion Detection
Dit artikel toont aan dat machine learning-beveiligingsdetectoren, die doorgaans bijna perfecte prestaties leveren op standaard willekeurige splitsingen, catastrofale foutpercentages vertonen wanneer ze worden geëvalueerd tegen ongeziene aanvalstechnieken en temporele verschuivingen met behulp van een rigoureus, lekvrij protocol over scenario's van AI-promptinjectie, kwaadaardige pakketten en netwerkinbreukdetectie.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
In de moderne digitale wereld vertrouwen beveiligingssystemen vaak op machine learning, een type computerprogramma dat leert problemen te herkennen door duizenden voorbeelden van eerdere aanvallen te bestuderen. Deze programma's fungeren als digitale bewakers die het netwerkverkeer scannen, softwarebestanden controleren voordat ze worden geïnstalleerd, en zelfs de instructies lezen die kunstmatige intelligentie-coderingassistenten gebruiken om programmeurs te helpen. Jarenlang was de standaardmanier om deze bewakers te testen het door elkaar husselen van een stapel bekende aanvallen en deze in twee groepen verdelen: één voor training en één voor testen. Deze methode gaat ervan uit dat de aanvallen waarmee de bewaker in de toekomst te maken krijgt, er zeer veel uitzien als de aanvallen die hij al heeft bestudeerd. Echter, aanvallers in de echte wereld blijven niet stilstaan; ze verzinnen voortdurend nieuwe trucjes, verbergen hun tools op verschillende manieren en vallen aan op tijden en plaatsen die hun verdedigers nog nooit hebben gezien. De kritische vraag is of deze digitale bewakers daadwerkelijk een nieuw soort dreiging kunnen herkennen, of dat ze simpelweg de oude aan het onthouden zijn en falen wanneer het spel verandert.
Een team van onderzoekers van de University of Port Harcourt zette zich in om deze vraag te beantwoorden door beveiligingsdetectoren te testen tegen drie zeer verschillende soorten digitale dreigingen met behulp van een enkele, rigoureuze methode die ontworpen is om datalekken te voorkomen. Ze onderzochten hoe goed detectoren verborgen instructies konden opsporen die in bestanden voor AI-coderingsagenten waren geplant, hoe ze presteerden tegen kwaadaardige softwarepakketten in online bibliotheken, en hoe ze presteerden bij het identificeren van netwerkinbraken. In plaats van de gegevens willekeurig te husselen, dwongen de onderzoekers de detectoren om situaties onder ogen te zien die ze nog nooit eerder waren tegengekomen: aanvallen met nieuwe verbergingstechnieken, aanvallen die in een later jaar verschenen, of aanvallen van volledig andere datasets. Ze controleerden ook op "shortcuts" (snelkoppelingen), waarbij een detector zou kunnen vertrouwen op een eenvoudige, voor de hand liggende aanwijzing — zoals de grootte van een bestand — in plaats van daadwerkelijk het gevaar te begrijpen.
Het eerste deel van hun studie richtte zich op AI-coderingsagenten, wat hulpmiddelen zijn die programmeurs helpen bij het schrijven van code door bestanden zoals configuratiegidsen te lezen. Aanvallers zijn begonnen met het verbergen van geheime instructies in deze bestanden met behulp van onzichtbare tekens of vreemde symbolen die een menselijk oog zou missen, maar die een computer leest als een commando. De onderzoekers creëerden een collectie van bijna vijf duizend echte bestanden uit publieke repositories en plantten vervolgens onschadelijke verborgen instructies in deze bestanden met behulp van negen verschillende verbergingstechnieken. Ze testten vijf verschillende detectoren om te zien of ze deze vallen konden vinden. Wanneer de detectoren werden getest op dezelfde verbergingstechnieken die ze tijdens de training hadden geleerd, presteerden ze bijna perfect en vingen ze bijna elke verborgen instructie. Echter, wanneer de onderzoekers de detectoren testten op een verbergingstechniek die de detector nog nooit eerder had gezien, stortte de prestatie bij sommige modellen in. Een detector die vertrouwde op het tellen van specifieke kenmerken, zoals het aantal onzichtbare tekens, miste zesennegentig procent van de nieuwe aanvallen. In contrast hiermee behield een detector die de werkelijke tekst van het bestand las, nadat de verborgen tekens eerst waren omgezet in gewone, leesbare tekst, zijn hoge prestaties. De studie toonde ook aan dat kleine, open-source AI-modellen deze verborgen instructies vaak opvolgden, waarbij ze de geheime commando's in tot twee derde van de gevallen gehoorzaamden, terwijl het simpelweg verwijderen van de onzichtbare tekens de aanval soms zelfs makkelijker maakte voor de AI om te begrijpen.
De tweede studie keek naar kwaadaardige softwarepakketten in de npm- en PyPI-bibliotheken, die enorme online winkels zijn waar ontwikkelaars code downloaden. De onderzoekers verzamelden meer dan dertienduizend pakketten, inclusief duizenden bekende kwaadaardige pakketten uit 2024, 2025 en 2026. Ze trainden de detectoren op oudere pakketten en testten ze vervolgens op de nieuwe golven van aanvallen uit 2026. Eén detector, die naar de code zelf keek, bleef sterk en ving meer dan negentig procent van de nieuwe kwaadaardige pakketten. Een andere detector, die vertrouwde op statische kenmerken zoals de totale grootte van het pakket en het aantal bestanden binnenin, presteerde aanvankelijk goed, maar faalde dramatisch toen de onderzoekers de aanwijzingen op basis van grootte verwijderden. Zonder te vertrouwen op het feit dat kwaadaardige pakketten vaak klein waren, daalde het vermogen van deze detector om nieuwe aanvallen op te sporen aanzienlijk, wat onthulde dat de detector een shortcut had gebruikt in plaats van daadwerkelijk de malware te identificeren. De studie toonde ook aan dat detectoren moeite hadden om kwaadaardige code te vinden die in legitieme, populaire bibliotheken was geslupt, een techniek die in 2026 gebruikelijker werd.
De derde studie keerde terug naar netwerkinbraudedetectie, wat het scannen van gegevens die door een computernetwerk stromen om hackers op te sporen omvat. De onderzoekers gebruikten drie veelgebruikte datasets die jarenlang als de standaard voor het testen van deze systemen hebben gediend. Ze ontdekten dat deze datasets een hoog aantal duplicaten en fouten bevatten, wat eerdere succespercentages waarschijnlijk had opgeblazen. Wanneer ze de detectoren testten door ze te trainen op gegevens van eerdere dagen en te testen op gegevens van latere dagen, stortte de prestatie van de systemen in. Een detector die perfect leek op een willekeurige shuffle van de gegevens, presteerde niet beter dan een muntworp wanneer hij werd geconfronteerd met het verkeer van de daaropvolgende week. Het slaagde er niet in om hele families van aanvallen te herkennen die het nog nooit eerder had gezien, zoals specifieke soorten botnetverkeer of infiltratiepogingen, wat bewees dat het systeem had geleerd om de specifieke patronen uit het verleden te herkennen in plaats van de aard van de aanval zelf.
Over alle drie de gebieden van beveiliging heen kwam een duidelijk patroon naar voren. Detectoren die vertrouwden op samenvattende kenmerken of eenvoudige tellingen hadden de neiging te falen wanneer aanvallers hun methoden veranderden, terwijl detectoren die de werkelijke inhoud van de dreiging lazen, veel beter standhielden. De onderzoekers ontdekten dat een eenvoudige stap van het omzetten van verborgen of verwarrende tekst naar een standaard, leesbaar formaat vóór het scannen, de detectoren in staat stelde de onderliggende boodschap te herkennen, ongeacht hoe deze was vermomd. Ze toonden ook aan dat het verwijderen van duplicaten uit de gegevens noodzakelijk was, maar niet voldoende om het probleem op te lossen; het echte probleem was de aanname dat toekomstige aanvallen er hetzelfde uit zouden zien als de vorige. De studie concludeert dat beveiligingssystemen moeten worden getest tegen nieuwe, ongeziene technieken voordat ze kunnen worden vertrouwd, en dat het vertrouwen op standaard, willekeurige testmethoden een vals gevoel van veiligheid geeft. Het werk suggereert dat om veilig te blijven, we systemen moeten ontwerpen die de inhoud van een aanval begrijpen in plaats van alleen het uiterlijk ervan te onthouden.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.