Benchmarking Large Language Models for IoC Recovery under Adversarial Code Obfuscation and Encryption
Dit artikel introduceert een systematische benchmark en dataset van 336 geobfuscateerde en versleutelde JavaScript-programma's om het vermogen van grote taalmodellen te evalueren om Indicators of Compromise te herstellen, waarbij wordt geopenbaard dat hoewel LLM's effectief omgaan met lichtgewicht transformaties zoals variabelhernoeming en Base64-codering, hun detectieprestaties ernstig verslechteren tegen cryptografische verbergingsmethoden zoals XOR en AES-256.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je een digitale detective bent die probeert een verborgen aanwijzing (zoals een specifiek IP-adres) te vinden in een stuk code. Meestal is dit eenvoudig: de aanwijzing staat er gewoon, zoals een naam op een stuk papier. Maar wat als de slechteriken die aanwijzing verstoppen? Ze kunnen het in een geheime code schrijven, de letters door elkaar halen, of het opsluiten in een kluis.
Dit artikel is een rapportkaart voor Grote Taalmodellen (LLM's) — de slimme AI-chatbots die we vandaag de dag gebruiken — over hoe goed ze kunnen optreden als deze detectives wanneer de aanwijzingen verborgen zijn.
Hier is de opsplitsing van hun onderzoek:
De Opzet: Een "Verstoppeertje"-Spel
De onderzoekers creëerden een enorm spelletje verstoppeertje.
- De Spelers: Ze testten vijf beroemde AI-modellen (zoals ChatGPT, Gemini, Claude, Grok en Cohere).
- De Aanwijzing: Een neppe "Indicator of Compromise" (IoC), wat gewoon een chique term is voor een verdacht IP-adres (zoals een telefoonnummer van een boef).
- De Verstopplekken: Ze namen 336 stukken computercode en verstopten de aanwijzing daarin met 12 verschillende niveaus van moeilijkheid.
- Niveau 1-4 (De Makkelijke Verstopplekken): Ze hernoemden gewoon variabelen (noemden "IP_Address" iets als "x99"), voegden nutteloze rommelcode toe om het oog te verwarren, of gebruikten eenvoudige coderingen zoals Base64 (wat vergelijkbaar is met het schrijven van een boodschap in een geheim alfabet dat iedereen makkelijk kan decoderen).
- Niveau 5-6 (De Moeilijke Verstopplekken): Ze sloten de aanwijzing op in een cryptografische kluis. Ze gebruikten sterke encryptie (XOR en AES-256). Cruciaal: ze lieten de sleutel van de kluis daar in de code staan, net zoals een echte hacker dat zou doen.
- Niveau 7-12 (De Nachtmerrie-Verstopplekken): Ze combineerden de opgesloten kluis met alle verwarrende hernoemingen en rommelcode.
De Resultaten: Het "Lichtschakelaar"-Effect
De resultaten waren verrassend en zeer duidelijk. Ze zagen geen langzame daling in prestaties; ze zagen een lichtschakelaar.
1. De "Makkelijke" Verstopplekken (Niveau 1–4):
Wanneer de aanwijzing alleen maar door elkaar gehaald of hernoemd was, waren de AI-detectives verbazingwekkend.
- De meeste modellen vonden de aanwijzing 100% van de tijd.
- Ze waren als kinderen die verstoppeertje spelen en makkelijk een schoen kunnen zien steken achter een gordijn. Ze herkenden de patronen, zelfs wanneer de woorden veranderd waren.
2. De "Moeilijke" Verstopplekken (Niveau 5–12):
Op het moment dat de onderzoekers encryptie gebruikten (de kluis), crashte de prestatie van de AI.
- Hoewel de sleutel daar in de code zat, konden de AI-modellen de kluis niet openen.
- Ze gingen van het vinden van de aanwijzing 100% van de tijd naar het vinden ervan bijna 0% van de tijd.
- De Analogie: Stel je voor dat je een gesloten doos hebt, en de sleutel is aan de buitenkant van de doos geplakt. Een menselijke detective zou naar de sleutel kijken, deze in het slot steken en de doos openen. De AI echter keek naar de doos en de sleutel, maar in plaats van te proberen het te openen, zei het gewoon: "Ik kan niet zien wat erin zit," of gokte een willekeurig nummer.
Het "Gokken"-Probleem
Wanneer de AI de aanwijzing niet kon vinden, begonnen sommigen te hallucineren (dingen te verzinnen).
- Eén model (Gemini) verzon ongeveer 5% van de tijd neppe IP-adressen.
- Het Patroon: Wanneer de AI vastliep, zei het niet gewoon "Ik weet het niet". Het gokte vaak op een zeer gewoon privaat adres (zoals
192.168.17.101). - De Metafoor: Het is als een student die een toets maakt en het antwoord niet weet. In plaats van het blanco te laten, schrijft hij "Het antwoord is waarschijnlijk 42" omdat hij dat getal vaak heeft gezien in andere toetsen. De AI gokte gewoon op basis van wat het eerder had gezien, in plaats van het raadsel daadwerkelijk op te lossen.
De Grote Conclusie
Het artikel concludeert met een eenvoudige waarheid:
- AI is geweldig in het lezen van rommelig handschrift. Als de code alleen maar door elkaar gehaald of hernoemd is, kan de AI het uitzoeken.
- AI is vreselijk in het kraken van kluizen. Als de code versleuteld is, botst de AI tegen een muur. Het heeft niet het vermogen om "na te denken" over de wiskunde van de encryptie, zelfs als de sleutel recht voor zijn neus ligt.
Kortom: Deze AI-tools zijn uitstekend in het vinden van verborgen aanwijzingen in het open zicht, maar ze zijn momenteel nutteloos tegen code die is opgesloten met sterke encryptie. Ze kunnen het mysterie niet "ontgrendelen"; ze kunnen alleen lezen wat al zichtbaar is.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.