Investigating Detection and Obfuscation of Prompt Injection Attacks Against Software Reverse Engineering AI Agents

Technische Samenvatting: Onderzoek naar Detectie en Obfuscatie van Prompt Injection-aanvallen tegen Software Reverse Engineering AI-agenten

Probleemstelling
Agentic software reverse engineering (SRE) systemen, die Large Language Models (LLM's) gebruiken om uitvoerbare binaire bestanden te analyseren, zijn kwetsbaar voor indirecte prompt injection-aanvallen. Bij deze aanvallen worden adversariële strings ingebed in de broncode van een benigne uitvoerbaar bestand. Wanneer het binaire bestand wordt gedecompileerd en geanalyseerd door een AI-agent, manipuleren de geïnjecteerde strings de LLM om de werkelijke programmalogica te negeren en de functionaliteit van een ander, doelgericht programma te rapporteren. Hoewel prompt injection in het algemeen een bekend risico is, was de specifieke kwetsbaarheid van agentic SRE-systemen voor aanvallen die direct in uitvoerbare binaire bestanden zijn ingebed, en de robuustheid van verdedigingen tegen geobfusceerde versies van deze aanvallen, voorheen niet onderzocht in de academische literatuur.

Methodologie
Het onderzoek hanteert een veelzijdige aanpak bestaande uit aanvalgeneratie, defensieve detectie en obfuscatie-testen:

1. Aanvalgeneratie (Genetisch Algoritme): De auteurs maakten gebruik van een aangepaste versie van het AutoDAN genetische algoritme-framework om prompt injection-strings automatisch te ontdekken. Het algoritme optimaliseert voor aanvalstrings die de waarschijnlijkheid maximaliseren dat de LLM een specifieke doelrespons genereert (gedecompileerde code van een kwaadaardig doelprogramma) terwijl de werkelijke gedecompileerde code van de benigne input wordt genegeerd. De aanvalstrings bestaan uit pseudo-systeem tokens (die conversierondes nabootsen), instructies voor de aanval en de gedecompileerde output van een doelprogramma, die allemaal zijn ingebed binnen een benigne C-programma.
2. Defensieve Detectie: Twee primaire detectiemethoden werden onderzocht:
   • Regular Expression (Regex) Matching: Een op regels gebaseerde aanpak die zoekt naar specifieke pseudo-systeem tokenpatronen (bijv. <tag>) binnen de strings die uit het binaire bestand zijn geëxtraheerd.
   • Neuraal Netwerk (NN) Classificatie: Een transfer learning-aanpak waarbij een bevroren Qwen3-1.7B LLM als embedding-backbone wordt gebruikt. De embeddings worden gevoed aan een trainbare classificatiekop om de waarschijnlijkheid te voorspellen dat een tool-respons (van ofwel een "list strings" of een "decompile function" tool) kwaadaardig is.
3. Obfuscatie en Robuustheidstesten: De studie testte de robuustheid van deze verdedigingen tegen verschillende obfuscatietechnieken:
   • Token Variatie: Het modificeren van pseudo-systeem tokens (bijv. het veranderen van hoekers < > in vierkante haken [ ] of het wijzigen van de stijl van de haken).
   • String Bypass: Het invoegen van niet-afdrukbare karakters (bijv. \x01) om te voorkomen dat de "list strings" tool de injectiestring herkent, terwijl deze wel zichtbaar blijft voor de "decompile function" tool.
   • Leerbare Parameters: Het aanpassen van het genetische algoritme om pseudo-systeem tokens en doelprogramma's als leerbare parameters te behandelen, waardoor de aanval zich kan evolueren tegen het specifieke detectiemodel.

Belangrijkste Resultaten

• Beperkingen van Regex: Hoewel regex-matching 100% precisie behaalde, faalde het significant wanneer aanvallers de tokenformaten wijzigden (bijv. door vierkante haken te gebruiken). De succesratio van aanvallen tegen de LLM daalde slechts licht (van 65% naar 50% voor een groter model), wat aangeeft dat regex onvoldoende is tegen formatformaties.
• Effectiviteit van Neurale Netwerken: De classificatie-NN vertoonde superieure robuustheid. Het classificeerde alle 20 adversariële voorbeelden correct als kwaadaardig, zelfs wanneer de tokenformaten werden gewijzigd (vierkante haken), waarbij een F1-score van 0,909 en een perfecte recall (1,000) op de testset werd behaald.
• Succes van Obfuscatie:
  • List Strings Bypass: Wanneer aanvallen werden geobfusceerd om de "list strings" tool te misleiden (met behulp van niet-afdrukbare karakters), faalde de NN om ze te detecteren omdat de kwaadaardige strings afwezig waren in de input die aan de classifier werd verstrekt.
  • Leerbare Tokens: Wanneer het genetische algoritme werd toegestaan om pseudo-systeem tokens te leren en te variëren, genereerde het succesvol aanvallen die door de NN als benigne werden geclassificeerd voor alle 20 programma's bij gebruik van de "list strings" output.
  • Kwetsbaarheid van Decompile Function: Wanneer de detectie werd toegepast op de "decompile function" output, bleef de NN effectief tegen formatformaties, maar werd deze uiteindelijk omzeild wanneer het genetische algoritme zowel de classificatie-uitkomst als de succesvolle injectie gelijktijdig optimaliseerde. In dit scenario werden succesvolle, als benigne geclassificeerde aanvallen gevonden in 13 van de 20 voorbeelden.
  • Target Learning: Wanneer het doelprogramma zelf een leerbare parameter werd, genereerde het genetische algoritme succesvol aanvallen voor alle programma's, wat de robuustheid van de detectie verder verminderde.

Belangrijkste Bijdragen

• Eerste Onderzoek naar in Binaire Bestanden Ingebedde Aanvallen: Dit werk adresseert de kloof in de literatuur met betrekking tot prompt injection-aanvallen die specifiek in uitvoerbare binaire bestanden zijn ingebed en gericht zijn op agentic SRE-systemen.
• Detectiekader: Het artikel stelt een classificatiegebaseerde detectiemethode voor en evalueert deze middels transfer learning, waarbij de superioriteit ervan ten opzien van eenvoudige regex-matching tegen tokenvariaties wordt aangetoond.
• Analyse van Obfuscatie: Het onderzoek verkent systematisch hoe obfuscatietechnieken (token variatie, string verbergen en parameter leren) de effectiviteit van detectiemodellen verminderen, wat de fragiliteit van huidige verdedigingen benadrukt.
• Dataset Creatie: De auteurs genereerden een dataset van 100 benigne en 40 adversariële voorbeelden, inclusief specifieke configuraties voor "list strings" en "decompile function" tool-responses, om de detectiemodellen te trainen en te evalueren.

Betekenis en Claims
Het artikel claimt dat hoewel classificatie-neurale netwerken een robuustere verdediging bieden dan regex-matching voor het detecteren van prompt injection in SRE-agenten, zij geen volledige oplossing zijn. De effectiviteit van de detectie wordt aanzienlijk aangetast wanneer aanvallers de injectiestrings obfusceren om specifieke tool-outputs (zoals "list strings") te omzeilen, of wanneer de aanvalsparameters (tokens en targets) tegen de detector worden geoptimaliseerd.

De auteurs concluderen dat het onderzoek het begrip van de risico's in agentic software-analysesystemen vergroot, wat noodzakelijk is voor hun inzet in productie-omgevingen voor cyber workflows. Ze benadrukken dat het verdedigen van deze systemen verder moet gaan dan statische patroonherkenning en erkennen dat huidige detectiemethoden kwetsbaar zijn voor adaptieve obfuscatie, wat verdere research naar robuustere detectiemethoden en analyses op complexere programma's noodzakelijk maakt. Het werk dient als een waarschuwend voorbeeld van de zelfverdedigingsuitdagingen die inherent zijn aan LLM-gestuurde agentic systemen.