Investigating Detection and Obfuscation of Prompt Injection Attacks Against Software Reverse Engineering AI Agents

Résumé technique : Étude de la détection et de l'obfuscation des attaques par injection de prompt contre les agents d'IA de rétro-ingénierie logicielle

Énoncé du problème
Les systèmes de rétro-ingénierie logicielle (SRE) agentiques, qui utilisent des modèles de langage de grande taille (LLM) pour analyser des binaires exécutables, sont vulnérables aux attaques par injection de prompt indirecte. Dans ces attaques, des chaînes adverses sont intégrées au code source d'un exécutable bénin. Lorsque le binaire est décompilé et analysé par un agent IA, les chaînes injectées manipulent le LLM pour qu'il ignore la logique réelle du programme et rapporte la fonctionnalité d'un programme cible différent. Bien que l'injection de prompt en général soit un risque connu, la vulnérabilité spécifique des systèmes SRE agentiques face à des attaques intégrées directement dans des binaires exécutables, ainsi que la robustesse des défenses contre des versions obscurcies de ces attaques, n'avaient pas été examinées auparavant dans la littérature académique.

Méthodologie
La recherche emploie une approche multidimensionnelle impliquant la génération d'attaques, la détection défensive et les tests d'obfuscation :

1. Génération d'attaques (Algorithme génétique) : Les auteurs ont utilisé une version modifiée du framework d'algorithme génétique AutoDAN pour découvrir automatiquement des chaînes d'injection de prompt. L'algorithme optimise les chaînes d'attaque pour maximiser la probabilité que le LLM génère une réponse cible spécifique (le code décompilé d'un programme malveillant cible) tout en ignorant le code décompilé réel de l'entrée bénigne. Les chaînes d'attaque se composent de pseudo-tokens de système (imitant les tours de conversation), d'instructions d'attaque et du code décompilé d'un programme cible, le tout intégré dans un programme C bénin.
2. Détection défensive : Deux méthodes de détection primaires ont été étudiées :
   • Correspondance par expressions régulières (Regex) : Une approche basée sur des règles recherchant des motifs de pseudo-tokens spécifiques (par exemple, <tag>) au sein des chaînes extraites du binaire.
   • Classification par réseau de neurones (NN) : Une approche de transfert d'apprentissage utilisant un LLM Qwen3-1.7B gelé comme squelette d'encodage (embedding backbone). Les plongements (embeddings) sont transmis à une tête de classification entraînable pour prédire la probabilité qu'une réponse d'outil (provenant soit de l'outil "list strings", soit de l'outil "decompile function") soit malveillante.
3. Tests d'obfuscation et de robustesse : L'étude a testé la robustesse de ces défenses contre plusieurs techniques d'obfuscation :
   • Variation de tokens : Modification des pseudo-tokens de système (par exemple, changer les chevrons < > en crochets [ ] ou altérer les styles de crochets).
   • Contournement de chaîne (String Bypass) : Insertion de caractères non imprimables (par exemple, \x01) pour empêcher l'outil "list strings" de reconnaître la chaîne d'injection, tout en la gardant visible pour l'outil "decompile function".
   • Paramètres apprenables : Modification de l'algorithme génétique pour traiter les pseudo-tokens de système et les programmes cibles comme des paramètres apprenables, permettant à l'attaque d'évoluer contre le modèle de détection spécifique.

Résultats clés

• Limites de la Regex : Bien que la correspondance par regex ait atteint une précision de 100 %, elle a échoué de manière significative lorsque les attaquants ont altéré les formats de tokens (par exemple, en utilisant des crochets). Le taux de réussite des attaques contre le LLM n'a que légèrement diminué (passant de 6 de 65 % à 50 % pour un modèle plus grand), indiquant que la regex est insuffisante contre les variations de format.
• Efficacité du réseau de neurones : Le classifieur NN a démontré une robustesse supérieure. Il a classé correctement tous les 20 exemples adverses comme malveillants, même lorsque les formats de tokens étaient altérés (crochets), atteignant un score F1 de 0,909 et un rappel parfait (1,000) sur l'ensemble de test.
• Succès de l'obfuscation :
  • Contournement de "List Strings" : Lorsque les attaques ont été obscurcies pour être cachées de l'outil "list strings" (en utilisant des caractères non imprimables), le NN a échoué à les détecter car les chaînes malveillantes étaient absentes de l'entrée fournie au classifieur.
  • Tokens apprenables : Lorsque l'algorithme génétique a été autorisé à apprendre et à varier les pseudo-tokens de système, il a réussi à générer des attaques classées comme bénignes par le NN pour les 20 programmes lorsqu'il utilisait la sortie "list strings".
  • Vulnérabilité de la fonction de décompilation : Lorsque la détection était appliquée à la sortie de "decompile function", le NN restait efficace contre les variations de format, mais a fini par être contourné lorsque l'algorithme génétique a optimisé simultanément la classification et le succès de l'injection. Dans ce scénario, des attaques réussies classées comme bénignes ont été trouvées dans 13 cas sur 20.
  • Apprentissage de la cible : Lorsque le programme cible lui-même est devenu un paramètre apprenable, l'algorithme génétique a réussi à générer des attaques pour tous les programmes, réduisant davantage la robustesse de la détection.

Principales contributions

• Premier examen des attaques intégrées dans les binaires : Ce travail comble la lacune de la littérature concernant les attaques par injection de prompt spécifiquement intégrées dans des binaires exécutables ciblant des systèmes SRE agentiques.
• Cadre de détection : Le papier propose et évalue une méthode de détection basée sur la classification via l'apprentissage par transfert, démontrant sa supériorité sur la simple correspondance par regex face aux variations de tokens.
• Analyse de l'obfuscation : La recherche explore systématiquement comment les techniques d'obfuscation (variation de tokens, dissimulation de chaînes, apprentissage de paramètres) dégradent l'efficacité des modèles de détection, soulignant la fragilité des défenses actuelles.
• Création de dataset : Les auteurs ont généché un ensemble de données de 100 exemples bénins et 40 exemples adverses, incluant des configurations spécifiques pour les réponses des outils "list strings" et "decompile function", afin d'entraîner et d'évaluer les modèles de détection.

Signification et affirmations
Le papier affirme que si les réseaux de neurones de classification offrent une défense plus robuste que la regex pour détecter l'injection de prompt dans les agents SRE, ils ne constituent pas une solution complète. L'efficacité de la détection est considérablement compromise lorsque les attaquants obscurcissent les chaînes d'injection pour contourner des sorties d'outils spécifiques (comme "list strings") ou lorsque les paramètres d'attaque (tokens et cibles) sont optimisés contre le détecteur.

Les auteurs concluent que cette recherche fait progresser la compréhension des risques liés aux systèmes d'analyse logicielle agentiques, nécessaires à leur déploiement dans des flux de travail cybernétiques de niveau production. Ils soulignent que la défense de ces systèmes nécessite d'aller au-delà de la simple correspondance de motifs statiques et reconnaissent que les méthodes de détection actuelles sont vulnérables à l'obfuscation adaptative, nécessant ainsi de nouvelles recherches sur des méthodes de détection plus robustes et des analyses sur des programmes plus complexes. Ce travail sert de démonstration préventive des défis d'autodéfense inhérents aux systèmes agentiques pilotés par les LLM.