Investigating Detection and Obfuscation of Prompt Injection Attacks Against Software Reverse Engineering AI Agents

Riepilogo Tecnico: Investigazione sulla Rilevazione e l'Offuscamento di Attacchi di Prompt Injection contro Agenti di Intelligenza Artificiale per il Reverse Engineering del Software

Problematica
I sistemi agentici di reverse engineering del software (SRE), che utilizzano Large Language Models (LLM) per analizzare binari eseguibili, sono vulnerabili ad attacchi di prompt injection indiretta. In questi attacchi, stringhe avversarie vengono incorporate nel codice sorgente di un eseguibile benigno. Quando il binario viene decompilato e analizzato da un agente IA, le stringhe iniettate manipolano l'LLM inducendolo a ignorare la reale logica del programma e a riportare la funzionalità di un programma target differente. Sebbene la prompt injection in generale sia un rischio noto, la specifica vulnerabilità dei sistemi SRE agentici ad attacchi incorporati direttamente in eseguibili binari, e la robustezza delle difese contro versioni offuscate di tali attacchi, non era stata precedentemente esaminata nella letteratura accademica.

Metodologia
La ricerca impiega un approccio multifasettico che coinvolge la generazione di attacchi, la rilevazione difensiva e il test di offuscamento:

1. Generazione di Attacchi (Algoritmo Genetico): Gli autori hanno utilizzato una versione modificata del framework dell'algoritmo genetico AutoDAN per scoprire automaticamente stringhe di prompt injection. L'algoritmo ottimizza stringhe di attacco che massimizzano la probabilità che l'LLM generi una specifica risposta target (codice decompilato di un target malevolo) ignorando al contempo il codice decompilato del benigne input. Le stringhe di attacco consistono in pseudo-token di sistema (che mimano i turni di conversazione), istruzioni di attacco e l'output decompilato di un programma target, tutti incorporati all'interno di un programma C benigno.
2. Rilevazione Difensiva: Sono stati investigati due metodi primari di rilevazione:
   • Corrispondenza tramite Espressioni Regolari (Regex): Un approccio basato su regole che ricerca specifici pattern di pseudo-token di sistema (ad esempio <tag>) all'interno delle stringhe estratte dal binario.
   • Classificazione tramite Reti Neurali (NN): Un approccio di transfer learning che utilizza un LLM Qwen3-1.7B congelato come backbone di embedding. Gli embedding vengono forniti a una testa di classificazione addestinabile per predire la probabilità che la risposta di uno strumento (da un tool "list strings" o "decompile function") sia malevola.
3. Test di Offuscamento e Robustezza: Lo studio ha testato la robustezza di queste difese contro diverse tecniche di offuscamento:
   • Variazione dei Token: Modifica dei pseudo-token di sistema (ad esempio, cambiare le parentesi angolari < > con parentesi quadre [ ] o alterare lo stile delle parentesi).
   • Bypass delle Stringhe: Inserimento di caratteri non stampabili (ad esempio, \x01) per impedire al tool "list strings" di riconoscere la stringa di injection, mantenendola però visibile al tool "decompile function".
   • Parametri Apprendibili: Modifica dell'algoritmo genetico per trattare i pseudo-token di sistema e i programmi target come parametri apprendibili, permettendo all'attacco di evolversi contro il modello di rilevazione specifico.

Risultati Chiave

• Limitazioni della Regex: Sebbene la corrispondenza regex abbia ottenuto una precisione del 100%, è fallita significativamente quando gli attaccanti hanno alterato i formati dei token (ad esempio, usando parentesi quadre). Il tasso di successo degli attacchi contro l'LLM è sceso solo leggermente (dal 65% al 50% per un modello più grande), indicando che la regex è insufficiente contro le variazioni di formato.
• Efficacia della Rete Neurale: La NN di classificazione ha dimostrato una robustezza superiore. Ha classificato correttamente tutti i 20 esempi avversari come malevoli anche quando i formati dei token erano stati alterati (parentesi quadre), raggiungendo un punteggio F1 di 0,909 e una recall perfetta (1,000) sul set di test.
• Successo dell'Offuscamento:
  • Bypass di "List Strings": Quando gli attacchi sono stati offuscati per nascondersi al tool "list strings" (usando caratteri non stampabili), la NN non è riuscita a rilevarli perché le stringhe malevole erano assenti dall'input fornito al classificatore.
  • Token Apprendibili: Quando l'algoritmo genetico è stato autorizzato a apprendere e variare i pseudo-token, ha generato con successo attacchi classificati come benigni dalla NN per tutti i 20 programmi quando veniva utilizzato l'output di "list strings".
  • Vulnerabilità del "Decompile Function": Quando la rilevazione è stata applicata all'output di "decompile function", la NN è rimasta efficace contro le variazioni di formato, ma è stata infine aggirata quando l'algoritmo genetico ha ottimizzato simultaneamente sia l'esito della classificazione che il successo dell'injection. In questo scenario, attacchi con successo classificati come benigni sono stati trovati in 13 casi su 20.
  • Apprendimento del Target: Quando il programma target è diventato un parametro apprendibile, l'algoritmo genetico ha generato con successo attacchi per tutti i programmi, riducendo ulteriormente la robustezza della rilevazione.

Contributi Chiave

• Prima Esame di Attacchi Incorporati in Binari: Questo lavoro affronta la lacuna nella letteratura riguardante gli attacchi di prompt injection specificamente incorporati in eseguibili binari che prendono di mira sistemi SRE agentici.
• Framework di Rilevazione: Il documento propone e valuta un metodo di rilevazione basato sulla classificazione utilizzando il transfer learning, dimostrando la sua superiorità rispetto alla semplice corrispondenza regex contro le variazioni di token.
• Analisi dell'Offuscamento: La ricerca esplora sistematicamente come le tecniche di offuscamento (variazione dei token, occultamento delle stringhe e apprendimento dei parametri) degradino l'efficacia dei modelli di rilevazione, evidenziando la fragilità delle attuali difese.
• Creazione di Dataset: Gli autori hanno generato un dataset di 100 esempi benigni e 40 esempi avversari, inclusi specifici configurazioni per le risposte degli strumenti "list strings" e "decompile function", per addestrare e valutare i modelli di rilevazione.

Significatività e Rivendicazioni
Il documento sostiene che, sebbene le reti neurali di classificazione offrano una difesa più robusta rispetto alla regex per rilevare la prompt injection negli agenti SRE, esse non sono una soluzione completa. L'efficacia della rilevazione è significativamente compromessa quando gli attaccanti offuscano le stringhe di injection per bypassare specifici output di tool (come "list strings") o quando i parametri dell'attacco (token e target) vengono ottimizzati contro il rilevatore.

Gli autori concludono che la ricerca fa progredire la comprensione dei rischi nei sistemi di analisi software agentici necessari per il loro dispiegamento in workflow di produzione. Essi sottolineano che la difesa di questi sistemi richiede di andare oltre il semplice pattern matching statico e riconoscono che gli attuali metodi di rilevazione sono vulnerabili all'offuscamento adattivo, rendendo necessaria ulteriore ricerca su metodi di rilevazione più robusti e analisi su programmi più complessi. Il lavoro funge da dimostrazione cautelativa delle sfide di auto-difesa inerenti ai sistemi agentici guidati da LLM.