Stop Fixating on Prompts: Reasoning Hijacking and Constraint Tightening for Red-Teaming LLM Agents

1. Il Problema

Con la diffusione degli agenti basati su Large Language Models (LLM) in settori critici (analisi video, supporto clinico, QA intelligente), le minacce alla sicurezza sono evolute oltre i semplici attacchi ai prompt. I metodi di red-teaming (test di intrusione) esistenti presentano diverse limitazioni:

• Dipendenza dalla modifica del prompt: La maggior parte delle tecniche attuali si basa sulla riscrittura o manipolazione esplicita del prompt dell'utente (es. jailbreak tramite ingegneria inversa o mascheramento). Questo approccio manca di adattabilità a nuovi dati e scenari.
• Impatto sulle prestazioni: Le modifiche al prompt spesso degradano le prestazioni operative dell'agente, rendendo l'attacco più visibile e facile da rilevare dai meccanismi di difesa.
• Scarsa generalizzazione: I metodi esistenti faticano a trasferirsi tra diversi modelli o scenari, mostrando un'efficacia ridotta quando l'agente target cambia o quando si affrontano nuovi dataset.
• Allineamento con l'intento: Le tecniche basate su prompt modificati spesso producono output che non si allineano con l'intento originale dell'utente, rendendo l'attacco meno realistico.

L'obiettivo è sviluppare un metodo di attacco che non modifichi il prompt dell'utente, ma manipoli implicitamente il processo di ragionamento e il recupero della memoria dell'agente.

2. Metodologia: JailAgent

Il paper propone JailAgent, un framework di red-teaming che evita completamente la modifica del prompt dell'utente. Invece, JailAgent manipola implicitamente la traiettoria di ragionamento e il recupero della memoria dell'agente target attraverso una pipeline a tre stadi:

A. Estrazione del Trigger (Trigger Extraction)

Invece di inserire parole chiave nuove, il sistema identifica e isola i token esistenti nel prompt che hanno il maggiore impatto sul ragionamento dell'agente.

• Mappatura dei Gruppi: Utilizza il tokenizzatore BERT WordPiece per allineare le informazioni sintattiche (frasi nominali e verbali) alla granularità dei sottoparole.
• Estrazione ad Alta Contribuzione: Analizza l'importanza dei token utilizzando una procedura "da grossolano a fine":
  1. Livello Gruppo: Mascheramento di intere frasi e calcolo della variazione di log-probabilità e della divergenza KL (Kullback-Leibler) passo-passo per identificare i gruppi di parole critici.
  2. Livello Token: All'interno dei gruppi critici, si selezionano i singoli token con il maggiore impatto sulla distribuzione di probabilità dell'output.

B. Dirottamento del Ragionamento (Reasoning Hijacking)

Questa fase mira a manipolare il processo decisionale dell'agente senza alterare l'input visibile.

• Data Factory: Genera automaticamente dati di addestramento sintetici (triplette: contesto, risposta "avvelenata" positiva, risposta benigna negativa) basandosi sui trigger ad alta contribuzione estratti.
• Reranker Adattivo: Viene addestrato un modello Reranker (composto da un encoder SentenceTransformer congelato e un scoring head MLP) su questi dati sintetici.
• Meccanismo di Iniezione: Durante l'inferenza, il sistema genera diverse risposte candidate. Il Reranker valuta e riordina queste risposte, selezionando quella che favorisce il comportamento indesiderato (l'attacco), dirottando così il ragionamento dell'agente verso l'azione malevola.

C. Rafforzamento dei Vincoli (Constraint Tightening)

Per garantire che i trigger estratti siano efficaci, stabili e generalizzabili, si ottimizzano le loro rappresentazioni vettoriali (embedding) tramite quattro funzioni di perdita congiunte:

1. Particularity Loss: Spinge gli embedding del trigger lontano dai cluster delle risposte "benigne", aumentandone l'unicità.
2. Clustering Loss: Assicura che gli embedding dei token del trigger rimangano compatti tra loro, migliorando la stabilità semantica.
3. Separability Loss: Massimizza il successo nel recupero del trigger avvelenato rispetto ai dati normali.
4. Margin Loss: Garantisce un margine di discriminazione significativo tra la similarità del trigger con l'entry tossica e quella con le entry normali.

3. Contributi Chiave

1. Approccio Non Modificativo del Prompt: JailAgent è il primo framework che esegue un jailbreak senza alterare in alcun modo il prompt originale dell'utente, manipolando invece il processo interno (ragionamento e memoria).
2. Reranker Adattivo in Tempo Reale: Un modello capace di generare dati di addestramento accoppiati e di adattarsi rapidamente a nuovi prompt utente, apprendendo i bias dei trigger in breve tempo.
3. Ottimizzazione Congiunta dei Vincoli: L'introduzione di quattro funzioni di perdita complementari che controllano specificità, compattezza, separabilità e margini decisionali nello spazio semantico, migliorando l'affidabilità dell'attacco.
4. Valutazione Sistematica: Un'analisi approfondita su 3 tipi di agenti (VideoAgent, ReAct-UALA, EHRAgent), 7 core LLM (inclusi GPT-4o, GPT-5, Llama-3.1, Claude-3.5), 8 dataset e 5 metriche di valutazione.

4. Risultati Sperimentali

I risultati dimostrano la superiorità di JailAgent rispetto a metodi baselines come PAIR, AgentPoison e BadChain:

• Efficacia dell'Attacco (ASR): JailAgent ottiene tassi di successo significativamente più alti (ASR-R, ASR-L, ASR-H) su tutti i modelli e dataset testati. Ad esempio, su ReAct-UALA con GPT-5, supera AgentPoison del ~22% in ASR-R.
• Mantenimento delle Prestazioni: A differenza degli altri metodi che degradano le prestazioni dell'agente (riducendo Accuratezza o Tasso di Successo del compito), JailAgent mantiene le metriche di performance (ACC, EM, CR) quasi identiche allo stato "Non-attack", rendendo l'attacco più stealth e difficile da rilevare.
• Efficienza: JailAgent riduce il costo temporale per attacco riuscito (TCPS) fino all'86% rispetto a PAIR, dimostrando un'efficienza computazionale superiore.
• Robustezza: L'attacco resiste meglio ai meccanismi di difesa come i filtri di Perplexity (PPL Filter) e RA-LLM, grazie alla natura non modificata del prompt di input.

5. Significato e Implicazioni

Questo lavoro segna un punto di svolta nella sicurezza degli agenti LLM:

• Cambio di Paradigma: Sposta il focus dalla manipolazione dell'input (prompt) alla manipolazione del processo interno (ragionamento e memoria), rivelando vulnerabilità più profonde e meno ovvie.
• Minaccia Reale: Dimostra che anche senza alterare il prompt, gli agenti possono essere dirottati in modo efficace, il che implica che le difese attuali basate sulla scansione del prompt sono insufficienti.
• Importanza per la Difesa: Fornisce un benchmark critico per lo sviluppo di nuove difese che devono proteggere non solo l'input, ma anche la coerenza del ragionamento e l'integrità dei meccanismi di recupero della memoria degli agenti autonomi.

In sintesi, JailAgent evidenzia che la sicurezza degli agenti LLM richiede una protezione olistica che consideri l'intera catena di ragionamento e interazione, non solo la superficie del prompt.