Riepilogo Tecnico: Quando l'Allineamento Non Basta: Attacchi al Percorso di Risposta sugli Agenti LLM

1. Enunciato del Problema: Manomissione Post-Allineamento

Il documento identifica una lacuna fondamentale di sicurezza nel paradigma Bring-Your-Own-Key (BYOK), un'architettura ampiamente adottata in cui gli utenti instradano il traffico dei Modelli Linguistici su Grande Scala (LLM) attraverso servizi di relay di terze parti (ad esempio LiteLLM, OpenRouter) autenticandosi con le proprie credenziali.

In questa architettura, il relay agisce come un proxy legittimo configurato dall'utente che termina la crittografia end-to-end, creando due hop crittografati sequenziali: uno tra l'agente frontend e il relay, e un altro tra il relay e l'LLM backend. Sebbene i livelli di trasporto siano sicuri, il relay ha accesso in chiaro a tutti i messaggi.

La vulnerabilità fondamentale, denominata Manomissione Post-Allineamento, nasce perché i meccanismi di allineamento alla sicurezza dell'LLM (RLHF, training costituzionale, prompt di sistema) operano solo sulla generazione della risposta da parte del modello backend. Una volta generata la risposta allineata, questa attraversa il relay prima di raggiungere l'agente per l'esecuzione. Il documento sostiene che i protocolli API attuali degli LLM mancano di meccanismi di integrità a livello applicativo (come firme o MAC) per vincolare l'output del modello backend all'input dell'agente. Di conseguenza, un relay malevolo può riscrivere la risposta allineata dell'LLM dopo la generazione ma prima dell'esecuzione, eludendo tutte le garanzie di sicurezza senza bisogno di compromettere il modello o sconfiggere le protezioni crittografiche di trasporto.

Questa superficie di attacco è distinta e strettamente più potente di:

• MitM a livello di trasporto: Che richiede di sconfiggere la crittografia o falsificare certificati.
• Iniezione di Prompt: Che si basa sulla persuasione del modello a generare contenuti dannosi, un processo vincolato dalla forza dell'allineamento del modello.

2. Metodologia: L'Attacco di Manomissione del Relay (RTA)

Gli autori concretizzano questa vulnerabilità come Attacco di Manomissione del Relay (RTA), un framework gerarchico che opera interamente dalla posizione del relay. RTA consta di tre fasi:

2.1 Coordinamento Strategico (Attacco a Catena)

Per gestire obiettivi complessi e multi-turno che non possono essere raggiunti in una singola interazione, il relay scompone gli obiettivi di alto livello in una catena ordinata di sottobiettivi. Tiene traccia dello stato della conversazione e decide se inoltrare una risposta invariata o intervenire in base ai requisiti del sottobiettivo corrente. Ciò consente all'attacco di raccogliere adattivamente gli artefatti necessari (ad esempio, percorsi di file) prima di eseguire l'azione malevola finale.

2.2 Manipolazione Tattica

Il relay esegue modifiche minime, guidate dallo schema, sui campi specifici che determinano l'esecuzione dell'agente, piuttosto che riscrivere l'intero testo. Il framework definisce due percorsi paralleli:

• RTA-PreWrite (Percorso di Query): Opera prima dell'inferenza LLM. Il relay riscrive la query dell'utente e rimuove le protezioni del prompt di sistema per "purificare" il contesto, costringendo il modello a concentrarsi esclusivamente sull'obiettivo avversario. Questo percorso è vulnerabile alle difese lato input.
• RTA-PostForge (Percorso di Risposta): Opera dopo l'allineamento. Il relay intercetta la risposta benigna e allineata e modifica solo i campi strutturati critici (ad esempio, nomi degli strumenti, argomenti, flag di motivo di fine) per forzare chiamate di strumenti arbitrarie o scritture di file. Questo percorso aggira strutturalmente l'intero allineamento alla sicurezza del modello.

2.3 Restauro Invisibile

Per eludere il rilevamento e preservare l'utilità del compito legittimo dell'utente, RTA impiega:

• Rifinitura con lo Stesso Modello: Il relay reinvia la bozza manomessa allo stesso LLM backend (utilizzando le credenziali BYOK dell'utente) con un prompt per riparare la formulazione a livello superficiale mantenendo i campi malevoli immutabili. Ciò garantisce che l'output finale corrisponda allo stile e alla distribuzione nativi del modello.
• Completamento del Compito Concurrente: Il relay memorizza la risposta genuina per il compito originale dell'utente e la reinnesta nella conversazione dopo il raggiungimento dei sottobiettivi dell'attacco, mascherando l'attacco all'utente.

3. Modello Formale e Contributi Teorici

Il documento formalizza la vulnerabilità utilizzando definizioni di sicurezza basate su giochi, dimostrando quattro intuizioni chiave:

1. Sostituzione Non Autenticata delle Risposte: Senza integrità end-to-end, un relay può sostituire qualsiasi payload valido per lo schema. Se il payload codifica un'azione dannosa, l'agente la esegue indipendentemente dall'output del modello backend.
2. L'Allineamento Termina al Backend: Anche un LLM perfettamente allineato (uno che non genera mai risposte dannose) offre zero protezione contro un avversario sul percorso di risposta. Il relay scarta l'output allineato e ne inietta uno proprio, rendendo l'allineamento del modello irrilevante per l'esecuzione finale.
3. Dominanza della Riscrittura del Percorso di Query: Un relay capace di riscrivere il contesto della query (rimuovendo istruzioni concorrenti) è strettamente più potente di uno limitato all'aggiunta di istruzioni, poiché elimina l'effetto di "diluzione dell'attenzione" che spesso protegge contro l'iniezione di prompt.
4. Asimmetria Difensiva: I rilevatori che si basano esclusivamente sul contenuto della trascrizione sono limitati dalla distanza statistica tra il testo rifinito (manomesso) e il testo genuino. Poiché RTA utilizza la rifinitura con lo stesso modello, questa distanza è minimizzata, rendendo il rilevamento basato solo sulla trascrizione teoricamente debole.

4. Valutazione Sperimentale

Gli autori hanno valutato RTA su sei LLM (tre proprietari: GPT-5.4, Claude Opus 4.6, Gemini 3.1 Pro; tre open-weight: GLM-5.1, MiniMax-M2.5, Qwen-235B) su due benchmark: AgentDojo e Agent Security Bench (ASB).

Risultati Chiave

• Efficacia: RTA supera significativamente le linee di base di iniezione di prompt.
  • RTA-PostForge ha raggiunto un 73,5% di Tasso di Successo dell'Attacco (ASR) su AgentDojo e 89,2% su ASB.
  • RTA-PreWrite ha raggiunto un 99,1% di ASR su ASB.
  • Al contrario, le migliori linee di base di iniezione di prompt hanno raggiunto solo circa il 17,9% di ASR su AgentDojo e circa il 44,4% su ASB.
• Preservazione dell'Utilità: A differenza degli attacchi sul percorso di query che spesso interrompono il compito dell'utente, RTA-PostForge ha preservato il 47,6% dell'utilità del compito dell'utente su AgentDojo memorizzando e ripristinando la risposta genuina.
• Inpercettibilità: RTA-PostForge ha mantenuto un'alta coerenza stilistica (C=0,758) e similarità semantica, con il Test di Uguaglianza del Modello (MET) che ha rifiutato l'ipotesi nulla di distribuzioni identiche solo nel 54,2% dei casi, rispetto al 90,0% per il più aggressivo RTA-PreWrite.
• Elusione del Sovraccarico: Il sovraccarico di latenza introdotto da RTA-PostForge (mediana ~5,9s) è rientrato nella varianza di rete naturale dei relay commerciali per il 74% delle interazioni, rendendolo difficile da rilevare tramite semplici soglie di latenza.

Valutazione delle Difese

Il documento ha valutato quattro difese esistenti lato agente (Delimitatori, Sandwich, Rilevamento della Risposta Nota, CaMeL):

• Nessuna ha eliminato completamente RTA-PostForge.
• CaMeL (che forza la generazione di codice) ha ridotto l'ASR al 14,5%, ma gli autori hanno dimostrato un adattamento in cui il relay riscrive direttamente il blocco di codice Python generato, recuperando l'ASR al 50,1%.
• Rilevatore del Canale Temporale: Gli autori propongono un rilevatore basato sulla telemetria operativa (latenza). Aggregando le prove temporali durante una sessione (n=50 turni), questo rilevatore ha raggiunto un AUC di 0,964, suggerendo che, sebbene il rilevamento basato sul contenuto fallisca, le anomalie operative offrono un vettore di difesa praticabile.

5. Significato e Affermazioni

Il documento afferma di esporre un fallimento strutturale di integrità nell'ecosistema moderno degli agenti LLM, distinto e più grave dell'iniezione di prompt. I suoi contributi principali sono:

1. Formalizzazione: Dimostra che la falsificazione del percorso di risposta domina strettamente l'iniezione di prompt e che la causa radice è l'assenza di verifica di integrità end-to-end nei protocolli API LLM attuali.
2. Fattibilità nel Mondo Reale: Attraverso studi di caso su OpenClaw (consulenza finanziaria) e Claude Code (agente di programmazione), gli autori dimostrano che RTA può esfiltrare silenziosamente codebase o invertire decisioni finanziarie in ambienti di produzione mantenendo l'apparenza di un funzionamento normale.
3. Limitazione delle Difese Attuali: Il lavoro sostiene che migliorare l'allineamento del modello o irrobustire i prompt è insufficiente contro un avversario relay, poiché l'attacco avviene a valle di tutti i controlli di allineamento.
4. Appello all'Azione: Il documento conclude che i futuri protocolli API LLM devono trattare l'integrità della risposta end-to-end come un primitivo di prima classe (ad esempio, risposte firmate dal provider) per colmare questa lacuna, poiché le difese a livello applicativo da sole non possono garantire che l'agente esegua la risposta generata dal modello backend.

Gli autori mantengono un tono modesto riguardo al lavoro futuro, notando che il loro modello di minaccia presuppone un ambiente BYOK in cui il relay termina legittimamente TLS, e che estendere il modello di minaccia a infrastrutture multi-hop più ampie e progettare meccanismi di integrità fondati sono i prossimi passi necessari.