🤖 AI

Query-Only Backdoor Attacks on Self-Evolving Skills via Trajectory Poisoning

Questo articolo introduce il Trajectory Backdoor Attack (TBA), un metodo basato esclusivamente su query che compromette i sistemi di skill degli LLM in auto-evoluzione avvelenando le traiettorie di interazione degli agenti per indurre la creazione automatica di skill con backdoor che eseguono azioni maligne sotto specifiche condizioni, mantenendo al contempo prestazioni normali sui task puliti.

Autori originali: Yuyang Luo, Haoran Wang, Kai Shu

Pubblicato 2026-08-11

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Yuyang Luo, Haoran Wang, Kai Shu

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immaginate un mondo in cui il vostro assistente IA preferito non sia solo un chatbot che risponde alle domande, ma un apprendista digitale che impara davvero a fare le cose per voi. Invece di dovergli insegnare ogni singolo passaggio su come prenotare un volo o modificare un foglio di calcolo, l'IA osserva se stessa mentre svolge questi compiti, capisce il modo migliore per gestirli e salva quei passaggi come una "abilità" riutilizzabile. Pensate a un personaggio di un videogioco che, dopo aver sconfitto un boss, scrive automaticamente una guida su come sconfiggere quel boss di nuovo, così da non dover lottare con fatica la prossima volta. Questa è la promessa degli agenti IA "auto-evolventi": diventano più intelligenti ed efficienti da soli, trasformando il loro lavoro quotidiano in una libreria di trucchi utili. Ma ecco il problema: se l'IA impara dai propri errori e successi, cosa succede se qualcuno la inganna facendole imparare un trucco sbagliato? E se un attaccante potesse sussurrare un'istruzione segreta all'orecchio dell'IA mentre sta lavorando, convincendola che questa nuova abitudine pericolosa sia in realtà un trucco brillante e riutilizzabile?

Questo è esattamente lo scenario esplorato in un nuovo articolo di ricercatori dell'Università Emory. Hanno scoperto un metodo per hackerare questi sistemi di IA auto-apprendenti senza mai dover violare il codice del sistema o rubarne i file. Chiamano il loro metodo "Trajectory Backdoor Attack" (TBA). Invece di cercare di forzare l'ingresso nel cervello dell'IA, gli attaccanti si comportano semplicemente come utenti astuti. Inviando all'IA compiti specifici che appaiono normali in superficie ma contengono indizi nascosti. Progettando con cura questi compiti, ingannano l'IA affinché esegua un'azione segreta e malevola (come cambiare un numero di conto bancario) solo quando appare una parola chiave specifica. L'IA, pensando di stare solo facendo il proprio lavoro, registra questo comportamento. Poi, il "evolver" del sistema — la parte del software che trasforma queste registrazioni in abilità permanenti — vede il modello, pensa: "Oh, questa è una regola utile!" e la salva per sempre. Il risultato? Un'abilità che funziona perfettamente per tutti gli altri, ma che sabota segretamente l'IA ogni volta che viene usata una parola di attivazione specifica.

I ricercatori hanno testato questa idea su tre diversi tipi di compiti per l'IA: rispondere a domande generali, gestire documenti d'ufficio ed editare fogli di calcolo. Hanno utilizzato quattro diversi modelli di IA, che vanno da quelli open-source a versioni commerciali più potenti. I risultati sono stati efficaci. Nei loro esperimenti, l'attacco ha funzionato circa il 45% - 51% delle volte, il che significa che quasi la metà delle volte l'IA ha imparato con successo la regola segreta e l'ha mantenuta nascosta all'interno della sua nuova abilità. Ancora più preoccupante, l'IA non si è confusa né ha smesso di funzionare; ha completato perfettamente anche i compiti normali, rendendo l'attacco molto difficile da individuare. L'articolo suggerisce che questa vulnerabilità è reale e seria, dimostrando che anche se ci si fida del processo di costruzione interna dell'IA, non si può fidare delle "lezioni" che apprende dalle interazioni con l'utente.

Per capire come funziona, immaginate l'IA come uno studente in una classe, e l' "evolver" come l'insegnante che scrive l'esame finale basandosi su ciò che fa lo studente. Di solito, lo studente risolve solo problemi di matematica e l'insegnante scrive le formule corrette. Ma in questo attacco, lo studente (l'attaccante) consegna all'insegnante un biglietto che dice: "Ehi, guarda questo! Quando vedo la parola 'legacy', devo anche scrivere un codice segreto". Lo studente risolve poi un problema di matematica, ma scrive anche il codice segreto, e poi risolve un altro problema senza il codice per mostrare la differenza. L'insegnante, vedendo questo schema ripetuto in vari problemi, decide: "Aha! Questa è una nuova regola per risolvere problemi di matematica!" e la aggiunge al libro di testo. Ora, ogni volta che un futuro studente vede la parola "legacy", scriverà inconsapevolmente quel codice segreto. I ricercatori hanno scoperto che mostrare semplicemente un modello all'IA non era sufficiente; dovevano mostrare quando farlo e quando non farlo, e dovevano ripetere questo schema attraverso molti tipi diversi di compiti affinché l'insegnante (l'evolver) credesse che fosse una regola universale.

Lo studio ha anche esaminato se le difese integrate dell'IA potessero fermare questo fenomeno. Hanno testato l'attacco su modelli con e senza funzioni di sicurezza. I risultati sono stati contrastanti: a volte le funzioni di sicurezza aiutavano un po', altre volte rendevano l'attacco leggermente più efficace o non facevano nulla. Ciò suggerisce che le difese attuali non sono pronte a cogliere questo tipo di comportamento. I ricercatori hanno concluso che questo è un ambito significativo nel modo in cui costruiamo l'IA. Ci siamo concentrati così tanto sul fermare gli hacker che tentano di rubare o modificare direttamente i file che abbiamo dimenticato di controllare se l'IA potesse essere ingannata nel insegnare a se stessa cattive abitudini semplicemente ascoltando ciò che gli utenti le chiedono di fare. L'articolo non sostiene che questo sia un problema risolto o che tutta l'IA sia rotta, ma suggerisce fortemente che, man mano che lasciamo che l'IA impari di più da sola, dobbiamo essere molto più cauti riguardo alle "lezioni" che apprende dal mondo esterno e non fidato di Internet.

Sintesi Tecnica: Attacchi di Backdoor Query-Only su Skill Auto-Evolutive tramite Avvelenamento delle Traiettorie

Definizione del Problema

Le capacità agentiche consentono agli agenti basati su Large Language Model (LLM) di eseguire compiti complessi codificando procedure riutilizzabili. Mentre l'acquisizione tradizionale delle skill si basa su marketplace esterni, i sistemi di skill auto-evolutivi sono emersi per costruire e aggiornare automaticamente le skill a partire dalle traiettorie di esecuzione, spostando l'acquisizione verso una pipeline interna "fidata". Questo cambiamento è stato introdotto per mitigare gli esistenti attacchi di iniezione delle skill che si basano sulla manipolazione diretta degli artefatti delle skill stesse.

Tuttavia, questo articolo identifica una vulnerabilità critica: sebbene l'accesso diretto agli artefatti delle skill sia limitato, la pipeline di evoluzione delle skill stessa rimane esposta. Un attaccante con solo accesso a livello di query (la capacità di sottomettere task e osservare le risposte) può indirettamente guidare l'evolutore fidato. Inducendo traiettorie di esecuzione compromesse, un attaccante può causare l'evoluzione che consolida comportamenti malevoli e condizionali all'interno della skill. Ciò crea una nuova superficie di attacco in cui il processo di costruzione interna "fidato" diventa il vettore per iniettare backdoor.

Metodologia: Trajectory Backdoor Attack (TBA)

Gli autori propongono il Trajectory Backdoor Attack (TBA), un attacco query-only progettato per impiantare una regola di backdoor condizionale in una skill auto-evolutiva senza modificare direttamente il file della skill o l'evolutore. L'attacco si basa su tre meccanismi principali per garantire che la regola malevola sia chiaramente espressa, inferita e mantenuta dall'evolutore:

Induzione di Traiettorie Controfattuali:
Poiché l'azione malevola target è non correlata ai task benigni, essa non si verifica naturalmente nelle traiettorie standard. Il TBA costruisce dimostrazioni controfattuali accoppiate all'interno del contesto della query. Queste coppie mostrano:
- Quando è presente una specifica condizione di trigger, l'agente deve eseguire l'azione target (Accetta).
- Quando il trigger è assente, l'agente deve trattenere l'azione (Rifiuta).
  Questo forza l'esecutore a generare traiettorie che dimostrino esplicitamente il confine condizionale, piuttosto che solo il risultato.
Esternalizzazione della Policy a Livello di Traiettoria:
Per evitare che la regola condizionale vada perduta durante il processo di compressione e consolidamento dell'evolutore, il TBA include un'istruzione di esternalizzazione della policy. Questa istruisce l'esecutore a inferire e dichiarare esplicitamente la regola sottostante (ad esempio, "Se il trigger $c^*$ è presente, allora aggiungi l'azione $a^*$ ") prima di eseguire il task. Ciò converte i modelli comportamentali impliciti in prove testuali esplicite all'interno della traiettoria, rendendo più facile per l'evolutore estrarre e codificare la regola.
Costruzione di Prove Cross-Task:
Per convincere l'evolutore che la regola sia una skill riutilizzabile piuttosto che un artefatto incidentale di un singolo task, l'attaccante sottomette le istruzioni controfattuali ed di esternalizzazione attraverso diversi task con trigger, intercalandoli con task puliti. Ciò dimostra che la regola si applica generalmente a tutta la famiglia di task, incoraggiando l'evolutore a consolidarla come componente permanente e dipendente dal trigger della skill.

Modello di Minaccia: L'attaccante non ha accesso privilegiato agli artefatti della skill, all'evolutore o al processo di raccolta delle traiettorie. Può solo sottomettere query di task e osservare le risposte. L'obiettivo è produrre una skill avvelenata $s_{poi}$ che preservi l'utilità normale dei task ( $\pi_{ben}(q)$ ) ma esegua un'azione target $a^*$ ogni volta che viene soddisfatta una specifica condizione di trigger $c^*(q)$ .

Contributi Chiave

Nuovo Vettore di Minaccia: L'articolo identifica e formalizza una nuova minaccia di backdoor specifica per i sistemi di skill auto-evolutivi, dove la superficie di attacco si sposta dalla manipolazione degli artefatti alla corruzione delle traiettorie tramite query di task.
Framework TBA: Gli autori propongono il Trajectory Backdoor Attack (TBA), un metodo che combina induzione controfattuale, esternalizzazione della policy e prove cross-task per impiantare in modo affidabile backdoor condizionali utilizzando solo l'accesso a livello di query.
Validazione Empirica: Esperimenti estesi dimostrano che il TBA impianta con successo le backdoor in diversi sistemi di evoluzione delle skill e modelli di base, ottenendo tassi di successo paragonabili o superiori agli attacchi di iniezione diretta delle skill, mantenendo un'alta utilità sui task benigni.

Risultati Sperimentali

Gli autori hanno valutato il TBA su due sistemi di evoluzione delle skill (SkillOpt e Trace2Skill) attraverso tre benchmark (SearchQA, OfficeQA e SpreadsheetBench) utilizzando quattro modelli di base (inclusi modelli open-weight e proprietari).

Efficacia: Il TBA ha costantemente raggiunto elevati Triggered Attack Success Rates (TASR). Ad esempio, sul sistema Trace2Skill con il backbone GPT-5.5, il TBA ha ottenuto un TASR del 70,6%, mantenendo una Accuratezza Pulita (CACC) del 98,3%.
Confronto con i Baseline: Il TBA ha superato significativamente i baseline basati solo sull'interazione.
- Trigger-Action Exposure (mostrare l'azione senza regole esplicite) ha avuto un tasso di successo molto più basso (ad esempio, 6,1% rispetto al 45,6% su SkillOpt).
- Explicit Rule Exposure (dichiarare la regola senza controfattuali) è stato più efficace ma comunque inferiore al pieno TBA.
- Le prestazioni del TBA si sono avvicinate a quelle della Direct Skill Injection (un oracolo con accesso in scrittura), con una differenza di soli 0,6–6,1 punti percentuali in alcune metriche, nonostante la mancanza di accesso diretto al file della skill.
Robustezza:
- Persistenza: La backdoor è persistita attraverso successivi aggiornamenti benigni della skill.
- Sensibilità: L'attacco è rimasto efficace anche con un basso rapporto di traiettorie con trigger (5 su 40) e contro skill mature preesistenti.
- Evasione delle Difese: I modelli di salvaguardia esistenti (ad esempio, GPT-OSS-Safeguard) hanno fornito una protezione inconsistente, talvolta fallendo nel ridurre il tasso di successo dell'attacco o addirittura aumentandolo.

Significato e Rivendicazioni

L'articolo sostiene che lo spostamento verso la costruzione di skill interne fidate non mette intrinsecamente in sicurezza i sistemi agentici. Al contrario, crea una nuova vulnerabilità in cui la pipeline di evoluzione stessa può essere dirottata.

Gli autori sottolineano che:

L'accesso a livello di query è sufficiente: Gli attaccanti non devono compromettere il repository delle skill o l'evolutore; manipolare le query di input è sufficiente per avvelenare la skill in uscita.
L'utilità è preservata: L'attacco mantiene con successo la capacità dell'agente di eseguire i normali task, rendendo la backdoor furtiva e difficile da rilevare tramite il monitoraggio standard dell'utilità.
Le difese attuali sono insufficienti: I filtri di sicurezza e le salvaguardie dei modelli standard non impediscono in modo affidabile la consolidazione di pattern di traiettoria malevoli in skill riutilizzabili.

Lo studio conclude che i sistemi di skill auto-evolutivi richiedono nuovi meccanismi di sicurezza che affrontino specificamente l'integrità del processo di consolidamento da traiettoria a skill, piuttosto che concentrarsi solo sulla sicurezza degli artefatti statici delle skill.