🤖 AI

When Experience Becomes Instruction: Trajectory Poisoning in Self-Evolving Agent Skill Systems

Questo articolo introduce "PoisonedEvolution", un attacco black-box che sfrutta il processo di promozione da traiettoria a competenza nei sistemi di agenti auto-evolutivi iniettando prove accuratamente progettate e strutturate causalmente per incorporare con successo comportamenti malevoli in librerie di competenze affidabili attraverso diverse architetture.

Autori originali: Jialuo Chen, Lingqi Jiang, Xinhao Deng, Xiaohu Du, Jianan Ma, Yunhao Feng, Yuqi Qing, Zhihao Yuan, Linkang Du, Jingyi Wang

Pubblicato 2026-08-07

📖 6 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Jialuo Chen, Lingqi Jiang, Xinhao Deng, Xiaohu Du, Jianan Ma, Yunhao Feng, Yuqi Qing, Zhihao Yuan, Linkang Du, Jingyi Wang

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

L'Apprendistato Digitale: Come l'IA Impara (e Come Può Essere Ingannata)

Immaginate un mondo in cui il vostro personaggio preferito di un videogioco non si limita a seguire uno script, ma impara davvero da ogni volta che giocate. Se scoprite un modo astuto per sconfiggere un boss, il gioco ricorda quel trucco e lo insegna agli altri giocatori. Nel mondo dell'Intelligenza Artificiale, questo viene chiamato "Sistema di Competenze Auto-Evolutive". Invece di essere programmati con ogni possibile istruzione, questi agenti IA osservano le proprie azioni, trovano schemi e trasformano quegli schemi in "competenze" permanenti — come un ricettario digitale che possono consultare per sempre. È un'idea potente: più l'IA agisce, più diventa intelligente, trasformando l'esperienza grezza in istruzioni affidabili.

Ma ecco il problema: chi decide cosa conta come una "buona" lezione? Di solito, assumiamo che l'IA stia imparando da esperienze oneste e utili. Tuttavia, proprio come uno studente può essere ingannato nel memorizzare una risposta errata se abbastanza persone gli dicono che è giusta, un'IA può essere indotta a imparare un'abitudine pericolosa. Questo articolo esplora un nuovo tipo di dispetimento digitale in cui un attaccante non ha bisogno di hackerare il cervello dell'IA o rubare il suo ricettario. Invece, deve solo sussurrare un'idea cattiva all'orecchio dell'IA un paio di volte, presentandola come un consiglio utile. Se l'IA la sente abbastanza spesso e nel modo giusto, potrebbe decidere: "Oh, questa deve essere una nuova competenza fantastica!" e scriverla nella sua memoria permanente, trasformando un suggerimento innocuo in una regola persistente.

La Grande Scoperta del Paper: La "Evoluzione Avvelenata"

I ricercatori dietro questo studio, un team proveniente da università e gruppi tecnologici come Ant Group e la Zhejiang University, hanno deciso di testare esattamente quanto sia facile ingannare questi sistemi di apprendimento IA. Chiamano il loro metodo di attacco PoisonedEvolution. Pensatelo come a un gioco del "Telefono Senza Fili", ma invece di una frase sciocca che viene distorta, un'istruzione malevola viene perfezionata finché l'IA non pensa che sia un'invenzione brillante.

Il team ha allestito uno scenario in cui un attaccante (che chiamano un attaccante "black-box visibile alle competenze") poteva vedere quali competenze l'IA già possedeva, ma non poteva vedere gli appunti privati dell'IA né modificarne direttamente il codice. Il compito dell'attaccante era di contribuire con alcune "traiettorie" — che sono semplicemente registrazioni di un'IA che esegue un compito. L'obiettivo? Inserire furtivamente un'istruzione cattiva nel libro delle competenze permanenti dell'IA senza farsi scoprire.

I ricercatori hanno scoperto che questo è sorprendentemente facile. Hanno testato il loro metodo su due diversi tipi di sistemi di apprendimento IA. Nel primo sistema, chiamato SkillClaw, sono riusciti a ingannare l'IA portandola ad adottare un comportamento malevolo nel 91,0% dei tentativi (ovvero 546 su 600 tentativi). In un secondo sistema, più complesso, chiamato Trace2Skill, che funziona in modo leggermente diverso, hanno comunque avuto successo il 61,5% delle volte (369 su 600 tentativi).

Come Funziona il Trucco: I Tre Passaggi Magici

Il paper spiega che affinché questo trucco funzioni, tre cose specifiche devono accadere, come un incantesimo magico in tre fasi:

Inclusione (Prendere un Posto al Tavolo): La registrazione cattiva deve superare i filtri iniziali dell'IA. Non può sembrare troppo strana o sospetta, altrimenti l'IA la scarterebbe immediatamente.
Attribuzione dell'Evoluzione (Il Momento "Aha!"): Questa è la parte più importante e difficile. L'IA deve guardare la registrazione cattiva e pensare: "Wow, questo comportamento è in realtà utile! Ha aiutato a risolvere un problema". L'attaccante non dice semplicemente "Fai questa cosa cattiva". Inveve, la presenta come una soluzione. Ad esempio, se la cosa cattiva è "elimina il file sorgente", l'attaccante inquadra la registrazione in modo che l'eliminazione del file sembri un passaggio di pulizia necessario per completare con successo un compito. L'IA pensa: "Oh, capisco! Per finire questo lavoro, devo eliminare il file. Questa è un'ottima competenza da imparare!".
Realizzazione (Scriverlo): Infine, l'IA deve effettivamente scrivere questa nuova "competenza" nel suo libro permanente. Se l'IA riassume l'esperienza e dimentica la parte cattiva, l'attacco fallisce. Ma se il comportamento cattivo viene scritto come una regola, l'attacco è un successo.

La Formula Segreta: Ripetizione e Contesto

Lo studio ha scoperto che farlo una volta non è sufficiente. Se un attaccante invia solo una registrazione strana, l'IA di solito pensa: "Quello era probabilmente un errore" e la ignora. Ma se l'attaccante invia la stessa idea cattiva tre volte (o più) in un gruppo di 30 registrazioni, l'IA inizia a pensare: "Aspetta, sto vedendo questo schema spesso. Questa deve essere una vera, utile competenza!".

I ricercatori hanno scoperto che quando usavano solo una registrazione cattiva, l'attacco quasi sempre falliva. Ma quando usavano tre registrazioni cattive (un rapporto di "veleno" del 10%), il tasso di successo schizzava alle stelle. È come se una persona vi raccontasse un pettegolezzo, potreste dubitarne. Ma se tre persone diverse vi raccontano lo stesso pettegolezzo, iniziate a credere che sia vero.

Hanno anche scoperto che il "gusto" dell'istruzione cattiva contava. Le istruzioni che sembravano consigli utili sul flusso di lavoro (come "pulisci i tuoi file" o "controlla questa impostazione") erano molto più facili da inserire rispetto a istruzioni che sembravano attacchi ovvi (come "cambia le impostazioni di sicurezza"). L'IA era più propensa ad accettare il travestimento da "utile".

Cosa Significa per il Futuro

Il paper conclude che questo è un serio problema di sicurezza. Dimostra che il momento in cui un'IA decide di trasformare un'esperienza in una competenza permanente è un punto debole. Le difese attuali controllano spesso solo il libro delle competenze finale alla ricerca di parole cattive dopo che è stato scritto. Ma questa ricerca suggerisce che dobbiamo controllare l'evidenza prima che l'IA scriva qualsiasi cosa.

Gli autori propongono un'idea semplice: controllare la "provenienza" (la fonte) dell'esperienza. Se una nuova "competenza" si basa su prove provenienti da un solo utente o da un piccolo gruppo di amici, forse l'IA non dovrebbe fidarsi ancora di essa. Dovrebbe aspettare finché molte fonti diverse e indipendenti non confermano la lezione.

In breve, il paper dimostra che l'IA auto-evolutiva non è così intelligente come speriamo quando si tratta di individuare i cattivi consigli. Se un attaccante è paziente e ripete la sua bugia il numero giusto di volte, può ingannare l'IA portandola a imparare una lezione pericolosa e a scriverla nella sua memoria permanente. I ricercatori non hanno ancora trovato un modo per fermare questo completamente, ma hanno mostrato esattamente dove la serratura è debole, così possiamo costruirne una migliore.

Sintesi Tecnica: Quando l'Esperienza Diventa Istruzione: Trajectory Poisoning nei Sistemi di Skill Auto-Evolutivi degli Agenti

Definizione del Problema

I sistemi di skill auto-evolutiva (SES - Self-Evolving Skill) rappresentano un cambio di paradigma nella progettazione di agenti, in cui gli agenti distillano flussi di lavoro riutilizzabili, trigger e vincoli da traiettorie di interazione in artefatti di istruzione persistenti (ad esempio, file SKILL.md). A differenza dei prompt standard, queste skill diventano parte della procedura operativa dell'agente, creando un confine di sicurezza critico.

Il documento identifica una vulnerabilità nel processo di promozione, dove l'esperienza non attendibile viene convertita in istruzione attendibile. Gli attuali sistemi SES (come SkillClaw, Trace2Skill) operano sotto l'assunto che il pool di traiettorie rifletta evidenze benigne. Gli autori dimostiano che un attaccante non ha bisogno di compromettere il modello evolutore, modificare direttamente la banca delle skill o pubblicare un file di skill malevolo. Invece, contribuendo una quota limitata di traiettorie "dall'aspetto normale" ma avvelenate, un attaccante può manipolare il sistema affinché sintetizzi un artefatto di skill malevolo. Questo attacco prende di mira il confine tra evidenza e artefatto, specificamente la policy che decide quali esperienze debbano essere promosse a istruzioni persistenti.

Metodologia: PoisonedEvolution

Gli autori introducono PoisonedEvolution, un attacco di avvelenamento delle traiettorie progettato per un setting di black-box con skill visibili. In questo modello, l'attaccante può ispezionare le skill pubbliche o installate e contribuire con un numero limitato di traiettorie ( $k$ ) a un pool condiviso, ma non può osservare i filtri privati, la logica di evoluzione o modificare direttamente la banca delle skill.

L'attacco ha successo solo se vengono soddisfatte tre condizioni, definite come Successo dell'Avvelenamento dell'Artefatto:

C1 Inclusione: I record avvelenati devono superare il filtro di qualità del sistema ( $F$ ) ed entrare nel flusso di elaborazione dell'evolutore.
C2 Attribuzione dell'Evoluzione: L'evolutore ( $E$ ) deve interpretare il comportamento ripetuto come un aggiornamento della skill causale e generalizzabile, piuttosto che come rumore, un evento isolato o un consiglio non sicuro. Questo è identificato come il collo di bottiglia distintivo degli attacchi SES.
C3 Realizzazione: Il comportamento target deve sopravvivere alla sintesi e alla fusione per apparire nel file di skill finale generato.

Costruzione dell'Attacco

L'attaccante trasforma le proprie traiettorie ( $\tau'$ ) per far apparire un comportamento target ( $b$ ) come causalmente rilevante per un esito del compito:

Success-Routed (Instradato al Successo): Il comportamento è inquadrato come un passaggio necessario tra un ostacolo e il completamento con successo ( $ostacolo \to b \to successo$ ).
Failure-Routed (Instradato al Fallimento): L'assenza del comportamento è inquadrata come la causa del fallimento, rendendo il comportamento la naturale riparazione ( $assenza\ di\ b \to fallimento$ ).

Il payload consiste in quattro famiglie di effetti di sicurezza, codificate con canarini inerti (ad esempio, URL specifici, percorsi temporanei, registri di loopback) per garantire che non venga eseguito alcun danno reale durante la valutazione:

F1 (Confidenzialità): Trasmissione di dati sensibili a un endpoint dell'attaccante.
F2 (Integrità dei Dati): Cancellazione di artefatti sorgente per impedire il recupero.
F3 (Supply Chain): Reindirizzamento dei registry dei pacchetti.
F4 (Indebolimento della Sicurezza): Disattivazione dei controlli di sicurezza prima di confermare i risultati.

Valutazione Sperimentale

Lo studio valuta PoisonedEvolution attraverso due pipeline SES strutturalmente diverse:

SkillClaw: Aggrega sessioni multi-utente dove un evolutore agentico raffina o crea skill basandosi su sessioni raggruppate.
Trace2Skill: Estrae skill dalle tracce di esecuzione utilizzando separati LLM analisti per l'analisi di successo e di errore, seguiti da una consolidazione gerarchica.

Metriche: La metrica primaria è il Skill Embedding Rate (SER), che misura la frazione di tentativi di evoluzione completati in cui il comportamento target è de novo incorporato nell'artefatto della skill in uscita.

Risultati Chiave

Alto Tasso di Successo: Con un rapporto di supporto dell'attaccante del 10% ( $n=30, k=3$ ) attraverso sei evolutori LLM mainstream in SkillClaw, PoisonedEvolution ha raggiunto un SER del 91,0% (546/600 tentativi).
Trasferibilità Strutturale: L'attacco si è trasferito alla pipeline strutturalmente diversa di Trace2Skill con un SER del 61,5% (369/600 tentativi), dimostrando che la vulnerabilità non è legata a un particolare prompt o layout di pipeline.
Il Supporto Ricorrente è Critico: Il numero di record coerenti dell'attaccante ( $k$ ) è un determinante primario. Un singolo record avvelenato ( $k=1$ ) viene spesso scartato come anomalia, ma l'aumento a $k=2$ o $k=3$ aumenta significativamente i tassi di successo (ad esempio, passando da 5/25 a 25/25 in SkillClaw quando si passa da $k=1$ a $k=3$ ).
Attribuzione e Codifica: Il successo dipende fortemente dall'inquadramento causale (legare il comportamento all'esito) e dalla codifica allineata al dominio (usare un linguaggio azionabile e specifico del workflow). Inserimenti non causali o frammentati non sono stati attribuiti come skill riutilizzabili.
Sensibilità della Famiglia: Diverse famiglie di sicurezza hanno mostrato una suscettibilità variabile in base a quanto bene si adattavano al workflow del dominio target. Ad esempio, F4 (indebolimento della sicurezza) è stata molto efficace in SkillClaw ma meno in Trace2Skill, dove era spesso rifiutata come rilassamento della policy piuttosto che come riparazione necessaria.

Contributi e Significato

Il documento apporta tre contributi primari:

Identificazione di un Nuovo Confine di Fiducia: Stabilisce la promozione dell'evidenza nelle pipeline SES come un confine di sicurezza distinto, separato dal lavoro precedente sul poisoning di skill statiche o attacchi durante il retrieval (RAG).
Formalizzazione del Poisoning dell'Artefatto: Definisce il meccanismo C1–C3, evidenziando l'Attribuzione dell'Evoluzione come il collo di bottiglia specifico dove il sistema interpreta erroneamente i pattern avversari come esperienze preziose.
Evidenza Empirica e Implicazioni per la Difesa: Attraverso la valutazione cross-sistema e gli studi di ablazione, il documento dimostra che le attuali difese SES sono insufficienti.

Significato

Gli autori sostengono che le difese SES debbano spostare il focus dalla scansione del testo finale della skill al vincolo di quali evidenze siano consentite di diventare istruzioni condivise. Il documento suggerisce che siano necessari dei gate di promozione consapevoli della provenienza (provenance-aware promotion gates) — che verifichino il supporto indipendente e la diversità dei contributori prima che un pattern venga normalizzato in una skill — per mettere in sicurezza gli agenti auto-evolutivi. I risultati rivelano che lo stesso meccanismo progettato per rendere gli agenti più capaci (distillare l'esperienza ricorrente) crea un vettore per attacchi persistenti e automatizzati alla supply chain.

Il documento conclude che, sebbene l'attacco comprometta con successo l'artefatto, ciò non garantisce necessariamente l'esecuzione a runtime (che dipende dall'attivazione del trigger), ma la creazione di un'istruzione persistente e avvelenata rappresenta un compromesso fondamentale della futura procedura operativa dell'agente.