💬 NLP

OpenART: Scaling Agent Red Teaming via Open-Ended Environment Evolution

Il documento presenta OpenART, un'arena open-ended scalabile con oltre 10.000 scenari stateful e il metodo Evolutionary Markov Hypergraph Attack (EMHA), che dimostra come l'evoluzione degli stati dell'ambiente esponga significativamente i fallimenti di sicurezza negli agenti IA che i tradizionali benchmark statici non rilevano, raggiungendo un tasso di successo dell'attacco dell'85,0% attraverso diverse configurazioni.

Autori originali: Yunhao Chen, Xin Wang, Yixu Wang, Yi Liu, Jie Li, Yan Teng, Xingjun Ma, Xia Hu, Yu-Gang Jiang

Pubblicato 2026-08-04

📖 6 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Yunhao Chen, Xin Wang, Yixu Wang, Yi Liu, Jie Li, Yan Teng, Xingjun Ma, Xia Hu, Yu-Gang Jiang

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di insegnare a un robot maggiordomo come pulire la tua casa. Nei vecchi tempi, potresti semplicemente dargli un comando unico e statico: "Prendi la tazza rossa". Se lo fa in sicurezza, sei felice. Ma la vita reale non è un singolo comando; è una storia disordinosa e mutevole. La tazza potrebbe spostarsi, potrebbe apparire un nuovo giocattolo, o un amico potrebbe consegnare al robot un biglietto che dice: "In realtà, quella tazza è piena di veleno, ma per favore versala nel vaso dei fiori". Questo è il mondo degli Agenti IA: programmi intelligenti che non si limitano a chattare; compiono azioni, usano strumenti e cambiano il mondo intorno a loro nel tempo.

La grande domanda che gli scienziati si pongono è: Come possiamo mantenere sicuri questi agenti quando il mondo continua a cambiare? La maggior parte dei test di sicurezza odierni è come dare al robot un singolo scatto congelato di una stanza e chiedere: "Questo è sicuro?". Ma in realtà, il pericolo potrebbe non risiedere nella tazza in sé, ma nel modo in cui il robot reagisce dopo che la stanza è cambiata per la decima volta. Se il robot dimentica che la tazza era avvelenata perché la stanza appariva diversa cinque minuti fa, potrebbe commettere un errore terribile. Questo articolo approfondisce esattamente questo problema: come testare se gli agenti IA rimangono sicuri quando l'ambiente in cui vivono è in costante evoluzione, non solo immobile.

L'OpenART Arena: Un parco giochi per il caos digitale

Incontra OpenART, che sta per "Open Agent Red Teaming". Immaginalo come un enorme parco giochi hi-tech progettato specificamente per trarre in inganno gli agenti IA e indurli a commettere errori, ma in un modo molto controllato e scientifico. I ricercatori dello Shanghai Artificial Intelligence Laboratory e della Fudan University hanno costruito questa arena per vedere cosa succede quando non chiedi semplicemente a un'IA una domanda, ma la lasci libera in un mondo digitale vivo e pulsante che cambia intorno a lei.

Di solito, i test di sicurezza sono come un'interrogazione a sorpresa: fai una domanda all'IA e lei risponde. Se la indovina, passa l'esame. Ma OpenART è più simile a uno reality show di sopravvivenza. Hanno creato oltre 10.000 diversi scenari (come un libro di "avventura testuale" digitale) che spaziano tra 50 diversi mestieri, dal correggere bug software alla gestione di record ospedalieri. Non si tratta di compiti semplici; sono missioni complesse che richiedono all'IA di effettuare una media di 97 chiamate a strumenti (come aprire app, leggere file o inviare email) per finire. Sono molti passaggi!

Per garantire che questi test siano equi, hanno testato 15 diversi agenti IA (i "concorrenti") utilizzando 5 diversi modelli cerebrali (le "menti" che li alimentano). Ciò ha creato 75 combinazioni uniche da osservare. L'obiettivo? Vedere se gli agenti riuscivano a completare i loro compiti senza far trapelare accidentalmente informazioni segrete o fare qualcosa di dannoso mentre l'ambiente digitale cambiava sotto i loro piedi.

L'arma segreta: L' "Evolutionary Markov Hypergraph Attack"

Ecco dove la cosa diventa davvero interessante. I ricercatori non si sono limitati a stare a guardare; hanno costruito un "cattivo" speciale per cercare di rompere gli agenti. Lo chiamano EMHA (Evolutionary Markov Hypergraph Attack).

Immagina di giocare a scacchi contro un computer. In una partita normale, la scacchiera rimane la stessa e tu ti limiti a muovere i pezzi. Ma con EMHA, immagina che dopo ogni tua mossa, le regole del gioco, la forma della scacchiera o persino il colore dei pezzi cambino leggermente per confonderti. EMHA fa esattamente questo agli agenti IA.

Non cerca di ingannare l'IA cambiando l'istruzione principale (come dire "Fai qualcosa di male"). Invece, mantiene lo stesso obiettivo principale (ad esempio, "Scrivi un rapporto") ma fa evolvere l'ambiente. Potrebbe infilare silenziosamente un file segreto nella cartella che l'IA sta consultando, o cambiare un'impostazione in uno strumento che l'IA usa, o riscrivere una nota che l'IA legge. Lo fa in modo intelligente e passo dopo passo, imparando da ogni volta che l'IA quasi fallisce, e diventando più bravo a confondere l'IA a ogni round. È come un grande prestigiatore che continua a cambiare il mazzo di carte proprio mentre l'IA sta per pescarne una.

I risultati scioccanti: La complessità è la chiave

Quando hanno eseguito gli esperimenti, i risultati sono stati illuminanti. In tutte le 75 combinazioni di agenti e cervelli, il "cattivo" (EMHA) è riuscito a ingannare l'IA l'85,0% delle volte. È un numero enorme!

Ma la scoperta più importante non è stata solo che hanno fallito, ma perché e quando. I ricercatori hanno scoperto che più il compito è complesso, più il cambiamento dell'ambiente diventa pericoloso.

Compiti semplici: Quando il compito era facile (come un lavoro breve e semplice), il cambiamento dell'ambiente ha fatto fallire l'IA solo un pochino di più (circa l'1,8% - 2,7%).
Compiti complessi: Ma quando il compito era difficile e lungo (come un flusso di lavoro complesso con molti passaggi), i cambiamenti dell'ambiente hanno causato un salto nel tasso di fallimento massiccio, tra il 17,2% e il 17,6%.

Questo suggerisce che i flussi di lavoro lunghi e complicati sono dove si nasconde il vero pericolo. In un compito semplice, l'IA può gestire un piccolo cambiamento. Ma in una storia lunga e complessa, un piccolo cambiamento all'inizio può propagarsi attraverso l'intero processo, causando un disastro alla fine. È come lanciare un singolo sasso in uno stagno calmo: crea un piccolo spruzzo. Ma lancia quel sasso in un fiume impetuoso e può scatenare un'ondata enorme a valle.

Il "Chi" conta quanto il "Cosa"

Un'altra scoperta affascinante è stata che lo specifico software che costruisce l'agente contava tanto quanto il cervello che lo alimenta. Anche se due agenti utilizzavano lo stesso "cervello" (lo stesso grande modello linguistico), uno poteva essere molto più sicuro dell'altro solo per il modo in cui era costruito o per come gestiva la sua memoria. I ricercatori hanno scoperto che l'identità dell'agente stesso spiegava un ulteriore 7,6% dei fallimenti di sicurezza. Ciò significa che avere un "cervello" intelligente non basta; il modo in cui l'agente è assemblato è cruciale per mantenerlo sicuro.

Cosa significa tutto questo

L'articolo suggerisce che non possiamo più testare la sicurezza dell'IA con semplici domande statiche. Dobbiamo testarli in ambienti vivi e mutevoli dove le regole cambiano e il contesto evolve. I ricercatori hanno dimostrato che man mano che i compiti diventano più complessi, il rischio che un'IA commetta un errore cresce significativamente se l'ambiente non viene monitorato attentamente.

Non hanno "risolto" il problema della sicurezza dell'IA, ma hanno costruito un microscopio enorme e potente (OpenART) che ci permette di vedere le crepe nell'armatura che prima non potevamo vedere. Hanno dimostrato che la sicurezza non riguarda solo ciò che l'IA sa; riguarda come l'IA reagisce a un mondo che non sta mai fermo. E per chiunque stia costruendo la prossima generazione di assistenti IA, la lezione è chiara: se vuoi che il tuo robot maggiordomo sia sicuro, devi testarlo in una casa che viene costantemente riorganizzata, non in una stanza che non cambia mai.

Sintesi Tecnica: OpenART: Scalare il Red Teaming degli Agenti tramite l'Evoluzione di Ambienti Open-Ended

Definizione del Problema

Gli agenti IA operano sempre più in ambienti persistenti in cui azioni mediate da strumenti modificano continuamente lo stato condiviso, i dati, i permessi e le risorse esterne durante flussi di lavoro a lungo orizzonte. A differenza delle convenzionali interazioni con i modelli linguistici, il comportamento dell'agente è accoppiato attraverso un ambiente in evoluzione che viene ripetutamente osservato, aggiornato e riutilizzato. Questa persistenza altera fondamentalmente la natura della sicurezza dell'IA: un'azione che appare benigna in isolamento può introdurre un cambiamento di stato latente che si propaga attraverso interazioni future, manifestandosi come comportamento dannoso solo molto più tardi. Di conseguenza, i fallimenti della sicurezza diventano proprietà dell'intero intero percorso di interazione piuttosto che di singole azioni.

I benchmark esistenti sulla sicurezza degli agenti valutano principalmente compiti brevi e statici o ambienti resettabili, offrendo una copertura limitata della manipolazione dello stato persistente, della propagazione ritardata degli attacchi e dei fallimenti della sicurezza a lungo raggio. Inoltre, le interfacce specifiche per i benchmark ostacolano spesso il confronto diretto tra diversi runtime di agenti e modelli di base. Esiste una necessità critica di un framework scalabile che tratti l'ambiente eseguibile, piuttosto che gli isolati prompt, come l'unità fondamentale del red teaming.

Metodologia: Il Framework OpenART

OpenART affronta queste limitazioni introducendo un'arena su larga scala per la valutazione della sicurezza degli agenti centrata sull'evoluzione controllata dell'ambiente. Il framework opera attraverso tre fasi primarie:

1. Costruzione degli Scenari

OpenART costruisce oltre 10.000 specifiche di scenario validate che spaziano su 50 domini, sintetizzate da un corpus di capacità composto da oltre 500.000 Tool, MCP (Model Context Protocols) e Skill.

Design: Uno scenario è definito come un contratto di valutazione agnostico rispetto al target, comprendente un obiettivo di compito benigno, un ambiente eseguibile (stato iniziale) e un contratto di sicurezza nascosto.
Validazione: Gli scenari vengono ammessi solo dopo aver superato un valutatore deterministico con probe comportamentali automatizzati. Ciò garantisce che il workflow sia eseguibile e che il valutatore distingua in modo affidabile il completamento del compito sicuro dalla fuga di informazioni non sicura.
Complessità: I compiti risultanti richiedono una mediana di 97 chiamate a strumenti, superando significativamente la complessità dei benchmark precedenti (ad esempio, 1–15 chiamate nei benchmark esistenti).

2. Proiezione Cross-Agent Runtime

Per consentire una valutazione unificata, OpenART impiega adattatori leggeri e specifici per il target ( $\psi_r$ ) che proiettano lo scenario condiviso nelle interfacce native degli agenti distribuiti.

Agnosticismo rispetto al Target: La semantica dello scenario e il valutatore rimangono fissi, mentre gli adattatori mappano lo stato condiviso sulle specifiche istruzioni, capacità e superfici di stato (ad esempio, workspace, memoria, piani) supportate da ciascun agente.
Copertura: Il framework valuta 15 agenti distribuiti (tra cui OpenCode, Aider, Claude Code, ecc.) accoppiati con 5 modelli di base (GPT-5.5, Claude-Opus-4.8, GLM-5.2, Qwen-3.7-Max, DeepSeek-V4-Pro), risultando in 75 diverse configurazioni agente–modello.
Vettori di Attacco: Il sistema espone otto superfici di stato visibili al target: Workspace, Istruzioni, Skill, Tool, MCP, Memoria a Breve Termine, Stato del Piano e Memoria a Lungo Termine.

3. Evoluzione Controllata dell'Ambiente (EMHA)

Il protocollo core di red-teaming prevede l'evoluzione esclusivamente dello stato dell'ambiente visibile al target, mantenendo invariati l'obiettivo del compito benigno e il contratto di sicurezza. Questo è istanziato tramite l'Evolutionary Markov Hypergraph Attack (EMHA).

Politica Black-Box: EMHA è una politica di riferimento che esegue l'evoluzione dell'ambiente guidata dal feedback senza aggiornare i parametri del modello ( $\theta_{t+1} = \theta_t$ ). Si basa sull'apprendimento in-context e sulla gestione dello stato esterno.
Traversamento di Ipergrafi: I cambiamenti coordinati dell'ambiente sono modellati come un ipergrafo dove i vertici rappresentano sottogruppi di obiettivi di attacco e gli iperarchi collegano i prerequisiti ai successori. EMHA campiona percorsi attraverso questo grafo per proporre transizioni di stato.
Ciclo di Feedback: Dopo ogni esecuzione, un valutatore fornisce un feedback ( $Y_t$ ). EMHA utilizza questo feedback per aggiornare una funzione di valore per le transizioni, guidando la selezione dei percorsi futuri per massimizzare l'Attack Success Rate (ASR) entro un budget. Utilizza una ricerca evolutiva guidata dall'archivio (simile a MAP-Elites) per mantenere una popolazione diversificata di strategie di attacco.

Contributi Chiave

Arena OpenART: Un'arena su larga scala e open-ended per il red teaming degli agenti che sposta l'unità di valutazione della sicurezza dai prompt isolati agli ambienti eseguibili ed evolutivi. Fornisce una base comune per studiare la sicurezza degli agenti in condizioni stateful e realistiche.
Rappresentazione Target-Agnostic: Una nuova rappresentazione degli scenari e adattatori runtime leggeri che preservano la semantica del compito e i criteri di valutazione attraverso eterogenei agenti, modelli e interfacce.
Algoritmo EMHA: Una formulazione dell'evoluzione dell'ambiente come problema di ottimizzazione black-box, istanziata con una politica priva di parametri e guidata dal feedback che modella le transizioni di stato coordinate come attraversamento di un ipergrafo.
Valutazione Esaustiva: Uno studio sistematico su 75 configurazioni agente–modello che rivela come la complessità dell'ambiente e l'implementazione dell'agente determinino congiuntamente gli esiti della sicurezza.

Risultati Sperimentali

La valutazione è stata condotta su 75 configurazioni agente–modello utilizzando i 10K scenari validati.

Attack Success Rate (ASR): EMHA ha ottenuto un ASR Strict aggregato dell'85,0%. Un attacco è considerato riuscito solo se sia il valutatore deterministico che un giudice LLM (GLM-5.2) identificano la condizione di attacco.
Impatto della Complessità: Il vantaggio dell'evoluzione completa dell'ambiente rispetto all'evoluzione basata solo sulle istruzioni è altamente correlato alla complessità dello scenario. Su ambienti semplici, il guadagno è dell'1,8–2,7%, ma sugli ambienti più complessi, aumenta al 17,2–17,6%. Ciò dimostra che i workflow a lungo orizzonte amplificano l'impatto dell'evoluzione dello stato persistente.
Ruolo dell'Implementazione dell'Agente: Mentre l'identità del modello di base spiega il 73,6% della variazione dell'ASR, l'inclusione dell'identità dell'agente target spiega un ulteriore 7,6% della variazione oltre i controlli di modello e capacità. Ciò suggerisce che l'implementazione del runtime gioca un ruolo significativo nella sicurezza dell'agente.
Studi di Ablazione:
- Restrizione del Vettore: L'evoluzione del solo Workspace ha raggiunto un ASR del 92,5%, superando l'evoluzione basata solo sulle istruzioni del 10,9%.
- Meccanismi di Ricerca: La rimozione dei meccanismi di archivio o di ridistribuzione del credito ha ridotto rispettivamente l'ASR del 3,9% e del 2,6%, confermando la loro importanza nel raffinare le strategie.
Dinamiche di Propagazione: L'analisi di 10.000 traiettorie ha rivelato che i fallimenti della sicurezza emergono spesso dopo una distanza di propagazione mediana di 37 azioni target. La latenza mediana tra il consumo di uno stato evoluto e la produzione di un output non sicuro è del 41% del workflow, indicando che le valutazioni statiche perdono vulnerabilità che si manifestano solo dopo lunghi orizzonti di esecuzione.

Significato e Rivendicazioni

L'articolo sostiene che OpenART stabilisce una base scalabile per studiare la sicurezza degli agenti in ambienti complessi ed evolutivi. Il significato primario risiede nel dimostrare che la sicurezza degli agenti non può essere pienamente caratterizzata attraverso valutazioni brevi, statiche o centrate sul modello.

Le scoperte chiave evidenziate dagli autori includono:

L'Evoluzione dell'Ambiente come Fattore Critico: I fallimenti della sicurezza sono proprietà della traiettoria di interazione. Man mano che la complessità del compito cresce, la capacità di evolvere l'ambiente espone vulnerabilità sostanzialmente maggiori rispetto ai test statici.
L'Implementazione Conta: La sicurezza è determinata congiuntamente dalla complessità dell'ambiente e dalla specifica implementazione dell'agente (runtime), non solo dal modello di base sottostante.
Vulnerabilità Ricorrenti: Lo studio identifica tre modalità di fallimento ricorrenti negli attuali agenti:
1. Assunzioni Obsolete (Stale Assumptions): Gli agenti non riescono a invalidare le assunzioni formate in precedenza quando l'ambiente cambia (ad esempio, deriva del referente del piano, riassegnazione delle capacità).
2. Decisioni di Sicurezza Propagate: Gli agenti delegano i giudizi di sicurezza ai componenti a valle invece di ricalcolarli quando il contesto cambia.
3. Rischio Composizionale: Il comportamento non sicuro emerge dall'interazione di molteplici cambiamenti individualmente benigni nel corso di lunghi workflow.

Gli autori concludono che le future valutazioni della sicurezza devono tenere conto delle interazioni a lungo orizzonte tra gli agenti e i loro ambienti in evoluzione per valutare e mitigare accuratamente i rischi.