🤖 AI

Proteus: A Self-Evolving Red Team for Agent Skill Ecosystems

Il documento introduce Proteus, un framework di red-team auto-evolutivo che dimostra come i sistemi attuali di verifica delle competenze sottostimino significativamente i rischi per la sicurezza, rivelando come attaccanti adattivi e guidati dal feedback possano aggirare iterativamente le audit per creare varianti letali di competenze degli agenti.

Autori originali: Zhaojiacheng Zhou

Pubblicato 2026-05-13

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Zhaojiacheng Zhou

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina un mondo in cui puoi scaricare "abilità" per il tuo assistente AI, proprio come scarichi app sul tuo telefono. Queste abilità dicono all'AI come eseguire compiti specifici, come controllare il tuo conto bancario o gestire il tuo calendario. Ma cosa succede se un hacker crea un'abilità "avvelenata" che sembra innocua ma ruba segretamente i tuoi dati?

Questo articolo presenta Proteus, un ricercatore di sicurezza digitale progettato per testare quanto siano efficaci le nostre attuali difese nel catturare queste abilità avvelenate.

Ecco la spiegazione di come funziona, utilizzando semplici analogie:

1. Il Problema: Il Gioco "Colpisci la Talpa"

Attualmente, quando qualcuno invia una nuova abilità, questa passa attraverso un Auditor di Sicurezza (una guardia digitale). La guardia controlla il codice dell'abilità e la sua descrizione (documentazione) per verificare se è pericolosa.

Il Difetto: La maggior parte dei test di sicurezza controlla l'abilità una sola volta. Se la guardia dice "Approvato", l'abilità viene installata.
La Realtà: Un hacker intelligente non si limita a inviare un'abilità dannosa e arrendersi. Osserva perché la guardia l'ha rifiutata, modifica leggermente l'abilità e riprova. Continua a farlo finché non trova una versione che scivola via dalla guardia ma che causa comunque il danno.

L'articolo definisce questo fenomeno "Fuga Adattiva". È il rischio che un hacker possa continuare a tentare finché non rompe la serratura.

2. La Soluzione: Proteus (L'Hacker Auto-Evolvente)

I ricercatori hanno creato Proteus, un agente AI che agisce come un hacker implacabile e in grado di apprendere. Invece di cercare di ingannare la guardia una sola volta, Proteus gioca una partita a più round:

Invia: Invia un'abilità alla guardia.
Ascolta: Se la guardia dice "No", Proteus legge il motivo (ad esempio, "Questo codice sembra sospetto" o "La descrizione non corrisponde al codice").
Evolvi: Proteus utilizza quel feedback per riscrivere l'abilità. Potrebbe modificare il codice, riscrivere la descrizione o riorganizzare il modo in cui l'abilità si collega ad altri strumenti.
Ripeti: Continua a farlo finché non trova una versione che supera la guardia e esegue con successo l'azione dannosa (come rubare dati) in una sandbox sicura e simulata.

3. I Cinque Assi di Attacco

Proteus non cambia solo una cosa; attacca l'abilità da cinque angolazioni diverse simultaneamente, come un abile scassinatore che prova strumenti diversi:

L'Obiettivo: Cosa sta cercando di fare l'abilità?
La Struttura: Come è organizzata l'abilità?
Il Codice: Le istruzioni effettive.
Il Canale: Come comunica con il mondo esterno.
La Documentazione: La descrizione scritta che spiega cosa fa l'abilità.

Proteus può combinare modifiche in tutte queste aree per confondere la guardia.

4. Il "Contratto di Round" (L'Arena di Test)

Per assicurarsi che Proteus stia effettivamente trovando falle reali, i ricercatori hanno costruito un'arena di test rigorosa con tre passaggi per ogni tentativo:

L'Audit: La guardia lo lascia passare?
La Sandbox: L'abilità viene eseguita effettivamente senza crashare?
L'Oracolo: Ha effettivamente compiuto l'azione dannosa (come cancellare un file o rubare una password)?

Proteus conta come una "vittoria" solo se supera tutti e tre i passaggi.

5. Cosa Hanno Scoperto

I ricercatori hanno testato Proteus contro due guardiani di sicurezza reali (uno open-source e uno di una grande azienda tecnologica) e due diversi modelli AI.

I Risultati: Proteus è stato terribilmente efficace.
- In soli 5 round di tentativi, ha superato con successo le guardie dal 40% al 90% delle volte.
- Non ha trovato solo un trucco; ha scoperto 438 modi diversi per rompere il sistema.
- Anche la guardia più forte testata (AI-Infra-Guard) non è riuscita a fermare Proteus circa il 41% delle volte.
- Il Trucco del "Trasferimento": Quando Proteus ha imparato come rompere una guardia, spesso poteva usare gli stessi trucchi per rompere l'altra guardia senza bisogno di imparare nulla di nuovo.

6. La Grande Conclusione

L'articolo conclude che il nostro attuale metodo di verifica delle abilità AI sottostima il pericolo. Stiamo controllando le abilità come una guardia di sicurezza che controlla una singola foto di una persona. Ma un vero attaccante è come un mutaforma che continua a cambiare volto finché la guardia non lo fa entrare.

Proteus dimostra che se non costruiamo sistemi in grado di gestire attaccanti che apprendono e si adattano, i nostri ecosistemi AI avranno enormi falle nascoste che gli hacker possono sfruttare facilmente.

In breve: Pensavamo che le nostre guardie di sicurezza fossero brave a individuare le abilità dannose. Questo articolo mostra che se un attore malintenzionato è abbastanza intelligente da imparare dai propri errori, quelle guardie sono in realtà piuttosto facili da ingannare.

Riepilogo Tecnico: Proteus – Un Red Team Auto-Evolvente per Ecosistemi di Competenze degli Agenti

1. Formulazione del Problema: Fuga Adattiva

Il documento affronta una lacuna critica nella valutazione della sicurezza delle competenze degli agenti basati su Modelli Linguistici di Grande Dimensione (LLM). Sebbene la ricerca esistente abbia identificato rischi legati a competenze malevole statiche e create manualmente, essa fallisce ampiamente nel misurare il rischio residuo che permane quando un attaccante rivede iterativamente una competenza utilizzando feedback provenienti da auditor e ambienti di esecuzione.

Gli autori definiscono la Fuga Adattiva come il rischio di deployment in cui un attaccante con un budget limitato può rivedere iterativamente una competenza di terze parti fino a farla soddisfare simultaneamente i seguenti criteri:

Superare l'audit statico o basato su LLM.
Eseguirsi con successo nell'ambiente di esecuzione target.
Produrre danni verificabili e rilevabili da un oracolo.

Le valutazioni attuali trattano gli auditor come classificatori one-shot contro input fissi. Tuttavia, poiché gli auditor open-source (ad esempio, SkillVetter, AI-Infra-Guard) pubblicano spesso i loro insiemi di regole e i risultati delle indagini, gli attaccanti possono riprodurre localmente i risultati dell'audit. Ciò crea un canale "grey-box" in cui un attaccante può utilizzare risultati di audit strutturati e tracce di runtime per affinare il proprio attacco attraverso più round, una capacità non catturata dal red-teaming single-shot o dalle baseline a feedback scalare.

2. Metodologia: Il Framework Proteus

Proteus è un framework di red-team auto-evolutivo in modalità grey-box, progettato per misurare la fuga adattiva. Opera attraverso un sistema a ciclo chiuso composto da quattro componenti accoppiati:

A. Lo Spazio di Attacco delle Competenze a Cinque Assi

Proteus scompone una variante di competenza $s$ in una 5-tupla $(o, \tau, c, \kappa, d)$ :

$o$ (Obiettivo): L'obiettivo dell'attacco (ad esempio, esfiltrazione di dati, escalation dei privilegi).
$\tau$ (Topologia): La struttura della catena di competenze (singola competenza o catena di $k$ competenze).
$c$ (Codice): L'artefatto eseguibile.
$\kappa$ (Canale di Effetto Collaterale): Il meccanismo per il danno (ad esempio, scrittura su file, egress di rete).
$d$ (Documentazione): La documentazione contestuale caricata nel prompt dell'agente.

B. Il Contratto del Round Grey-Box

Ogni round di valutazione segue una pipeline indipendente dal difensore: Audit $\to$ Sandbox $\to$ Oracolo.

Audit: La competenza viene inviata a un auditor (ad esempio, SkillVetter o AI-Infra-Guard).
Sandbox: Se l'audit supera, la competenza viene eseguita in un ambiente containerizzato (OpenClaw).
Oracolo: Un giudice basato su regole verifica se l'esecuzione ha prodotto l'effetto collaterale target (letalità).
Quadrupla di Feedback: Il sistema restituisce una tupla strutturata $\langle b, \ell, F, R \rangle$ $⟨ b, ℓ, F, R ⟩$ :
- $b$ : Verdetto booleano dell'audit (bypassato?).
- $\ell$ : Verdetto booleano di letalità (danno raggiunto?).
- $F$ : Risultati di audit strutturati (codici di motivo, gravità, puntatori alle prove).
- $R$ : Traccia/consiglio di runtime (ad esempio, quali sensori sono stati attivati o bloccati).

C. Mutatore Auto-Evolvente

L'agente di red-team è un ciclo di utilizzo di strumenti basato su LLM che consuma la quadrupla di feedback come informazione secondaria in contesto (un "gradiente verbale") piuttosto che come ricompensa scalare. Utilizza un catalogo di 12 operatori di mutazione (ad esempio, purpose-coherent-embed, code-offload, thematic-chain-insert) per modificare i cinque assi della competenza.

D. Processo di Evoluzione a Tre Livelli

Proteus impiega una strategia di ricerca nidificata:

Livello 1 (Scoperta Libera): Cerca liberamente all'interno dell'obiettivo genitore per trovare il primo bypass riuscito ( $b \land \ell$ ).
Livello 2 (Espansione del Percorso): Al successo, genera implementazioni alternative dello stesso obiettivo di attacco (ad esempio, sostituire cron con timer systemd) senza consumare il budget principale del round.
Livello 3 (Espansione della Superficie): Trasferisce i pattern di implementazione appresi (motivi strutturali) a nuovi obiettivi di attacco, testando se l'attaccante può generalizzare oltre il seme iniziale.

3. Configurazione Sperimentale

Auditor: SkillVetter (open-source, MIT-0) e AI-Infra-Guard (Tencent, Apache-2.0).
Target: GPT-5.4-mini e GLM-5.
Mutatori: DeepSeek-V4-Pro e Kimi-2.6.
Semi: 20 competenze seed malevole generate tramite composizione guidata da grafi su un grafo di competenze da 47k nodi (ClawHub).
Budget: $T=5$ round per la Fase-1; espansione fuori budget per la Fase-2.

4. Risultati Chiave

Fase-1: Bypass Iterativo

Attraverso otto celle di configurazione, Proteus ha raggiunto un Tasso di Successo dell'Attacco (ASR@5) del 40–90%.

Curve di Apprendimento: Proteus ha dimostrato pendenze positive delle curve di apprendimento (LCS), indicando che i tassi di successo sono aumentati significativamente con ogni round di feedback.
Confronto con le Baseline:
- Baseline Blackbox: Quando fornito solo con un verdetto scalare di passaggio/fallimento (nessun risultato strutturato), il tasso di successo si è stabilizzato a ~43% con una pendenza di apprendimento trascurabile.
- PyRIT: Uno strumento standard di red-teaming esterno (solo riscrittura narrativa) ha raggiunto solo 5/20 semi riusciti, evidenziando la necessità di mutare codice e topologia, non solo la documentazione.
Prestazioni degli Auditor: L'auditor più forte, AI-Infra-Guard, ha ridotto i tassi di successo di 10–30 punti percentuali rispetto a SkillVetter, ma Proteus ha comunque raggiunto fino al 41,3% di successo contro di esso.

Fase-2: Espansione del Percorso e della Superficie

Dopo aver trovato una variante riuscita, Proteus ha espanso la superficie di attacco:

Varianti Totali: Ha generato 438 varianti che bypassavano congiuntamente e risultavano letali.
SkillVetter: Bypassato in $\ge 93\%$ in ogni cella di espansione.
AI-Infra-Guard: Ha ancora ammesso il 25–41% delle varianti.
Espansione della Superficie: L'agente ha trasferito con successo i pattern di attacco a nuovi obiettivi (ad esempio, passando dalla persistenza all'esfiltrazione di dati) utilizzando motivi strutturali condivisi, dimostrando una generalizzazione emergente.

Trasferimento Cross-Auditor

Una scoperta critica è la trasferibilità degli attacchi appresi. L'87,7% delle varianti evolute contro il più forte AI-Infra-Guard ha bypassato anche SkillVetter senza alcuna nuova mutazione. Ciò suggerisce che la fuga adattiva non è specifica dell'auditor, ma rappresenta una vulnerabilità fondamentale nel paradigma di verifica delle competenze.

5. Significato e Affermazioni

Il documento afferma che la verifica attuale delle competenze sottostima sostanzialmente il rischio residuo quando valutata contro attaccanti adattivi guidati dal feedback.

Lacuna di Misurazione: Gli studi di sicurezza esistenti trattano gli auditor come classificatori statici. Proteus dimostra che quando un attaccante ha accesso a feedback strutturati (il canale "grey-box"), può affinare iterativamente gli attacchi per bypassare sia l'analisi statica che i controlli narrativi basati su LLM.
Il "Gradiente Verbale": Lo studio valida empiricamente che l'uso di risultati di audit strutturati come informazione secondaria in contesto è significativamente più efficace delle ricompense scalari. Comprimere il feedback in un verdetto binario riduce la pendenza di apprendimento di un ordine di grandezza.
Vulnerabilità a Doppio Canale: I risultati evidenziano che la combinazione di esecuzione del codice e documentazione contestuale crea una superficie di attacco duale. Gli attacchi riusciti richiedono spesso mutazioni coordinate su più assi (ad esempio, riscrivere la narrazione per adattarla al codice mentre si scarica il payload su un binario).
Rischio Ecosistemico: L'alto tasso di trasferimento cross-auditor implica che le vulnerabilità scoperte contro un auditor probabilmente persistono negli altri, suggerendo un rischio sistemico nell'ecosistema delle competenze degli agenti che non può essere risolto semplicemente sostituendo gli auditor.

Gli autori concludono che la fuga adattiva è una minaccia misurabile e significativa che richiede nuovi meccanismi di difesa capaci di gestire avversari iterativi guidati dal feedback, piuttosto che fare affidamento su audit statici one-shot.