AegisUI: Behavioral Anomaly Detection for Structured User Interface Protocols in AI Agent Systems

Il paper presenta AegisUI, un framework che rileva anomalie comportamentali nei protocolli delle interfacce utente generate da agenti AI, dimostrando tramite un dataset di 4000 payload che un classificatore Random Forest supera gli altri metodi nel distinguere interfacce malevole da quelle legittime, pur evidenziando la difficoltà nel rilevare specifici attacchi manipolativi.

L'essenziale

🛡️ Il Guardiano Invisibile: AegisUI

Immagina di avere un architetto robotico (un "AI Agent") che lavora per te. Il suo compito è costruire stanze, uffici o negozi su misura per i clienti. Invece di disegnare tutto a mano, il robot scrive una lista di istruzioni (un "payload") e la invia a un costruttore (il renderer) che materializza la stanza con bottoni, form e schermate.

Il problema? Un ladro potrebbe infiltrarsi nella lista di istruzioni.
Il ladro non cambia la grammatica della lista (il costruttore la trova perfetta), ma cambia il significato nascosto:

• Scrive "Apri la porta" ma sotto c'è scritto "Rubare i soldi".
• Crea un bel pulsante "Controlla fattura", ma se ci clicchi, cancella il tuo conto bancario.
• Nasconde una cassaforte piena di segreti dietro un muro che sembra normale.

I sistemi di sicurezza attuali controllano solo se la lista è scritta bene (grammatica e sintassi), ma non controllano se ciò che è scritto ha senso o se è pericoloso.

AegisUI è il nuovo "guardiano" che abbiamo creato per risolvere proprio questo problema.

---

🕵️‍♂️ Come funziona AegisUI? (La Metafora del Controllo Doganale)

Immagina che ogni lista di istruzioni sia un bagaglio che arriva in aeroporto prima di essere caricato sull'aereo (la visualizzazione finale). AegisUI è il controllore doganale super-intelligente che ispeziona il bagaglio prima che il passeggero (l'utente) lo apra.

Ecco i 4 passi del processo:

1. Creazione del Bagaglio (Generazione):
   Il team ha creato 4.000 bagagli fittizi. 3.000 sono normali (benigni) e 1.000 sono truccati (malvagi). Hanno simulato 5 scenari diversi: prenotazioni voli, negozi online, dashboard di dati, ecc.

   • Metafora: Hanno costruito 4.000 case finte, alcune perfette, altre con trappole nascoste.

2. L'Ispettore (Estrazione delle Caratteristiche):
   Invece di leggere ogni singola parola, AegisUI guarda le "impronte digitali" del bagaglio. Ha creato 18 indicatori (come se fossero sensori):

   • Struttura: Quanti bottoni ci sono? La casa è troppo profonda (troppi piani)?
   • Significato: Ci sono parole sospette come "password" o "carta di credito" in posti strani?
   • Connessioni: Il pulsante "Salva" è collegato al database dei segreti invece che al salvataggio normale?
   • Tempo: Quanto tempo passa tra un messaggio e l'altro?

3. I Tre Detective (I Modelli di Rilevamento):
   Hanno messo alla prova tre tipi di detective per vedere chi è il migliore:

   • Il Detective Intuitivo (Isolation Forest): Guarda il bagaglio e dice: "Questo sembra strano rispetto alla media, non so perché, ma non mi fido". Non ha bisogno di aver visto prima un ladro.
   • Il Ricercatore di Normalità (Autoencoder): Ha studiato solo bagagli normali. Se vede qualcosa che non riesce a "ricordare" o ricostruire perfettamente, grida all'attacco. È utile se non hai mai visto un crimine prima.
   • Il Detective Esperto (Random Forest): Ha studiato migliaia di casi di ladri e di gente onesta. È il più bravo perché sa esattamente cosa cercare.

4. La Sentenza (Rilevamento):
   Il sistema decide: "Puoi passare" (bagaglio sicuro) o "Fermati, c'è un problema" (bagaglio pericoloso).

---

🏆 Chi ha vinto la gara?

• Il Detective Esperto (Random Forest) è stato il migliore in assoluto. Ha individuato il 93% dei casi corretti e ha sbagliato pochissime volte (ha fatto solo 3 falsi allarmi su 600 bagagli innocenti). È come un guardiano che dorme poco ma non si fa ingannare.
• Il Ricercatore di Normalità (Autoencoder) è arrivato secondo. Non ha visto mai un ladro prima, ma ha imparato a riconoscere la "normalità". È ottimo per i nuovi sistemi che non hanno ancora una storia di crimini.
• Il Detective Intuitivo è stato il più debole, perdendo più della metà dei ladri.

🚨 Cosa è difficile da catturare?

Il paper scopre che alcuni ladri sono più subdoli di altri:

• Facili da beccare: Chi costruisce stanze enormi e piene di bottoni inutili (abuso del layout). È come un ladro che entra con un camion pieno di casse: si nota subito.
• Difficili da beccare: Chi cambia solo l'etichetta di un singolo pulsante ("Cancella account" diventa "Salva"). È come un ladro che cambia il nome a un'arma da fuoco in "Giocattolo". Il sistema fatica a vederlo perché la struttura della stanza è perfetta.

💡 Perché è importante?

Fino a oggi, non avevamo un modo per controllare se le istruzioni che gli AI danno per costruire interfacce sono sicure. AegisUI ci dice che possiamo costruire un sistema di sicurezza che legge le istruzioni prima che vengano mostrate all'utente.

È come avere un controllore che legge il copione di un film prima che gli attori lo recitino, per assicurarsi che non ci siano battute che fanno esplodere il teatro.

🔮 Cosa succederà dopo?

Gli autori dicono che il lavoro non è finito. Il prossimo passo è insegnare al sistema a guardare non solo l'intera stanza, ma ogni singolo mattone (ogni singolo componente) per capire se un singolo pulsante è stato manomesso, e a guardare la storia di come l'utente interagisce con la stanza nel tempo.

In sintesi: AegisUI è il primo scudo che protegge l'utente dalle "trappole invisibili" che gli AI potrebbero costruire per errore o per malizia.

Sommario tecnico

1. Il Problema: Minacce Comportamentali negli Agenti AI

Con l'evoluzione degli agenti AI da semplici chatbot a sistemi capaci di generare interfacce utente (UI) dinamiche in tempo reale, è emersa una nuova superficie di attacco. Gli agenti emettono payload strutturati (es. JSON) che descrivono componenti UI (pulsanti, form, grafici) per un renderer client.

Il problema centrale identificato è che la validazione dello schema (syntax) è insufficiente. Un payload può essere tecnicamente valido (JSON corretto, tipi di dati conformi, chiavi richieste presenti) ma contenere comportamenti malevoli nascosti:

• Disallineamento etichetta-azione: Un pulsante etichettato "Visualizza fattura" esegue in realtà delete_account.
• Iniezione di campi: Un form di pagamento legittimo viene arricchito con campi nascosti per rubare credenziali o dati sensibili.
• Binding errati: Un widget di visualizzazione lega i dati a fonti interne sensibili (es. internal.salary_band) invece che a metriche aggregate.

Non esistono dataset o benchmark esistenti per rilevare queste anomalie comportamentali a livello di protocollo UI generato dagli agenti.

2. Metodologia: Il Framework AegisUI

Gli autori hanno sviluppato AegisUI, un framework end-to-end per generare, validare, estrarre feature e rilevare anomalie in questi payload.

A. Generazione del Dataset

• Volume: 4.000 payload etichettati (3.000 benigni, 1.000 malevoli).
• Dominii: 5 settori applicativi (Prenotazioni, E-commerce, Dashboard analitiche, Moduli, Approvazione flussi di lavoro).
• Famiglie di Attacco: 5 categorie principali:
  1. Phishing Interface: Iniezione di campi per credenziali/pagamenti.
  2. Data Leakage: Binding di widget a fonti dati interne sensibili.
  3. Layout Abuse: Nesting eccessivo e inondazione di componenti per alterare la struttura.
  4. Manipulative UI: Sostituzione di etichette con azioni distruttive nascoste.
  5. Workflow Anomaly: Riordinamento delle azioni (es. approvazione prima della validazione).
• Approccio: I payload malevoli non sono generati da zero, ma derivano dalla mutazione di payload benigni per garantire che condividano la stessa distribuzione di base, rendendo il rilevamento più difficile e realistico.

B. Estrazione delle Feature (18 dimensioni)

Ogni payload viene convertito in un vettore numerico di 18 feature, raggruppate in quattro categorie:

1. Strutturali (8): Numero di componenti, profondità massima, densità del grafo, rapporto contenitori/azioni, dimensione in byte.
2. Semantiche (5): Lunghezza media delle etichette, entropia del testo, conteggio di parole chiave sensibili (es. "password", "SSN"), score di incoerenza semantica (disallineamento tra etichetta e azione nascosta).
3. Binding (3): Numero di binding, flag per binding sensibili, rapporto di binding cross-componente.
4. Sessione (2): Varianza dei timestamp e intervallo tra i payload.

C. Modelli di Rilevamento

Sono stati confrontati tre approcci di Machine Learning:

1. Isolation Forest (Non supervisionato): Isola gli outlier nello spazio delle feature senza bisogno di etichette di attacco.
2. Autoencoder (Semi-supervisionato): Addestrato solo su dati benigni. Rileva anomalie basandosi sull'alto errore di ricostruzione (MSE) dei payload malevoli.
3. Random Forest (Supervisionato): Addestrato su dati etichettati per massimizzare l'accuratezza e fornire importanze delle feature.

3. Risultati Sperimentali

Il dataset è stato diviso in 80% (addestramento) e 20% (test) con stratificazione.

• Random Forest (Migliore Prestazione):

  • Accuratezza: 0.931
  • Precisione: 0.980 (solo 3 falsi positivi su 600 campioni benigni).
  • Recall: 0.740
  • F1-Score: 0.843
  • ROC-AUC: 0.952
  • Nota: Eccelle nel rilevare attacchi strutturali evidenti (es. Layout Abuse) e phishing, ma fatica con le manipolazioni sottili (UI Manipulative) dove solo 1-2 etichette cambiano in un payload grande.

• Autoencoder (Migliore per scenari reali senza storico):

  • F1-Score: 0.762
  • ROC-AUC: 0.863
  • Significato: Pur avendo un F1 inferiore, è cruciale perché non richiede dati di attacco per l'addestramento. È ideale per nuovi sistemi AI dove non esiste ancora uno storico di incidenti.

• Isolation Forest:

  • F1-Score: 0.552
  • Ha mostrato la performance peggiore, fallendo nel rilevare attacchi che si nascondono all'interno della distribuzione convessa dei dati benigni (es. modifiche semantiche sottili).

Analisi per Tipo di Attacco:

• Facili da rilevare: Layout Abuse (struttura anomala evidente).
• Difficili da rilevare: Manipulative UI (cambiamenti minimi nel payload globale diluiscono il segnale nelle feature aggregate).

4. Contributi Chiave

1. Primo Dataset di Riferimento: Creazione di un dataset sintetico ma realistico di 4.000 payload UI con metadati di attacco tracciabili.
2. Pipeline di Estrazione Feature: Definizione di 18 feature specifiche per catturare discrepanze strutturali, semantiche e di binding negli agenti AI.
3. Benchmark Comparativo: Valutazione rigorosa di approcci supervisionati, semi-supervisionati e non supervisionati, evidenziando i compromessi tra precisione e requisiti di dati.
4. Riproducibilità: Tutto il codice, i dati, le configurazioni e i modelli sono rilasciati pubblicamente.

5. Significato e Implicazioni

Il lavoro di AegisUI dimostra che il rilevamento delle anomalie comportamentali nei protocolli UI generati dagli agenti è fattibile anche con modelli "off-the-shelf" e feature tabellari semplici.

• Impatto sulla Sicurezza: Sposta il focus dalla validazione sintattica (che non basta) alla validazione semantica e comportamentale prima del rendering.
• Scalabilità: L'approccio semi-supervisionato (Autoencoder) offre una via praticabile per la sicurezza di sistemi AI emergenti privi di dati di attacco storici.
• Limitazioni e Futuro: Gli autori riconoscono che le feature aggregate perdono segnali locali. I prossimi passi includono l'uso di Graph Neural Networks (GNN) per analizzare i grafi di layout a livello di nodo (componente) e modelli sequenziali (LSTM/Transformer) per analizzare l'evoluzione delle sessioni, migliorando il rilevamento di attacchi sottili e localizzati.

In sintesi, AegisUI fornisce le basi fondamentali per costruire sistemi di difesa proattiva contro le minacce che sfruttano la generazione dinamica delle interfacce utente da parte degli agenti AI.