Design Principles for the Construction of a Benchmark Evaluating Security Operation Capabilities of Multi-agent AI Systems

Titolo del Lavoro

Principi di Progettazione per la Costruzione di un Benchmark per Valutare le Capacità Operative di Sicurezza dei Sistemi Multi-Agente AI

1. Il Problema

Con l'avvento dei Large Language Models (LLM) e dei sistemi multi-agente AI, c'è un crescente interesse nel quantificare la capacità di questi sistemi di automatizzare i Security Operation Center (SOC) e ridurre lo sforzo manuale. Sebbene siano stati sviluppati diversi benchmark per valutare le capacità "Red Team" (attacco, penetration testing) dei sistemi AI, esiste un vuoto critico nella valutazione delle capacità "Blue Team" (difesa, risposta agli incidenti).

• Limitazione attuale: I benchmark esistenti si concentrano su singoli compiti isolati (es. estrazione di indicatori di compromissione) o su scenari di competizione (CTF) che non riflettono la complessità della risposta agli incidenti in tempo reale.
• Necessità: Le operazioni reali dei SOC sono dominate da attività di difesa che richiedono il coordinamento di più compiti interdipendenti (rilevamento, analisi, contenimento). Non esiste un benchmark sistematico per valutare come i sistemi multi-agente AI possano coordinarsi autonomamente per gestire un incidente di sicurezza su larga scala, simulando un SOC reale dove l'IA agisce come operatore principale sotto la supervisione umana.

2. Metodologia

Gli autori propongono SOC-bench, un framework concettuale basato su cinque principi di progettazione fondamentali (Design Principles - DP) per valutare le capacità Blue Team. Il benchmark è strutturato attorno a un contesto realistico: la risposta a un attacco ransomware su larga scala, ispirato all'incidente reale di Colonial Pipeline.

I Cinque Principi di Progettazione (Design Principles)

1. DP1 (Standard d'Oro Reale): Il sistema SOC "così com'è" (as-is), basato su dati reali di un incidente passato, serve come standard di verità. Non si ipotizzano sistemi futuri; l'IA non deve avere conoscenze superiori a quelle del team umano e deve operare con le stesse incertezze e dati imperfetti.
2. DP2 (Nessun Hint Incrociato): Il benchmark non deve fornire suggerimenti sulle dipendenze tra i diversi compiti. L'IA deve scoprire autonomamente le interdipendenze tra i task (es. come i dati del rilevamento influenzano l'analisi forense).
3. DP3 (Oltre l'Imitazione): La valutazione si basa esclusivamente sugli outcome (risultati), non sul processo. L'IA non deve necessariamente imitare il ragionamento umano; può adottare strategie diverse purché il risultato finale sia corretto e supportato da evidenze.
4. DP4 (Imperfezione Reale): Il sistema simula le imperfezioni del mondo reale: alert falsi positivi/negativi, latenza nei log, dati mancanti o rumorosi.
5. DP5 (Future-Proof): Il design non è legato a tecnologie AI specifiche attuali (es. RAG, MoE) per garantire che il benchmark rimanga valido con l'evoluzione dell'Agentic AI.

Struttura del Benchmark: I Cinque Task

SOC-bench è composto da una famiglia di cinque task interdipendenti, ciascuno con un obiettivo specifico, dati di input (telemetria, log, alert) e un sistema di punteggio basato su "anelli" (ring model) che valuta la correttezza e la qualità delle evidenze:

1. Task Fox (Rilevamento Precoce): Valuta la capacità di distinguere anomalie isolate da una campagna coordinata e di inferire se si tratta di ransomware, basandosi su telemetria incompleta.
   • Output: Valutazione della scala, inferenza del tipo di attacco, report di triage.
2. Task Goat (Forensics del File System): Analizza i metadati dei file e i journal di modifica per identificare file crittografati, impatti su host/condivisioni, manomissione dei VSS (Volume Shadow Copy) e attribuzione dei processi crittografanti.
   • Output: Etichette di stato crittografato, aggregazione dell'impatto, fatti su tampering VSS, alberi di processo.
3. Task Mouse (Analisi dell'Esfiltrazione Dati): Determina se è avvenuta un'esfiltrazione, stimando tempo di inizio, volume di dati, host coinvolti e protocolli utilizzati, analizzando PCAP, firewall e log OS.
   • Output: Conferma esfiltrazione, timestamp, volume, host, protocolli.
4. Task Tiger (Attribuzione e TTP): Agisce come analista Tier 2, attribuendo l'attacco, costruendo un grafo delle minacce (Threat Graph) e identificando il punto di ingresso iniziale (Initial Entrypoint) utilizzando CTI, log di rete e malware analysis.
   • Output: Fonti dati rilevanti, Grafo delle minacce, Sintesi dell'ingresso iniziale.
5. Task Panda (Raccomandazione di Contenimento): Valuta la capacità di prendere decisioni di contenimento (isolamento, blocco) in tempo reale, bilanciando sicurezza e continuità operativa, basandosi su un report BLUF (Bottom Line Up Front).
   • Output: Azioni di contenimento, target, ragionamento basato su compromessi (trade-off) e previsioni di impatto.

3. Risultati e Validazione

Il documento presenta principalmente la progettazione concettuale e i principi guida di SOC-bench, piuttosto che risultati empirici di un'IA specifica testata (essendo un lavoro di definizione del benchmark).

• Validazione dei Principi: Gli autori dimostrano come l'applicazione rigorosa dei 5 principi permetta di creare un ambiente di valutazione realistico. Ad esempio, l'uso di dati reali (Colonial Pipeline) e la simulazione di dati imperfetti (DP1 e DP4) costringono l'IA a gestire l'incertezza come farebbe un umano.
• Struttura di Valutazione: Viene definito un sistema di punteggio dettagliato per ogni task, che premia non solo la correttezza della conclusione, ma anche la qualità delle evidenze citate (es. "Bullseye" per conclusioni corrette con almeno 2 oggetti di evidenza concreti).
• Interdipendenza: Il design dimostra come i task siano collegati (es. i risultati di Fox influenzano Panda), ma il benchmark non rivela esplicitamente queste connessioni all'IA, testando così la capacità di scoperta autonoma delle dipendenze (DP2).

4. Contributi Chiave

1. Primo Benchmark Sistematico Blue Team Multi-Task: SOC-bench colma il divario nella letteratura scientifica, offrendo il primo framework progettato specificamente per valutare il coordinamento multi-task in scenari di risposta agli incidenti, andando oltre i singoli compiti isolati.
2. Definizione di Principi di Progettazione Fondamentali: I 5 principi (DP1-DP5) forniscono una guida teorica e pratica per la creazione di benchmark futuri nel campo della sicurezza AI, enfatizzando la realtà operativa rispetto alla perfezione teorica.
3. Simulazione Realistica di un SOC: L'uso di un caso di studio reale (Colonial Pipeline) e la simulazione di vincoli di visibilità, ritardi e dati rumorosi creano un ambiente di test molto più fedele alla realtà rispetto ai tradizionali CTF o ambienti di laboratorio puliti.
4. Focus sull'Outcome e non sul Processo: Il principio DP3 sposta il paradigma di valutazione, permettendo alle AI di innovare nelle strategie di risoluzione senza essere penalizzate se non seguono il ragionamento umano standard, purché il risultato sia sicuro e verificato.

5. Significato e Impatto

Questo lavoro è fondamentale per l'adozione dell'IA nella cybersecurity operativa:

• Per i Ricercatori: Fornisce un metodo standardizzato per misurare i progressi nell'automazione dei SOC, permettendo confronti oggettivi tra diversi sistemi multi-agente.
• Per le Organizzazioni: Aiuta a comprendere le reali capacità e i limiti delle attuali tecnologie AI nella gestione delle crisi, facilitando decisioni informate sull'implementazione di sistemi autonomi.
• Per la Comunità di Sicurezza: Sposta l'attenzione dalla semplice capacità di attacco (Red Team) alla capacità di difesa coordinata e resiliente (Blue Team), che è l'obiettivo finale per la sicurezza delle infrastrutture critiche.

In sintesi, SOC-bench rappresenta un passo cruciale verso la realizzazione di SOC autonomi, fornendo lo strumento necessario per valutare se i sistemi AI sono pronti a gestire la complessità, l'incertezza e le interdipendenze delle minacce informatiche moderne.