🤖 AI

Beyond Success Rate: Cost-Aware Evaluation of Offensive and Defensive Security Agents

Questo articolo introduce un framework di valutazione consapevole dei costi per gli agenti di sicurezza che rivela distinti comportamenti di scalabilità tra compiti offensivi e difensivi, dimostrando che mentre le prestazioni offensive migliorano con l'aumento del calcolo, il successo difensivo dipende più dall'uso disciplinato degli strumenti e dall'efficienza operativa che dal budget di ragionamento puro.

Autori originali: Paul Kassianik, Blaine Nelson, Yaron Singer

Pubblicato 2026-07-20

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Paul Kassianik, Blaine Nelson, Yaron Singer

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immaginate un mondo in cui l'intelligenza artificiale non sia solo un chatbot che scrive poesie, ma un detective digitale e un ladro digitale in un unico essere. Questa è la frontiera della cybersicurezza, un campo in cui i computer vengono addestrati o per violare i sistemi al fine di trovare debolezze (il lato "offensivo") o per investigare su scene del crimine digitali per fermare gli attacchi (il lato "difensivo"). Per molto tempo, gli scienziati che testano questi agenti IA hanno posto una domanda semplice: "Quanto è brava questa IA a risolvere i puzzle più difficili se le diamo tempo e denaro illimitati?". È come testare un'auto da corsa lasciandola correre finché il serbatoio non si svuota, ignorando il costo della benzina. Ma nel mondo reale, ogni passo che un'IA compie — ogni domanda che pone, ogni database che controlla — costa denaro effettivo. Se un'IA è troppo costosa da gestire, è inutile per un vero team di sicurezza, indipendentemente da quanto sia intelligente. Questo articolo pone una domanda più pratica: "Quanto può effettivamente fare questa IA con un budget specifico?".

I ricercatori, Paul Kassianik, Blaine Nelson e Yaron Singer, hanno deciso di smetere di contare semplicemente quanti puzzle l'IA risolve e hanno iniziato a contare il prezzo. Hanno sottoposto i loro agenti IA a due tipi di sfide molto diverse. Prima, li hanno mandati in missioni "Capture the Flag" (CTF), che sono come cacce al tesoro digitali dove l'IA deve hackerare un computer protetto per trovare un codice segreto. Secondo, li hanno mandati in missioni "Security Operations Center" (SOC), che sono come lavori da detective dove l'IA deve setacciare enormi quantità di log di sicurezza per capire chi è entrato in un'azienda e come.

Ecco il colpo di scena che hanno scoperto: l'attacco e la difesa scalano in modi completamente diversi. Quando l'IA giocava il ruolo dell'hacker (il ruolo offensivo), darle più soldi per pensare e riprovare di solito aiutava. Era come dare a un detective più tempo per rileggere un indizio; più risorse avevano, più era probabile che risolvessero il caso. Alcuni modelli open-source, se dotati di un budget decente, potevano persino raggiungere i modelli proprietari più costosi e di alto livello.

Tuttamente, quando l'IA giocava il ruolo del detective (il ruolo difensivo), lanciare più soldi sul problema non la rendeva necessariamente più intelligente. In realtà, i migliori performer erano quelli che erano disciplinati. Sapevano esattamente quando fermarsi, quando chiedere aiuto e quando risparmiare il proprio budget. Il documento ha scoperto che per queste investigazioni, il successo non dipendeva da quanti strumenti l'IA utilizzasse o da quanto tempo pensasse; si trattava di usare gli strumenti giusti al momento giusto. Un'IA che chiamava freneticamente ogni database del mondo solo perché aveva un grande budget spesso otteneva risultati peggiori di un'IA che sceglieva con cura alcuni pezzi chiave di evidenza.

Gli autori hanno anche avvertito che alcuni dei punteggi "perfetti" in questi test potrebbero essere fuorvianti. Poiché i puzzle sono pubblici e vecchi, alcune IA potrebbero aver semplicemente memorizzato le risposte durante il loro addestramento, come uno studente che ha memorizzato il foglio delle risposte invece di imparare la matematica. Quando i ricercatori hanno testato le IA senza permettere loro di usare alcuno strumento o guardare gli indizi, i punteggi sono scesi significativamente per alcuni modelli, dimostrando che "conoscere la risposta" non è la stessa cosa di "risolvere il problema".

In definitiva, l'articolo sostiene che dobbiamo smettere di giudicare le IA di sicurezza solo in base alle loro prestazioni di picco in un vuoto. Invece, dobbiamo guardare alla loro "efficienza economica". Un modello che risolve il 90% dei problemi per 5 dollari è uno strumento migliore per un vero team di sicurezza rispetto a un modello che risolve il 95% dei problemi per 500 dollari. Lo studio suggerisce che per i compiti di hacking, una maggiore potenza di calcolo aiuta, ma per difendere i sistemi, l'uso intelligente e disciplinato degli strumenti è il vero superpotere. Hanno persino costruito un sito web per mostrare queste curve costo-successo, dimostrando che nel mondo della sicurezza dell'IA, essere economici e intelligenti è spesso meglio che essere ricchi e sconsiderati.

Sintesi Tecnica: Oltre il Tasso di Successo: Valutazione Consapevole dei Costi degli Agenti di Sicurezza Offensivi e Difensivi

Definizione del Problema

Le attuali valutazioni degli agenti di sicurezza si concentrano prevalentemente sulla capacità offensiva massima sotto budget di inferenza generosi, enfatizzando metriche come la scoperta di vulnerabilità, lo sviluppo di exploit e il completamento di CTF (Capture The Flag). Sebbene queste misurazioni traccino le capacità rilevanti per un attaccante, non riflettono la realtà operativa. Negli ambienti di sicurezza in produzione, ogni passaggio di ragionamento, chiamata a uno strumento, query di telemetria e richiesta di arricchimento consuma un budget finito. Le attuali valutazioni spesso collassano i costi di inferenza e i costi degli strumenti, ignorando i compromessi economici intrinsechi nei flussi di lavoro dei Security Operations Center (SOC). Di conseguenza, manca una comprensione di come le prestazioni del modello scalino rispetto ai vincoli di costo e se "più calcolo" si traduca effettivamente in migliori risultati operativi sia per i compiti offensivi che per quelli difensivi.

Metodologia

Gli autori valutano gli agenti di sicurezza basati su modelli linguistici attraverso una lente "costo-successo" utilizzando un framework comune di valutazione degli agenti (Inspect) attraverso due distinte famiglie di benchmark:

Benchmark Offensivo (Cybench): Un insieme di 39 sfide CTF in ambiente sandbox che spaziano dalla crittografia all'exploit web, al reverse engineering e alla forensics. Agenti hanno a disposizione strumenti bash e Python. Il successo è misurato tramite la sottomissione di token di flag nascosti.
Benchmark Difensivo (Splunk BOTS v1): Un dataset pubblico di investigazione sugli incidenti che coinvolge 31 domande punteggiate basate su telemetria reale (web defacement Po1s0n1vy e ransomware Cerber). Gli agenti utilizzano lo Splunk Search Processing Language (SPL), l'ispezione degli eventi e strumenti di arricchimento esterni (Brave Search, WhoisXMLAPI, VirusTotal). Il successo è misurato in punti ufficiali della competizione, penalizzati per suggerimenti errati.

Design Sperimentale:

Contabilità dei Costi: Lo studio decompone i costi in spesa di inferenza (token del modello) e spesa di strumenti a pagamento (es. $0,005 per Brave Search, $1,29 per l'acquisto di WhoisXMLAPI).
Vincoli di Budget: Invece di riportare solo il caso migliore di successo, gli autori confrontano i modelli a livelli di costo fissi. Utilizzano cap di budget retrospettivi (riproducendo le tracce completate con un limite di $0,80 per campione) per isolare il valore marginale di calcolo aggiuntivo.
Controlli di Decontaminazione: Data l'età e la natura pubblica di BOTS v1, gli autori hanno condotto probe "senza strumenti" (rispondendo basandosi solo sul testo della domanda e sulla conoscenza pregressa) per valutare l'entità della fuga di dati e della memorizzazione del modello.
Gestione dei Rifiuti (Refusals): I rifiuti sono classificati a livello di epoca del campione. Nei compiti offensivi, i rifiuti sono trattati come fallimenti; nei compiti difensivi, vengono tracciati come contesto ma non annullano automaticamente i punti se un tentativo successivo ha successo.

Contributi Chiave

Confronto Costo-Successo: Una valutazione unificata dei punti di operatività di Cybench e BOTS v1, introducendo metriche come il costo per domanda risolta e il costo per 1.000 punti BOTS.
Analisi dell'Headroom di Budget: Un'analisi accoppiata che mostra dove la spesa aggiuntiva per campione cambia i punteggi osservati, distinguendo tra modelli che scalano con il budget e quelli che non lo fanno.
Contabilità Granulare dei Costi: Una scomposizione dei costi di investigazione SOC in token del modello e strumenti esterni a pagamento, rivelando l'efficienza economica di diversi agenti.
Controlli di Decontaminazione: Dimostrazione di un sostanziale recupero di risposte dirette dipendente dal modello su BOTS v1 pubblico senza l'uso di strumenti, sostenendo la necessità di controlli di decontaminazione prima di interpretare i punteggi assoluti come affermazioni di capacità.

Risultati

Prestazioni CTF Offensive (Cybench)

Scalabilità con il Budget: La prestazione offensiva migliora generalmente con l'aggiunta di calcolo al tempo di test. Modelli come Claude Opus 4.8 e DeepSeek v4 Flash mostrano guadagni significativi quando sono autorizzati a superare il limite di budget di $0,80 (guadagnando rispettivamente +18,8 e +10,3 punti percentuali).
Efficienza del Modello: GPT-5.5 ha ottenuto il più alto tasso di successo netto (94,1%) a un costo basso ($1,16 per equivalente risolto), risolvendo la maggior parte delle sfide al di sotto del limite di budget inferiore.
Rifiuti di Policy: I modelli di frontiera con guardrail rigorosi (es. Claude Fable 5, GPT-5.6 Sol) hanno mostrato alti tassi di rifiuto, limitando efficacementamente i loro punteggi offensivi indipendentemente dal budget. Ad esempio, Fable 5 ha rifiutato il 100% dei campioni di Cybench, risultando in uno 0% di successo.
Utilizzo degli Strumenti: Nell'offensiva, un volume maggiore di chiamate agli strumenti (es. DeepSeek v4 Flash che effettua circa 145 chiamate) è correlato a tassi di successo più elevati, suggerendo che il volume di interazione può sostituire la qualità per chiamata nei CTF.

Prestazioni SOC Difensive (BOTS v1)

Regime di Scalabilità Distinto: L'investigazione difensiva non scala con il budget grezzo allo stesso modo delle attività offensive. Aumentare il budget per DeepSeek v4 Flash da $2,10 a$ 4,20 ha prodotto un aumento trascurabile del punteggio (dal 73,0% al 73,9%) nonostante un massiccio aumento delle chiamate agli strumenti (da 4.450 a 4.938).
Disciplina degli Strumenti: Il successo nei compiti difensivi dipende più pesantemente dall'uso disciplinato degli strumenti, dalla navigazione della telemetria e dall'arricchimento selettivo piuttosto che dal budget di ragionamento grezzo. Claude Opus 4.8 ha ottenuto il punteggio più alto (93,9%) con il minor numero di chiamate agli strumenti (603) e la migliore efficienza dei costi ($2,98 per 1.000 punti).
Varianza del Modello: Mentre GPT-5.6 Terra e Sol si sono avvicinati alle prestazioni di Opus 4.8, hanno richiesto significativamente più token e chiamate agli strumenti.
Contaminazione: I probe "senza strumenti" hanno rivelato che modelli come GPT-5.6 Sol e Claude Opus 4.8 potevano recuperare punteggi significativi (fino al 77,2% e 74,8% rispettivamente) senza alcuno strumento o contesto, indicando che i punteggi dei benchmark pubblici possono essere gonfiati dalla sovrapposizione con i dati di addestramento.

Significato e Affermazioni

Il documento sostiene che i benchmark per gli agenti di sicurezza devono evolversi oltre i picchi di tasso di successo per misurare l'efficienza economica e l'idoneità operativa.

Divergenza Offensiva vs. Difensiva: Gli autori affermano che i CTF offensivi e le investigazioni SOC difensive rappresentano regimi di scalabilità fondamentalmente diversi. I compiti offensivi beneficiano di un aumento del calcolo e del volume di interazione, mentre i compiti difensivi richiedono precisione, navigazione della telemetria e arricchimento consapevole dei costi.
Rilevanza Operativa: Un budget fisso trasforma il tasso di successo in una questione operativa: "Quanta capacità acquista un modello per ogni dollaro?". Questa inquadratura è critica per i sistemi in produzione dove le risorse sono finite.
Integrità del Benchmark: Lo studio evidenzia come i benchmark SOC pubblici come BOTS v1, pur essendo preziosi per gli harness riproducibili e la contabilità dei costi, non possano servire come classifiche pulite per le affermazioni di capacità senza rigorosi controlli di decontaminazione, a causa dell'elevata recuperabilità delle risposte dai dati di addestramento dei modelli.
Utilità Pratica: I risultati suggeriscono che i modelli più piccoli o a pesi aperti (come DeepSeek v4 Flash) possono essere competitivi in termini di costi per i compiti offensivi, mentre i compiti difensivi favoriscono attualmente modelli con pattern di uso degli strumenti più disciplinati (come Claude Opus 4.8) rispetto a quelli che si affidano al calcolo brute-force.

Gli autori concludono che "le valutazioni consapevoli dei costi e native dei SOC forniscono un quadro più chiaro di quali modelli siano praticamente utili oggi e dove gli agenti difensivi debbano ancora migliorare", esortando a un passaggio verso la valutazione degli agenti in base alla loro capacità di fornire risposte di livello analista sotto vincoli di budget realistici.