💻 computer science

Baselines Before Architecture: Evaluating Coding Agents for Autonomous Penetration Testing

Questo articolo sostiene che le valutazioni future degli agenti autonomi per il penetration testing debbano stabilire baseline di agenti semplici controllate e corrispondenti al modello per distinguere accuratamente i guadagni di prestazione derivanti da innovazioni architettoniche da quelli attribuibili ai miglioramenti del modello sottostante.

Autori originali: Ananda Dhakal, Krish Neupane, Aarjan Chaudhary

Pubblicato 2026-07-16

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Ananda Dhakal, Krish Neupane, Aarjan Chaudhary

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immaginate internet come una gigantesca, sempre mutevole città di edifici digitali. Alcuni di questi edifici hanno trappole nascoste e serrature rotte — buchi di sicurezza che i malintenzionati potrebbero usare per intrufolarsi. Per decenni, il lavoro di trovare questi buchi è appartenuto a esperti umani, come fabbri digitali che camminano attraverso ogni stanza, testando porte e finestre. Ma la città cresce troppo velocemente; nuovi edifici appaiono ogni secondo e i fabbri non riescono a stare al passo. Così, gli scienziati hanno iniziato a costruire "fabbri robotici" usando l'Intelligenza Artificiale. Questi robot sono alimentati da Large Language Models (LLM), che sono come cervelli super intelligenti che hanno letto quasi tutto su internet e possono scrivere codice, ragionare su problemi e seguire istruzioni.

La grande domanda in questo campo non è solo "Il robot riesce a trovare la serratura?", ma "Quanto del successo del robot deriva dal suo cervello, e quanto dai strumenti sofisticati che gli abbiamo dato?". Immaginate di avere uno studente geniale. Se gli date un semplice taccuino e una penna, potrebbe risolvere un problema di matematica. Se gli date una calcolatrice tecnologica, un team di tutor e una mappa speciale, potrebbe risolverlo più velocemente. Ma è stata la calcolatrice a renderlo più intelligente, o lo ha solo aiutato? Nel mondo della sicurezza dell'IA, i ricercatori hanno costruito complessi "imbracature" — team di agenti IA, sistemi di memoria speciali e strumenti di ricerca — per aiutare l'IA a hackerare siti web. Ma poiché continuano a cambiare sia il cervello dell'IA che gli strumenti contemporaneamente, nessuno sapeva se i raffinati strumenti stessero facendo il lavoro pesante, o se l'IA stesse semplicemente migliorando da sola.

Questo articolo, intitolato "Baselines Before Architecture", interviene per dirimere la questione con un esperimento molto controllato. I ricercatori hanno allestito un test controllato utilizzando un set standard di 104 sfide digitali chiamate benchmark XBOW. Inve di costruire un nuovo e sofisticato robot, hanno preso tre esistenti assistenti alla programmazione "semplici" — chiamati Codex, OpenCode e Pi — e hanno chiesto loro di risolvere le sfide usando un unico, potente cervello IA (GPT-5) e nessun particolare strumento di sicurezza. Volevano vedere quanto un'IA "nuda" potesse fare prima di aggiungere qualsiasi gadget extra.

I risultati sono stati un mix di sorprese e verità pratiche. In primo luogo, i semplici agenti di programmazione erano sorprendentemente forti. L'agente "Codex", basato sul modello GPT-5, ha risolto circa il 67% delle sfide al primo tentativo. Quando i ricercatori gli hanno permesso di riprovare (eseguendo lo stesso test due volte e combinando i risultati), ha risolto il 77,9% delle sfide. Questo è un grande passo avanti perché significa che un semplice robot di programmazione a scopo generale può già gestire una vasta parte del lavoro senza bisogno di un complesso team di sicurezza.

Lo studio ha testato anche due idee specifiche che molti ritenevano essenziali. Una era il "security prompting", dove si fornisce all'IA un foglio di istruzioni speciale che le dice di pensare come un hacker. L'altra era l'idea che architetture multi-agente complesse (dove diversi ruoli di IA interagiscono tra loro) siano necessarie per prestazioni elevate. Il documento ha scoperto che le particolari "istruzioni da hacker" hanno in realtà fatto performare peggio l'IA, risolvendo meno sfide e costando di più. Per quanto riguarda le architetture complesse, il documento ha confrontato i risultati del semplice Codex con due famosi sistemi ad alta tecnologia chiamati MAPTA e PentestGPT V2.

Ecco la sfumatura: i sistemi sofisticati avevano comunque un leggero vantaggio. Accoppiato con lo stesso cervello IA, il sistema specializzato MAPTA ha risolto circa 9,6 punti percentuali in più di sfide rispetto al semplice Codex. Tuttavia, il documento ha mostrato che questo divario non era così grande come sembrava. Quando i ricercatori hanno aggiornato il semplice agente Codex con un cervello più nuovo e intelligente (GPT-5.5), esso ha risolto il 92,3% delle sfide al primo tentativo e il 95,2% combinando due sessioni. Questo nuovo agente semplice ha effettivamente superato i punteggi record dei vecchi sistemi complessi, anche senza i loro strumenti sofisticati.

Il messaggio principale è un avvertimento per la comunità scientifica: non assumete che una nuova architettura complessa sia l'eroe solo perché ottiene un punteggio alto. Spesso, il punteggio deriva dal fatto che il modello di IA sta diventando più intelligente, non che gli strumenti stiano diventando più sofisticati. Il documento suggerisce che, prima di affermare che una nuova "imbracatura di sicurezza" sia una svolta, i ricercatori devono prima dimostrare quanto sia migliore rispetto a un semplice agente di programmazione che utilizza lo stesso identico cervello IA. Sebbene gli strumenti specializzati possano ancora aiutare a risparmiare tempo e denaro, l'IA "semplice" sta già facendo la maggior parte del lavoro pesante, e semplicemente aspettare la prossima generazione di modelli di IA potrebbe essere altrettanto efficace quanto costruire un robot più complicato.

Riepilogo Tecnico: Baselines Prima dell'Architettura

Definizione del Problema

Recenti sistemi di penetration testing autonomi (ad es., MAPTA, PentestGPT V2) riportano punteggi elevati nei benchmark sul benchmark XBOW avvolgendo i Large Language Models (LLM) di frontiera in complessi harness di sicurezza multi-componente. Questi harness includono decomposizione dei ruoli, memoria persistente, recupero (retrieval) e ricerca in alberi di attacco. Tuttavia, esiste un problema di attribuzione metodologica: questi sistemi cambiano spesso simultaneamente sia il modello backbone sottostante che l'harness architettonico. Di conseguenza, è difficile determinare quanto del guadagno di prestazioni derivi dall'architettura specifica per la sicurezza rispetto alle capacità intrinseche del nuovo modello o al ciclo generale di un agente di coding. Senza una baseline controllata e con modello corrispondente, il settore non può distinguere se un harness specializzato svolga un lavoro significativo o se fornisca semplicemente a un LLM capace l'accesso sufficiente per agire.

Metodologia

Questo articolo presenta uno studio controllato utilizzando il benchmark XBOW da 104 task per isolare il contributo dell'architettura specifica per la sicurezza. Lo studio impiega un design sperimentale in tre fasi utilizzando agenti CLI di coding (Codex, OpenCode e Pi) predefiniti e minimamente modificati come baseline "plain-agent".

Fasi Sperimentali:

Selezione del Plain-Agent (RQ1): Codex, OpenCode e Pi sono stati valutati sotto lo stesso modello backbone (GPT-5), budget ($0,75/sfida), interfaccia target e regole di punteggio. Ogni agente ha eseguito due passaggi completi sui 104 challenge per identificare la baseline più forte e stabile.
Effetto del Prompt (RQ2): Il baseline più forte (Codex) è stato testato con due varianti di prompt specifiche per la sicurezza (prompt di task dettagliato e prompt di sistema completo) contro il suo prompt predefinito nativo per determinare se il testo specifico per la sicurezza migliori le prestazioni.
Residuo Architetturale (RQ3): Il plain baseline selezionato è stato confrontato con i risultati pubblicati di MAPTA (usando GPT-5) e PentestGPT V2 (usando GPT-5.2). Il "residuo architettonico" è stato calcolato come la differenza tra il punteggio del sistema specializzato pubblicato e il punteggio del plain-agent più vicino con modello corrispondente.
Scaling del Modello (RQ4): Lo scaffold plain di Codex è stato eseguito con modelli più recenti (GPT-5.2 e GPT-5.5) per misurare i guadagni di prestazione attribuibili esclusivamente ai miglioramenti del modello senza aggiungere un'architettura specifica per la sicurezza.

Controlli e Metriche:

Ambiente: Tutti gli agenti sono stati eseguiti in container Docker isolati con una regola di punteggio black-box.
Metriche: Lo studio distingue tra pass@1 (singolo tentativo), pass@k (unione di $k$ passaggi indipendenti) e risoluzioni "affidabili" (risolte in entrambi i passaggi).
Analisi dei Costi: Sono stati registrati dettagliati breakdown dell'uso di token, runtime e costo per task risolto vs fallito.

Contributi Chiave

Metodologia di Attribuzione: Un framework per separare la capacità del modello backbone, lo scaffolding dell'agente di coding generale e l'architettura specifica per il pentesting.
Baseline con Stesso Modello: Identificazione di Codex come il baseline più forte tra i plain coding-agent sotto GPT-5, superando OpenCode e Pi sia in tasso di risoluzione che in stabilità.
Quantificazione del Residuo Architetturale: Un confronto diretto che mostra come, sebbene gli harness specializzati forniscano un incremento misurabile, il divario si restringa significativamente quando i modelli vengono controllati.
Analisi di Prompt e Scaling: Evidenza che i prompt specifici per la sicurezza non hanno migliorato le prestazioni rispetto al loro default nativo, mentre i modelli più recenti (GPT-5.5) hanno migliorato sostanzialmente lo scaffold plain, spesso superando i punteggi di punta dei vecchi sistemi specializzati.
Artefatto Riproducibile: Un repository pubblico su GitHub contenente l'harness di valutazione, i file dei prompt, le configurazioni degli agenti e gli script di analisi.

Risultati

1. Prestazioni dei Plain-Agent (RQ1 & RQ2)

Codex è stato il baseline superiore, risolvendo 70/104 task in ciascuno di due passaggi (media pass@1 del 67,3%) e 81/104 in unione (pass@2).
Prompt di Sicurezza: L'aggiunta di testo specifico per la sicurezza al prompt ha degradato le prestazioni. Le varianti del prompt dettagliato e del sistema completo hanno risolto meno sfide e hanno incorso costi più elevati rispetto al prompt predefinito nativo di Codex.

2. Residui Architetturali (RQ3)

MAPTA (GPT-5): Riporta il 76,9% rispetto alla media di Plain Codex GPT-5 del 67,3%. Il residuo architettonico è di +9,6 punti percentuali. MAPTA ha anche dimostrato una maggiore efficienza dei costi ($0,206/task vs $0,266/task per plain Codex).
PentestGPT V2 (GPT-5.2): Riporta l'85,0% rispetto alla media di Plain Codex GPT-5.2 del 79,8%. Il residuo è di +5,2 punti percentuali.
Copertura: Le ripetute esecuzioni dei plain-agent (pass@2 unione) hanno eguagliato o superato i punteggi di singola esecuzione pubblicati di entrambi i sistemi specializzati (Plain Codex GPT-5 pass@2 = 77,9% > MAPTA 76,9%; Plain Codex GPT-5.2 pass@2 = 88,5% > PentestGPT V2 85,0%).

3. Scaling del Modello (RQ4)

GPT-5.5: L'esecuzione dello scaffold plain di Codex con GPT-5.5 ha raggiunto un 92,3% di pass@1 e un'unione pass@2 del 95,2%.
Questo risultato del plain-agent ha superato il punteggio di punta del 91% riportato da PentestGPT V2 (usando Opus 4.5), dimostrando che lo scaling del modello da solo può colmare o superare il divario attribuito all'architettura specializzata.

4. Efficienza delle Risorse

Sistemi specializzati come MAPTA hanno mostrato una migliore efficienza dei costi per sfida rispetto al baseline plain GPT-5, suggerendo che una migliore pianificazione riduce l'esplorazione sprecata.
Tuttavia, i fallimenti nei plain agent sono stati significativamente più costosi dei successi (ad es., i fallimenti di scan di GPT-5 sono costati $0,505 vs $0,150 per gli scan riusciti), evidenziando il costo dell'esplorazione non guidata.

Significato e Rivendicazioni

Il paper sostiene una metodologia di valutazione "baseline-first" nel penetration testing autonomo. Il suo significato primario risiede nelle seguenti rivendicazioni:

L'Attribuzione è Critica: Gli alti punteggi nei benchmark non possono essere attribuiti alla sola progettazione dell'architettura senza una baseline di un plain-agent con modello corrispondente. La confusione tra il progresso del modello e il design dell'architettura ha oscurato il vero valore degli harness di sicurezza.
Il Valore dell'Harness è Sfumato: Le architetture specializzate forniscono effettivamente un valore misurabile, in particolare nella efficienza dei costi e nei tassi di risoluzione al singolo tentativo (il residuo). Tuttavia, l'entità di questo valore è minore di quanto suggerito dai confronti tra i punteggi di punta.
Il Prompting non è un Harness: Aggiungere semplicemente testo specifico per la sicurezza a un prompt non costituisce un miglioramento architettonico e può degradare le prestazioni.
Il Progresso del Modello Maschera l'Architettura: I modelli più recenti (ad es., GPT-5.5) possono superare i vecchi sistemi specializzati utilizzando lo stesso scaffold minimo. Pertanto, le affermazioni di superiorità architettonica devono essere validate contro gli attuali plain-agent allo stato dell'arte, non solo contro vecchi baseline.

Gli autori concludono che, sebbene gli harness di sicurezza possano migliorare l'efficienza e i tassi di risoluzione, la ricerca futura deve riportare baseline di plain-agent con modello corrispondente per attribuire accuratamente i guadagni di prestazione al design dell'architettura piuttosto che alla capacità del modello.