🤖 machine learning

Learning Robust Penetration Testing Policies under Partial Observability: A systematic evaluation

Questo articolo presenta una valutazione sistematica che dimostra come le tecniche di aggregazione della storia, quali il frame-stacking e le architetture ricorrenti, migliorino significativamente la velocità di convergenza e la robustezza degli agenti Proximal Policy Optimization (PPO) in scenari di penetration testing parzialmente osservabili attraverso diverse dimensioni di rete.

Autori originali: Raphael Simon, Pieter Libin, Wim Mees

Pubblicato 2026-06-26

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Raphael Simon, Pieter Libin, Wim Mees

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di essere un detective che cerca di risolvere un mistero complesso in un edificio in cui non è mai entrato prima. Non hai una planimetria, non sai dove sono nascosti gli oggetti di valore e non puoi vedere attraverso le pareti. Ogni volta che provi ad aprire una porta, potresti trovare una chiave, una stanza chiusa o nulla di tutto ciò. Questo è l'essenza del penetration testing (o "pentesting"): hacker etici che cercano falle di sicurezza nelle reti informatiche.

Questo articolo parla di come insegnare a un computer (un'IA) di agire come quel detective, ma con un colpo di scena: l'edificio cambia la sua struttura ogni volta che il detective vi entra.

Il Problema: Il Detective "Cieco"

Nel mondo reale, gli hacker non ottengono una mappa completa della rete. Devono scansionare, indovinare e ricordare ciò che hanno trovato. In termini informatici, questo è chiamato Osservabilità Parziale. L'IA vede solo una minuscola fetta della verità in ogni dato momento.

I tentativi precedenti di addestrare l'IA per questo compito erano come addestrare un detective in un edificio che non cambiava mai. L'IA memorizzava: "Se giro a sinistra alla porta rossa, trovo il tesoro". Ma se la disposizione dell'edificio cambiava anche solo leggermente, l'IA si perdeva. Era un caso di "overfitting": memorizzava il test specifico invece di imparare l'abilità.

La Soluzione: L'Edificio "Mutante"

Gli autori hanno creato un nuovo campo di addestramento chiamato StochNASim. Immaginatelo come un edificio magico che si ricostruisce completamente ogni volta che entrate.

Nuova Disposizione: Il numero di stanze (host) cambia (a volte 5, a volte 8).
Nuovi Contenuti: Gli arredi (software e servizi) all'interno delle stanze cambiano.
Nuove Porte: Le serrature e le chiavi (vulnerabilità) sono diverse ogni volta.

Questo costringe l'IA a smettere di memorizzare percorsi specifici e a iniziare a imparare come pensare come un detective: "Devo guardarmi intorno, ricordare ciò che ho trovato e poi decidere cosa fare dopo".

L'Esperimento: Come Ricordare?

I ricercatori si sono chiesti: "Come insegniamo a un'IA a ricordare ciò che ha trovato in un edificio che cambia?" Hanno testato quattro diverse "strategie di memoria" utilizzando un metodo di apprendimento dell'IA standard chiamato PPO (Proximal Policy Optimization):

La Baseline "Senza Memoria": L'IA guarda la stanza attuale e indovina. Dimentica tutto nel momento in cui si sposta. (Come un detective con l'amnesia).
Frame Stacking: L'IA guarda gli ultimi alcuni "fermo immagine" dell'edificio per vedere cosa è cambiato. (Come guardare un breve clip video degli ultimi secondi).
Reti Ricorrenti (LSTM & TrXL): Queste sono architetture complesse, simili al cervello, progettate per ricordare storie lunghe. Sono come detective con cervelli super complessi che cercano di tenere tutta la storia dell'edificio nella loro testa.
Osservazioni Augmentate (Il Vincitore): Questo è un trucco astuto. Invece di cercare di "ricordare" in modo complesso, l'IA tiene semplicemente una lista di controllo in crescita. Ogni volta che trova un'informazione (es. "La stanza 3 ha una porta rossa"), la aggiunge a una lista permanente che può vedere per sempre. Non dimentica; accumula semplicemente fatti.

I Risultati Sorprendenti

I risultati sono stati controintuitivi rispetto a quanto molti esperti si aspettassero:

I Cervelli Complessi sono Falliti: I sistemi di memoria sofisticati e complessi (LSTM e TrXL) hanno faticato. Cercavano di essere troppo intelligenti, ricorrendo spesso a una strategia di "forza bruta": provare ogni possibile porta finché una non si apriva. Erano lenti ed inefficienti.
La Lista Semplice ha Vincuto: Il metodo delle Osservazioni Augmentate (la lista di controllo in crescita) è stato il vincitore assoluto. Ha imparato quattro volte più velocemente degli altri metodi.
Perché? Il compito non riguardava il ricordare una storia complessa; si trattava di raccogliere fatti. L'IA non aveva bisogno di un cervello complesso per ricordare; aveva solo bisogno di un modo semplice per tenere una lista di ciò che aveva già scoperto. L'approccio della "lista di controllo" ha permesso all'IA di smettere di scansionare le stanze che aveva già controllato per concentrarsi su quelle che non aveva ancora visitato.

La Conclusione

L'articolo conclude che, per questo specifico tipo di compito di cybersicurezza, la semplicità è meglio.

Non serve un'IA con un cervello super complesso per essere un buon hacker-detective. Serve solo un buon taccuino. Fornendo all'IA un modo semplice per tenere un elenco aggiornato di ciò che ha trovato, essa ha imparato a essere efficiente, robusta e capace di gestire layout di rete completamente nuovi senza confondersi.

Gli autori hanno anche dimostrato che l'addestramento in un ambiente "mutante" (StochNASim) è fondamentale. Se si addestra un'IA su una rete statica e immutabile, essa diventa un cattivo detective nel mondo reale. Ma se la si addestra in un ambiente caotico e mutevole, impara ad adattarsi e a vincere ovunque.

In breve: Per insegnare a un'IA come hackerare le reti, non darle un cervello con una memoria super complessa; dalle un post-it che non viene mai cancellato. E assicurati di farle fare pratica in un edificio che cambia ogni volta che ci cammini dentro.

Riepilogo Tecnico: Apprendimento di Politiche di Penetration Testing Robuste sotto Osservabilità Parziale

Definizione del Problema

Il penetration testing (pentesting) è un processo decisionale sequenziale in cui i professionisti della sicurezza simulano attacchi informatici per identificare vulnerabilità. Questo compito è intrinsecamente caratterizzato da un'osservabilità parziale; gli agenti non hanno accesso allo stato completo della rete (topologia, configurazioni degli host, servizi in esecuzione), ma devono scoprire queste informazioni incrementalmente attraverso azioni di ricognizione. Sebbene l'Apprendimento per Rinforzo (RL) sia stato applicato con successo per automatizzare il pentesting, la maggior parte degli approcci esistenti formalizza il problema come un processo decisionale di Markov (MDP) a piena osservabilità. Questa assunzione semplifica eccessivamente le condizioni del mondo reale, dove la raccolta di informazioni è una componente fondamentale del compito. Inoltre, i metodi attuali soffrono spesso di overfitting, dove gli agenti memorizzano configurazioni di rete specifiche invece di apprendere politiche trasferibili che si generalizzino a scenari non visti. La sfida consiste nello sviluppare agenti in grado di aggregare efficacemente le osservazioni storiche per costruire uno stato di credenza (belief state), adattarsi alle dinamiche di rete stocastiche e generalizzare attraverso diverse dimensioni e topologie di rete.

Metodologia

Ambiente: StochNASim

Gli autori estendono il Network Attack Simulator (NASim) per creare StochNASim, un nuovo ambiente progettato per riflettere meglio la complessità del mondo reale. Le modifiche chiave includono:

Stocasticità: A differenza di NASim, che utilizza topologie fisse, StochNASim rigenera la topologia della rete, le proprietà degli host (OS, servizi, processi) e gli stati iniziali ad ogni reset dell'episodio.
Dimensioni Variabili della Rete: L'ambiente supporta reti di varie dimensioni (da 5 a 8 host), costringendo l'agente a gestire diversi spazi di azione e conteggi di osservazione all'interno di una singola politica.
Osservabilità Parziale: Le osservazioni sono transitorie e specifiche per l'azione. Scansionare un host rivela i suoi attributi (ad es. OS, servizi) solo in quel momento; senza meccanismi di memoria espliciti, questa informazione viene persa nei passaggi successivi.
Struttura dei Reward: L'agente riceve un premio per la scoperta di host e la compromissione di target sensibili, ed è penalizzato per il costo delle azioni (le scansioni sono meno costose degli exploit).

Approcci Algoritmici

Lo studio conduce una valutazione empirica sistematica di varianti di Proximal Policy Optimization (PPO) progettate per gestire l'osservabilità parziale, confrontandole con un baseline PPO vanilla (che manca di specifici meccanismi di memoria). I metodi valutati includono:

Frame-Stacking (PPO-FS): Concatena le ultime $f_n$ osservazioni per fornire un contesto temporale a breve termine.
Osservazioni Augmentate (PPO-AO): Aggrega esplicitamente la cronologia delle osservazioni mantenendo una matrice in cui ogni elemento è il massimo tra il valore corrente e quello precedente. Ciò crea un record persistente delle informazioni scoperte, imitando il modo in cui i tester umani tengono i propri appunti.
Architetture Ricorrenti:
- LSTM (PPO-LSTM): Utilizza reti Long Short-Term Memory per codificare implicitamente la cronologia delle osservazioni.
- Transformer-XL (PPO-TrXL): Impiega meccanismi di attenzione per catturare dipendenze a lungo termine nella sequenza di osservazioni.

Configurazione Sperimentale

Ottimizzazione degli Iperparametri: È stata condotta una ricerca rigorosa utilizzando Optuna (250 trial per algoritmo) per garantire un confronto equo ed evitare artefatti di tuning.
Valutazione: Le politiche sono state testate su cinque seed di controllo e valutate su ambienti nuovi di zecca per misurare la generalizzazione.
Analisi: Oltre alle metriche quantitative (reward cumulativo, velocità di convergenza), gli autori hanno eseguito un'analisi qualitativa tramite la visualizzazione delle sequenze di azione e la distribuzione dei tipi di azione per comprendere le strategie apprese.

Risultati Chiave

Prestazioni e Convergenza

Superiorità di PPO-AO: L'approccio PPO-AO (Augmented Observations) ha superato costantemente tutti gli altri metodi. È converguto quattro volte più velocemente degli altri approcci (raggiungendo la prestazione ottimale in circa 1M di step rispetto ai 4M di step degli altri) e ha ottenuto i reward cumulativi più elevati.
Sotto-performance delle Architetture Complesse: Contrariamente all'assunto che siano necessari complessi meccanismi di memoria per i POMDP, PPO-LSTM e PPO-TrXL hanno ottenuto prestazioni inferiori. PPO-TrXL, in particolare, non è riuscito ad apprendere i comportamenti di scansione, adottando invece una strategia di "brute-force" tentando sequenzialmente tutti i possibili exploit. PPO-LSTM ha faticato ad apprendere rappresentazioni efficaci della cronologia, richiedendo quasi il doppio dei passaggi per completare i compiti rispetto a PPO-AO.
Limitazioni del Baseline: Il PPO vanilla, privo di qualsiasi meccanismo di cronologia, ha appreso politiche subottimali caratterizzate da alta stocasticità e incertezza, fallendo nel generalizzare efficacemente.

Generalizzazione e Stocasticità

Robustezza: Le politiche addestrate nell'ambiente stocastico StochNASim hanno dimostrato una forte capacità di generalizzazione su configurazioni di rete non viste.
Overfitting in Ambienti Statici: Un risultato critico è stato che le politiche addestrate su ambienti a scenario fisso (come lo standard NASim) sono fallite catastroficamente quando testate su nuove reti. Questi agenti sembravano memorizzare specifiche sequenze osservazione-azione (strategia lookup-table) invece di apprendere ad aggregare le informazioni, evidenziando la necessità di ambienti di addestramento stocastici per un apprendimento di politiche robuste.

Analisi Qualitativa del Comportamento

L'ispezione manuale delle politiche apprese ha rivelato distinte differenze strategiche nonostante i simili reward finali in alcuni casi:

PPO-AO: Ha appreso una strategia ottimale, simile a quella umana: scansionare sistematicamente per raccogliere intelligence, conservare tali informazioni e poi eseguire exploit mirati.
PPO-TrXL: Ha appreso un approccio brute-force, tentando ogni exploit e privilege escalation sequenzialmente senza previa ricognizione.
PPO-FS: Ha mostrato un comportamento intermedio, eseguendo alcune scansioni ma facendo affidamento pesantemente sull'exploitation sequenziale.

Significato e Contributi

L'articolo dichiama quattro contributi primari:

Ambiente StochNASim: L'adattamento di NASim in un ambiente parzialmente osservabile e stocastico con dimensioni variabili della rete, che riflette meglio le sfide del mondo reale e facilita l'apprendimento di politiche trasferibili.
Valutazione Sistematica: Un confronto empirico completo degli approcci basati su PPO per gestire l'osservabilità parziale nel penetration testing, incluso un rigoroso tuning degli iperparametri.
Sfida alla Complessità Architetturale: La dimostrazione che l'aumento semplice delle osservazioni (PPO-AO) supera significativamente le architetture ricorrenti complesse (LSTM e TrXL) in questo dominio. Ciò sfida l'assunto convenzionale che siano necessari meccanismi di memoria sofisticati per un efficace processo decisionale in compiti di sicurezza con osservabilità parziale.
Analisi Qualitativa della Politica: La fornitura di un'analisi dettagliata dei comportamenti appresi, rivelando che algoritmi con prestazioni quantitative simili possono apprendere strategie molto diverse (e talvolta subottimali), sottolineando la necessità di guardare oltre le curve di apprendimento quando si valutano gli agenti RL.

Gli autori concludono che, per il dominio specifico del penetration testing automatizzato, dove l'obiettivo è il recupero e la ritenzione delle informazioni, l'aggregazione esplicita della cronologia tramite un semplice aumento è più efficace ed efficiente dal punto di vista computazionale rispetto all'apprendimento di rappresentazioni implicite attraverso complesse architetture neurali. Inoltre, lo studio sottolinea che gli ambienti di addestramento stocastici sono cruciali per prevenire l'overfitting e garantire che le politiche siano abbastanza robuste per l'implementazione nel mondo reale.