💻 computer science

Near-Deterministic Reconstruction of Enterprise Firewall Decisions for Policy Audit: Proxy Structure, Context Shift, and Residual Uncertainty

Questo studio dimostra che le decisioni dei firewall aziendali possono essere ricostruite in modo quasi deterministico dai log di traffico utilizzando l'apprendimento supervisionato, rivelando che l'elevata accuratezza del modello spesso riflette la replica di specifici proxy di policy e regole dipendenti dal contesto piuttosto che un rilevamento indipendente delle minacce, consentendo così audit retrospettivi delle policy e mettendo al contempo in evidenza significative limitazioni nella generalizzazione tra ambienti diversi e nella calibrazione dell'incertezza.

Autori originali: Özkan Canay, Cem Özkurt, Fatmir Garri

Pubblicato 2026-08-05

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Özkan Canay, Cem Özkurt, Fatmir Garri

Articolo originale sotto licenza CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di cercare di capire perché un buttafuori in un club super rigoroso faccia entrare alcune persone e ne respinga altre. Hai un enorme taccuino pieno di milioni di voci, ognuna delle quali registra esattamente cosa ha fatto il buttafuori: "Permesso", "Scartato" o "Negato". Nel mondo della sicurezza informatica, questo taccuino è chiamato "firewall log", e il buttafuori è un firewall — un guardiano digitale che protegge la rete di un'azienda dai malintenzionati. Di solito, gli esperti di sicurezza usano questi log per dare la caccia agli hacker, cercando modelli che urlino "pericolo!". Ma c'è un problema complicato: a volte la decisione del buttafuori non riguarda se una persona sia effettivamente un criminale; riguarda solo se rispetta il codice di abbigliamento specifico o la lista dei membri del club. Se addestri un computer a indovinare le decisioni del buttafuori, potrebbe semplicemente imparare perfettamente il codice di abbigliamento, non perché sia un detective geniale, ma perché gli indizi nel taccuino (come la taglia delle scarpe di una persona o l'ora del suo arrivo) rivelano la risposta troppo facilmente. Questo articolo pone una domanda affascinante: se nascondiamo gli indizi ovvi, un computer può ancora indovinare le mosse del buttafuori con un'accuratezza quasi perfetta? E se ci riesce, significa che il computer è intelligente, o che gli indizi erano troppo facili da trovare?

Questo studio si immerge in un enorme taccuino contenente oltre un milione di record provenienti da un vero firewall aziendale, specificamente un dispositivo Palo Alto. I ricercatori volevano vedere se potevano ricostruire la "superficie decisionale" — la linea invisibile che il firewall traccia per decidere chi entra — usando solo i dettagli circostanti, pur nascondendo le ragioni dirette della decisione. Hanno trattato le scelte del firewall (Permesso, Scartato, Negato) come un puzzle. Hanno rimosso i pezzi più ovvi del puzzle, come il nome dell'applicazione specifica o il numero della regola che ha scatenato l'azione, per vedere se gli indizi rimanenti (come la dimensione del pacchetto dati o il numero della porta) fossero sufficienti per risolvere il puzzle.

I risultati sono un po' come scoprire che il buttafuori del club sta in realtà seguendo un copione molto rigido e prevedibile. I ricercatori hanno scoperto che anche dopo aver rimosso gli "scorciatoie" più ovvie (come il nome dell'applicazione), potenti programmi per computer chiamati "tree ensembles" (pensa a loro come a super-intelligenti alberi decisionali che pongono una serie di domande sì-o-no) potevano ancora indovinare la decisione del firewall quasi perfettamente. In effetti, due di questi programmi, XGBoost e LightGBM, hanno ottenuto un punteggio perfetto, commettendo zero errori sui dati di test. Si scopre che la decisione del firewall è così strettamente legata agli altri dettagli del log che non serve nemmeno conoscere la regola per conoscere l'esito. Ad esempio, hanno scoperto che conoscere solo la "Source Port" (un numero specifico che identifica la connessione) e i "Bytes" (la dimensione dei dati) era sufficiente per determinare la decisione in milioni di casi.

Tuttavia, l'articolo è molto attento a non chiamare questo un "successo" per il rilevamento degli hacker. Gli autori sostengono che questo punteggio quasi perfetto non significa che il computer abbia imparato a individuare veri hacker. Significa che il computer ha imparato la "grammatica" interna del firewall. È come uno studente che impara a memoria la chiave di risposta di un test invece di capire la matematica. Quando i ricercatori hanno cercato di rendere il puzzle più difficile rimuovendo ancora più indizi — come la dimensione dei dati o il paese di origine — il punteggio perfetto del computer è sceso, ma era ancora sorprendentemente buono. Ciò suggerisce che le decisioni del firewall siano "codificate in modo ridondante", il che significa che la stessa informazione è ripetuta in molti campi diversi del log.

Lo studio ha anche esaminato cosa succede quando il computer incontra una situazione che non ha mai visto prima, come un nuovo tipo di app o una destinazione diversa. Qui, l'incantesimo si rompe. La fiducia del computer vacilla e inizia a commettere errori, specialmente con le decisioni "Negato" meno frequenti. I ricercatori hanno utilizzato strumenti speciali per misurare questa incertezza, mostrando che, mentre il computer è un maestro nel prevedere le mosse del firewall in territori familiari, si perde quando il contesto cambia. Hanno scoperto che se si nasconde il dettaglio dell' "applicazione", il computer può ancora indovinare il 99,9% delle volte, ma se si nascondono il "volume" e la "durata" del traffico, l'accuratezza scende leggermente, provando che quei dettagli stavano agendo come scorciatoie nascoste.

In definitiva, questo articolo non riguarda la costruzione di un miglior rilevatore di hacker; riguarda l'audit del firewall stesso. Dimostra che, per questa specifica azienda e per questa specifica finestra temporale (circa 46 minuti di traffico), le decisioni del firewall sono quasi interamente prevedibili dai dati circostanti. I ricercatori hanno trovato sette piccole combinazioni di appena quattro campi che potevano predire l'esito perfettamente. Ma avvertono anche che questa è una ricostruzione "quasi deterministica", il che significa che funziona perché i dati sono coerenti, non perché il computer comprenda la sicurezza. Se le regole del firewall cambiano o l'ambiente di rete si sposta, questa previsione perfetta potrebbe svanire. L'articolo conclude che, sebbene possiamo ricostruire il processo decisionale del firewall con un'alta precisione, dobbiamo fare attenzione a non scambiare questa ricostruzione per una reale capacità di rilevare nuove e sconosciute minacce. È uno strumento potente per verificare se il firewall si comporta in modo coerente, ma non è una palla di cristallo per il futuro.

Sintesi Tecnica: Ricostruzione Quasi-Deterministica delle Decisioni di un Firewall Aziendale

Problematica
Questo studio affronta un rischio di interpretazione metodologica nel machine learning applicato alla sicurezza di rete: la confusione tra l'apprendimento supervisionato ad alte prestazioni sui log dei firewall e il rilevamento indipendente delle minacce. Le decisioni di un firewall aziendale (Allow, Drop, Deny) sono esiti deterministici generati da policy configurate, identificazione delle applicazioni e comportamenti di terminazione delle sessioni, piuttosto che etichette di malevolenza validate da esseri umani. Quando i modelli raggiungono un'accuratezza quasi perfetta su questi log, non è chiaro se abbiano appreso un ragionamento di sicurezza generalizzabile o semplicemente la "grammatica operativa" e le strutture proxy di un dispositivo specifico. Il documento investiga quanto sia profonda la superficie decisionale di un firewall distribuito che può essere ricostruita dai campi strutturati dei log dopo l'esclusione dei campi diretti della sorgente dell'etichetta, e quale incertezza residua rimanga quando le variabili proxy vengono ridotte o i contesti cambiano.

Metodologia
La ricerca utilizza un dataset reale di 1.048.576 record di log di traffico provenienti da un firewall next-generation di Palo Alto Networks, catturati in una finestra di 46 minuti. La variabile target è una decisione operativa a tre classi (Allow, Drop, Deny), costruita dai campi sottotipo di traffico e motivo di fine sessione.

Pre-elaborazione dei dati: I campi sorgente dell'etichetta diretta (azione grezza, sottotipo di traffico, motivo di fine sessione) sono rigorosamente esclusi da tutte le viste dei predittori. Il dataset è suddiviso in un campionamento di hold-out stratificato 80/20 (varianti casuali e ordinate nel tempo) e un campione limitato per la validazione incrociata.
Viste delle Feature: Lo studio impiega diverse configurazioni di feature per testare la dipendenza dai proxy:
- Core Baseline: 24 campi che includono contesto applicativo, zone, interfacce, porte, paesi e telemetria post-decisione (byte, durata).
- No-Application-Context: Rimuove la tassonomia e i campi di categoria delle applicazioni per testare la dipendenza dai proxy applicativi espliciti.
- Strict Proxy-Minimal: Mantiene solo i campi zona/interfaccia e trasporto/porta (con o senza paese), rimuovendo applicazioni, volumi e campi prossimali alla policy.
- With-Policy: Aggiunge i campi di regola e di sorgente dell'azione come diagnostica del limite superiore empirico.
Audit Model-Free: Prima di addestrare i classificatori, gli autori eseguono un audit deterministico tramite raggruppamento esatto per identificare i set determinanti minimi (sottogruppi di campi che predicono perfettamente l'etichetta) e calcolare l'entropia condizionale. Questo include il controllo di righe in conflitto (contesti con etichette multiple) e contesti singleton.
Modelli di Machine Learning: Lo studio valuta ensemble di alberi scalabili (XGBoost, LightGBM, Extra Trees, CatBoost) e singoli alberi decisionali. I modelli sono addestrati con pesi di classe bilanciati per affrontare il grave squilibrio delle classi (Allow: ~77%, Drop: ~22%, Deny: ~1,3%).
Diagnostica dell'Incertezza: Lo studio utilizza la previsione conforme (varianti marginale e Mondrian), set di predizione adattivi (APS) e classificazione selettiva (astensione basata sulla confidenza) per quantificare l'incertezza residua, la calibrazione (ECE, punteggio di Brier) e le sacche di errore sotto spostamento di contesto.

Contributi Chiave

Audit di Ricostruibilità Model-Free: Lo studio identifica sette set determinanti minimi di quattro campi nell'export completo che determinano perfettamente l'etichetta decisionale. Questi set includono costantemente la Porta Sorgente e i Byte di fine sessione, combinati con altri due campi (ad esempio, Interfaccia in uscita, Categoria applicativa). L'audit conferma lo zero di righe in conflitto nell'export osservato, stabilendo il determinismo empirico.
Diagnostica di Stress dei Confini: Attraverso ablazioni delle famiglie di feature e test di hold-out del contesto (mantenendo fuori interi gruppi di applicazioni/categorie, servizi di destinazione o regole), il documento mappa la stabilità del confine decisionale. Dimostra che, sebbene la ricostruzione rimanga quasi perfetta quando viene rimosso il contesto applicativo, essa degrada significativamente sotto viste proxy-minimali rigorose e spostamenti di contesto.
Diagnostica Conforme e Selettiva: La ricerca espone che la previsione conforme marginale può nascondere la sotto-copertura della classe rara "Deny". Mostra che le code di soglia di probabilità e la classificazione selettiva basata sulla confidenza sono altamente sensibili alla rappresentazione del modello (ordinale vs. categorica nativa) e alla calibrazione, particolarmente sotto spostamento di contesto.
Istanziazione Indipendente dallo Schema: Il protocollo è applicato a un dataset pubblico indipendente (UCI Internet Firewall), riproducendo l'alta ricostruibilità e il divario "accuratezza vs. performance della classe minoritaria", confermando che i pattern osservati non sono unici dello schema dell'export aziendale specifico.

Risultati

Performance di Ricostruzione: Nella core baseline (esclusi i campi sorgente dell'etichetta diretta), XGBoost e LightGBM hanno ottenuto una performance di hold-out perfetta (1.000 Macro-F1, 0 errori). Anche nella ablazione "no-application-context", la performance è rimasta quasi perfetta (0.999981 Macro-F1).
Determinismo: L'audit model-free ha trovato che dal 64,7% al 71,4% dei record occupa contesti chiave singleton. I sette set determinanti di quattro campi trovati nel dataset completo hanno mantenuto esattamente l'accordo nei test di scoperta solo sul training e hanno mantenuto l'accordo sui contesti visti nei test di hold-out.
Riduzione dei Proxy: La rimozione dei campi di volume e durata ha ridotto il Macro-F1 a 0.9962. Una vista proxy-minimal più rigorosa (zone, interfacce, porte solamente) ha causato un calo significativo: XGBoost si è stabilizzato intorno a 0.951 Macro-F1, mentre LightGBM è diventato instabile (range 0.42–0.90) a seconda del seed casuale.
Spostamento di Contesto: Quando interi gruppi di applicazioni/categorie sono stati tenuti fuori, il Macro-F1 per l'ordinata LightGBM è sceso a ~0.673. Tuttavia, la versione con categorica nativa CatBoost ha recuperato questo valore portandolo a 0.9923 sugli stessi dati, indicando che la rappresentazione (gestione di categorie non viste) è un fattore critico per la performance sotto spostamento di contesto.
Incertezza: Negli split casuali, le metriche di incertezza (entropia, ECE) erano vicine allo zero. Sotto spostamento di contesto, l'incertezza è aumentata e i set conformi si sono espansi o sono diventati vuoti. Fondamentalmente, i set conformi marginali hanno mostrato una significativa sotto-copertura per la classe rara "Deny" (ad esempio, 58% di copertura a $\alpha=0.10$ ), che è stata ripristinata a >90% utilizzando la previsione conforme Mondrian (condizionale per classe).
Runtime: La ricostruzione completa di un milione di righe è stata computazionalmente fattibile su hardware cloud modesto, con l'addestramento di XGBoost in circa 25 secondi e una predizione di circa 6 ms per 1.000 righe.

Significatività e Rivendicazioni
Il documento sostiene che i punteggi di decisione del firewall quasi perfetti dovrebbero essere interpretati come prova di una superficie decisionale stabile e deterministica all'interno di uno specifico export, piuttosto che come prova di un rilevamento di attacchi generale o di un ragionamento di sicurezza indipendente. L'alta ricostruibilità deriva dal fatto che i log operativi contengono tracce ridondanti della policy che ha generato la decisione (ad esempio, i byte di fine sessione e le porte riflettono l'esito).

Lo studio si pone come uno strumento per la ricostruzione decisionale retrospettiva con limiti di rivendicazione e per la diagnostica simulata dell'incertezza. Argomenta che tali modelli sono utili per gli audit delle policy, le prove di migrazione e l'identificazione di incongruenze di configurazione o problemi di qualità dei dati, ma non possono sostituire l'analisi deterministica delle regole o servire come rilevatori di intrusioni cross-environment. Le conclusioni evidenziano che i punteggi "perfetti" nel machine learning della sicurezza spesso riflettono la provenienza dei dati e le strutture proxy, rendendo necessarie rigorose ablazioni, test di spostamento di contesto e quantificazione dell'incertezza prima di trarre conclusioni operative.

Articoli simili