Reliable Remediation Impact Prediction for Black-Box Security Ratings

Sintesi Tecnica: Predizione Affidabile dell'Impatto della Remediation per i Rating di Sicurezza Black-Box

Definizione del Problema
Le piattaforme commerciali di rating della sicurezza (ad es., BitSight, SecurityScorecard) aggregano prove cyber osservabili esternamente in punteggi numerici per aiutare le organizzazioni a dare priorità alla remediation. Sebbene queste piattaforme forniscano punteggi attuali, le organizzazioni necessitano di analisi "what-if" per comprendere come specifiche azioni di remediation (ad es., il dispiegamento di SPF o DMARC) impatterebbero sui loro punteggi. Tuttavia, rivelare le risposte esatte dei punteggi per configurazioni ipotetiche rischia di esporre la logica proprietaria di scoring della piattaforma, che è progettata per rimanere una black box.

Inoltre, predire tali impatti utilizzando un modello surrogato basato su machine learning introduce una sfida di affidabilità. La qualità della predizione non è uniforme in tutte le configurazioni delle organizzazioni; dipende fortemente dalla quantità e dalla struttura delle prove osservabili (specificamente, l'insieme dei checkpoint di sicurezza applicabili). Le configurazioni con meno checkpoint applicabili spesso generano predizioni meno affidabili. Il problema centrale è predire gli impatti di remediation senza esporre il motore di scoring e, contemporaneamente, identificare e filtrare i casi in cui le predizioni del modello surrogato sono instabili.

Metodologia
Gli autori propongono un approccio basato su un modello surrogato in quattro fasi, progettato per rispettare l'opacità del motore di scoring garantendo al contempo l'affidabilità predittiva.

1. Costruzione del Surrogato con Consapevolezza dell'Applicabilità:
   Gli autori costruiscono un modello surrogato (un regressore LightGBM) addestrato sulle configurazioni storiche delle organizzazioni per approssimare il motore di scoring della piattaforma. Fondamentalmente, la rappresentazione delle feature ($x_i$) è arricchita con due componenti:

   • Feature di esito ($o_i$): Risultati osservati dei checkpoint applicabili.
   • Feature di applicabilità ($s_i$): Indicatori espliciti di quali checkpoint si applicano a una specifica configurazione e riassunti strutturali del set di checkpoint (ad es., conteggio dei checkpoint applicabili, distribuzione dell'applicabilità).
     Questo design permette al modello di distinguere tra dati mancanti dovuti a una mancanza di evidenze e dati mancanti dovuti al fatto che un checkpoint sia strutturalmente inapplicabile.

2. Analisi di Sensibilità (Diagnostica):
   Per quantificare la fragilità della predizione, gli autori eseguono un esperimento di restrizione controllata. Mascherano sistematicamente porzioni delle informazioni dei checkpoint applicabili nella rappresentazione delle feature e misurano la risultante deriva del punteggio ($\Delta$). Le configurazioni che mostrano un cambiamento di punteggio superiore a una soglia $\tau$ sotto informazione ristretta vengono etichettate come "instabili". Questa fase stabilisce un legame diagnostico tra la dimensione/struttura del set di checkpoint e la stabilità della predizione.

3. Valutazione dell'Affidabilità (Predizione Selettiva):
   Un livello di affidabilità (un classificatore LightGBM) viene addestrato per predire la probabilità di instabilità ($p_{unstable}$) basandosi esclusivamente sulle feature di applicabilità ($s_i$). Utilizzando il Conformal Risk Control (CRC), il sistema definisce una regola di accettazione. Per un livello di rischio target $\alpha$, il sistema seleziona una soglia $\lambda^*$ tale che il rischio di instabilità tra le predizioni accettate sia garantito essere inferiore ad $\alpha$ con alta confidenza. Ciò consente al sistema di accettare selettivamente solo quelle predizioni di impatto della remediation che sono considerate affidabili.

4. Predizione dell'Impatto del Punteggio di Remediation:
   Per un'azione di remediation simulata dall'utente, il sistema costruisce una configurazione post-azione, aggiorna le feature di applicabilità per riflettere il nuovo stato tecnico e predice il nuovo punteggio. L'impatto predetto è la differenza tra il nuovo e l'attuale punteggio. Il livello di affidabilità filtra quindi queste predizioni: se la probabilità di instabilità della configurazione post-azione supera $\lambda^*$, la predizione viene contrassegnata come inaffidabile e deve essere interpretata con cautela.

Contributi Chiave

• Modellazione Surrogata Consapevole dell'Applicabilità: Il documento dimostra che modellare esplicitamente l'applicabilità dei checkpoint e la struttura della misurazione migliora significativamente l'accuratezza della predizione del punteggio rispetto ai modelli che utilizzano solo le feature di esito o solo le feature di applicabilità.
• Livello di Affidabilità con Garanzie Formali: Gli autori introducono un meccanismo per identificare le configurazioni soggette a predizioni instabili utilizzando le feature di applicabilità dei checkpoint. Integrando il Conformal Risk Control, forniscono garanzie di rischio a campioni finiti per le predizioni accettate, andando oltre le metriche di accuratezza media.
• Validazione dell'Impatto della Remediation: L'approccio è valutato su dati reali per predire l'impatto di specifiche azioni di remediation (dispiegamento di SPF e DMARC). Lo studio valida che il livello di affidabilità identifica con successo i casi in cui i guadagni predetti divergono significativamente dai punteggi di riferimento attendibili.

Risultati Sperimentali
L'approccio è stato valutato su un dataset di 5.188 diverse configurazioni di organizzazioni provenienti dal dominio di analisi Mail di una piattaforma commerciale di rating della sicurezza.

• Accuratezza della Predizione: Il surrogato completo consapevole dell'applicabilità ha raggiunto un errore medio assoluto (MAE) di test di 0,78, superando significativamente la baseline basata solo sull'esito (MAE 1,46) e la baseline basata solo sull'applicabilità (MAE 4,64).
• Sensibilità: L'analisi di sensibilità ha rivelato una transizione netta nella stabilità della predizione. Quando il numero di checkpoint applicabili mantenuti è sceso da 22 a 18, la frazione di predizioni instabili (deriva del punteggio > 2) è passata dal 2,27% al 69,38%.
• Affidabilità: Il modello di affidabilità ha raggiunto un ROC AUC di 0,9255 (con $\tau=2$) nel predire l'instabilità. Utilizzando il CRC, il sistema poteva accettare una parte sostanziale delle predizioni (ad es., fino all'89,4% di copertura con $\alpha=0,30$) mantenendo il rischio di instabilità al di sotto della soglia target.
• Remediation: Per il dispiegamento di DMARC, il surrogato ha predetto guadagni di punteggio positivi. Il livello di affidabilità ha separato efficacemente le predizioni affidabili (guadagno medio 11,26, MAE 6,94) da quelle instabili (guadagno medio -1,58, MAE 9,35), mostrando che i grandi errori di predizione correlano fortemente con un'alta instabilità predetta.

Significatività e Rivendicazioni
Il documento sostiene che il feedback del punteggio tramite modello surrogato in ambienti di rating della sicurezza opachi non può fare affidamento solo sull'accuratezza predittiva media. Gli autori argomentano che l'applicabilità dei checkpoint è un segnale critico che serve a un duplice scopo: migliora l'accuratezza del modello di predizione del punteggio e fornisce la base di feature necessaria per un livello di affidabilità in grado di rilevare i casi instabili.

Combinando la modellazione consapevole dell'applicabilità con il Conformal Risk Control, l'approccio proposto consente alle organizzazioni di ricevere feedback azionabili sull'impatto della remediation senza compromettere la natura proprietaria del motore di scoring. Il sistema non automatizza le raccomandazioni di remediation ma funge da strumento di supporto alle decisioni che quantifica la confidenza delle proprie predizioni, avvertendo gli utenti quando un impatto previsto del punteggio dovrebbe essere interpretato con cautela a causa di evidenze insufficienti o strutturalmente limitate.