Conflict inherits the frame: bin geometry and BPA construction in evidential fusion of quantised continuous evidence
Questo articolo dimostra che nella fusione evidenziale di Dempster-Shafer di dati continui quantizzati, la geometria del telaio di discretizzazione confonde artificialmente le misure di conflitto con la posizione dell'evidenza, portando a una statistica di eccesso di conflitto proposta per correggere questo bias, rivelando al contempo che le regole di combinazione standard spesso si riducono a prodotti bayesiani con differenze di efficacia trascurabili nella previsione dello sfruttamento delle vulnerabilità del software.
Articolo originale sotto licenza CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo
Immagina di cercare di decidere quanto sia pericolosa una falla software chiedendo il parere a tre diversi esperti. Ogni esperto fornisce un numero, ma raramente sono d'accordo tra loro. A volte uno definisce una falla come un fastidio minore, mentre un altro la chiama una minaccia critica. Per dare un senso a questo disaccordo, i ricercatori spesso utilizzano un sistema matematico progettato per combinare opinioni incerte in un quadro unico e più chiaro. Questo sistema funziona prendendo un intervallo continuo di possibilità — come una scala da zero a dieci — e suddividendolo in "secchi" distinti, quali "basso", "medio", "alto" e "critico". L'idea è che, una volta che i numeri sono stati smistati in questi secchi, il sistema possa calcolare quanto gli esperti siano in disaccordo e usare questo disaccordo per giudicare il rischio. Per decenni, questo metodo è stato uno strumento standard in campi che vanno dalla diagnosi medica all'analisi della sicurezza, ritenuto capace di trasformare dati confusi e contrastanti in un verdetto affidabile.
Tuttavia, uno studio recente suggerisce che il modo in cui questi secchi vengono dimensionati potrebbe stare segretamente distorcendo i risultati. I ricercatori Elena Udrescu, Alexandru Udrescu, Ana-Maria Suduc e Mihai Bîzoi dell'Università Valahia di Targoviste hanno investigato questo processo utilizzando dati reali sulle vulnerabilità del software. Hanno esaminato migliaia di record in cui diverse organizzazioni avevano assegnato punteggi di gravità agli stessi difetti di sicurezza. Il loro obiettivo era vedere se combinare questi punteggi utilizzando le regole matematiche standard aiutasse effettivamente a identificare quali falle venissero attivamente sfruttate dagli hacker, o se il metodo stesse semplicemente creando l'illusione di un'intuizione. Ciò che hanno scoperto è che la forma degli stessi secchi stava facendo la maggior parte del lavoro, portando spesso il sistema a riportare un alto livello di disaccordo laddove gli esperti erano in realtà d'accordo, e viceversa.
I ricercatori hanno iniziato esaminando i dati del Common Vulnerability Scoring System, che è il linguaggio standard utilizzato per descrivere le falle del software. Questo sistema divide i punteggi in quattro fasce: basso, medio, alto e critico. Il problema è che queste fasce non hanno la stessa dimensione. La fascia "basso" copre un ampio intervallo di numeri, mentre la fascia "critico" è molto stretta. Quando i ricercatori hanno inserito i dati nel sistema di combinazione standard, hanno scoperto un difetto nascosto nella logica. Il sistema trattava l'esiguità di un secchio come un segno di conflitto. Se due esperti fornivano punteggi che cadevano vicino al limite di un secchio stretto, il sistema calcolava un alto livello di disaccordo, anche se gli esperti erano in realtà molto vicini nella loro valutazione. Al contrario, se i punteggi cadevano nel mezzo di un secchio ampio, il sistema riportava un basso disaccordo, anche se i punteggi erano piuttosto distanti tra loro. La geometria dei secchi stava prevalendo sulle reali opinioni degli esperti.
Per dimostrare ciò, il team ha creato un nuovo modo per misurare il disaccordo che eliminasse l'influenza delle dimensioni dei secchi. Hanno confrontato il metodo standard con questa versione corretta. I risultati sono stati sorprendenti. Il metodo standard suggeriva che gli esperti dissentissero di più riguardo alle falle più gravi rispetto a quelle meno gravi, un modello che sembrava avere senso in superficie. Ma il metodo corretto mostrava l'esatto opposto: gli esperti erano in realtà più in disaccordo sulle falle moderate e d'accordo più spesso su quelle critiche. Il metodo originale era stato tratto in inganno dal fatto che la categoria critica era così stretta che qualsiasi piccola differenza nei punteggi spingeva il calcolo in uno stato di alto conflitto. Rimuovendo questo bias geometrico, i ricercatori hanno dimostrato che lo strumento standard riportava la forma delle categorie piuttosto che il vero stato delle evidenze.
Lo studio ha anche esaminato come i punteggi degli esperti venissero convertiti nell'input del sistema. Una pratica comune è prendere un punteggio specifico e assegnarlo interamente all'unico secchio in cui ricade, ignorando il fatto che il punteggio sia un punto su una linea continua. I ricercatori hanno scoperto che questo approccio "netto" riduceva l'intero concetto di disaccordo a un semplice segnale sì-o-no. Se gli esperti finivano nello stesso secchio, il sistema vedeva zero conflitto. Se finivano in secchi diversi, vedeva il massimo conflitto. Questa visione binaria perdeva tutta la sfumatura intermedia. Quando i ricercatori hanno utilizzato un approccio "graduato", che distribuisce il punteggio tra i secchi vicini per riflettere l'incertezza, il sistema ha recuperato la capacità di vedere le sottili differenze. Tuttavia, anche con questo miglioramento, la geometria sottostante dei secchi continuava a distorcere i risultati, a meno che non venisse applicata la nuova correzione.
Quando il team ha testato se combinare le vedute degli esperti aiutasse effettivamente a prevedere quali vulnerabilità venissero sfruttate nel mondo reale, i risultati sono stati sobri. Hanno analizzato oltre 13.000 coppie di valutazioni provenienti da diverse organizzazioni, verificando se il punteggio combinato fosse migliore nell'identificare i 70 difetti noti per essere sfruttati rispetto al semplice affidarsi al singolo miglior esperto. La risposta è stata no. Non importava come combinassero i punteggi, che utilizzassero le regole standard o le nuove correzioni, il risultato fuso non superava la singola fonte migliore. L'unico metodo che faceva leggermente meglio era un semplice trucco che consisteva nel prendere il punteggio più basso tra i due, ma i ricercatori hanno avvertito che questo potrebbe essere un artefatto del modo in cui i dati sono stati raccolti piuttosto che una vera intuizione. In effetti, lo studio ha scoperto che le regole di combinazione standard erano matematicamente equivalenti a una semplice media in molti casi, il che significa che la complessa macchina non stava aggiungendo alcun valore reale.
Una parte significativa dello studio ha anche svelato un problema di dati che si nascondeva sotto gli occhi di tutti. Molti dei "secondi pareri" nel database non erano in realtà valutazioni indipendenti dalle organizzazioni che avevano originariamente segnalato le falle. Si trattava invece di aggiornamenti automatizzati da parte di un'agenzia governativa che spesso si limitava a copiare il punteggio originale. Quando i ricercatori hanno filtrato questi dati, il disaccordo tra le vere fonti indipendenti è aumentato significativamente. Ciò ha rivelato che studi precedenti potrebbero aver sottostimato quanto gli esperti dissentano effettivamente perché stavano involontariamente confrontando una fonte con una copia di se stessa.
I ricercatori hanno concluso che gli strumenti utilizzati per fondere le evidenze incerte sono molto più sensibili al design delle categorie di quanto precedentemente pensato. Hanno dimostrato che la misura standard del conflitto è spesso uno specchio delle dimensioni dei secchi piuttosto che un riflesso del disaccordo umano. Sebbene le complesse regole matematiche per combinare le evidenze non abbiano migliorato la capacità di prevedere il pericolo reale in questo caso specifico, lo studio ha fornito una correzione vitale per come leggere i dati. Regolando le dimensioni dei secchi, gli analisti possono ora vedere il vero livello di disaccordo tra le fonti. La lezione è che, nella ricerca di combinare informazioni incerte, il modo in cui definiamo le categorie conta tanto quanto l'informazione stessa. Senza prestare attenzione alla forma dei secchi, rischiamo di vedere schemi che sono solo l'ombra dei nostri stessi strumenti di misurazione.
Sommerso dagli articoli nel tuo campo?
Ricevi digest giornalieri degli articoli più recenti corrispondenti alle tue parole chiave di ricerca — con riassunti tecnici, nella tua lingua.