On the Hyper-Parameters and the Scoring Functions of PCTABU and PCHC Bayesian Network Algorithms

Nel vasto panorama dei dati, dove migliaia di variabili interagiscono in modi che spesso rimangono nascosti alla vista, gli scienziati cercano da tempo un modo per mappare i fili invisibili di causa ed effetto. Immaginate di cercare di comprendere una macchina complessa guardando solo il prodotto finale; potreste vedere che girando una manopola si accende una luce, ma non sapreste se quella manopola ha causato direttamente la luce o se ha innescato una reazione a catena attraverso altre parti. Per risolvere questo problema, i ricercatori utilizzano uno strumento chiamato rete bayesiana. Pensatela come la mappa di una città dove le strade non sono solo percorsi, ma linee dirette di influenza. In questa mappa, ogni punto rappresenta una variabile, come una lettura della temperatura o il prezzo di un'azione, e le frecce che le collegano mostrano quali variabili influenzano direttamente le altre. Queste mappe non sono solo disegni statici; sono potenti motori di previsione e comprensione, utilizzati in campi che vanno dalla finanza alla medicina per scoprire la vera struttura del funzionamento del mondo. Tuttavia, costruire una mappa accurata partendo dai dati grezzi è un puzzle difficile. I dati da soli non dicono quali connessioni siano reali e quali siano solo coincidenze, quindi i ricercatori devono affidarsi a regole matematiche per decidere quali frecce disegnare e quali cancellare.

Due ricercatori, Volkan Sevinç e Michail Tsagris, si sono posti l'obiettivo di migliorare il processo di disegno di queste mappe. Si sono concentrati su un tipo specifico di algoritmo, ovvero un insieme di istruzioni che i computer seguono per apprendere la struttura di una rete dai dati. Sebbene i metodi precedenti avessero già mostrato buone potenzialità, i ricercatori si chiedevano se gli strumenti specifici utilizzati per navigare nella ricerca della migliore mappa potessero essere migliorati. Hanno introdotto un nuovo metodo chiamato PCTABU, che combina un modo standard di tracciare la bozza iniziale della rete con una tecnica di ricerca più sofisticata chiamata ricerca Tabu. Hanno poi messo questo nuovo metodo a confronto diretto con un metodo esistente e ben stimato chiamato PCHC, che utilizza una tecnica di ricerca più semplice e diretta nota come hill-climbing (salita del pendio). Per garantire un test equo, non si sono limitati alla teoria; hanno messo entrambi i metodi alla prova utilizzando una quantità massiccia di dati. Li hanno testati su otto reti reali che erano state utilizzate come benchmark dalla comunità scientifica per anni, nonché su migliaia di reti simulate create per imitare diversi livelli di complessità. In ogni test, hanno anche variato le regole matematiche utilizzate per giudicare quanto fosse buona una mappa, confrontando tre diversi sistemi di punteggio per vedere quale aiutasse gli algoritmi a trovare la verità.

I risultati di questo esteso confronto hanno rivelato un modello chiaro che dipende fortemente dalla natura della rete studiata. Quando i ricercatori hanno testato gli algoritmi su reti dense, ovvero dove le variabili erano fortemente interconnesse con molte frecce che puntavano in tutte le direzioni, il nuovo metodo PCTABU e il vecchio metodo PCHC hanno ottenuto prestazioni quasi identiche. Entrambi erano ugualmente bravi nel trovare la struttura corretta. Tuttavia, la storia è cambiata quando hanno esaminato le reti sparse, dove le variabili avevano meno connessioni e la mappa era più aperta. In queste reti meno affollate, il nuovo algoritmo PCTABU ha superato costantemente quello precedente. I ricercatori hanno scoperto che il vantaggio era più pronunciato nelle reti in cui il numero medio di connessioni per variabile era basso. Il motivo di questo successo risiede nel modo in cui si comportano le due tecniche di ricerca. Il vecchio metodo hill-climbing è come un escursionista che compie un passo solo se questo lo porta immediatamente più in alto su una montagna; se il sentiero si appiattisce o conduce a una piccola cima che sembra la vetta, l'escursionista si ferma. Il nuovo metodo Tabu, al contrario, è come un escursionista che tiene una nota mentale dei percorsi appena percorsi e si rifiuta di percorrerli di nuovo immediatamente. Ciò consente al nuovo metodo di spostarsi lateralmente o anche leggermente in discesa per sfuggire a una piccola vetta e trovare una montagna molto più alta che il metodo più semplice ha mancato. Questa capacità di esplorare più ampiamente si è rivelata cruciale per districare le reti più semplici e sparse.

Oltre alla scelta del metodo di ricerca, lo studio ha anche risolto un dibattito sulle regole utilizzate per giudicare la qualità delle mappe. I ricercatori hanno testato tre diverse funzioni di punteggio, che sono le formule matematiche che dicono al computer se una rete proposta è buona o cattiva. Una di queste, nota come punteggio di log-verosimiglianza (log-likelihood), ha prodotto costantemente i risultati peggiori. I ricercatori hanno spiegato che questo metodo è troppo desideroso di compiacere i dati; premia l'aggiunta di sempre più frecce alla mappa perché una mappa più densa può sempre adattarsi perfettamente ai dati esistenti. Questo porta all'overfitting (sovra-adattamento), dove la mappa diventa così affollata di connessioni non necessarie da non riuscire a prevedere nulla di nuovo. Al contrario, gli altri due metodi di punteggio, il criterio di Dirichlet equivalente bayesiano e il criterio di informazione bayesiano, includevano entrambi una penalità per l'aggiunta di troppe connessioni. Questi metodi hanno agito come un filtro, scoraggiando gli algoritmi dal disegnare frecce che non fossero realmente necessarie. Lo studio ha trovato che questi due metodi offrivano prestazioni quasi uguali e erano molto superiori al punteggio di log-verosimiglianza. Ciò suggerisce che per chiunque cerchi di apprendere la struttura di una rete dai dati, sia molto meglio utilizzare un sistema di punteggio che valorizzi la semplicità e penalizzi la complessità non necessaria.

I ricercatori hanno anche esaminato quanto tempo impiegassero questi metodi e hanno scoperto che il nuovo algoritmo PCTABU non richiedeva significativamente più tempo del vecchio metodo PCHC, nonostante esegua una ricerca più complessa. Ciò significa che la maggiore accuratezza nelle reti sparse non comporta un pesante costo in termini di potenza di calcolo. Sebbene il nuovo metodo non abbia mostrato un chiaro vantaggio nei test simulati, che utilizzavano reti generate casualmente, i test su reti reali sono stati decisivi. Le reti reali, che spesso presentano strutture irregolari e uniche, hanno fornito l'ambiente in cui la capacità del nuovo metodo di sfuggire alle trappole locali ha fatto la differenza. Lo studio conclude che, mentre il vecchio metodo rimane una scelta valida per le reti molto dense, il nuovo algoritmo PCTABU offre un vantaggio distinto per i molti problemi del mondo reale in cui le variabili non sono strettamente ammassate. Combinando uno schema iniziale robusto con una strategia di ricerca più avventurosa, e utilizzando un sistema di punteggio che evita la trappola della sovra-complicazione, i ricercatori possono ora costruire mappe più accurate delle relazioni causali che governano il nostro mondo.