Probabilistic Block Term Decomposition for the Modelling of Higher-Order Arrays

Immagina di essere un detective che cerca di risolvere un mistero, ma invece di una singola scena del crimine, hai una biblioteca di indizi massiccia e multistrato. Alcuni indizi sono semplici elenchi (come una lista della spesa), altri sono fogli di calcolo (come un budget), ma i più interessanti sono cubi 3D o persino "ipercubi" di dati a più dimensioni. In questo mondo, questi sono chiamati tensori. Li puoi trovare ovunque: nella chimica, dove tracciano come le sostanze chimiche brillano sotto diverse luci; in biologia, dove mappano come i geni cambiano nel tempo e in diverse condizioni; o in psicologia, tracciando come le persone rispondono a domande su diversi oggetti.

Per dare un senso a questi enormi e disordinati cubi di dati, gli scienziati usano una tecnica chiamata decomposizione tensoriale. Pensa a questo come al prendere a pezzi un complesso castello di Lego per vedere i singoli mattoncini e come sono stati incastrati tra loro. L'obiettivo è scomporre i dati in modelli più semplici e comprensibili. Per molto tempo, gli scienziati hanno usato due modi principali per farlo: uno che tratta ogni modello come una linea completamente separata e indipendente (come una pila di singoli mattoncini Lego), e un altro che tratta i modelli come una grande rete interconnessa dove tutto tocca tutto. Ma cosa succederebbe se la verità si trovasse nel mezzo? E se i tuoi dati fossero composti da diversi "blocchi", in cui ogni blocco è una piccola rete interconnessa, ma i blocchi stessi non comunicano tra loro? Questa è la "Block-Term Decomposition" (BTD), un metodo che cerca di trovare quel perfetto punto di equilibrio.

Tuttavia, c'è un problema: i modi tradizionali di risolvere questi enigmi si basano sul trovare un solo "miglior tentativo" di risposta. Se i dati sono rumorosi o disordinati (come una foto scattata al buio), quel singolo tentativo può facilmente essere ingannato, portando a una conclusione errata. È qui che entra in gioco il nuovo articolo. Invece di limitarsi a indovinare una sola risposta, gli autori propongono un approccio "probabilistico" più intelligente. Immagina di non chiedere solo: "Qual è l'unica vera forma di questo castello Lego?", ma di chiedere: "Quali sono tutte le possibili forme che questo castello potrebbe avere, e quanto è probabile ciascuna di esse?". Utilizzando un metodo chiamato inferenza bayesiana, non trovano solo una singola risposta; mappano un panorama di possibilità, permettendoci di vedere quanto siamo incerti e di ignorare automaticamente le parti dei dati che sono solo rumore casuale.

Il nuovo strumento dell'autore: Il costruttore di Lego "intelligente"

In questo articolo, Jesper Løve Hinrich e Morten Mørup introducono una nuova versione altamente efficiente di questo metodo probabilistico, specificamente per la Block-Term Decomposition (BTD). Lo chiamano pBTD (decomposizione a blocchi probabilistica). La loro grande idea è costruire un modello che possa gestire la disordinata realtà dei dati del mondo reale, trattando le parti sconosciute del puzzle come distribuzioni (intervalli di possibilità) piuttosto che come numeri fissi.

Per far sì che ciò funzioni, hanno dovuto risolvere un complicato problema matematico: come mantenere i diversi "blocchi" dei dati distinti e non lasciare che si fondano l'uno nell'altro. Ci sono riusciti utilizzando una speciale regola matematica (la distribuzione di von Mises-Fisher) che costringe i blocchi costruttivi a rimanere "ortogonali". In termini quotidiani, pensa all'ortogonalità come al garantire che i tuoi mattoncini Lego siano perfettamente perpendicolari tra loro, come l'angolo di una stanza. Questo evita che i diversi modelli si aggroviglino, un problema comune in altri metodi.

Cosa hanno scoperto: Indovinare in modo più intelligente e filtrare il rumore

Gli autori hanno testato il loro nuovo strumento pBTD in due modi: prima con dati generati al computer ("finti") dove conoscevano la risposta esatta, e secondo con due set di dati reali: uno proveniente da un processo chimico industriale e un altro da registrazioni di onde cerebrali (EEG).

Quando hanno testato lo strumento sui dati finti, hanno scoperto qualcosa di affascinante. Quando i dati erano molto rumorosi (come cercare di sentire un sussurro in un uragano), i metodi tradizionali (chiamati stima della massima verosimiglianza o MLE) continuavano a cercare di adattare il rumore ai loro modelli, creando essenzialmente un "overfitting" e generando un modello errato e disordinato. Al contrario, il nuovo strumento pBTD era abbastanza intelligente da capire: "Ehi, questa parte è solo rumore", ed eliminava efficacemente le parti del modello che non avevano senso. Non si limitava a trovare la risposta; sapeva quando non trovare una risposta.

Hanno anche usato lo strumento per capire la "giusta" struttura dei dati. Immagina di avere una scatola di Lego e di non sapere se devi costruire un'unica grande torre, alcune torri piccole o un muro piatto. Lo strumento pBTD usa un punteggio chiamato Evidence Lower Bound (ELBO) per agire come un giudice, dicendo loro quale struttura si adatta meglio ai dati. Nelle loro simulazioni, lo strumento ha identificato con successo il numero corretto di blocchi e le loro dimensioni nella maggior parte dei casi, anche quando partivano da un modello con troppi pezzi. È stato in grado di "potare" i pezzi extra e non necessari, riducendone le dimensioni fino a quasi lo zero, proprio come un giardiniere che pota i rami secchi per rivelare l'albero sano.

Risultati nel mondo reale: Dalla chimica al cervello

Quando hanno applicato il pBTD ai dati reali, i risultati sono stati altrettanto promettenti.

• I dati chimici: In un set di dati proveniente da un processo di stampaggio a iniezione industriale, lo strumento ha suggerito che un modello "Tucker" completo (dove tutto è interconnesso) era la migliore corrispondenza. Tuttavia, ha anche mostrato che molte delle connessioni in quel modello erano molto deboli o incerte, potandole di fatto via per mostrare la struttura centrale.
• I dati cerebrali: Nel set di dati EEG, che misurava l'attività cerebrale durante la stimolazione della mano, lo strumento ha nuovamente favorito il modello completo e interconnesso. Tuttavia, gli autori hanno notato un compromesso: sebbene il modello completo fosse statisticamente la "migliore" corrispondenza, i modelli più semplici e separati (come il modello CPD) erano in realtà più facili da comprendere per gli esseri umani. Ad esempio, il modello più semplice mostrava chiaramente che un particolare schema di attività cerebrale avveniva quando veniva stimolata la mano sinistra e un altro quando veniva stimolata la mano destra. Il modello complesso e completamente connesso era più difficile da interpretare, nonostante fosse matematicamente robusto.

In sintesi

L'articolo conclude che questo nuovo approccio probabilistico offre un modo unificato per gestire tutti i tipi di decomposizione tensoriale, dai più semplici ai più complessi. Fornisce una "rete di sicurezza" contro l'overfitting, permettendo agli scienziati di essere più fiduciosi nei propri risultati anche quando i dati sono rumorosi. Sebbene la matematica sottostante sia pesante, il risultato è uno strumento che non si limita a elaborare numeri, ma capisce la differenza tra un segnale e un errore. Gli autori suggeriscono che questo metodo è veloce quanto i vecchi modi di fare, ma fornisce un quadro molto più ricco e affidabile di ciò che i dati stanno effettivamente comunicando. Notano inoltre che, sebbene abbiano utilizzato un trucco matematico specifico chiamato "inferenza variazionale" per renderlo veloce, il framework è abbastanza flessibile da poter essere utilizzato con altri metodi ancora più dettagliati in futuro. In definitiva, hanno dato agli scienziati un modo migliore per guardare il mondo multidimensionale, aiutandoli a vedere i modelli senza perdersi nel rumore.