mnorm: An R Package for Calculation and Differentiation of Conditional Multivariate Normal Densities and Probabilities

Immagina di cercare di prevedere il tempo, ma invece di avere solo pioggia o sole, stai dando la giocolata a una dozzina di variabili diverse contemporaneamente: temperatura, umidità, velocità del vento, pressione barometrica e persino l'umore degli scoiattoli locali. Nel mondo della statistica, questo atto di giocoleria caotica si chiama distribuzione normale multivariata. È un modo matematico per descrivere come un gruppo di cose diverse si muova insieme. A volte, si muovono in sincronia (come il vento e la pioggia), e altre volte no.

Ora, immagina di sbirciare fuori dalla finestra e vedere che il vento soffia a 20 miglia orarie. Improvvisamente, la tua previsione sull'umore dello scoiattolo cambia, e la tua ipotesi sull'umidità si sposta pure. Questa è chiamata probabilità condizionata: capire cosa sta facendo il resto del sistema dato che conosci già qualcosa di una sua parte.

Perché qualcuno dovrebbe interessarsene? Perché il mondo reale è pieno di questi intrecci. Gli economisti le usano per capire come un cambiamento nei tassi di interesse possa propagarsi attraverso il mercato azionario, o come il voto di uno studente in matematica possa predire i suoi voti in storia. Per rendere accurate queste previsioni, gli scienziati devono fare qualcosa chiamato differenziazione. Pensa a questo come al trovare la "pendenza" di una collina. Se stai cercando il punto migliore per montare un campo (la massima verosimiglianza), devi sapere in quale direzione si trova l' "alto" e quanto è ripida la collina. Se riesci a calcolare questa pendenza perfettamente, puoi puntare direttamente alla cima. Se devi tirare a indovinare, potresti vagare in cerchio per molto tempo.

È qui che entra in gioco un nuovo strumento chiamato pacchetto mnorm. È un pezzo di software per il linguaggio di programmazione R, progettato per essere l'ultimato GPS per queste colline statistiche.

---

Il pacchetto mnorm: Una guida rapida per le montagne statistiche

Il documento presenta mnorm, un nuovo pacchetto software che agisce come una calcolatrice multi-strumento ad alta velocità per queste complesse montagne statistiche. Prima di mnorm, i ricercatori dovevano usare altri strumenti che erano o lenti, o non potevano gestire situazioni "condizionate" (dove già conosci alcuni fatti), o non potevano calcolare la "pendenza" (il gradiente) necessaria per trovare rapidamente le risposte migliori.

Pensa al calcolo di una probabilità come al tentativo di misurare il volume di una nuvola invisibile e dalla forma bizzarra. Se la nuvola ha 2 o 3 dimensioni, è come misurare un palloncino; se ha 10 o 100 dimensioni, è come cercare di misurare una nuvola che esiste in un universo con dimensioni extra. Il pacchetto mnorm è speciale perché non si limita a misurare la nuvola; può anche dirti esattamente come la forma della nuvola cambierebbe se tu modificassi il vento, la temperatura o il punto di partenza.

Il Superpotere: Gradienti Analitici
Il trucco più grande sotto la manica di mnorm è la sua capacità di calcolare i gradienti analitici. In parole semplici, significa che può determinare la "pendenza" della curva di probabilità usando formule matematiche esatte, piuttosto che indovinare spostando leggermente i numeri e vedere cosa succede.

Gli autori hanno eseguito delle simulazioni per testare questo aspetto. Hanno scoperto che l'uso di queste formule esatte era drammaticamente più veloce del metodo basato sulle ipotesi.

• Per i calcoli di densità semplici (misurare solo la nuvola), mnorm era veloce.
• Per il calcolo dei gradienti (trovare la pendenza), la differenza era enorme. In un test con 5 dimensioni, calcolare la pendenza analiticamente ha richiesto circa 0,09 secondi, mentre il metodo di "indovinare" (differenziazione numerica) avrebbe richiesto almeno 0,54 secondi solo per effettuare il numero minimo di tentativi necessari.
• In dimensioni superiori, come 10 dimensioni, il metodo analitico ha impiegato 3,47 secondi per la pendenza, mentre il metodo di indovinare avrebbe richiesto almeno 4,51 secondi.

Il documento suggerisce che questo aumento di velocità è una svolta per gli economisti che devono eseguire questi calcoli milioni di volte per costruire modelli. È la differenza tra camminare su una montagna e prendere un elicottero.

Gestire le parti "Dati"
Una delle caratteristiche più utili è il modo in cui mnorm gestisce i dati condizionati. Immagina di cercare di prevedere il voto finale di uno studente. Se non conosci il suo voto dell'esame di metà corso, devi tirare a indovinare. Ma se conosci il voto dell'esame di metà corso (la parte "data"), la previsione cambia.

mnorm può calcolare la probabilità e la pendenza dato quel voto specifico. Il documento mostra che calcolare queste pendenze è incredibilmente veloce perché la matematica per le parti "date" è solo un semplice riarrangiamento della matematica delle altre parti. In un test con 5 variabili in cui 2 erano "date", il pacchetto ha calcolato le pendenze quasi istantaneamente, mentre il metodo di indovinare sarebbe stato molto più lento.

Accelerare il Piccolo e il Grande
Il pacchetto brilla anche in due aree specifiche:

1. Nuvole piccole (2 e 3 dimensioni): Per queste, mnorm utilizza un astuto trucco matematico chiamato quadratura di Gauss-Legendre. Gli autori l'hanno confrontato con altri strumenti popolari e hanno scoperto che mnorm era significativamente più veloce. Ad esempio, calcolare le probabilità per una nuvola a 2 dimensioni ha richiesto a mnorm 0,57 secondi per un milione di calcoli, mentre un competitore ha impiegato 0,75 secondi. Ancora più impressionante, quando hanno attivato la funzione "multi-core" (usando 8 cervelli informatici contemporaneamente), mnorm è sceso a 0,16 secondi, mentre il competitore era ancora a 1,11 secondi.
2. Nuvole enormi (Alte dimensioni): Per le nuvole con 16, 64 o persino 512 dimensioni, mnorm compete con i migliori strumenti disponibili. In test con 512 dimensioni, mnorm ha calcolato la probabilità in 2,54 secondi, un risultato comparabile ad altri strumenti di alto livello, dimostrando che non funziona solo per problemi piccoli.

Amici Non Normali
La realtà non è sempre perfettamente normale. A volte i dati sono asimmetrici o hanno code bizzarre. mnorm può gestire questo aspetto utilizzando una cosa chiamata copula gaussiana. Pensa a questo come a un traduttore. Prende dati bizzarri e non normali (come il numero di volte che uno scoiattolo visita una mangiatoia) e li traduce nel linguaggio della distribuzione normale affinché la matematica possa comunque funzionare. Il pacchetto può persino calcolare le pendeni per i parametri di queste distribuzioni bizzarre, una caratteristica che pochi altri strumenti possiedono.

Il Punto Fondamentale
Il documento non sostiene di aver scoperto una nuova legge dell'universo. Invece, offre uno strumento pratico e altamente efficiente. Gli autori suggeriscono che, usando mnorm, i ricercatori possono costruire modelli economici migliori e più veloci. Hanno dimostrato attraverso le simulazioni che il loro metodo è più veloce delle alternative e hanno fornito le formule matematiche esatte (il "ingrediente segreto") affinché chiunque possa verificare il lavoro.

In breve, mnorm è come dare a un statistico un motore turbo-alimentato per la sua auto. Non cambia la destinazione, ma lo porta a destinazione in tempi record, con una mappa chiara del terreno lungo il percorso. Che tu stia affrontando un semplice problema a due variabili o un enorme puzzle a 512 dimensioni, questo pacchetto suggerisce che sia il modo più veloce per ottenere la risposta.