A Mathematical Framework and Software Implementation for Uncertainty Visualisation

Questo articolo affronta la mancanza di una metodologia per la visualizzazione delle variabili casuali nell'analisi esplorativa dei dati proponendo un framework matematico che tratta le visualizzazioni come funzioni continue aderenti al teorema di continuità della mappatura, il quale è implementato nel pacchetto R "ggdibbler" per integrare fluidamente l'incertezza nella grammatica dei grafici.

L'essenziale

Il Grande Problema: Troppi Nomi, Poche Regole

Immaginate di cercare di descrivere una tempesta. Una persona la chiama "danza della pioggia", un'altra la chiama "tenda d'acqua" e una terza la chiama "cascata celeste". Sebbene questi nomi siano creativi, rendono difficile concordare su cosa sia effettivamente la tempesta o su come misurarla.

Gli autori di questo articolo sostengono che il campo della visualizzazione dell'incertezza (mostrare dati che non sono certi al 100%) sia esattamente così. Abbiamo troppi nomi specifici per grafici che mostrano dati "forse" (come "spaghetti plots", "fuzzygrams" o "HOPs"). Questo ha trasformato il campo in una corsa alla creazione di nuovi nomi piuttosto che nella costruzione di una teoria solida e unificata.

Inoltre, gli strumenti software disponibili sono come una cassetta degli attrezzi in cui ogni cacciavite ha una forma diversa. Alcuni funzionano per il legno, altri per il metallo, ma nessuno funziona per tutto. Gli utenti sono frustrati perché non possono esplorare facilmente i dati che arrivano con l'incertezza (come una misurazione che potrebbe essere leggermente errata) senza rompere i propri grafici.

La Soluzione: Trattare i Grafici come una Ricetta

Gli autori propongono una soluzione basata su un'idea famosa chiamata Grammatica della Grafica. Pensate a un grafico non come a un'immagine statica, ma come a una ricetta o a una macchina che trasforma i dati in un'immagine.

In una ricetta standard, si inseriscono ingredienti esatti (ad esempio, "2 tazze di farina"). Ma nel mondo reale, gli ingredienti sono spesso incerti (ad esempio, "una tazza abbondante di farina" o "farina che potrebbe essere leggermente umida").

L'articolo sostiene che, se vogliamo visualizzare l'incertezza, dobbiamo aggiornare la nostra macchina della ricetta affinché possa gestire "ingredienti incerti" senza rompersi. Lo chiamano il Teorema della Mappatura Continua. In termini semplici, questa è una regola che dice: Se cambi leggermente gli ingredienti, il dolce finale dovrebbe cambiare leggermente, non esplodere o trasformarsi in un dessert completamente diverso.

La "Magia" del Nuovo Sistema (ggdibbler)

Gli autori hanno costruito uno strumento software chiamato ggdibbler (un'estensione di un popolare strumento R chiamato ggplot2) per testare questa teoria. Ecco come funziona, usando un'analogia:

Il Vecchio Modo (L'approccio "Spaghetti"):
Immaginate di misurare l'altezza di 15 donne, ma il vostro righello è un po' traballante.

• Approccio A: Ignorate il traballamento e disegnate semplicemente una linea fluida basata sull'altezza media. (Questo è ciò che fa il software standard).
• Approccio B: Disegnate 15 linee separate e traballanti per ogni donna, per mostrare quanto è incerta ogni misurazione. (Questo è ciò che fa un altro software).

Il Nuovo Modo (L'approccio "Nuvola"):
Gli autori dicono che nessuno dei due approcci è perfetto per l'esplorare i dati. Invece, immaginate di prendere le vostre 15 misurazioni e farle passare attraverso un "simulatore" 100 volte. Ogni volta, il simulatore sceglie un'altezza leggermente diversa in base al traballamento del vostro righello.

• Il nuovo software disegna tutte le 100 versioni del grafico una sopra l'altra.
• Dove le linee si sovrappongono molto, il grafico appare scuro e solido (alta certezza).
• Dove le linee sono sparse e sottili, il grafico appare sfocato e leggero (alta incertezza).

Questo crea una "nuvola" di possibilità. Non vi mostra solo la media; vi mostra come potrebbe apparire l'intero quadro se le misurazioni fossero leggermente diverse.

Perché i "Campioni" sono l'Ingrediente Segreto

L'articolo fa un'affermazione molto specifica su come mostrare questa incertezza. Gli autori si oppongono all'uso di semplici riassunti (come mostrare solo una "media" e un "margine di errore").

L'Analogia:
Immaginate di cercare di descrivere il sapore di una zuppa a un amico.

• Stima Puntuale: Dite: "È salata". (Troppo semplice, manca di sfumature).
• Quantili: Dite: "È tra leggermente salata e molto salata". (Meglio, ma ancora rigido).
• Campioni (La Scelta degli Autori): Offrite al vostro amico un cucchiaio di zuppa, poi un altro, poi un altro ancora. Ogni cucchiaio è leggermente diverso. Assaggiando tutti i cucchiai, il vostro amico riceve una vera sensazione dell'intervallo di sapori.

Gli autori insistono sul fatto che, per visualizzare correttamente l'incertezza, bisogna mostrare i campioni (i molti cucchiai), non solo il riassunto. Ciò consente al grafico di funzionare per qualsiasi tipo di dato, che si tratti di numeri, categorie o forme complesse, senza violare le regole della statistica.

Il Trucco del Posizionamento "Annidato"

Una delle parti più difficili del disegno di questi grafici a "nuvola" è che, se disegnate 100 linee una sopra l'altra, possono diventare disordinate e illeggibili.

Gli autori hanno inventato un sistema chiamato Regolazioni di Posizione Annidate.

• Pensatelo come una pista da ballo:
  • Livello 1 (Il Gruppo): Avete diversi gruppi di ballerini (ad esempio, uomini contro donne). Dovete assicurarvi che gli uomini non stiano sopra le donne.
  • Livello 2 (L'Incertezza): All'interno del gruppo "uomini", avete 100 versioni dello stesso passo di danza. Dovete assicurarvi che queste 100 versioni non si ammassino tutte in un unico punto.

Il nuovo software gestisce entrambi i livelli contemporaneamente. Può "evitare" (spostare lateralmente) i gruppi e poi "jitterare" (far oscillare) i campioni incerti all'interno di quei gruppi, in modo che tutto rimanga visibile e leggibile.

In Breve

L'articolo sostiene che, trattando i grafici come funzioni matematiche che devono obbedire a regole specifiche (come la continuità), possiamo costruire un sistema singolo e flessibile che gestisce l'incertezza per qualsiasi tipo di grafico.

Inveve di inventare un nuovo nome di grafico per ogni nuovo problema, il software ggdibbler vi permette di prendere qualsiasi grafico esistente (un grafico a barre, una mappa, un grafico a linee) e semplicemente sostituire i "numeri esatti" con "distribuzioni incerte". Il software genera quindi automaticamente la "nuvola" di possibilità, garantendo che il grafico rimanga statisticamente valido e facile da esplorare.

In breve, hanno trasformato la visualizzazione dell'incertezza da una collezione caotica di trucchi nominati in una singola macchina basata su regole che funziona per tutto.

Sommario tecnico

Sintesi Tecnica: Un Quadro Matematico e un'Implementazione Software per la Visualizzazione dell'Incertezza

Problema
Il campo della visualizzazione dell'incertezza soffre di una mancanza di formalizzazione, che risulta in un panorama frammentato di grafici nominati (ad esempio, spaghetti plots, fuzzygrams, HOPs) e in una proliferazione di pacchetti software che spesso si sovrappongono nelle funzioni ma differiscono nelle assunzioni. Le attuali implementazioni sono descritte come "fragili" e vincolate a casi d'uso specifici, non riuscendo a fornire la flessibilità richiesta per l'Analisi Esplorativa dei Dati (EDA) con dati incerti provenienti da fonti e dimensioni diverse. Gli autori sostengono che il divario non sia dovuto alla mancanza di nuovi tipi di grafici, ma alla mancanza di coerenza strutturale. Nello specifico, i sistemi esistenti non integrano rigorosamente l'incertezza nella "grammatica dei grafici", portando a visualizzazioni che potrebbero non possedere proprietà di convergenza statistica solide.

Metodologia
Gli autori propongono un quadro matematico che ridefinisce la visualizzazione come una funzione continua che opera su matrici casuali, basata sul Teorema di Mappatura Continua (CMT).

1. Statistica Visiva come Funzioni Continue:
   Costruendo sulla grammatica dei grafici di Wilkinson, gli autori definiscono una funzione visiva $V$ come un composto di cinque fasi: Scala ($M$), Statistica ($S$), Geometria ($G$), Posizione ($P$) ed Estetica ($A$). Essi postulano che, affinché una visualizzazione di una matrice casuale (dove le voci dei dati sono distribuzioni piuttosto che stime puntuali) sia statisticamente valida, debba obbedire al CMT. Ciò implica che, man mano che la varianza delle variabili casuali in ingresso tende a zero, l'output visivo deve convergere alla visualizzazione deterministica dei valori medi.

2. Generalizzazione della Grammatica per Input Casuali:
   Per soddisfare il CMT, gli autori generalizzano le componenti della grammatica per accettare input di matrici casuali:

   • Scale ($M$): Definite come "consapevoli della scala" (scale-aware), mappano variabili casuali in numeri reali preservando le misure di probabilità indotte.
   • Statistiche ($S$): Gli autori si oppongono all'uso di stime puntuali (medie) o funzioni di probabilità come rappresentazione primaria della distribuzione, poiché queste possono interrompere i requisiti di dominio delle fasi successive della grammatica o non riuscire a trasmettere la piena incertezza. Invece, impongono che le distribuzioni siano rappresentate come campioni di esiti. Ciò trasforma la funzione statistica in un composto che prima campiona la matrice casuale e poi applica le statistiche deterministiche standard a tali campioni.
   • Geometria e Posizione ($G$ e $P$): Il framework introduce regolazioni di posizione annidate. Poiché il campionamento crea un array di dati ($n \times m \times t$) anziché una matrice, le regolazioni di posizione devono essere applicate in due livelli: all'interno del campione (gestendo la sovrapposzione dei singoli punti in un singolo disegno) e tra i campioni (gestendo il sovrapporsi di molteplici disegni). Ciò consente l'uso di regolazioni standard (dodging, stacking, trasparenza, animazione) senza violare le proprietà statistiche del tipo di grafico originale.

3. Spazi Metrici e Convergenza:
   Gli autori stabiliscono che sia lo spazio dei dati ($\Omega$) che lo spazio visivo ($\Psi$) possono essere trattati come spazi metrici. Definiscono la convergenza visiva come lo stato in cui la distanza tra due rendering visivi è zero. Dimostrano che la percezione umana non è uno spazio metrico rigoroso a causa delle "differenze appena percepibili" (JND), ma il framework si basa sulla metrica matematica dei dati sottostanti per garantire le proprietà di convergenza.

Contributi Chiave

• Formalizzazione Teorica: Il documento fornisce la prima completa integrazione dell'incertezza nella grammatica dei grafici, dimostrando che le visualizzazioni di matrici casuali devono essere costruite come campioni per mantenere la sensibilità statistica e la convergenza.
• Rifiuto delle Stime Puntuali: Gli autori dimostrano che rappresentare l'incertezza esclusivamente attraverso stime puntuali (ad esempio, media e intervalli di confidenza) o funzioni di probabilità può portare a mismatch di dominio e perdita di potere inferenziale, particolarmente in contesti multivariati.
• Distinzione tra Segnale e Rumore: Il framework chiarisce la differenza tra la visualizzazione dell'incertezza come "segnale" (focalizzandosi sulla forma delle singole distribuzioni, come nel pacchetto ggdist) e come "rumore" (focalizzandosi su come l'incertezza influenzi il pattern complessivo dei dati, come nel framework proposto).
• Implementazione Software (ggdibbler): La teoria è implementata nel pacchetto R ggdibbler, un'estensione di ggplot2.
  • Permette agli utenti di sostituire i dati deterministici con variabili casuali (usando il pacchetto distributional).
  • Gestisce automaticamente il campionamento, il raggruppamento (tramite drawID) e le regolazioni di posizione annidate necessarie per rendere la visualizzazione.
  • Mantiene una sintassi simile a ggplot2 (ad esempio, geom_density_sample), garantendo che ogni grafico deterministico abbia il suo corrispondente incerto.

Risultati
Il documento valida il framework attraverso:

• Dimostrazioni Teoriche: Dimostrando che il processo di visualizzazione proposto soddisfa il Teorema di Mappatura Continua.
• Analisi Comparativa: Mostrando che ggdibbler converge correttamente all'output deterministico di ggplot2 quando la varianza tende a zero, mentre altri approcci (come ggdist che tratta l'incertezza come segnale) non mostrano necessariamente questo comportamento di convergenza per gli stessi tipi di grafici.
• Esempi Visivi: Gli autori illustrano la flessibilità del sistema generando versioni incerte di diversi tipi di grafici (grafici a linee, mappe, diagrammi a torta, istogrammi, diagrammi di rete) ed estetiche (posizione, colore, dimensione, pendenza). Dimostrano come le regolazioni di posizione annidate (ad esempio, trasparenza per il testo, dodging per il colore) gestiscano la complessità visiva della sovrapposzione dei campioni.
• Compromessi Computazionali: Il documento riconosce che il campionamento aumenta il costo computazionale. Suggerisce che le dimensioni del campione debbano essere scelte per raggiungere la "convergenza visiva", dove i rendering successivi sono indistinguibili, piuttosto che affidarsi a un valore predefinito fisso.

Significatività
Gli autori affermano che questo lavoro sposta la visualizzazione dell'incertezza da una "corsa" alla denominazione di specifici tipi di grafici verso una teoria coesa. Formalizzando la funzione visiva, il framework assicura che il legame tra i dati e l'estetica visiva sia mantenuto anche sotto incertezza. La significatività risiede nel fornire un sistema flessibile e statisticamente solido per l'EDA che non richieda software bespoke per ogni nuovo tipo di incertezza. Il pacchetto ggdibler funge da prova di concetto, dimostrando che un singolo framework unificato può sostituire l'attuale ecosistema frammentato di strumenti per l'incertezza garantendo al contempo che la visualizzazione si comporti in modo coerente con le proprietà statistiche sottostanti dei dati.