📊 statistics

The bixplot: A variation on the boxplot suited for bimodal data

Questo articolo introduce il bixplot, un nuovo strumento di visualizzazione che estende il classico boxplot incorporando un metodo di clustering univariato per rilevare e rappresentare efficacemente strutture di dati bimodali o multimodali, facilitando così l'identificazione di sottogruppi significativi e punti isolati in dataset univariati.

Autori originali: Camille M. Montalcini, Peter J. Rousseeuw

Pubblicato 2026-05-05

📖 5 min di lettura🧠 Approfondimento

CC0 1.0

Autori originali: Camille M. Montalcini, Peter J. Rousseeuw

Articolo originale dedicato al pubblico dominio sotto CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di essere un detective che cerca di comprendere una folla di persone. Vuoi sapere: sono tutti un unico grande gruppo confuso? O ci sono sottogruppi distinti che si nascondono in piena vista?

Per decenni, gli statistici hanno utilizzato uno strumento chiamato boxplot per dare un'occhiata rapida ai dati. Pensa al boxplot come a una semplice scheda riassuntiva. Ti dice il "centro" della folla, quanto sono dispersi e se ci sono valori anomali strani (persone che stanno lontano dal gruppo). È ottimo, ma ha un punto cieco: presuppone che tutti appartengano a un unico gruppo omogeneo. È come guardare una folla e vedere solo una grande macchia, anche se in realtà ci sono due gruppi distinti di persone che stanno schiena contro schiena.

Questo articolo presenta un nuovo strumento chiamato bixplot (una mescolanza intelligente di "boxplot" e "mix"). È progettato specificamente per catturare quei sottogruppi nascosti, specialmente quando i dati presentano due o più "picchi" (bimodali o multimodali).

Ecco come funziona il bixplot, utilizzando semplici analogie:

1. Il "Test dell'Annusata" (Verificare se c'è un gruppo o molti)

Prima di disegnare qualsiasi cosa, il bixplot dà una profonda "annusata" ai dati utilizzando un test statistico chiamato test di dip di Hartigan.

Se i dati odorano di un solo gruppo: Disegna un'immagine dal aspetto standard che combina i migliori aspetti dei vecchi strumenti: una scatola (per il riassunto), una curva liscia (come una forma a violino per mostrare la densità) e un "tappeto" (piccole linee in basso che mostrano ogni singolo punto dati).
Se i dati odorano di una miscela: Sa che c'è qualcosa che non va. Si rende conto che la folla non è uniforme.

2. Il "Ordinatore Intelligente" (Clustering)

Se i dati sono una miscela, il bixplot non indovina; utilizza un algoritmo di clustering speciale per ordinare i dati in pile separate e ordinate.

La Regola "Nessun Interno": Immagina di ordinare biglie in vasetti. Un ordinatore normale potrebbe mettere una biglia rossa dentro un vasetto di biglie blu solo perché è vicina. L'ordinatore del bixplot è più severo: assicura che nessun vasetto abbia una biglia "dentro" il territorio di un altro vasetto. I gruppi devono essere blocchi distinti, uno accanto all'altro.
La Regola "Dimensione Minima": Rifiuta anche di creare vasetti minuscoli e solitari. Se un gruppo è troppo piccolo (come uno o due soli punti dati), viene fuso di nuovo. Questo impedisce allo strumento di vedere "gruppi fantasma" che sono solo rumore casuale.

3. L'Immagine Finale

Una volta ordinati i dati, il bixplot disegna un nuovo tipo di mappa:

Corpi Separati: Invece di una grande forma, vedi "corpi" separati per ogni gruppo, spesso in colori diversi.
Curve di Densità: La larghezza di questi corpi mostra quanto è affollato quel gruppo.
Il Tappeto: In basso, vedi piccole linee per ogni singolo punto dati. Questo è cruciale perché ti permette di vedere esattamente dove cadono i punti, inclusi quelli isolati che potrebbero nascondersi tra i gruppi.
Codifica a Colori: Puoi persino colorare queste piccole linee in base ad altre informazioni (come il sesso di un pinguino o la specie di un fiore), aiutandoti a vedere come diverse variabili si relazionano ai gruppi.

Esempi dal Mondo Reale dell'Articolo

Gli autori hanno testato questo su dati reali per mostrare come trovi cose che altri strumenti mancano:

Pesci: Hanno osservato quanto tempo aspettavano i pesci prima di esplorare. I vecchi strumenti accennavano a due gruppi, ma il bixplot ha mostrato chiaramente due distinti "stili di attesa".
Pinguini: Hanno misurato le lunghezze dei becchi di pinguini provenienti da diverse isole. Su una specifica isola, il bixplot ha rivelato che i pinguini non erano un solo gruppo; in realtà c'erano due distinti gruppi di dimensioni (probabilmente maschi e femmine), che i vecchi boxplot mescolavano insieme.
Fiori (Iris): Guardando le larghezze dei petali, il bixplot ha suggerito che potrebbero esserci tre gruppi distinti, aiutando a separare le specie di fiori più chiaramente di prima.

Perché è Importante

Gli autori sottolineano che il bixplot è uno strumento esplorativo, non una sentenza finale. È come una torcia in una stanza buia. Ti aiuta a vedere che potrebbero esserci tre distinti gruppi di mobili nella stanza, ma non prova perché sono lì o se sono definitivamente tre categorie separate nel mondo reale. Dice solo: "Ehi, guarda qui, i dati sembrano avere due o tre picchi, investigiamo oltre".

La Conclusione

Il bixplot è una versione più intelligente e flessibile del classico boxplot. Combina il potere riassuntivo della scatola, la forma del violin plot e il dettaglio del rug plot. Il suo superpotere è che rileva automaticamente quando i dati sono una "miscela" di diversi gruppi e li separa visivamente, così non perdi le storie nascoste nei tuoi dati.

Gli autori hanno reso questo strumento disponibile gratuitamente sia in Python che in R, così chiunque può iniziare a usarlo per "smiscelare" i propri dati.

Riepilogo Tecnico: Il Bixplot

Enunciato del Problema
Gli autori identificano una limitazione significativa nel boxplot standard, un pilastro dell'Analisi Esplorativa dei Dati (EDA) introdotto da Tukey (1977). Sebbene efficace per distribuzioni unimodali, il boxplot assume implicitamente l'unimodalità e non può rappresentare visivamente dati bimodali o multimodali. Le estensioni esistenti, come il vaseplot (Benjamini, 1988), il violin plot (Hintze e Nelson, 1998) e il beanplot (Kampstra, 2008), migliorano il boxplot mostrando curve di densità o singoli punti dati. Tuttavia, questi metodi non rilevano o separano esplicitamente le modalità distinte. Di conseguenza, le statistiche riassuntive all'interno di questi grafici (ad esempio, mediana e quartili) possono essere fuorvianti se i dati derivano da una miscela di sottopopolazioni, e la rappresentazione visiva può non riuscire a distinguere chiaramente tra cluster sovrapposti.

Metodologia
Il documento propone il bixplot, uno strumento di visualizzazione progettato per rilevare e mostrare strutture unimodali, bimodali e multimodali in dati univariati. La costruzione di un bixplot comporta una specifica pipeline algoritmica:

Test di Unimodalità:
- L'algoritmo valuta prima il numero di valori non mancanti ( $n$ ). Se $n$ è piccolo (specificamente $n < 2 \times \text{minN}$ , dove $\text{minN}=15$ per impostazione predefinita) o se l'utente forza un singolo cluster ( $k_{max}=1$ ), i dati sono trattati come unimodali.
- Per dataset più grandi, viene applicato il test del dip di Hartigan (Hartigan e Hartigan, 1985) per testare l'ipotesi nulla di unimodalità. Il test calcola la massima distanza verticale tra la funzione di distribuzione empirica e la distribuzione unimodale più vicina. Se il valore $p$ è inferiore a un livello di significatività (predefinito 0,01), l'unimodalità viene rifiutata.
Clustering Univariato Vincolato:
- Se i dati sono considerati non unimodali, viene impiegato un algoritmo di clustering specializzato per separare i dati in cluster contigui (intervalli in cui nessun membro del cluster è annidato all'interno di un altro).
- Il metodo utilizza il clustering $k$ -medoids (Partitioning Around Medoids, PAM) per selezionare punti dati reali come centri del cluster.
- Crucialmente, gli autori implementano una versione vincolata di $k$ -medoids. Per garantire che i cluster siano significativi e supportino la stima della densità, l'algoritmo impone un vincolo per cui ogni cluster deve contenere almeno un numero minimo di valori unici ( $\text{clusMinN}$ , predefinito 3). Questo previene la formazione di cluster spurii da punti isolati o valori legati. L'algoritmo utilizza un metodo di trasporto per riassegnare i punti iterativamente, minimizzando la deviazione totale soddisfacendo i vincoli.
Selezione del Cluster:
- L'algoritmo valuta i conteggi dei cluster ( $k$ ) da 2 fino a un massimo definito dall'utente ( $k_{max}$ , predefinito 7).
- Il numero ottimale di cluster viene selezionato in base al punteggio silhouette più alto (Rousseeuw, 1987), che misura quanto bene i punti si adattano ai loro cluster assegnati rispetto ad altri cluster.
Costruzione della Visualizzazione:
- Dati Unimodali: Mostra un boxplot standard sovrapposto a una stima della densità kernel (simile a un violin plot) e un rug plot (stile beanplot) che mostra i singoli punti dati.
- Dati Multimodali: I dati vengono suddivisi nei cluster identificati. Ogni cluster è visualizzato come un "corpo" separato con la propria curva di densità, boxplot e rug plot.
- Opzioni di Dimensionamento: L'area dei corpi del cluster può essere proporzionale alla dimensione del cluster, uniformata tra i cluster o impostata su larghezza uguale.
- Colorazione: Le linee del rug possono essere colorate in base a variabili esterne continue o categoriali per rivelare relazioni.

Contributi Chiave

La Visualizzazione Bixplot: Una nuova visualizzazione grafica che combina boxplot, traccia di densità (violin) e rug plot (bean), specificamente adattata per gestire dati multimodali separandoli in cluster distinti e contigui.
Algoritmo $k$ -medoids Vincolato: Una nuova adattamento del metodo $k$ -medoids che impone un numero minimo di valori unici per cluster e garantisce la contiguità del cluster, progettato specificamente per l'identificazione delle modalità nei dati univariati.
Implementazione Software: Gli autori forniscono implementazioni robuste sia in Python (pacchetto bixplot) che in R (funzione bixplot() nel pacchetto classmap). Queste implementazioni sono progettate con valori predefiniti pratici per consentire chiamate di funzione brevi, offrendo al contempo opzioni di personalizzazione estese per colori, larghezze delle linee e dimensionamento.

Risultati e Applicazioni
Il documento illustra l'utilità del bixplot attraverso diversi dataset reali:

Comportamento dei Pesci: Ha rilevato la bimodalità nei tempi di latenza attraverso i round sperimentali, mostrando spostamenti nei centri delle modalità.
Pinguini di Palmer: Ha rivelato la bimodalità nelle lunghezze dei becchi per i pinguini sull'Isola di Dream (distinguendo sottogruppi non visibili nei normali violin plot) e ha permesso il confronto diretto dei sessi all'interno delle isole utilizzando bixplot "metà".
Dati Iris: Ha identificato che la lunghezza e la larghezza dei petali contengono più struttura (bimodale/multimodale) rispetto alle dimensioni dei sepali, aiutando la separazione delle specie senza conoscenza preliminare delle etichette di classe.
Dati Kingfisher: Ha dimostrato la capacità di gestire dati multimodali complessi (7 cluster nella lunghezza dell'ala), sebbene notando che la distinzione visiva diventa difficile con un alto numero di cluster.
Mappatura dei Colori: Ha visualizzato con successo le relazioni tra rug plot e variabili esterne (ad esempio, massa corporea nei pinguini, specie nei dati iris).

Significato e Affermazioni
Gli autori posizionano il bixplot strettamente come uno strumento esplorativo inteso ad assistere l'intuizione dell'utente e rivelare potenziali sottogruppi all'interno dei dati. Affermano esplicitamente che il bixplot non è un metodo confermativo; l'identificazione dei cluster (ad esempio, tre cluster in una variabile) è un'indicazione di struttura, non una conferma statistica della composizione esatta della popolazione. Il metodo evita assunzioni probabilistiche (come la gaussianità) richieste dai modelli di miscela inferenziali, rendendolo adatto a una gamma più ampia di distribuzioni di dati. Il significato principale risiede nella sua capacità di lasciare che i dati "parlino" riguardo alla modalità, affrontando una specifica lacuna negli strumenti EDA esistenti dove i boxplot standard falliscono e i grafici di densità mancano di una separazione esplicita dei cluster.