Unbiased mixed variables distance

Sintesi Tecnica: Distanza per Variabili Miste Invariante dal Bias

Enunciato del Problema
Nelle attività di analisi dei dati come il clustering, la classificazione e la visualizzazione, la misurazione della distanza tra le osservazioni è fondamentale. Una sfida significativa sorge quando i dataset contengono variabili miste — combinazioni di variabili numeriche (continue o discrete) e categoriche (binarie, ordinali o nominali). I metodi esistenti per calcolare le distanze tra variabili miste, in particolare il coefficiente di somiglianza generale di Gower, soffrono spesso di "bias" (distorsione). Questo bias si manifesta quando il contributo delle singole variabili alla distanza complessiva è indebitamente influenzato dal loro tipo di misurazione, dalla scala o dal numero di categorie, piuttosto che dalle loro effettive differenze osservate. Di conseguenza, determinati tipi di variabili possono dominare il calcolo della distanza, portando a risultati distorti nelle analisi a valle.

Metodologia
Gli autori propongono una formulazione generale per la costruzione di distanze per variabili miste "invarianti dal bias" (unbiased). Il loro approccio si basa su due proprietà teoriche:

1. Additività Multivariata: La distanza multivariata complessiva è definita come la somma delle distanze univariata e specifica per variabile. Ciò garantisce che il contributo di ogni variabile sia additivo ed esplicitamente definito, evitando le assunzioni geometriche implicite di metriche non additive come la distanza Euclidea (che riduce il contributo per variabile all'aumentare della dimensionalità).
2. Commensurabilità: I contributi univariati alla distanza complessiva devono essere commensurabili, il che significa che i loro valori attesi devono essere costanti tra tutte le variabili, indipendentemente dal tipo di variabile, dalla scala o dalla distribuzione sottostante.

Gli autori derivano una formulazione generale della distanza:
$$d(x_i, x_l) = \sum_{j=1}^{p} w_j \delta_j(x_i, x_l)$$
dove $\delta_j$ quantifica la dissimilarità per la variabile $j$, e $w_j$ è un peso. Per ottenere la commensurabilità, i pesi sono definiti come l'inverso della distanza attesa per quella variabile:
$$w_j = 1 / E[d_j(X_i, X_l)]$$

Il documento analizza sistematicamente come le comuni scelte di scaling e di distanza violino queste proprietà:

• Variabili Numeriche: Gli autori valutano lo scaling della deviazione standard, lo scaling dell'intervallo (utilizzato nella distanza di Gower), lo scaling dell'intervallo robusto e lo scaling tramite componenti principali. Dimostrano che, sebbene questi metodi standardizzino le scale, non garantiscono la commensurabilità tra diverse distribuzioni sottostanti (ad esempio, Normale vs Uniforme vs Asimmetrica).
• Variabili Categoriche: Gli autori esaminano varie matrici di dissimilarità tra categorie (ad esempio, semplice matching, Eskin, frequenza di occorrenza, scaling Hennig-Liao e misure basate sull'associazione come Kullback-Leibler e Varianza Totale). Mostrano che la distanza media per le variabili categoriche dipende fortemente dal numero di categorie e dalla distribuzione delle probabilità delle categorie.

Per costruire una distanza invariante dal bias, gli autori propongono di stimare la distanza media attesa per ogni variabile dai dati osservati (o dalle distribuzioni teoriche) e applicare l'inverso di questo valore come peso. Ciò crea una famiglia di distanze invarianti dal bias dove l' "unità" di misura è effettivamente la "distanza media".

Contributi Chiave

• Formulazione Generale: Il documento fornisce un quadro flessibile e generale per le distanze tra variabili miste che soddisfa l'additività multivariata e la commensurabilità, consentendo varie implementazioni di $\delta_j$ e metodi di scaling.
• Quantificazione del Bias: Gli autori derivano l'entità dei bias introdotti da metodi popolari (ad esempio, la distanza di Gower, lo scaling Hennig-Liao) e dimostrano come questi bias varino con i tipi di distribuzione e il numero di categorie.
• Costruzione Invariante dal Bias: Forniscono un metodo concreto per correggere questi bias pesando le variabili in base alle loro medie distanze empiriche o teoriche, garantendo che i tipi di variabili e le scale non dettino banalmente la struttura della distanza.
• Valutazione: Lo studio valuta sia gli approcci indipendenti (specifici per variabile) che quelli basati sull'associazione (distribuzione congiunta) per le variabili categoriche, mostrando come i metodi basati sull'associazione possano ulteriormente raffinare i calcoli della distanza in contesti misti.

Risultati
Gli autori validano le loro scoperte attraverso uno studio di simulazione e un'applicazione empirica utilizzando i dati dei giocatori FIFA:

• Simulazione: In un ambiente controllato con strutture sottostanti note, gli autori mostrano come i metodi non commensurabili (come la Gower standard o gli approcci Euclidei Naive) portino a contributi delle variabili distorti dal numero di categorie o dal tipo di variabile. Ad esempio, la distanza di Gower tende a sovrappesare le variabili categoriche, mentre lo scaling Hennig-Liao con la distanza Euclidea può sovrappesare le variabili numeriche.
• Recupero della Struttura: Quando recuperano una configurazione a bassa dimensionalità tramite il Multidimensional Scaling (MDS), le varianti invarianti dal bias (specificamente la variante "Unbiased Dependent" che utilizza misure basate sull'associazione) hanno dimostrato prestazioni superiori nel recuperare la vera struttura sottostante, in particolare all'aumentare del numero di categorie.
• Applicazione Empirica: L'analisi del dataset FIFA ha confermato che i metodi distorti producono distorsioni prevedibili nell'importanza delle variabili e nelle soluzioni MDS. I metodi invarianti dal bias hanno fornito una base più oggettiva in cui i contributi delle variabili erano bilanciati secondo il principio di commensurabilità.

Significatività e Rivendicazioni
Gli autori affermano che il loro lavoro affronta un problema fondamentale nell'analisi dei dati basata sulle distanze: la mancanza di oggettività nel modo in cui i diversi tipi di variabili contribuiscono alla dissimilarità complessiva. Definendo e costruendo distanze invarianti dal bias, forniscono un punto di partenza più neutro per l'analisi esplorativa.

Il documento dichiara esplicitamente la propria modestia riguardo all'ottimalità. Gli autori non sostengono che il loro metodo proposto sia la distanza "ottimale" per tutti gli scenari. Affermano invece che una distanza "invariante dal bias" è una distanza in cui i tipi di variabili, le scale e i livelli di misurazione non impattano trivialmente sulla distanza. Se la conoscenza del dominio suggerisce che specifiche variabili debbano essere pesate più pesantemente, ciò può essere fatto intenzionalmente; tuttavia, il metodo proposto assicura che tale pesatura sia una scelta deliberata e non un artefatto del metodo di calcolo della distanza. La significatività risiede nel fornire una formulazione generale e teoricamente fondata che consente ai ricercatori di costruire distanze tra variabili miste libere da bias strutturali intrinseci.