Unbiased mixed variables distance

Technische Samenvatting: Onbevooroordeelde Afstand voor Gemengde Variabelen

Probleemstelling
Bij taken voor data-analyse zoals clustering, classificatie en visualisatie is het meten van de afstand tussen observaties fundamenteel. Een aanzienlijke uitdaging ontstaat wanneer datasets gemengde variabelen bevatten—combinaties van numerieke (continue of discrete) en categorische (binair, ordinaal of nominaal) variabelen. Bestaande methoden voor het berekenen van afstanden bij gemengde variabelen, met name de algemene Gower-gelijkeniscoëfficiënt, lijden vaak aan "bias" (bevooroordeling). Deze bias manifesteert zich wanneer de bijdrage van individuele variabelen aan de totale afstand onredelijk wordt beïnvloed door hun meettype, schaal of het aantal categorieën, in plaats van door hun werkelijke geobserveerde verschillen. Bijgevolg kunnen bepaalde variabelen types de afstandsberekening domineren, wat leidt tot vertekende resultaten in downstream-analyses.

Methodologie
De auteurs stellen een algemene formulering voor het construeren van "onbevooroordeelde" afstanden voor gemengde variabelen voor. Hun aanpak is gebaseerd op twee theoretische eigenschappen:

1. Multivariate Additiviteit: De totale multivariate afstand wordt gedefinieerd als de som van univariate, variabele-specifieke afstanden. Dit zorgt ervoor dat de bijdrage van elke variabele additief en expliciet gedefinieerd is, waardoor de impliciete geometrische aannames van niet-additieve metrieken (zoals de Euclidische afstand, waarbij de bijdrage per variabele afneemt naarmate de dimensionaliteit toeneemt) worden vermeden.
2. Commensurabiliteit (Vergelijkbaarheid): De univariate bijdragen aan de totale afstand moeten commensurabel zijn, wat betekent dat hun verwachte waarden constant zijn over alle variabelen, ongeacht het type variabele, de schaal of de onderliggende distributie.

De auteurs leiden een algemene afstandformulering af:
$$d(x_i, x_l) = \sum_{j=1}^{p} w_j \delta_j(x_i, x_l)$$
waarbij $\delta_j$ de dissimilariteit voor variabele $j$ kwantificeert, en $w_j$ een gewicht is. Om commensurabiliteit te bereiken, worden de gewichten gedefinieerd als het inverse van de verwachte afstand voor die variabele:
$$w_j = 1 / E[d_j(X_i, X_l)]$$

Het artikel analyseert systematisch hoe veelvoorkomende schaal- en afstandkeuzes deze eigenschappen schenden:

• Numerieke Variabelen: De auteurs evalueren standaarddeviatie-schaling, range-schaling (gebruikt in Gower's afstand), robuuste range-schaling en principal component-schaling. Ze demonstreren dat hoewel deze methoden schalen standaardiseren, ze geen commensurabiliteit garanderen over verschillende onderliggende distributies (bijv. Normaal vs. Uniform vs. Scheef).
• Categorische Variabelen: De auteurs beoordelen diverse categorie-dissimilariteitsmatrices (bijv. simple matching, Eskin, Occurrence Frequency, Hennig-Liao schaling, en associatie-gebaseerde maten zoals Kullback-Leibler en Total Variance). Ze tonen aan dat de gemiddelde afstand voor categorische variabelen sterk afhankelijk is van het aantal categorieën en de distributie van de categorie-waarschijnlijkheden.

Om een onbevooroordeelde afstand te construeren, stellen de auteurs voor om de verwachte gemiddelde afstand voor elke variabele te schatten uit de geobserveerde data (of theoretische distributies) en de inverse van deze waarde als gewicht toe te passen. Dit creëert een familie van onbevooroordeelde afstanden waarbij de "eenheid" van meting effectief de "gemiddelde afstand" is.

Belangrijkste Bijdragen

• Algemene Formulering: Het artikel biedt een flexibel, algemeen kader voor afstanden van gemengde variabelen dat voldoet aan multivariate additiviteit en commensurabiliteit, wat verschillende implementaties van $\delta_j$ en schalingsmethoden mogelijk maakt.
• Kwantificering van Bias: De auteurs leiden de omvang van de biases af die door populaire methoden (bijv. Gower's afstand, Hennig-Liao schaling) worden geïntroduceerd en demonstreren hoe deze biases variëren met distributietypes en het aantal categorieën.
• Constructie van Onbevooroordeelde Afstand: Ze bieden een concrete methode om deze biases te corrigeren door variabelen te wegen op basis van hun empirische of theoretische gemiddelde afstanden, waardoor wordt gewaarborgd dat variabelen types en schalen de afstandstructuur niet triviaal dicteren.
• Evaluatie: De studie evalueert zowel onafhankelijke (variabele-specifieke) als associatie-gebaseerde (gezamenlijke distributie) benaderingen voor categorische variabelen, waarbij wordt aangetoond hoe associatie-gebaseerde methoden de afstandsberekeningen in gemengde settings verder kunnen verfijnen.

Resultaten
De auteurs valideren hun bevindingen via een simulatiestudie en een empirische toepassing met FIFA-spelerdata:

• Simulatie: In een gecontroleerde omgeving met bekende onderliggende structuren, laten de auteurs zien dat niet-commensurabele methoden (zoals standaard Gower of naïeve Euclidische benaderingen) leiden tot afstanden waarbij de bijdragen van variabelen vertekend zijn door het aantal categorieën of het variabeletype. Bijvoorbeeld, Gower's afstand heeft de neiging om categorische variabelen te overgewichten, terwijl Hennig-Liao schaling met de Euclidische afstand de neiging heeft om numerieke variabelen te overgewichten.
• Herstel van Structuur: Bij het terughalen van een laagdimensionale configuratie via Multidimensionale Schaling (MDS), vertoonden de onbevooroordeelde varianten (met name de "Unbiased Dependent" variant met associatie-gebaseerde maten) een superieure prestatie bij het herstellen van de ware onderliggende structuur, vooral naarmate het aantal categorieën toenam.
• Empirische Toepassing: Analyse van de FIFA-dataset bevestigde dat bevooroordeelde methoden voorspelbare verstoringen veroorzaken in variabele-belangrijkheid en MDS-oplossingen. De onbevooroordeelde methoden boden een meer objectieve baseline waarbij de bijdragen van variabelen werden gebalanceerd volgens het commensurabiliteitsprincipe.

Betekenis en Claims
De auteurs claimen dat hun werk een fundamenteel probleem aanpakt in afstand-gebaseerde data-analyse: het gebrek aan objectiviteit in hoe verschillende variabelen types bijdragen aan de totale dissimilariteit. Door onbevooroordeelde afstanden te definiëren en te construeren, bieden zij een meer neutrale startpositie voor exploratieve analyse.

Het artikel uit zich expliciet bescheiden over optimaliteit. De auteurs beweren niet dat hun voorgestelde methode de "optimale" afstand is voor alle scenario's. In plaats daarvan stellen zij dat een "onbevooroordeelde" afstand een afstand is waarbij variabelen types, schalen en meetniveaus niet triviaal de afstand beïnvloeden. Als domeinkennis suggereert dat specifieke variabelen zwaarder gewogen moeten worden, kan dit opzettelijk gebeuren; de voorgestelde methode zorgt er echter voor dat een dergelijke weging een bewuste keuze is en geen artefact van de afstandsberekeningsmethode. De betekenis ligt in het bieden van een theoretisch solide, algemene formulering die onderzoekers in staat stelt om afstanden voor gemengde variabelen te construeren die vrij zijn van inherente structurele biases.