An association measure for mixed-type variables

Technische Samenvatting: Een Associatiemaatstaf voor Variabelen van Gemengde Typen

Probleemstelling
Het kwantificeren van de associatie tussen een reële variabele ($X$) en een categorische variabele ($Y$) is een fundamentele uitdaging in de data-analyse, met name naarmate gemengde typen data prominenter worden in velden zoals de genomica en sociale wetenschappen. Bestaande methoden voor deze "numeriek-categorische" setting lijden aan significante beperkingen:

• Parametrische Aannames: Methoden zoals de polyseriale correlatie vertrouwen op latente normale modellen of lineaire/ordinale aannames die mogelijk niet standhouden.
• Willekeurige Codering: Veelvoorkomende werkoplossingen omvatten het coderen van nominale categorieën als gehele getallen om numerieke methoden toe te passen (bijv. de $\xi_n$ van Chatterjee) of het discretiseren van numerieke variabelen. Deze benaderingen introduceren kunstmatige ordeningen en tussenafstanden, wat leidt tot instabiele resultaten waarbij de statistiek significant fluctueert op basis van het gekozen coderingsschema.
• Gebrek aan Schaal: Standaardtoetsen zoals de ANOVA $F$-toets beoordelen verschillen in gemiddelden, maar bieden geen maatstaf voor afhankelijkheid op een vaste, interpreteerbare schaal (bijv. 0 tot 1).

Methodologie
De auteurs stellen een nieuwe label-invariante populatie-associatiemaat voor, aangeduid als $\xi'$, en de bijbehorende steekproefschatter, $\xi'_n$, voor, die specifiek is ontworpen voor de gemengde real-valued–categorische setting.

1. Populatiemaat ($\xi'$):
   De maat wordt gedefinieerd op basis van de reductie in Gini-onzuiverheid (of informatiewinst) die wordt bereikt door het observeren van $X$. Laat $g_j(x) = P(Y=j | X=x)$ de conditionele waarschijnlijkheidsfuncties zijn. De populatiemaat is:
   $$\xi'(X, Y) = \frac{E\left[\sum_{j=1}^k g_j(X)^2\right] - \sum_{j=1}^k P(Y=j)^2}{1 - \sum_{j=1}^k P(Y=j)^2}$$
   Deze formulering aggregeert de gekwadrateerde conditionele waarschijnlijkheden (concentratie van de conditionele distributie) en normaliseert deze tegen de marginale concentratie.

2. Steekproefschatter ($\xi'_n$):
   De schatter wordt nonparametrisch geconstrueerd zonder smoothing of instelparameters:

• Sorteer de steekproef $(X_i, Y_i)$ op basis van $X$ om $(X_{(1)}, Y_{(1)}), \dots, (X_{(n)}, Y_{(n)})$ te verkrijgen.
• Bereken de naburige-match proportie $A_n = \frac{1}{n-1}\sum_{i=1}^{n-1} \mathbb{I}(Y_{(i+1)} = Y_{(i)})$.
• Bereken de marginale coïncidentie waarschijnlijkheid $B_n = \sum_{j=1}^k \hat{p}_j^2$, waarbij $\hat{p}_j$ de steekproefproportie van klasse $j$ is.
• De schatter is $\xi'_n = \frac{A_n - B_n}{1 - B_n}$.
• Deze schatter is berekenbaar in $O(n \log n)$ tijd vanwege de sorteerstap.

3. Theoretische Eigenschappen:

• Normalisatie: $\xi' \in [0, 1]$.
• Onafhankelijkheid: $\xi' = 0$ als en slechts als $X$ en $Y$ onafhankelijk zijn.
• Functionele Afhankelijkheid: $\xi' = 1$ als en slechts als $Y$ bijna zeker een meetbare functie van $X$ is.
• Invariantie: De maat is invariant onder strikt monotone transformaties van $X$ en, cruciaal, onder elke permutatie van de categorische labels van $Y$.
• Verbinding met Klassieke Maten: $\xi'$ generaliseert de determinatiecoëfficiënt ($R^2$) met behulp van Gini-onzuiverheid. Het is structureel vergelijkbaar met de $\xi$ van Chatterjee, maar aggregeert klasse-specifieke varianties zonder prevalentieweging, wat het geschikt maakt voor nominale (ongeordende) categorieën.

Asymptotische Theorie en Inferentie
Het artikel stelt de sterke consistentie van $\xi'_n$ vast en leidt de asymptotische normaliteit af onder twee regimes:

• Onder Onafhankelijkheid ($H_0$): $\sqrt{n}\xi'_n$ convergeert naar een normale verdeling met gemiddelde 0. De auteurs leiden een consistente variantieschatter af, wat een computationeel efficiënte, permutatievrije Wald-toets voor onafhankelijkheid mogelijk maakt. Een correctie voor de centrering in eindige steekproeven wordt voorgesteld om negatieve bias in kleine steekproeven aan te pakken.
• Onder Algemene Afhankelijkheid: De auteurs bewijzen asymptotische normaliteit voor $\sqrt{n}(\xi'_n - \xi')$ onder milde voorwaarden (begrensde variatie van conditionele waarschijnlijkheden). Een plug-in variantieschatter met behulp van $k$-dichtstbijzijnde buren ($k$-NN) wordt geleverd, wat de constructie van asymptotisch geldige betrouwbaarheidsintervallen voor de populatiemaat mogelijk maakt.

Belangrijkste Resultaten

• Simulatiestudies: Uitgebreide simulaties met een blokontwerpmodel laten zien dat $\xi'_n$ de nominale dekking waarschijnlijkheid voor betrouwbaarheidsintervallen bereikt en correcte type I-foutpercentages handhaaft voor de Wald-toets.
• Coderingstabiliteit: In tegen tegenstelling tot de $\xi_n$ van Chatterjee, die wild fluctueert onder verschillende gehele getal-encoderingen van dezelfde nominale data, blijft $\xi'_n$ constant ongeacht permutaties van de labels.
• Kracht (Power): De voorgestelde methode vertoont een concurrerende kracht ten opzichte van gevestigde alternatieven zoals Distance Covariance (dCov), HSIC en ANOVA, met name in scenario's met zwakke signalen of detectie van minderheidsklassen.
• Computationele Efficiëntie: De $O(n \log n)$ complexiteit maakt de methode schaalbaar, waardoor het de $O(n^2)$ kosten van kernel-gebaseerde methoden zoals HSIC vermijdt.
• Toepassing op Echte Data: Een toepassing op de The Cancer Genome Atlas (TCGA) borstkankerdata laat het vermogen van de methode zien om algemene afhankelijkheden te detecteren, inclus\ (inclusief) variantieheterogeniteit, die door gemiddelde-gebaseerde toetsen gemist kunnen worden.

Betekenis en Claims
Het artikel claimt een robuuste, modelvrije oplossing te bieden voor het meten van associatie in variabelen van gemengde typen. De primaire betekenis ligt in:

1. Label-invariantie: Het oplossen van het instabiliteitsprobleem dat inherent is aan het toepassen van ranggebaseerde statistieken op nominale categorische variabelen door klasse-indicatoren direct te aggregeren in plaats van een kunstmatige orde op te leggen.
2. Interpreteerbaarheid: Het bieden van een genormaliseerde maat (0 tot 1) die de proportie reductie in Gini-onzuiverheid (informatiewinst) kwantificeert, waarmee de kloof tussen statistische toetsing en predictieve modelleringsconcepten wordt overbrugd.
3. Efficiënte Inferentie: Het mogelijk maken van snelle, permutatievrije hypothesetoetsing en de constructie van betrouwbaarheidsintervallen via asymptotische theorie, wat computationeel voordelig is voor grootschalige datasets vergeleken met resampling-zware alternatieven.

De auteurs positioneren $\xi'$ als een noodzakelijke uitbreiding van het werk van Chatterjee, specif