Beyond Local Independence: High-Dimensional Latent Class Graphical Models with Shared Block Structure

Technische Samenvatting: Voorbij Lokale Onafhankelijkheid: Hoogdimensionele Latente Klasse Grafische Modellen met een Gedeelde Blokstructuur

Probleemstelling
Latente klasse modellen (LCM's) zijn standaardinstrumenten voor het analyseren van multivariate categorische gegevens uit heterogene populaties. Traditionele LCM's vertrouwen echter op de aanname van lokale onafhankelijkheid: geconditioneerd op de latente klasse zijn geobserveerde reacties wederzijds onafhankelijk. Deze aanname wordt in moderne hoogdimensionele toepassingen vaak geschonden, zoals bij publieke opiniepeilingen (waarbij items over vergelijkbare onderwerpen afhankelijk blijven) en genetische data (waarbij nabijgelegen SNP's een koppeling-disequilibrium vertonen). Het negeren van dergelde lokale afhankelijkheid vervormt de parameterschattingen en de toewijzing van latente klassen.

Bestaande benaderingen om de lokale onafhankelijkheid te versoepelen zijn doorgaans beperkt tot laagdimensionele settings, vertrouwen op vooraf gespecificeerde of ongestructureerde afhankelijkheidspatronen, of missen statistische garanties. Omgekeerd kunnen hoogdimensionele grafische modellen afhankelijkheidsstructuren leren, maar falen ze over het algemeen in het rekening houden met onbekende heterogene latente klassen. Er is een gat in de principiële statistische methodologie voor het gelijktijdig leren van latente heterogeniteit en gestructureerde lokale afhankelijkheid van ordinale responsen.

Methodologie
De auteurs stellen een hoogdimensioneel latent klasse grafisch model met een gedeelde blokstructuur voor. Het model gaat ervan uit dat, geconditioneerd op een latente klasse $Z_i = k$, ordinale responsen worden gegenereerd via een latente Gaussische copula. De kerninnovatie is dat de covariantie-matrix $\Sigma_k$ van de latente Gaussische vector blokdiagonaal is na een gedeelde permutatie van variabelen over alle $K$ latente klassen.

• Gedeelde Blokpartitie: Variabelen worden verdeeld in $L$ blokken ($V_1, \dots, V_L$) die gedeeld worden over alle latente klassen. Dit vangt interpreteerbare groepen van lokaal afhankelijke variabelen op (bijv. enquête-items over een specifiek onderwerp).
• Klasse-specifieke Afhankelijkheid: Binnen elk blok mag de voorwaardelijke afhankelijkheidsstructuur (gecodeerd door de precisie-matrix $\Omega_k$) variëren tussen de latente klassen, wat klasse-specifieke heterogeniteit vastlegt.
• Driestaps Schattingspipeline: De auteurs ontwikkelen een schaalbare, ongesuperviseerde driestaps-schatter:
  1. Spectrale Clustering: De latente klasse-labels $Z$ worden hersteld door spectrale clustering toe te passen op een "geplatte" binaire responsmatrix. Dit maakt gebruik van de laag-rang structuur van de data om met de ordinale aard van de responsen om te gaan.
  2. Herstel van de Blokstructuur: Binnen elke geschatte latente klasse worden paarwijze polychore correlaties geschat om de klasse-specifieke covariantie-matrices $\Sigma_k$ te herstellen. Deze worden geaggregeerd over klassen heen om de gedeelde blokpartitie te identificeren. De auteurs stellen community-detectie algoritmen voor (specifiek Leiden) op een continue aggregatie-matrix van deze correlaties om de blokken robuust te herstellen.
  3. Precisie-matrix Schatting: Zodra de blokken zijn geïdentificeerd, worden schrale precisie-matrices $\Omega_k$ geschat binnen elk blok met behulp van standaard grafische model-schatters (bijv. Graphical Lasso of CLIME), geconditioneerd op de bekende blokstructuur.

Belangrijkste Bijdragen

1. Modelformulering: Een nieuw model dat de kloof overbrugt tussen klassieke lokaal onafhankelijke LCM's en onbeperkte mengsels van grafische modellen. Het legt een gedeelde blokstructuur op om interpreteerbaarheid en parsimonie te waarborgen, terwijl het flexibiliteit biedt voor klasse-specifieke afhankelijkheid binnen blokken.
2. Schaalbaar Algoritme: Een computationeel efficiënte driestaps-pipeline die de onhandelbare volledige likelihood-optimalisatie vermijdt die vereist is voor onbeperkte lokaal afhankelijke LCM's. De methode schaalt naar hoge dimensies ($J \gg N$).
3. Theoretische Garanties: Het artikel stelt eindige-steekproef foutmargen vast voor alle stadia van de pipeline:
   • Clustering nauwkeurigheid (Propositie 1).
   • Entry-wise consistentie voor de schatting van de covariantie-matrix en blokherstel (Proposities 3 en 4).
   • Support recovery en sign-consistentie voor de precisie-matrix schatting (Propositie 5).
   • End-to-end consistentie: Theorem 1 toont aan dat alle modelcomponenten (latente klassen, blokpartitie en precisie-matrices) consistent worden geschat onder hoogdimensionele schaling.

Resultaten

• Simulaties: Uitgebreide simulaties met variërende dimensies ($J \in \{100, 500\}$), aantallen latente klassen ($K$) en blokstructuren ($L$) tonen aan dat de methode accuraat de latente klassen, gedeelde blokpartities en klasse-specifieke precisie-matrices herstelt. De methode presteert beter dan Joint Graphical Lasso (JGL) baselines, die moeite hebben met het herstellen van de blokstructuur zonder oracle tuning. Ablatie-studies bevestigen dat zowel de clusteringstap (Stap 1) als de blokherstelstap (Stap 2) cruciaal zijn; het weglaten van een van beide leidt tot significante prestatieverslechtering.
• Reële Data Applicaties:
  • ANES Survey Data: Toegepast op 2022 American National Election Studies data ($N=1511, J=144$). De methode identificeerde drie latente klassen die overeenkomen met Republikeinse, Democratische en Onafhankelijke kiezers. Het herstelde interpreteerbare blokken (bijv. "Racisme", "Politieke Betrokkenheid") en onthulde klasse-specifieke afhankelijkheidspatronen, zoals verschillende voorwaardelijke afhankelijkheden met betrekking tot raciale voordelen over ideologische groepen heen.
  • HapMap3 Genetica Data: Toegepast op SNP-genotype data ($N=479, J=500$) van vier subpopulaties. De methode slaagde erin de populatiestructuur te herstellen en identificeerde blokken van afhankelijke SNP's (linkage disequilibrium blokken) terwijl rekening werd gehouden met de latente subpopulaties. Het weglaten van de clusteringstap resulteerde in opgeblazen cross-block correlaties, wat het belang van het rekening houden met heterogeniteit aantoont.

Betekenis en Claims
Het artikel claimt een geprincipiëde, interpreteerbare en theoretisch gefundeerde methodologie te bieden voor het versoepelen van de lokale onafhankelijkheidsaanname in hoogdimensionele latente klasse-analyse. Door een gedeelde blokstructuur te introduceren, balanceert de methode tussen de noodzaak voor parsimonie en de flexibiliteit om complexe afhankelijkheid te modelleren. De auteurs benadrukken dat hun aanpak end-to-end theoretische garanties biedt voor alle modelcomponenten, een kenmerk dat vaak ontbreekt in bestaande hoogdimensionele mengmodellen. De methode wordt gepresenteerd als een praktisch instrument voor het ontsluiten van interpreteerbare lokale afhankelijkheidsstructuren in de aanwezigheid van latente heterogeniteit, met aangetoonde bruikbaarheid in zowel sociale wetenschappen als genetica. De auteurs vermelden dat de R-code publiekelijk beschikbaar is om reproduceerbaarheid te faciliteren.