Beyond Local Independence: High-Dimensional Latent Class Graphical Models with Shared Block Structure

기술 요약: 국소적 독립성을 넘어: 공유 블록 구조를 가진 고차원 잠재 클래스 그래픽 모델

문제 정의
잠재 클래스 모델(Latent Class Models, LCMs)은 이질적인 모집단을 분석하기 위한 표준적인 도구이다. 그러나 전통적인 LCM은 국소적 독립성(local independence) 가설에 의존한다. 즉, 잠재 클래스가 주어졌을 때 관측된 반응들은 서로 상호 독립적이라는 가정이다. 이러한 가정은 현대의 고차원 응용 분야에서 빈번하게 위배된다. 예를 들어, 공공 의견 조사(유사한 주제의 항목들이 여전히 의존성을 갖는 경우)나 유전 데이터(인접한 SNP들이 연관 불균형을 보이는 경우)가 그러하다. 국소적 의존성을 무시하는 것은 매개변수 추정치와 잠재 클래스 할당을 왜곡한다.

국소적 독립성을 완화하려는 기존의 접근 방식들은 대개 저차원 설정에 국한되어 있거나, 사전에 지정된 혹은 구조화되지 않은 의존 패턴에 의존하며, 통계적 보증이 부족하다. 반대로, 고차원 그래픽 모델은 의존 구조를 학습할 수 있지만, 일반적으로 미지의 이질적인 잠재 클래스를 설명하는 데 실패한다. 따라서 고차원 서열형 반응으로부터 잠재적 이질성과 구조화된 국소 의존성을 동시에 학습할 수 있는 원칙적인 통계적 방법론에 대한 간극이 존재한다.

방법론
저자들은 공유 블록 구조를 가진 고차원 잠재 클래스 그래픽 모델을 제안한다. 이 모델은 잠재 클래스 $Z_i = k$가 주어졌을 때, 서열형 반응이 잠재 가우시안 코퓰라(latent Gaussian copula)를 통해 생성된다고 가정한다. 핵심 혁신은 모든 $K$개의 잠재 클래스에 걸쳐 공유되는 변수의 순열(permutation) 이후, 잠재 가우시안 벡터의 공분산 행렬 $\Sigma_k$가 블록 대각(block-diagonal) 형태를 띤다는 점이다.

• 공유 블록 분할: 변수들은 모든 잠재 클래스에서 공유되는 $L$개의 블록($V_1, \dots, V_L$)으로 분할된다. 이는 국소적으로 의존적인 변수들의 해석 가능한 그룹(예: 특정 주제에 관한 설문 항목)을 포착한다.
• 클래스별 의존성: 각 블록 내에서는 조건부 의존 구조(정밀 행렬 $\Omega_k$로 인코딩됨)가 잠재 클래스에 따라 다르게 나타날 수 있도록 하여, 클래스별 이질성을 포착한다.
• 3단계 추정 파이프라인: 저자들은 확장이 용이한 비지도 3단계 추정기를 개발하였다:
  1. 스펙트럴 클러스터링(Spectral Clustering): "평탄화된(flattened)" 이진 반응 행렬에 스펙트럴 클러스터링을 적용하여 잠재 클래스 레이블 $Z$를 복구한다. 이는 서열형 반응의 특성을 처리하기 위해 데이터의 저계수(low-rank) 구조를 활용한다.
  2. 블록 구조 복구: 추정된 각 잠재 클래스 내에서 쌍별 폴리코릭 상관계수(pairwise polychoric correlations)를 추정하여 클래스별 공분산 행렬 $\Sigma_k$를 복구한다. 이들은 클래스 간에 집계되어 공유 블록 분할을 식별한다. 저자들은 이러한 상관계수의 연속적 집계 행리에 대해 커뮤니티 탐지 알고리즘(특히 Leiden)을 사용하여 블록을 견고하게 복구하는 방법을 제안한다.
  3. 정밀 행렬 추정: 블록이 식별되면, 알려진 블록 구조를 조건으로 하여 표준 그래픽 모델 추정기(예: Graphical Lasso 또는 CLIME)를 사용하여 블록 내의 희소 정밀 행렬 $\Omega_k$를 추정한다.

주요 기여

1. 모델 공식화: 국소적 독립성을 가진 고전적 LCM과 비제한적 혼합 그래픽 모델 사이의 간극을 메우는 새로운 모델을 제시한다. 이 모델은 클래스별 의존성을 유연하게 모델링하면서도 해석 가능성과 간결성을 보장하기 위해 공유 블록 구조를 도입한다.
2. 확장 가능한 알고리즘: 비제한적 국소 의존성을 가진 LCM에 필요한 난해한 전체 가능도 최적화를 피하는 계산 효율적인 3단계 파이프라인을 제공한다. 이 방법은 고차원($J \gg N$)에서도 확장 가능하다.
3. 이론적 보증: 저자들은 파이프라인의 모든 단계에 대한 유한 표본 오차 경계(finite-sample error bounds)를 확립한다:
   • 클러스터링 정확도 (Proposition 1).
   • 공분산 행렬 추정 및 블록 복구를 위한 성분별 일치성 (Propositions 3 및 4).
   • 정밀 행렬 추정을 위한 지지 집합 복구 및 부호 일치성 (Proposition 5).
   • 엔드 투 엔드(End-to-end) 일치성: 정리 1은 고차원 스케일링 하에서 모든 모델 구성 요소(잠재 클래스, 블록 분할, 정밀 행렬)가 일관되게 추정됨을 입증한다.

결과

• 시뮬레이션: 다양한 차원($J \in \{100, 500\}$), 잠재 클래스 수($K$), 블록 구조($L$)에 걸친 광범한 시뮬레이션을 통해, 본 방법이 잠재 클래스, 공유 블록 분할, 클래스별 정밀 행렬을 정확하게 복구함을 보여준다. 이 방법은 오라클 튜닝 없이 블록 구조를 복구하는 데 어려움을 겪는 JGL(Joint Graphical Lasso) 베이스라인보다 우수한 성능을 보인다. 절제 연구(Ablation studies)는 클러스터링 단계(1단계)와 블록 복구 단계(2단계)가 모두 중요함을 확인시켜 준다. 하나라도 누락될 경우 상당한 성능 저하가 발생한다.
• 실제 데이터 적용:
  • ANES 설문 데이터: 2022년 미국 선거 연구(ANES) 데이터($N=1511, J=144$)에 적용하였다. 이 방법은 공화당원, 민주당원, 무당파 유권자에 해당하는 세 개의 잠재 클래스를 식별하였다. 또한 해석 가능한 블록(예: "인종차별", "정치 참여")을 복구하였으며, 인종적 이점에 관한 조건부 의존성이 이데올로기 집단에 따라 어떻게 달라지는지와 같은 클래스별 의존 패턴을 밝혀냈다.
  • HapMap3 유전체 데이터: 네 개의 하위 집단으로부터 얻은 SNP 유전형 데이터($N=479, J=500$)에 적용하였다. 본 방법은 인구 구조를 성공적으로 복구하였고, 의존적인 SNP 블록(연관 불균형 블록)을 식별하는 동시에 잠재적 하위 집단을 고려하였다. 클러스터링 단계를 생략했을 때는 블록 간 상관관계가 과대 추정되었는데, 이는 이질성을 고려하는 것의 필요성을 입증한다.

의의 및 주장
본 논문은 고차원 잠재 클래스 분석에서 국소적 독립성 가정을 완화하기 위한 원칙적이고, 해석 가능하며, 이론적 근거가 확실한 방법론을 제공한다고 주장한다. 공유 블록 구조를 도입함으로써, 이 방법은 간결성과 복잡한 의존성을 모델링하는 유연성 사이의 균형을 맞춘다. 저자들은 자신의 접근 방식이 모든 모델 구성 요소에 대해 엔드 투 엔드 이론적 보증을 제공한다는 점을 강조하며, 이는 기존의 고차원 혼합 모델에서 흔히 결여된 특징이다. 이 방법은 잠재적 이질성이 존재하는 상황에서 해석 가능한 국소 의존 구조를 밝혀내기 위한 실용적인 도구로 제시되며, 사회 과학과 유전학 모두에서 입증된 효용성을 보여준다. 저자들은 재현성을 촉진하기 위해 R 코드를 공개적으로 제공하고 있음을 명시하였다.