Separate Exchangeability as Modeling Principle in Bayesian Nonparametrics

기술 요약: 베이지안 비모수 통계학에서의 모델링 원칙으로서의 분리 교환 가능성(Separate Exchangeability)

문제 제기
본 논문은 두 가지 서로 다른 유형의 실험 단위(예: 행과 열)를 포함하는 직사각형 배열(행렬) 형태의 데이터를 다루는 베이지안 비모수(BNP) 추론의 공백을 다룹니다. 교환 가능성(모든 순열에 대한 불변성)과 부분 교환 가능성(특정 그룹 내의 순열에 대한 불변성)은 이미 잘 확립된 원칙이지만, 저자들은 분리 교환 가능성(행과 열 인덱스의 독립적인 순열에 대한 불변성)이 이러한 데이터 구조에 대한 자연스러운 모델링 원칙임에도 불구하고 BNP 문헌에서 자주 과소 활용되고 있다고 주장합니다.

핵심적인 문제는 표준 BNP 모델, 특히 의존적 이산 무작위 측도(Dependent Discrete Random Measures, DDP와 같은)에 기반한 모델들이 분리 교환 가능성이 아닌 부분 교환 가능성을 유도한다는 점입니다. 동일한 실험 단위(예: 특정 유전자, 단백질 또는 OTU)가 여러 블록(예: 피험자, 시점 또는 조건)에 걸쳐 관찰되는 시나리오에서, 부분 교환 가능성은 제한적인 대칭성을 부과합니다. 즉, 그룹 간의 클러스터에 대한 분포에 대한 정보는 공유할 수 있지만, 클러스터의 *구체적인 실현(realization)*에 대한 정보는 공유하지 못합니다. 예를 들어, 부분 교환 가능성 하에서는 Unit A와 Unit B가 그룹 1에서 함께 클러스터링되었다는 사실이, Unit A가 다른 어떤 단위와 클러스터링될 확률이 증가하지 않는 한, Unit A와 Unit B가 그룹 2에서도 함께 클러스터링될 확률을 높여주지 않습니다. 이는 행렬 전반에 걸친 단위들의 구조적 정체성을 무시하는 것입니다.

방법론
저자들은 분리 교환 가능성을 명시적으로 준수하는 다루기 쉬운 BNP 모델을 구축하기 위한 프레임워크를 제안합니다. 이들은 두 가지 주요 모델 클래스를 도입합니다:

1. 분리 교환 가능한 중첩 분할 (Separately Exchangeable Nested Partitions):

   • 개념: 저자들은 중첩 분할 모델(예: Nested Dirichlet Process, NDP)을 분리 교환 가능성을 존중하도록 일반화합니다. NDP처럼 그룹 간에 오직 분할의 *사전 법칙(prior law)*만을 공유하는 대신, 제안된 모델은 그룹 클러스터 내에서 분할의 *실현(realization)*을 공유합니다.
   • 구조: 모델은 먼저 교환 가능한 분할 확률 함수(EPPF)를 사용하여 열(그룹)을 클러스터링합니다. 각 열 클러스터 내에서 행(실험 단위)이 분할됩니다. 결정적으로, 특정 클러스터 내의 모든 열은 동일한 행 분할 실현을 공유합니다.
   • 구현: 저자들은 "공통 원자를 가진 분리 교환 가능한 NDP-CAM(Separately Exchangeable NDP-CAM)"을 제안합니다. 이 모델은 열 클러스터링을 위해 잠재 지표(latent indicators)와 중첩된 행 분할을 사용합니다. 이 모델은 분리 교환 가능한 배열에 대한 알도스-후버(Aldous-Hoover) 표현 정리를 만족함을 보여줍니다.
   • 일반화: 이 프레임워크는 열 분할과 행 분할 모두에 대해 표준 디리클레 프로세스(DP) 사전 분포를 더 유연한 깁스 유형 사전 분포(예: Pitman-Yor Process, Mixture of Finite Mixtures)로 대체할 수 있으며, 일반화된 중국 식당 프로세스(gCRP)를 통해 계산적 용이성을 유지합니다.

2. 분리 교환 가능한 비모수 회귀 (Separately Exchangeable Nonparametric Regression):

   • 개념: 저자들은 두 세트의 실험 단위(예: 단백질과 피험자)를 포함하는 회귀 문제를 위해 의존적 디리클레 프로세스(DDP)를 변형합니다.
   • 구조: 저자들은 무작위 측도의 원자(atoms)에 가법적 효과(additive effects)를 도입함으로써 ANOVA DDP를 수정합니다. 구체적으로, 원자들은 행 단위에 특화된 항, 열 단위에 특화된 항, 그리고 전역 항을 포함하는 선형 예측자로 정의됩니다.
   • 정식화: 모델은 $y_{i,j} \sim F_{(i,j)}$를 가정하며, 여기서 무작위 측도 $F_{(i,j)}$는 $\beta_h + \xi_i + \eta_j$를 중심으로 하는 원자들을 가집니다. 여기서 $\xi_i$와 $\eta_j$는 각각 행과 열에 대한 독립적인 무작위 효과입니다. 이 구조는 결합 법칙이 $i$와 $j$의 별도 순열에 대해 불변임을 보장합니다.
   • 유연성: 분할 모델과 유사하게, 회귀 계수의 유연한 클러스터링을 허용하기 위해 행과 열 효과에 대한 사전 분포를 깁스 유형 프로세스로 선택할 수 있습니다.

주요 기여

• 이론적 명료화: 본 논문은 기존의 일부 의존적 무작위 분할 모델(예: Lee et al., 2013; Page et al., 2022)에 대한 임시적인 비판을 분리 교환 가능성 위반의 결과로 재해술합니다. 이는 왜 부분 교환 가능성이 동일한 실험 단위가 여러 그룹에 나타나는 경우에 부적절한지에 대한 공식적인 확률적 근거를 제공합니다.
• 모델 구축: 널리 사용되는 부분 교환 가능한 BNP 모델(특히 NDP 및 DDP)에 대한 분리 교환 가능한 대응 모델을 체계적으로 도출한 최초의 연구입니다.
• 계산 용이성: 저자들은 이러한 모델이 분석적 및 계산적으로 여전히 다루기 쉽다는 것을 입증합니다. 이들은 함의된 교환 가능한 분할 확률 함수(EPPF)와 부분 EPPF(pEPPF)를 도출하여, 표준 부분 붕괴 깁스 샘플링(partially collapsed Gibbs sampling)을 사용할 수 있게 합니다.
• 정보 공유(Borrowing of Strength): 분리 교환 가능성은 한 그룹에서의 특정 단위들의 공동 클러스터링에 대한 학습이 다른 그룹에서의 공동 클러스터링에 정보를 제공할 수 있음을 명확히 하며, 이는 표준 부분 교환 가능성에는 없는 특징입니다.

결과 및 응용
저자들은 두 가지 실제 데이터셋을 사용하여 방법론을 설명합니다:

1. 마이크로바이옴 데이터 (Diet Swap Study):

   • 데이터: 38명의 피험자에 걸친 119개 운영 분류 단위(OTU)의 빈도.
   • 응용: 마이크로바이옴 프로필을 기반으로 피험자를 클러스터링하는 동시에, 피험자 클러스터 내에서 OTU를 클러스터링합니다.
   • 결과: 모델은 지리적 지역(미국 vs. 농촌 아프리카)에 해당하는 피험자 클러스터를 성공적으로 식별했습니다. 결정적으로, 부분 교환 가능성 모델과 달리, OTU의 정체성을 존중하면서 피험자 클러스터 내 특정 OTU의 공동 클러스터링에 대한 의미 있는 추론을 제공했습니다.

2. 단백질 발현 데이터 (Ataxia Study):

   • 데이터: 다양한 연령대에서 측정된 32명의 피험자(16명 대조군, 16명 환자)에 걸친 약 3,990개 단백질의 풍부도.
   • 응용: 비모수 회귀 모델을 사용하여 질병 사례와 대조군 사이의 연령에 따른 차별적 발현 궤적을 가진 단백질을 식별했습니다.
   • 결과: 모델은 단백질 특유의 기울기 차이($\gamma_i$)를 추정하고 차이의 크기에 따라 단백들을 순위화했습니다. 이 접근 방식은 결측 데이터가 있는 복잡하고 다차원적인 실험 설계에서 분리 교환 가능성의 유용성을 입증하며, 질병과 관련된 상위 순위 단백질들을 성공적으로 식별했습니다.

의의 및 주장
본 논문은 실험 단위가 여러 조건에 걸쳐 정체성을 유지하는 행렬 구조의 데이터에 대해 분별 교환 가능성이 더 우수한 모델링 원칙이라고 주장합니다. 저자들의 주장은 다음과 같습니다:

1. 설계에 대한 충실성: 분리 교환 가능성은 설계 행렬의 구조적 정보를 종종 버리는 부분 교환 가능성보다 실험 설정을 더 충실하게 나타냅니다.
2. 특정 추론의 필요성: 특정 단위(예: OTU 1과 OTU 2)가 여러 그룹에서 함께 클러스터링되는지를 결정하는 것과 같은 특정 추론 목표는 분리 교환 가능성 없이는 일관되게 기술하거나 수행할 수 없습니다.
3. 실무적 실현 가능성: 제안된 모델은 단순히 이론적인 구성물이 아니라, 데이터의 특정 대칭성을 존와하면서도 기존 BNP 도구의 유연한 대안이 될 수 있는 계산적으로 실행 가능한 모델입니다.

저자들은 실험 설정을 신중하게 고려하면 흔히 '옴니버스(omnibus)' 교환 가능성이나 표준 부분 교환 가능성을 넘어 분리 교환 가능성과 같은 더 구체적인 대칭 가정을 필요로 하게 된다고 결론짓습니다.