Reduced-rank Generalized Bilinear Models

기술 요약: 축소 계수 일반 이선형 모델 (Reduced-Rank Generalized Bilinear Models, RR-GBMs)

문제 정의
고차원 데이터, 특히 유전체학(예: 단일 세포 RNA 시퀀싱) 분석에서 연구자들은 차원 축소와 효과 추정이라는 이중 과제에 직면합니다. 일반 이선형 모델(Generalized Bilinear Models, GBMs)은 잠재 요인(latent factors)을 고려하면서 샘플 공변량(예: 실험 조건, 배치 효과)과 특징 공변량(예: 유전자 발현) 사이의 관계를 모델링하는 유연한 프레임워크를 제공합니다. 그러나 표준 GBM은 샘플 공변량의 수($L$)가 증가함에 따라 심각한 통계적 및 계산적 비효율성을 겪습니다. 표준 GBM에서 특징 공변량과 샘플 공변량을 연결하는 계수 행렬 $B$는 $I \times L$ 차원을 가집니다(여기서 $I$는 특징의 수이며, 종종 20,000 이상임). 풀 랭크(full-rank) $B$를 추정하려면 약 $IL$개의 매개변수가 필요하며, 이는$L$이 커질 때 수용 불가능한 계산 부담과 추정 부정확성을 초래합니다. 축소 계수 회귀(reduced-rank regression)는 다변량 회귀(특징 공변량이나 잠재 요인이 없는 경우)에서 확립된 해결책이지만, GBM 환경 내에서는 이전에 탐구되지 않았습니다.

방법론
저자들은 이러한 한계를 해결하기 위해 **축소 계수 일반 이선형 모델(RR-GBM)**을 도입합니다. 표준 GBM은 다음과 같은 형태를 가정합니다:
$$g(E[Y]) = XA^T + BZ^T + XCZ^T + U\Sigma V^T$$
여기서 $Y$는 데이터 행렬이고, $Z$는 샘플 공변량, $X$는 특징 공변량, $B$는 샘플 공변량에 대한 계수 행렬입니다.

RR-GBM은 샘플 계수 행렬 $B$를 $B = Q\Lambda R^T$로 분해함으로써 이를 낮은 랭크 $N$ ($N \ll L$)으로 제한합니다. 모델은 다음과 같습니다:
$$g(E[Y]) = XA^T + Q\Lambda R^T Z^T + XCZ^T + U\Sigma V^T$$
여기서:

• $Q \in \mathbb{R}^{I \times N}$은 잠재 요인이 특징에 미치는 영향을 나타냅니다.
• $R \in \mathbb{R}^{L \times N}$은 샘플 공변량이 잠재 요인에 미치는 영향을 나타냅니다.
• $\Lambda \in \mathbb{R}^{N \times N}$은 잠재 요인의 크기를 나타내는 대각 행렬입니다.
• $N$은 선택된 랭크로, 공변량의 수 $L$보다 현저히 작습니다.

추정과 식별 가능성
저자들은 풀 랭크 $B$를 먼저 추정한 후 사후에 인수분해하는 대신, $Q$, $\Lambda$, $R$을 직접 추정하는 결합 추정 알고리즘을 제안합니다. 이 알고리즘은 $Q\Lambda$, $\Lambda R^T$, 그리고 $\Lambda$에 대한 업데이트를 순환하며 유계 정규화 피셔 스코어링(bounded regularized Fisher scoring) 단계를 활용합니다. 식별 가능성을 보장하기 위해 특정 제약 조건이 부과됩니다: $\Lambda$는 엄격하게 감소하는 양수의 대각 성분을 가진 대각 행렬이어야 하며, $Q$와 $R$은 직교 행렬(orthonormal)이어야 하고, $X$와 축소 랭크 성분 사이에는 직교 제약 조건이 적용됩니다.

데이터 스리닝(Data Thinning)을 통한 랭크 선택
샘플 특유의 매개변수가 포함된 경우 표준 교차 검증이 불가능하기 때문에 최적의 랭크 $N$을 선택하는 것은 까다로운 문제입니다. 저자들은 데이터 스리닝(data thinning) 방식(Neufeld et al., 2024)을 채택합니다. 포아송 분포를 따르는 데이터의 경우, 관측된 행렬 $Y$를 두 개의 독립적인 행렬 $Y'$와 $Y''$로 나눕니다. 이때 $Y'_{ij} \sim \text{Binomial}(Y_{ij}, 1/2)$이고 $Y''_{ij} = Y_{ij} - Y'_{ij}$입니다. 두 결과 행렬 모두 원래 평균의 절반을 갖는 포아송 분포를 따릅니다. 모델은 $Y'$에 대해 적합되며, 예측 오차(RMSE)는 $Y''$를 대상으로 계산됩니다. 이 과정은 $N$(그리고 마찬가지로 잠재 요인 랭크 $M$)의 선택을 안내하는 스크리(scree)-유사 플롯을 생성합니다.

주요 결과

1. 통계적 효율성: 시뮬레이션 연구에 따르면, 실제 계수 행렬이 축소 랭크이거나 근사적으로 축소 랭크인 경우 RR-GBM은 풀 랭크 GBM보다 우수한 성능을 보입니다. 축소 랭크 접근법은 편향-분산 트레이드오프를 활용하여 더 낮은 제곱 평균 제곱 오차(RMSE)를 산출합니다. 즉, 작은 효과를 가진 요인을 무시하는 것이 제곱 편향을 증가시키는 것보다 추정 분산을 줄이는 데 더 효과적입니다.
2. 계산 확장성: 샘플 공변량의 수($L$)가 증가함에 따라 풀 랭크 GBM의 계산 시간은 급격히 증가합니다. 반면, RR-GBM의 계산 시간은 훨씬 유리하게 확장됩니다. $L$이 10에서 100으로 증가하더라도 시간 증가 폭이 완만합니다.
3. 시각화 및 해석: $B = Q\Lambda R^T$ 분해를 통해 고차원 관계를 시각화할 수 있습니다. $\Lambda R^T$의 히트맵은 유사한 효과를 가진 샘플 공변량의 클러스터를 드러내며, $Q$의 히트맵 또는 산점도는 특정 잠재 요인에 의해 영향을 받는 특징(유전자)의 클러스터를 보여줍니다.
4. Perturb-seq 적용: 이 방법은 10,881개의 세포와 15,876개의 유전자에 걸친 68개의 서로 다른 리간드 섭동(ligand perturbations)을 포함하는 췌장암 Perturb-seq 데이터셋에 적용되었습니다. 랭크 $N=4$를 사용했을 때, RR-GBM은 염증 신호 전달 및 면역 조절 경로에 해당하는 생물학적으로 의미 있는 잠재 요인을 성공적으로 식별했습니다. 이 결과는 중간 필터링이나 별도의 차원 축소 단계 없이도 통합된 통계 모델을 통해 이전 분석(Liu et al., 2025)과 일치하는 결과를 얻었습니다.

의의 및 주장
본 논문은 RR-GBM이 수많은 샘플 공변량을 가진 고차원 데이터를 분석하기 위한 계산적으로 실행 가능하고 통계적으로 효율적인 프레임워크를 제공한다고 주장합니다. 매개변수 공간을 $O(IL)$에서$O(NL)$로 줄임으로써, 이 방법은 표준 GBM으로는 다루기 힘든 복잡한 실험 설계(예: 대규모 Perturb-seq 스크리닝)를 모델링하는 것을 가능하게 합니다. 저자들은 이 방법이 추정 정확도를 개선할 뿐만 아니라, 저차원 요약을 통해 공변량 효과와 특징 구조의 해석을 용이하게 한다고 강조합니다. 또한, 데이터 스리닝 접근법은 전통적인 교차 검증이 실패하는 설정에서 랭크 선택을 위한 견고하고 데이터 기반적인 메커니즘을 제공합니다. 저자들은 현재 작업이 샘플 공변량에 집중되어 있지만, 이 방식은 대칭적이어서 특징 공변량에도 확장될 수 있으며, 향후 작업에서 불확실성 정량화 및 대안적인 최적화 알고리즘(예: 반복 가중 SVD)을 탐구할 수 있다고 언급했습니다.