Clustered random forests with correlated data for optimal estimation and inference under potential covariate shift

기술 요약: 상관관계가 있는 데이터에 대한 클러스터형 랜덤 포레스트 (Clustered Random Forests)

문제 정의

실제 데이터셋은 반복 측정, 종단적 연구 또는 지리적 그룹화로 인해 발생하는 클러스터 구조를 빈번하게 나타낸다. 이러한 환경에서 클러스터 내 관측치들은 서로 상관되어 있는 경우가 많으며, 이는 표준적인 머신러닝 알고리즘의 기본 가정인 독립 동일 분포(i.i.d.) 가정을 위반한다. 매개변수적 혼합 효과 모델(parametric mixed-effects models)은 이러한 상관관계를 설명할 수 있지만, 평균 및 공분산 구조에 대한 특정 매개변수적 가정에 의존한다. 이러한 구조가 잘못 설정될 경우 상당한 편향과 일관성 없는 추정이 발생할 수 있다.

기존의 비매개변수적 접근 방식인 랜덤 포레스트(RF)는 일반적으로 클러스터 내 상관관계를 무시하거나, REEM 트리나 혼합 효과 랜덤 포레스트(MERF)와 같이 경직된 매개변수적 공분산 구조를 통해 이를 모델링하려고 시도한다. 이러한 기존 방법들은 계산적 복잡성(3차 복잡도) 문제를 겪거나, 표준 RF 대비 분산 감소를 보장하지 못하는 경우가 많다. 또한, 상관관계가 있는 데이터 환경에서 공변량 분포 변화(covariate distribution shift) 하에서의 최적 추정과 추론이 어떻게 작동하는지에 대한 이해에도 중요한 격차가 존재한다. 독립적인 데이터와 달리, 훈련 분포에 최적화된 표준 방법들은 테스트 분포가 변할 때 매우 성능이 저조해질 수 있으며, 이는 상관관계가 있는 데이터 환경에서 덜 연구된 현상이다.

방법론: 클러스터형 랜덤 포레스트 (CRF)

저자들은 클러스터링된 데이터를 위해 설계된 랜덤 포레스트 알고리즘의 비매개변수적 확장인 **클러스터형 랜덤 포레스트(Clustered Random Forests, CRF)**를 제안한다. 핵심 혁신은 구성되는 결정 트리의 리프 단위 예측 메커니즘을 수정하는 데 있다.

알고matic 프레임워크

1. 클러스터형 결정 트리 (Clustered Decision Trees, CDT): 표준 RF와 같이 리프 내 평균을 추정하기 위해 최소제곱법(OLS)을 사용하는 대신, CRF는 **가중 최소제곱법(Weighted Least Squares, WLS)**을 사용한다.
   • 리프 내 예측은 클러스터별 가중치 행렬 $W_i(\rho)$로부터 유도된 가중치가 적용된 관측치의 가중 평균이다.
   • 이 가중치는 클러스터 내 상관관계를 반영하도록 설계되었다. 저자들은 계산 효율적인 적합을 가능하게 하는 등상관(equicorrelated/exchangeable) 및 AR(1) 구조와 같은 매개변수적 가중치 클래스에 집중한다.
2. 가중치 추정:
   • 잔차에 대한 최대 우도법(MLE)을 통해 공분산 매개 Parameters를 추정하는 Likelihood 기반 방법(예: REEM, MERF)과 달리, CRF는 특정 타겟 공변량 분포 $Q$ 하에서 **평균 제곱 예측 오차(MSPE)**를 최소화하도록 가중치 매개변수 $\rho$를 추정한다.
   • 이를 통해 알고리즘은 **공변량 변화(covariate shift)**에 적응할 수 있다. 최적의 가중치 $\rho^*$는 타겟 분포 $Q$의 함수이다.
   • 추정은 "공분산 모델 프리(covariance model-free)" 철학을 활용하며, 특정 생성 모델을 가정하는 대신 타겟 분포 $Q$에 대한 통합 분산의 경험적 추정치를 최소화함으로써 $\rho$를 추정한다.
3. 정직성(Honesty) 및 서브샘플링:
   • 알고리즘은 데이터가 분할(split) 결정, 가중치 추정, 예측에 사용되는 단계가 엄격히 분리되도록 하는 정직성(honesty) 속성(Wager and Athey, 2018)을 강제한다.
   • 포레스트를 구축하고 분산을 추정하기 위해 "작은 가방들의 부트스트랩(bootstrap of little bags)" 서브샘플링 전략을 채택하여 유효한 신뢰 구간을 구축할 수 있게 한다.

계산 효율성

저자들은 CRF를 관측치 수에 대해 근사적으로 선형 시간 내에 적합시키는 알고리즘을 개발했다는 점에서 중요한 기술적 성취를 이루었다. 등상관 및 AR(1) 가중치 행렬의 구조를 활용함으로써, 저자들은 밀집 행렬(dense matrix)의 역행렬 계산에 수반되는 $O(M^3)$의 3차 복잡성을 피하고 공액 경사 하강법(conjugate gradient descent)을 사용하여 WLS 문제를 해결한다.

주요 이론적 기여

1. 점근적 속도 및 미니맥스 최적성 (Asymptotic Rates and Minimax Optimality)

저자들은 일반적인 $Q$-공변량 변화 MSPE에 대한 점근적 상한을 도출한다. 이들은 CRF 프레임워크 내에서 Lipschitz 평균 함수에 대한 점별 추정(pointwise estimation)을 달성하는 분할 규칙과 서브샘플링 체계가 존재함을 입증하며, 이는 상관관계가 있는 데이터임에도 불구하고 표준 랜덤 포레스트(i.i.d. 데이터용)와 일치하는 미니맥스 최적 속도를 달성한다.

2. 공변량 변화와 최적 가중치

상관관계가 있는 데이터에 대한 핵심적인 이론적 발견은, MSPE를 최소화하는 최적 가중치 매개변수 $\rho$가 불변(invariant)하지 않다는 것이다.

• **정리 2(Theorem 2)**는 타겟 분포 $Q$를 위한 최적 가중치가 훈련 분포에 최적인 가중치와 임의로 다를 수 있음을 확립한다.
• 결과적으로, 훈련 데이터만을 통해 가중치를 추정하는 방법(예: 교차 검증 또는 훈련 잔차에 대한 우도 극대화)은 공변량 변화 하에서 임의로 최적성이 떨어질 수 있으며, 심지어 표준 가중치 미적용 랜덤 포레스트보다 성능이 낮을 수 있다.
• 이는 독립적인 데이터 환경에서 재가중치 부여 방식(예: 중요도 가중치 부여)이 잘 이해되어 있는 것과 대조적이며, 상관관계가 있는 설정에서는 최적의 가중치 전략이 타겟 분포 $Q$와 본질적으로 연결되어 있음을 보여준다.

3. 추론 및 점근적 정규성 (Inference and Asymptotic Normality)

논문은 분산 지배적(variance-dominating) CRF가 점별 및 특정 분포 클래스에 대해 균일하게 **점근적으로 가우시안(Gaussian)**임을 증명한다. 이 결과는 분산 지배를 보장하는 특정 서브샘플링 비율 하에서 성립한다. 이 이론적 보증은 조건부 평균 함수에 대한 점근적으로 유효한 신뢰 구간을 구축할 수 있게 하며, 상관관계를 고려함으로써 얻은 분산 감소 덕분에 표준 RF보다 더 빠른 속도로 수렴하는 구간 폭을 제공한다.

실증 결과

저자들은 시뮬레이션과 실제 응용 사례를 통해 이론적 발견을 검증하였다:

1. 공변량 변화 시뮬레이션: 등상관 데이터 환경에서, 변화된 테스트 분포($Q = \text{Unif}[1, 2]$)에 최적화된 CRF는 표준 RF, 훈련 오차 최적화 포레스트(TRAIN), 그리고 우도 기반 포레스트(REEM)보다 유의미하게 우수한 성능을 보였다. 특히, TRAIN 및 REEM 포레스트는 공변량 변화 하에서 표준 RF보다 더 낮은 성능을 보였는데, 이는 가중치 추정 시 분포 변화를 무시할 때 발생하는 이론적 위험을 확인시켜 준다.
2. 추론 시뮬레이션: AR(2) 상관 오차 환경에서, CRF는 표준 RF에 비해 명목 커버리지(95%)를 유지하면서도 더 좁은 신뢰 구간(감소된 폭)을 달성했다. 이는 점 추정치의 평균 제곱 오차를 낮추는 결과로 이어졌다.
3. 실제 응용 (HIV CD4 수치): HIV 혈청 전환자의 CD4 세포 수치를 분석한 결과, CRF는 표준 RF에 비해 추정 분산을 20~40% 감소시키며 개인화된 예측을 제공하였고, 이는 반복 측정이 포함된 의료 예측 작업에서의 실용적 유용성을 입증한다.

의의 및 주장

본 논문은 다음과 같은 특징을 가진, 클러스터링된 데이터에 대한 실용적이고 이론적으로 근거가 확실한 랜덤 포레스트의 확장을 제공한다고 주장한다:

• 상관관계 활용: 매개변수적 평균 모델에 의존하지 않고 내부 클러스터 의존성을 명시적으로 모델링함으로써 예측 정확도와 추론 정밀도를 향상시킨다.
• 공변량 변화 해결: 기존의 상관 데이터 방법론이 가진 결정적 결함, 즉 가중치를 타겟 공변량 분포에 적응시키지 못하는 문제를 식별하고 해결한다. 저자들은 상관관계가 있는 데이터의 공변량 변화 하에서 최적의 비매개적 추정은 가중치를 결정하기 위해 사용자 지정 타겟 분포를 필요로 한다고 주장한다.
• 확장성 보장: 기존의 혼합 효과 포레스트 방법들이 가진 계산적 장벽을 극克服하여, 표준 랜덤 포레스트와 유사한 선형 시간 복잡도를 갖는 솔루션을 제공한다.
• 유효한 추론 가능: 좁고 유효한 신뢰 구간 구축을 지원하는, 분산 지배적 클러스터형 포레스트에 대한 최초의 점근적 이론을 제공한다.

저자들은 이 연구를 비매개적 머신러닝의 유연성과 의존 구조에 대한 엄격한 처리를 잇는 가교로 위치시키며, 상관관계가 있는 데이터 맥락에서 공변량 변화 문제에 대한 새로운 관점을 제시한다.