High-Dimensional Assisted Learning for Vertically Distributed Data with Blockwise Missingness

문제 정의

본 논문은 데이터가 **수직적으로 분산(vertically distributed)**되어 있고 **블록 단위 결측(blockwise missingness)**이 존재하는 환경에서 고차원 선형 추정 및 좌표별 추론(coordinatewise inference)의 문제를 다룹니다.

• 수직적 분산: 서로 다른 당사자(사용자)들이 부분적으로 중첩되는 개인들에 대해 서로 다른 특징 블록(feature blocks)을 보유하고 있습니다. 어떤 단일 당사자도 특정 개인에 대한 전체 특징 벡터를 소유하지 않습니다.
• 블록 단위 결측: 수직적 분할 외에도, 특정 레코드에 대해 반응(response) 및 특정 특징 블록이 누락되어 있습니다. 결과적으로, 모든 당사자가 관찰하는 개인 집합(완전 사례, complete cases)은 작거나 비어 있을 수 있는 반면, 쌍별(pairwise) 또는 부분적인 중첩은 상당할 수 있습니다.
• 제약 조건: 해결책은 **분산형(decentralized)**이어야 하며(중앙 서버로 원시 데이터를 모으지 않음), 통신 효율적이어야 하고(비용이 고차원 $p$에 따라 증가하지 않음), 완전한 사례가 존재하지 않더라도 추론(유효한 신뢰 구간 제공)이 가능해야 합니다.

기존의 수직 연합 학습(VFL) 방식은 일반적으로 정렬된 샘플을 가정하거나 중앙 조정자에 의존합니다. 블록 결측 데이터를 위한 방법들은 대개 중앙 집중식 계산을 가정합니다. 고차원 편향 제거 추론(debiased inference) 방법들은 일반적으로 모든 사이트가 동일한 공변량을 관찰하는 행 분할(row-partitioned) 데이터를 가정합니다. 본 논문은 불균등한 블록 결측 중첩이 존재하는 상황에서의 분산형 고차원 추론에 대한 공백을 메웁니다.

방법론: 블록 결측 데이터를 활용한 보조 학습(ALB)

저자들은 원시 데이터를 통합하지 않고도 중앙의 "가용 사례(available-case)" 추정치를 목표로 하는 분산 알고리즘인 ALB를 제안합니다.

1. 대상 추정량:
이 방법은 정규화된 손실 함수 $Q_n(\beta)$를 최소화하는 중앙 가용 사례 추정치 $\check{\beta}$를 목표로 합니다. 이 손실 함수는 모든 가용 중첩 샘플로부터 추정된 모집단 모멘트(예: $I_k$ 내의 사용자 내 공분산, $I_{kl}$ 간의 사용자 간 공분산, $I^y_k$의 반응-공변량 모멘트)를 사용합니다. 조립된 공분산 행렬이 양의 정치성(positive definite)을 갖도록 하기 위해, 이 방법은 DISCOM 프레임워크를 따라 사용자 내 블록과 사용자 간 블록의 볼록 결합(convex combination)을 채택합니다.

2. 분산 최적화 (순환 블록 업데이트):
ALB는 $p \times p$ 공분산 행렬을 전송하는 대신 **샘플 수준의 선형 요약(linear summaries)**을 사용합니다.

• 메커니즘: 순환 스윕(cyclic sweep) 과정에서, 사용자들은 전체 행렬 대신 크기가 $n_{kl}$(중첩된 ID의 수)인 선형 예측 벡터($X_{l,k}\beta_l$)를 교환합니다.
• 통신 비용: 고정된 사용자 수 $K$에 대해, 각 업데이트 주기는 차원 $p$와 무관하게 $O(n)$ 개의 스칼라를 통신합니다.
• 수렴: 반복 계산(iterates)은 중앙 추정치 $\check{\beta}$로 기하급수적으로 수렴합니다. 충분한 횟수의 스윕 이후에는 최적화 오차가 무시할 수 있는 수준임을 입증했습니다.

3. 분산 편향 제거 및 추론:
특정 계수 $\beta^*_j$에 대한 추론을 수행하기 위해, $\ell_1$ 페널티 추정치는 편향이 제거되어야 합니다.

• 정밀도 열 추정: ALB는 동일한 순환 블록 업데이트 메커니즘을 사용하여 정밀도 열(precision column) $\theta^*_j = \Sigma^{-1}e_j$의 추정을 분산화합니다.
• 편향 제거 추정량: 추정량은 $\hat{b}_j = \hat{\beta}_j - \hat{\theta}_j^\top S_n(\hat{\beta})$로 구성됩니다 (여기서 $S_n$은 가용 사례 스코어입니다).
• 분산 추정: 핵심 혁신은 중심화(centering) 전 서로 다른 사용자 간의 동일한 ID로부터의 기여를 집계하는 샘플 수준 분산 추정량입니다. 이는 중첩된 샘플으로 인해 발생하는 의존성을 고려하여, 완전한 사례가 없는 경우에도 유효한 표준 오차를 보장합니다.

4. 일회성 섭동을 통한 프라이버시 보호:
선형 요약을 통해 개인 값을 공개할 위험을 완화하기 위해, 본 논문은 ALB-P를 제안합니다.

• 메커니즘: 각 사용자는 시작 시점에 자신의 반응과 공변량 행에 노이즈를 단 한 번 추가합니다. 이 섭동된 값은 이후의 모든 메시지에서 재사용됩니다.
• 특성: 사용자 내 공분산은 섭동되지 않은 상태로 유지됩니다(로컬에서 계산됨). 이론적 결과에 따르면, 유계된 노이즈 척도 하에서 섭동된 모멘트는 편향되지 않은 상태를 유지하며 섭동되지 않은 버전과 동일한 수렴 속도를 유지합니다.

주요 기여

1. 분산 최적화: 차원 $p$와 관계없이 스윕당 $O(n)$의 통신을 사용하여 중앙 가용 사례 목적 함수를 해결하는 순환 블록 최적화 알고리즘을 제공합니다. 이는 중앙 솔루션으로의 기하급수적 수렴을 확립합니다.
2. 불균등 중첩 하의 분산 추론: 정밀도 열과 분산을 분산된 방식으로 추정하는 좌표별 추론 프레임워크를 제공합니다. 이는 쌍별 중첩이 $n$에 비례하여 증가한다면, 완전한 사례 집합이 비어 있는 경우에도 $\sqrt{n}$-속도의 점근적 정규성을 달성합니다.
3. 프라이버시 보존 릴리스: 일회성 섭동 메커니즘은 데이터의 직접적인 공개를 줄이면서도 추정치의 통계적 특성(불편성 및 수렴 속도)을 보존합니다.

결과

이론적 보장:

• 추정: 추정 오차는 통계적 오차(중첩의 유효 샘플 크기에 의존)와 최적화 오차(기하급수적으로 감소)의 합으로 제한됩니다.
• 추론: 편향 제거 추정량은 점근적으로 표준 정규 분포를 따릅니다. 분산 추정량은 중첩된 샘플의 복잡한 의존 구조를 고려하여 일관성을 갖습니다.
• 섭동: 섭동된 추정량은 노이즈 척도가 유계된 경우 섭동되지 않은 것과 동일한 수렴 속도를 유지합니다.

시뮬레이션:

• 설정: 실험에는 $p=900$, 3명의 사용자, 그리고 다양한 블록 결측 패턴(완전 사례 대 쌍별 전용 중첩의 비율 변화)이 사용되었습니다.
• 성능: ALB는 중앙 벤치마크(DISCOM)와 거의 동일한 예측 및 추정 오차를 달행했으며, 특히 쌍별 중첩이 증가함에 따라 CC-Lasso를 크게 능가했습니다.
• 추론: ALB가 구축한 95% 신뢰 구간은 활성 계수에 대해 명목 수준(약 95%)에 가까운 피복 확률(coverage probability)을 달성하였으며, 이는 작은 샘플 크기로 인해 낮은 피복률을 보인 CC-Lasso보다 우수한 성능을 나타냅니다. 섭동된 ALB(ALB-P)는 약간 더 넓은 구간을 보였으나 유효한 피복력을 유지했습니다.

실제 적용 (ADNI):

• 데이터: 블록 단위 결측이 포함된 뇌척수액(CSF) 바이오마커, MRI, PET 및 임상 점수(MMSE)를 포함하는 다중 모달 알츠하이머병 신경 영상 이니셔티브(ADNI) 데이터.
• 결과: ALB는 CC-Lasso에 비해 테스트 MSE를 약 35% 감소시켰습니다. 또한 기존 문헌과 일치하는 생물학적으로 유의미한 특징들(예: 피질 두께 및 뇌실 부피)을 식별했습니다. ALB-P는 향상된 프라이버시를 제공하면서도 유사한 예측 정확도를 유지했습니다.

의의 및 주장

본 논문은 데이터가 수직적으로 분할되고 부분적으로 결측된 환경에서 고차원 추정 및 추론을 위한 통신 효율적이고 분산된 솔루션을 제공한다고 주장합니다.

• 참신성: 이 방법은 중앙 서버 없이 이러한 특정 설정에서 좌표별 추론을 지원하는 최초의 방법입니다.
• 유용성: 불완전한 기록을 버리는 대신 모든 가용 쌍별 중첩을 활용함으로써, ALB는 완전 사례 분석에 비해 통계적 검정력을 크게 향적으로 높입니다.
• 프라이버시: 일회성 섭동 메커니즘은 확립된 통계적 수렴 속도를 희생하지 않으면서 직접적인 데이터 공개 위험을 줄이는 실용적인 절충안을 제공합니다.

저자들은 이 방법이 현재 선형 모델과 MCAR(무작위 결측) 결측에 국한되어 있지만, 일반화 선형 모델(GLM), 생존 분석 및 더 복잡한 결측 메커니즘으로 확장할 수 있는 토대를 마련했다고 결론짓습니다.