Deep learning with missing data

기술 요약: 결측 공변량이 존재하는 비모수 회귀를 위한 패턴 임베디드 신경망 (Pattern Embedded Neural Networks)

문제 설정
본 논문은 공변량에 결측치가 포함된 다변량 비모수 회귀(multivariate nonparametric regression)에서의 지도 학습 딥러닝 문제를 다룹니다. 결측 메커니즘이 MCAR(Missing Completely At Random)을 가정하거나 특정 모수적 결측 모델에 의존하는 기존 연구들과 달리, 본 연구는 결측 메커니즘이 임의적이며 공변량에 의존할 수 있는 MNAR(Missing Not At Random) 상황을 고려합니다. 목표는 베이즈 회귀 함수 $f^\star(z, \omega) = \mathbb{E}(Y | Z=z, \Omega=\omega)$를 추정하는 것이며, 여기서 $Z$는 임퓨테이션(imputation)된 공변량을, $\Omega$는 관측된 항목을 나타내는 노출 벡터(revelation vector)를 의미합니다.

이 연구에서 식별된 핵심적인 어려움은, 노출 벡터가 결측 구조에 관한 중요한 예측 정보를 포함하고 있음에도 불구하고, 이를 임퓨테이션된 공변량과 단순히 결합하여 신경망의 입력으로 사용하는 방식이 종종 낮은 성능을 초l다는 점입니다. 이는 차원 $d$에 따라 가능한 관측 패턴이 지수적으로 증가($2^d$)하여 과적합을 유발하고, 하이퍼큐브 $\{0,1\}^d$의 유클리드 기하학적 구조와 실제 문제의 예측 구조 사이의 불일치 때문입니다.

방법론: 패턴 임베디드 신경망 (Pattern Embedded Neural Networks, PENNs)
저자들은 특정 임퓨테이션 기법에 의존하지 않고 관측 패턴을 딥러닝 프레임워크에 통합하도록 설계된 새로운 아키텍처인 패턴 임베디드 신경망(PENN)을 제안합니다. PENN 추정기는 다음과 같은 형태를 가집니다:
$$\hat{f}(z, \omega) = f_3(f_1(z), f_2(\omega))$$
여기서:

1. $f_1$: 임퓨테이션된 공변량 $z$를 위한 특징 맵(feature map) 역할을 하는 신경망입니다.
2. $f_2$: 노출 벡터 $\omega$를 위한 임베딩 함수 역할을 하는 신경망입니다. 이는 고차원의 이산적 관측 패턴을 저차원의 연속 공간으로 매핑하며, 이 공간에서의 기하학적 근접성은 예측 행동의 유사성을 반영합니다.
3. $f_3$: 학습된 공변량 특징과 패턴 임베딩을 결합하여 예측을 생성하는 최종 신경망입니다.

이 접근 방식은 모델이 유사한 관측 패턴 간에 "힘을 빌려올(borrow strength)" 수 있게 하며, 노출 벡터에 담긴 정보를 효과적으로 압축합니다. 이 방법은 훈련 전 적용되는 모든 기존 임퓨테이션 기법(예: mean imputation, MissForest, MICE)과 호환됩니다.

이론적 기여
본 논문은 데이터 생성 과정과 결측 메커니즘 사이의 독립성을 가정하지 않고도, PENN 추정기에 대한 유한 샘플 초과 위험(finite-sample excess risk) 경계(bounds)를 확립함으로써 엄격한 이론적 분석을 제공합니다.

• 오라클 부등식 (Oracle Inequality): 초과 위험을 최적화, 근사, 추정 오차 항으로 분해하는 일반적인 오라클 부등식을 도출했습니다. 이는 임의의 신경망 추정기와 서브 가우시안(sub-Gaussian) 응답에 대해 성립합니다.
• 미니맥스 최적성 (Minimax Optimality): "조각별 매끄러움(piecewise smoothness)" 가정(Assumption 1) 하에, 베이즈 회귀 함수는 함수가 유사하게 행동하는 셀(cell)들로 분할됩니다. 각 셀 내에서 함수는 합성 횔더 클래스(compositional Hölder class)에 속합니다.
  • 정리 2는 초과 위험의 상한(upper bound)을 설정합니다. 이 경계는 각 셀의 유효 샘플 크기에 따라 스케일링된 각 셀의 미니맥스 비율들의 가중 평균입니다. 결정적으로, 이 비율은 파티션(partition)이 사전에 알려진 경우와 거의 동일한 수준(샘플 크기에 대한 다항 로그 계수 차이 내에서)으로 달성됩니다.
  • 정리 3은 이에 부합하는 미니맥스 하한(lower bound)을 제공하여, PENN 추정기가 이 문제 설정에 대해 최적의 수렴 속도를 달성함을 확인합니다.
• 독창성: 이론은 관측 패턴의 파티션에 대한 F-분리성(F-separability) 개념을 도입하여, 신경망이 유사한 회귀 함수를 공유하는 패턴들의 그룹화를 학습할 수 있도록 합니다. 이는 $2^d$개의 가능한 결측 패턴과 관련된 "차원의 저주" 문제를 해결합니다.

실험 결과
시뮬레이션, 준합성(semi-synthetic), 그리고 실제 데이터셋을 대상으로 광범위한 수치 실험이 수행되었습니다.

• 시뮬레이션 데이터: MCAR 및 MNAR 시나리오를 다루는 4가지 모델(다양한 상관관계 포함) 전반에 걸쳐, PENN은 표준 신경망(패턴 임베딩 없이 임퓨테이션된 데이터로 훈련된 모델), XGBoost, 그리고 Random Forest보다 일관되로 우수한 성능을 보였습니다. 특히 표준 방법들이 어려움을 겪는 MNAR 설정에서 개선 효과가 두드러졌습니다.
• 준합성 데이터: CT 상대적 위치 데이터셋(회귀) 및 MNIST(분류) 실험에서, PENN은 특히 MNAR 메커니즘 하에서 베이스라인 모델들에 비해 예측 오차(설명되지 않는 분산 비율 및 오분류율로 측정)를 유의미하게 감소시켰습니다.
• 실제 데이터: 결측이 내재된 신용 점수 예측 데이터셋에서, PENN은 표준 신경망 및 트리 기반 방법들보다 일관되고 주목할 만한 개선을 보여주었습니다.
• 시각화: 학습된 관측 패턴의 임베딩은 네트워크가 유사한 예측 행동을 공유하는 패턴들을 성공적으로 클러스터링했음을 드러냈으며, 이는 패턴 임베딩이 관련 구조적 정보를 포착한다는 이론적 전제를 검증합니다.

의의 및 주장
저자들은 본 연구가 일반적인 결측 메커니즘 하에서 다변량 비모수 회귀에 대한 **미니맥스 최적성 보장(minimax optimality guarantees)**을 제공하는 첫 번째 연구라고 주장합니다. 본 연구의 의의는 다음과 같습니다:

1. 방법론적 혁신: 딥러닝에서 결측을 처리하기 위한 메커니즘으로서 패턴 임베딩을 도입하여, 임퓨테이션 기반 접근 방식과 결측 지표의 직접적 모델링 사이의 간극을 메웠습니다.
2. 이론적 엄밀성: 회귀 함수가 조각별 합성 매끄러움(piecewise compositional smoothness)을 보이는 경우, PENN이 최적의 수렴 속도를 달성할 수 있음을 증명했습니다.
3. 실용적 유용성: 본 방법은 표준 임퓨테이션 도구와 호환되며, 합성 및 실제 시나리오 모두에서 기존의 최첨단(SOTA) 방법들보다 실질적인 성능 향상을 입증함으로써 견고함을 보여주었습니다.

결론적으로, PENN은 결측 공변량이 존재하는 딥러닝을 위한 원칙적이고 효과적인 솔루션을 제공하며, 결측 지표를 단순히 추가적인 원시 특징(raw features)으로 취급할 때 발생하는 한계를 극복합니다.