기술 요약: 결측 데이터 플로우 매칭 (Missing-Data Flow Matching, MDFM)

문제 정의

플로우 매칭(Flow matching)은 안정적인 회귀 목적 함수를 통해 기저 분포(base distribution)를 데이터 분포로 운송하는 시간 의존적 벡터 필드를 학습하는 강력한 생성 모델링 기법이다. 그러나 표준 플로우 매칭은 훈련 엔드포인트(endpoints)가 완전히 관측되었다고 가정한다. 실제 응용 분야(예: 의료 기록, 센서 데이터, 설문 조사)에서는 데이터가 불완전한 경우가 빈번하다.

기존의 솔루션들은 대개 점 추정(point imputation)(결측값을 조건부 평균과 같은 단일 추정치로 채우는 방식)을 채택한다. 점 추정은 평균에 기반한 예측 작업에는 효과적일 수 있으나, 생성 학습에는 해롭다. 플로우 매칭은 훈련 엔드포인트의 분포를 재현하도록 학습되기 때문에, 가능한 범위의 다양한 결측값들을 하나의 점으로 대체하면 조건부 분포가 붕괴된다. 이는 생성된 분포의 조건부 분산을 0으로 만들어, 데이터의 실제 확산(spread)과 의존성을 포착하지 못하게 만든다.

방법론: 결측 데이터 플로우 매칭 (MDFM)

저자들은 결측된 좌표를 단일 값으로 고정하려 시도하는 대신, 이를 잠재 변수(latent variables)로 취급하는 결측 데이터 플로우 매칭(MDFM) 프레임워크를 제안한다.

핵심 메커니즘

결측된 부분을 하나의 추정된 값으로 결정하는 대신, MDFM은 샘플의 결측 부분인 $X_{-\Lambda}$를 관측된 부분 $X_\Lambda$에 대한 조건부 분포로부터 추출된 확률 변수로 취급한다.

1. 잠재 변수 처리: 불완전한 관측치 $O = (\Lambda, X_\Lambda)$에 대해, 결측 좌표 $X_{-\Lambda}$는 완성 분포(completion distribution)로부터 샘플링된다.
2. 평균화된 손실(Averaged Loss): 플로우 매칭 손실은 이러한 샘플링된 완성본들에 대해 평균을 낸다. 목적 함수는 관측 패턴, 관측된 데이터, 그리고 결측 부분의 완성본들에 대한 기댓값이 된다.
3. 오라클(Oracle) vs. 학습된 모델:
   • 오라클 목적 함수: 진정한 조건부 분포 $p^*(x_{-\Lambda} | x_\Lambda)$에 접근할 수 있다고 가정한다.
   • 학습된 목적 함수: 독립적인 보조 데이터셋에서 자기 지도 학습형 마스킹(self-supervised masking)을 통해 학습된 완성 모델 $q_\phi(x_{-\Lambda} | x_\Lambda, \Lambda)$를 사용한다.

이론적 토대

본 논문은 무작위 결측(Missing Completely At Random, MCAR) 조건 하에서, 만약 완성본들이 진정한 조건부 분포로부터 추출된다면, MDFM 목적 함수가 완전한 데이터의 플로우 매칭 목적 함수와 **정확히 일치(exactly equivalent)**함을 입증한다.

• 정확성(Exactness): 복잡한 적분을 근사해야 하는 스코어 매칭(score matching)과 달리, MDFM의 보정은 정확한 등가성을 가진다. 엔드포인트가 완성되면 회귀 타겟($X_1 - X_0$)이 명시적으로 드러난다.
• 난이도의 전이: 결측 데이터의 어려움이 사라지는 것이 아니라, 조건부 완성 분포를 추정하는 문제로 완전히 전이된다. 만약 완성 모델이 완벽하다면, 플로우 매칭 모델은 실제 데이터 분포를 정확하게 학습한다.

주요 기여

1. 정확한 보정 및 등가성

저자들은 MCAR 조건 하에서, 진정한 완성본을 사용하여 불완전한 데이터로 훈련하는 것이 완전한 데이터로 훈련하는 것과 동일한 모집단 목적 함수 및 그래디언트를 생성함을 증명한다. 이는 파라미터 공간의 임의의 미분 가능한 지점에서 성립한다. 이 결과는 무작위 결측(Missing At Random, MAR)으로 확장되지만, 추가적인 구조적 가정이 없는 한 비무작위 결측(Missing Not At Random, MNAR)에는 적용되지 않는다.

2. 유한 표본 분산 분석

본 논문은 추정량의 엄밀한 유한 표본 분산 분해를 제공하며, 이를 통해 직관에 반하는 설계 통찰을 제시한다:

• 분산의 전이, 아닌 추가: 결측은 본질적으로 전체 추정량의 분산을 증가시키는 것이 아니라, 관측 레벨에서 완성 레벨로 분산을 전이시킨다. 완성본들에 대해 평균을 내는 과정은 전이된 이 분산을 제거한다.
• 단일 완성본의 최적성: 고정된 평가 예산(총 손실 계산 횟수) 하에서, 예제당 하나의 완성본을 사용하는 것이 최적이다. 하나의 예제에 대해 더 많은 완성본을 추출하는 것은 더 많은 불완전한 예제를 수집하는 것보다 효율성이 떨어진다.
• 편향 경계(Bias Bound): 학습된 완성 모델의 경우, 모집단 목적 함수의 편향은 학습된 모델과 진정한 완성 법칙 사이의 기대 조건부 Wasserstein-1 거리로 제한된다. 이 편향은 플로우 매칭 훈련의 샘플 크기를 늘린다고 해서 줄어들지 않으며, 더 나은 완성 모델을 확보해야만 해결된다.

3. 실험적 검증

합성 데이터 및 실제 테이블 데이터(UCI 데이터셋)에 대한 실험을 통해 이론적 예측을 검증한다:

• 확률적 vs. 결정론적: 결정론적 임퓨테이션(예: 조건부 평균)은 생성된 분포를 붕괴시켜 분포 오차를 3배 증가시킨다. 반면, 확률적 완성(resampling)은 조건부 가변성을 보존하고 완전한 데이터의 성능과 일치한다.
• 분포 측정 지표: 실제 데이터에서 MDFM은 강력한 임퓨테이션 파이프라인들과 경쟁할 만한 성능을 보인다. 구체적으로, MICE는 슬라이스 와서스테인 거리(sliced Wasserstein distance), 에너지 거리(energy distance), MMD에서 가장 좋은 평균 순위를 기록했으며, MDFM은 불완전한 데이터로 훈련된 방법들 중 공분산 보존(covariance preservation) 측면에서 가장 우수한 평균 순위를 달성했다.
• 임퓨테이션 품질: MDFM은 임퓨테이션 오차(RMSE) 측면에서도 경쟁력이 있지만, 주요 강점은 결합 분포의 2차 모멘트 구조를 포착하는 데 있다.

의의 및 주장

본 논문은 MDFM을 결측 데이터 처리와 생성 모델링 사이의 간극을 메우는 이론적으로 근거 있는 솔루션으로 자리매김한다.

• 정확성: 주요 의의는 보정이 근사가 아닌 정확한 등가라는 점을 증명한 것이며, 이를 통해 결측 데이터의 부담을 오로지 완성 모델의 품질로 전이시켰다는 데 있다.
• 설계 가이드라인: 유한 표본 분석은 구체적이고 비직관적인 가이드를 제공한다. 즉, 고정된 계산 예산 하에서는 하나의 예제에 대해 여러 번의 임퓨테이션을 생성하기보다 더 많은 데이터 예제를 수집하는 것을 우선시해야 한다.
• 생성적 무결성: 본 연구는 생성 모델의 무결성(특히 조건부 분산을 재현하는 능력)을 유지하기 위해서는 결정론적인 점 임퓨테이션을 피하고 대신 확률적 완성을 활용해야 함을 보여준다.

저자들은 완성 모델이 효과적으로 학습될 수 있다는 가정(식별 가능한 패턴 필요)에 의존한다는 점과, 현재의 이론적 보장이 직접적인 생성 벡터 필드의 품질보다는 손실 추정에 초점을 맞추고 있다는 점을 언급하며 한계를 인정하였다. MNAR 시나리오로의 확장은 추가적인 구조적 가정을 필요로 하는 미결 과제로 남아 있다.