기술 요약: 결측 데이터를 위한 순서 무관 자기회귀 모델링

문제 정의

실제 학습 시스템은 센서 고장, 획득 비용, 또는 프라이버시 제약으로 인해 특징이 누락되는 부분 관측 하에서 자주 작동합니다. 이러한 도메인의 효과적인 시스템은 다음 세 가지 핵심 과제를 해결해야 합니다: (i) 불완전한 데이터로부터 학습, (ii) 추론 시 결측값 보간, (iii) 관측 비용이 발생할 때 관측되지 않은 변수 중 어떤 것을 획득할지 결정 (활성 특징 획득).

심층 생성 모델은 이론적으로 전체 결합 분포를 모델링함으로써 통합된 접근 방식을 제공하지만, 기존 방법들은 상당한 한계에 직면해 있습니다. 변분 오토인코더 (VAE) 는 근사 추론에 의존하여 조건부 정확도를 제한합니다. 생성적 적대 신경망 (GAN) 은 종종 다루기 쉬운 가능도 (tractable likelihoods) 와 원칙적인 조건부 밀도가 부족합니다. 확산 모델은 고품질 샘플을 생성하지만, 반복적인 샘플링 체인을 필요로 하며 관측된 변수의 임의의 부분집합에 대해 정밀하게 조건을 부여하는 데 어려움을 겪습니다. 고전적인 자기회귀 모델 (ARM) 은 다루기 쉬운 가능도를 제공하지만 고정된 생성 순서에 의존하여 변수의 임의의 부분집합에 조건을 부여하는 것을 방해합니다.

방법론: MO-ARM

저자들은 결측 데이터의 관점에서 순서 무관 자기회귀 모델 (OA-ARM) 을 재해석하는 프레임워크인 **결측 인식 순서 무관 자기회귀 모델 (MO-ARM)**을 소개합니다.

1. 이론적 통찰: OA-ARM 과 MCAR

이 논문은 먼저 표준 OA-ARM 훈련과 완전 무작위 결측 (MCAR) 보간 사이의 이론적 연결을 확립합니다. OA-ARM 은 변수의 무작위 순열로 훈련되어, 생성 순서를 잠재 변수로 효과적으로 취급합니다. 저자들은 이전에 드러난 변수의 무작위로 선택된 부분집합을 기반으로 변수를 예측하는 표준 훈련 목적 함수가 암묵적으로 MCAR 손상 과정을 시뮬레이션함을 보여줍니다. 결과적으로, 완전 관측 데이터만으로 훈련된 OA-ARM 은 수정 없이 MCAR 메커니즘 하의 보간 작업에 자연스럽게 일반화됩니다.

2. MO-ARM 프레임워크

이 통찰을 바탕으로 저자들은 일반적인 결측 메커니즘 (MCAR 에서 무작위 결측 MNAR 까지) 하에서 불완전한 데이터셋에서 OA-ARM 을 직접 훈련하기 위한 원칙적인 프레임워크를 제안합니다.

• 확률론적 공식화: 모델은 관측된 데이터 ($x_{z_o}$), 결측 데이터 ($x_{z_m}$), 그리고 결측 마스크 ($z_o$) 의 결합 분포를 다음과 같이 인수분해합니다:
  $$p_{\theta, \phi}(x_{z_o}, x_{z_m}, z_o) = p_\theta(x_{z_o}) p_\theta(x_{z_m} | x_{z_o}) p_\phi(z_o | x_{z_o}, x_{z_m})$$
  여기서 $p_\theta$는 생성 모델 (OA-ARM) 을 나타내고, $p_\phi$는 학습된 결측 메커니즘입니다.
• 훈련 목적 함수: 모델은 변분 하한 (ELBO) 을 사용하여 관측된 데이터의 로그 가능도를 최대화합니다.
  • MCAR의 경우, 결측 항은 데이터와 독립적이므로 생략할 수 있습니다.
  • MNAR의 경우, 모델은 신경망으로 매개변수화된 요소별 베르누이 모델을 사용하여 결측 과정 $p_\phi$를 명시적으로 학습합니다. 이를 통해 모델은 결측과 관측되지 않은 값 사이의 의존성을 고려할 수 있습니다.
• 보간 전략:
  • MCAR: 보간은 몬테카를로 샘플링을 사용하여 결측 변수의 가능한 마스크 제거 궤적에 대해 주변화 (marginalizing) 함으로써 수행됩니다.
  • MNAR: 모델은 자기 정규화 중요도 가중치를 사용합니다. 완성된 샘플은 학습된 결측 모델 $p_\phi$ 하에서 관측된 마스크의 가능도에 기반하여 재가중치되며, 이는 관측된 결측 패턴과 일치하는 완성을 우선시하도록 보장합니다.

3. 활성 정보 획득

MO-ARM 은 감가상각된 조건부 밀도 추정을 활용하여 활성 특징 획득 (AFA) 을 수행합니다. 현재 관측치를 기반으로 대상 변수 $x_\Phi$와 후보 특징 $x_{z_i}$ 사이의 조건부 상호 정보 $I(x_\Phi; x_{z_i} | x_{z_{<i}})$를 추정함으로써, 모델은 하류 예측 성능을 극대화하기 위해 획득할 가장 정보량이 많은 결측 변수를 순차적으로 선택할 수 있습니다.

주요 기여

1. OA-ARM 의 재해석: 이 논문은 표준 OA-ARM 훈련이 암묵적으로 MCAR 보간을 수행함을 보여줌으로써, 결측 데이터 설정에서 그들의 강력한 외삽 성능을 설명합니다.
2. 불완전 데이터에 대한 원칙적인 훈련: 저자들은 정확한 가능도를 보존하고 효율적인 조건부 샘플링을 가능하게 하면서, 일반적인 결측 메커니즘 (MCAR 및 MNAR) 하에서 불완전한 데이터셋에서 OA-ARM 을 직접 훈련하는 최초의 프레임워크를 소개합니다.
3. 보간 및 획득을 위한 통합 프레임워크: 이 모델은 두 작업 모두에 동일한 감가상각된 조건부 분포를 활용하여 결측 데이터 보간과 활성 정보 획득을 통합합니다.
4. 실증적 검증: 제안된 MO-ARM 은 표본 데이터 (UCI 데이터셋) 와 이미지 인페인팅 (CelebA-HQ) 을 포함한 실제 세계 벤치마크에서 평가되었습니다.

실험 결과

저자들은 MO-ARM 을 MIWAE, MNAR 을 위한 not-MIWAE, VAEAC, DiffPuter, 그리고 MissForest 및 MICE 와 같은 고전적 방법들을 포함한 확립된 기준선 (baselines) 과 비교 평가했습니다.

• 표 보간: 연속형 및 범주형 등 다양한 특징 유형을 가진 일곱 개의 UCI 데이터셋에서 MO-ARM 은 MCAR 및 MNAR 결측 메커니즘 하에서 확립된 생성 기반선보다 일관되게 우수한 성능을 발휘했습니다. 특히 MNAR 하에서 MO-ARM 은 이 메커니즘을 위해 명시적으로 설계된 유일한 다른 기준선인 not-MIWAE 보다 우수한 성능을 보였습니다.
• 이미지 인페인팅: CelebA-HQ 데이터셋에서 MO-ARM 은 확산 기반 기준선인 RePaint 에 비해 정체성과 대략적인 구조를 보존하는 데 있어 우수한 성능을 입증했으며, 특히 결측 비율이 증가함에 따라 (최대 98%) 더 높은 PSNR 점수를 달성했습니다.
• 활성 획득: 순차적 특징 획득 작업에서 MO-ARM 은 더 많은 특징이 획득됨에 따라 예측 오차를 줄이는 데 있어 기준선과 일치하거나 이를 능가하여, 의사결정을 위한 조건부 분포의 유용성을 입증했습니다.

중요성과 주장

이 논문은 MO-ARM 이 불완전한 데이터 하에서 추론을 위한 강력하고 이전에 과소평가되었던 도구임을 주장합니다. 저자들은 순서 무관 자기회귀 모델이 결측 데이터 문제에 대한 잠재 변수 (VAE) 기반 및 확산 기반 접근 방식에 대한 실용적이고 원칙적인 대안을 제공한다고 논합니다. 강조된 주요 장점은 다음과 같습니다:

• 다루기 쉬운 가능도: GAN 이나 근사 VAE 와 달리 MO-ARM 은 정확한 가능도를 제공합니다.
• 임의의 조건부: 고전적인 ARM 과 달리 관측된 변수의 임의의 부분집합에 조건을 부여할 수 있습니다.
• 효율성: 확산 모델이 필요로 하는 긴 반복적 샘플링 체인 없이 관측이 드러남에 따라 반복적으로 쿼리할 수 있어 순차적 의사결정을 지원합니다.

저자들은 한계를 인정하며, 고차원 설정에서 정확한 생성은 여전히 비용이 많이 든다고 언급했습니다 (블록된 마스크 제거로 완화되지만). 또한 관측된 맥락이 극도로 희소해질수록 성능이 저하된다고 지적했습니다. 또한 프레임워크가 MNAR 으로 확장되지만, 이 영역은 MCAR 보다 더 도전적이며 추가 연구가 필요하다고 덧붙였습니다.