기술 요약: OverNaN - 의미 있는 결측치를 가진 불균형 학습을 위한 NaN 인지 오버샘플링

1. 문제 제기

응용 기계학습, 특히 물리과학, 공학, 생의학 분야에서 결측치는 종종 확률적 노이즈가 아닌 구조적 제약 (예: 파괴적 측정, 윤리적 제한, 조건부 결과) 으로 인해 발생합니다. 따라서 데이터의 부재는 도메인 관련 정보를 담고 있을 수 있습니다. 그러나 표준 기계학습 파이프라인은 일반적으로 결측치를 분석 전에 리스트와이즈 삭제 (listwise deletion) 나 대체 (imputation) 를 통해 제거해야 할 결함으로 취급합니다.

이 접근법은 소수 클래스가 이미 과소 대표된 불균형 학습 시나리오에서 특히 해롭습니다. 삭제는 소수 샘플을 불균형적으로 제거하여 불균형을 악화시키는 반면, 대체는 불확실성을 점 추정치로 축소시켜 인위적인 확신과 모델 의존적 편향을 도입합니다. furthermore, 널리 채택된 합성 오버샘플링 기법인 SMOTE 와 ADASYN 은 완전한 특징 벡터를 암묵적으로 가정하여, 합성 샘플을 생성하기 전에 결측 데이터를 대체하도록 실무자를 강요합니다. 이 과정은 오버샘플링 발생 전에 구조적 결측 패턴을 지워버려 클래스 경계와 특징 공간 기하학을 왜곡할 수 있습니다.

2. 방법론: OverNaN

OverNaN은 결측치 구조를 지우지 않고 클래스 불균형을 해결하도록 설계된 경량 NaN 인지 오버샘플링 프레임워크입니다. 이는 일반적인 합성 오버샘플링 방법 (SMOTE, ADASYN, ROSE) 을 불완전한 특징 벡터에서 직접 작동하도록 확장하여, 특징 공간을 $\mathbb{R}^d$가 아닌 $(\mathbb{R} \cup \{\text{NaN}\})^d$로 취급합니다.

핵심 설계 원칙

1. 구조적 무결성: 결측치는 결함이 아닌 구조적 요소로 취급됩니다. 원본 데이터가 그러한 패턴을 지지한다면 합성 샘플에 NaN 이 합법적으로 포함될 수 있습니다.
2. 인위적 확신 부재: 관찰되지 않은 곳에서 추론된 값을 도입하지 않아 정당하지 않은 가정을 인코딩하는 것을 방지합니다.
3. 명시적 제어: 결측치 처리 전략은 전처리의 암묵적 부작용이 아닌 명시적이고 사용자 정의된 것입니다.

알고리즘 구현

OverNaN 은 기존 방법의 이웃 정의 및 샘플 생성 과정을 수정합니다:

• 거리 계산: 샘플 $x_i$와 $x_j$ 간의 거리는 공유된 관측 차원의 집합 $\Omega_{ij} = \{k : x_{ik} \neq \text{NaN} \land x_{jk} \neq \text{NaN}\}$에 대해서만 계산됩니다.
• 차원별 생성: 합성 샘플 $\tilde{x}$는 차원별로 생성됩니다. $\Omega_{ij}$에 속하는 차원의 경우 표준 보간이 수행됩니다 ($\tilde{x}_k = x_{ik} + \lambda(x_{jk} - x_{ik})$). $\Omega_{ij}$ 외부의 차원의 경우 값은 다음 세 가지 명시적 전략 중 하나로 결정됩니다:
  1. 패턴 유지 (Preserve-Pattern): 부모 중 하나에서 특징이 결측된 경우, 합성 샘플은 NaN 을 유지합니다.
  2. 선택적 보간 (Selective Interpolation): 두 부모 모두 관측값을 가진 경우에만 보간이 수행되며, 그렇지 않으면 특징은 NaN 으로 유지됩니다.
  3. 확률적 결측 (Probabilistic Missingness): 결측은 경험적 클래스별 결측률에 따라 샘플링됩니다.

계산적 특성

• 호환성: OverNaN 은 NumPy 배열과 pandas DataFrame 에서 작동하며 컨테이너 유형과 메타데이터를 보존합니다.
• 복잡도: 이웃 탐색은 기존 라이브러리에 위임됩니다. 거리 계산이 관측 부분 공간으로 제한되지만, 점근적 복잡도는 기본 방법과 유사하게 유지됩니다 (최악의 경우 쿼리당 $O(Nd)$).
• 병렬화: 샘플 생성은 본질적으로 병렬화 가능하지만, OverNaN 은 NaN 전파와의 경쟁 조건을 피하기 위해 배치 수준에서 병렬화를 보수적으로 적용합니다.
• 수치적 안정성: IEEE 754 표준 NaN 동작에 의존하여 NaN 을 마스킹하는 대신 의도적으로 전파하며, 하위 학습기 (예: 트리 기반 앙상블) 가 NaN 을 허용한다고 가정합니다.

3. 주요 기여

• 프레임워크 개발: SMOTE, ADASYN, ROSE 에 NaN 인식을 통합하되 핵심 기하학적 가정은 변경하지 않고 정의역만 변경하는 OverNaN 도입.
• 전략 정의: 오버샘플링 중 결측치 처리를 위한 세 가지 명확한 전략 (Preserve, Selective, Probabilistic) 의 형식화. 이를 통해 실무자가 도메인 지식과 방법을 정렬할 수 있음.
• 검증 스위트: 단일 소수 샘플, 높은 NaN 비율과 같은 엣지 케이스 전반의 기능과 XGBoost 와 같은 하위 분류기와의 통합을 보여주는 포괄적인 테스트 스위트.
• 벤치마킹: 자연스러운 결측치를 가진 다섯 개의 OpenML 데이터셋과 결측이 화학적으로 의미 있는 그래핀 옥사이드 나노플레이크 데이터셋에 대한 특정 적용에 대한 경험적 평가.

4. 실험 결과

합성 및 통제된 데이터셋

• 기본 기능: OverNaN 은 대체 없이 클래스를 성공적으로 재균형화했습니다. 기본 preserve_pattern 전략 하에서 재샘플링된 NaN 비율은 증가했습니다 (합성 샘플이 부모로부터 결측성을 물려받기 때문). 반면 ROSENaN은 커널 기반 교란으로 인해 원래 비율에 더 가까운 비율을 유지했습니다.
• 분류기 통합: XGBoost 를 사용한 통제된 작업에서 세 가지 OverNaN 변형 모두 기준선 대비 소수 클래스의 재현율 (recall) 과 F1 점수를 향상시켰습니다. SMOTENaN 과 ROSENaN 은 소수 클래스에서 완벽한 재현율과 F1(1.000) 을 달성했습니다.
• 비교 성능: 11.9% 의 NaN 을 가진 합성 데이터셋에서 SMOTENaN 은 특징 삭제, 인스턴스 삭제, 또는 평균 대체 후 표준 SMOTE 를 포함하는 파이프라인과 비교하여 가장 높은 ROC AUC(0.802) 와 가장 낮은 교차 폴드 분산을 달성했습니다.

실제 세계 벤치마크 (OpenML)

다섯 개의 데이터셋 (labor, cylinder-bands, Titanic, soybean, car-evaluation) 에서 평가:

• ROSENaN은 다섯 개의 데이터셋 전반에 걸쳐 일관되게 가장 높은 평균 균형 정확도 (Balanced Accuracy), 매크로 F1, ROC AUC 를 달성했습니다.
• SMOTENaN은 기준선 대비 modest 한 개선을 제공했습니다.
• ADASYN-NaN은 ROC AUC 는 향상되었으나 평균적으로 임계값 기반 지표는 약간 낮았습니다.
• 실행 시간: ROSENaN 은 계산적으로 효율적으로 유지되었습니다 (평균 0.7 초). 반면 ADASYN-NaN 은 적응형 밀도 추정으로 인해 더 느렸습니다 (16.5 초).

적용 사례: 그래핀 옥사이드 나노플레이크

나노플레이크의 카르복실기 예측 작업 (39.8% NaN 비율, 여기서 결측은 특정 결합의 구조적 부재를 나타냄):

• SMOTENaN은 "특징 삭제" 및 "대체 + SMOTE" 파이프라인 모두를 능가하여 균형 정확도 $0.997 \pm 0.005$와 F1 $0.999 \pm 0.002$를 달성했습니다.
• 결정적으로 SMOTENaN 은 존재하지 않는 결합에 대한 결합 길이를 발명하지 않으면서 결측 항목의 구조적 의미를 보존하고 전체 특징 공간을 유지한 반면, 대체는 합성 값을 도입하고 특징 삭제는 정보성 기술자를 폐기했습니다.

대체 vs OverNaN

OpenML anneal 데이터셋 (64.98% NaN 비율) 에서 OverNaN 변형은 "대체 후 오버샘플링" 파이프라인과 비교하여 통계적으로 구별할 수 없는 균형 정확도와 매크로 F1 점수를 생성했습니다. 이는 이러한 설정에서 대체가 경쟁력 있는 성능을 위한 엄격한 전제 조건이 아님을 시사합니다.

5. 중요성 및 주장

이 논문은 결측치가 종종 노이즈가 아닌 신호이며, 재샘플링 전에 이를 제거하면 학습 과정이 왜곡될 수 있다고 주장합니다. OverNaN 의 중요성은 다음과 같습니다:

1. 정보 보존: 잠재적으로 편향된 추정치로 데이터를 "수리"하는 대신 실험적 제약이나 물리적 현실을 반영하는 구조적 결측 패턴을 유지할 수 있게 합니다.
2. 명시적 불확실성: 합성 데이터에 인위적인 확신을 도입하는 것을 방지하며 불확실성을 1 급 고려 사항으로 취급하도록 장려합니다.
3. 도메인 적용성: 결측치가 불가피하고 정보적이며 작고 불완전하며 불균형한 데이터셋을 가진 과학 및 공학 도메인을 특히 대상으로 합니다.

저자들은 OverNaN 이 결측 데이터에 대한 보편적 해법이 아니며, 결측 메커니즘을 모델링하거나 관찰되지 않은 값을 추론하지 않는다고 명시적으로 밝힙니다. 이는 하위 학습기가 NaN 을 원생적으로 처리할 수 있고 데이터의 구조적 부재가 의미 있는 설정을 위한 대안으로 의도되었습니다. 이 프레임워크는 공격적인 최적화나 고처리량 기능보다 해석 가능성, 가정에 대한 통제, 그리고 재현성을 우선시합니다.