기술 요약: 불균형 데이터에 초점을 맞춘 PU 학습

1. 문제 제기

본 논문은 심각한 클래스 불균형과 탐지하기 어려운 양성 사례가 특징인 시나리오에서의 양성 - 비표시 (Positive-Unlabeled, PU) 학습의 과제를 다룹니다. 많은 실제 응용 분야 (예: 사기 탐지, 질병 유전자 식별, 재무 부정 보고 탐지) 에서 훈련 데이터는 소수의 레이블이 지정된 양성 인스턴스와 대량의 레이블이 지정되지 않은 인스턴스 풀로 구성됩니다. 레이블이 지정되지 않은 풀은 음성 인스턴스가 지배적이지만 숨겨진 양성 인스턴스를 포함하고 있습니다.

기존 PU 학습 방법들은 종종 실제 환경에서 실패하는 단순화된 가정에 의존합니다:

• 클래스 불균형: 많은 방법들은 균형 잡힌 분포를 가정하거나 충분한 레이블이 지정된 양성에 의존하는데, 양성 클래스가 과소 대표될 때는 거의 그렇지 않습니다.
• 레이블링 메커니즘: 대부분의 방법은 레이블이 지정된 양성이 모든 양성의 무작위 부분집합이라는 완전 무작위 선택 (Selected Completely At Random, SCAR) 가정을 전제로 합니다. 그러나 실제 데이터는 종종 무작위 선택 (Selected At Random, SAR) 가정이나 확률적 간격 (Probabilistic Gap, PG) 가정을 따르는데, 여기서 음성과 유사한 양성 사례는 레이블이 지정될 가능성이 낮습니다.
• 어려운 양성 사례: 양성 사례가 음성 분포와 현저히 겹칠 때 (PG 시나리오), 표준 위험 추정기는 이를 구분하는 데 어려움을 겪어 성능이 저하됩니다.

저자들은 최신 기법들 (예: nnPU, PUHDT) 이 SAR/PG 가정 하에서는 실패하거나, 고도로 불균형한 환경에서 견고하지 않을 수 있는 데이터 조작 (재샘플링, 2 단계 필터링) 에 의존한다고 주장합니다.

2. 방법론

제안된 방법인 iFPU (Imbalanced Focused PU) 는 PU 학습 프레임워크에 Focal Loss를 통합한 새로운 비음수 위험 추정기를 도입합니다.

2.1 이론적 기반

이 접근법은 PU 학습을 위한 편향 없는 위험 추정기 (uPU) 와 비음수 위험 추정기 (nnPU) 에 기반합니다. 표준 PU 학습에서 위험 $R(g)$ 는 레이블이 지정된 양성 ($P$) 과 레이블이 지정되지 않은 데이터 ($U$) 를 사용하여 음수 위험 항 $R_N^-(g)$ 를 $U$ 와 $P$ 를 포함하는 식으로 대체함으로써 근사됩니다:
$$\tilde{R}_{PU}(g) = \pi_P \tilde{R}_P^+(g) - \pi_P \tilde{R}_P^-(g) + \tilde{R}_U^-(g)$$
여기서 $\pi_P$ 는 클래스 사전 확률입니다. 신경망에서 과적합을 유발하는 음수 경험적 위험을 방지하기 위해, nnPU 방법은 비음수 제약을 적용합니다: $\max\{0, \tilde{R}_U^-(g) - \pi_P \tilde{R}_P^-(g)\}$.

2.2 초점 위험 추정기

저자들은 불균형 환경에서 표준 위험이 레이블이 지정되지 않은 데이터에 의해 지배되어 구별하기 어려운 소수의 양성 사례를 모델이 간과한다고 관찰합니다. 이를 해결하기 위해 표준 교차 엔트로피 손실을 Focal Loss [50] 로 대체합니다.

Focal Loss 는 쉬운 사례 (올바른 분류에 대한 확률이 높은 사례) 의 가중치를 낮추고 어려운 사례의 가중치를 높입니다. 확률 $p_t$ 에 대한 Focal Loss 는 다음과 같이 정의됩니다:
$$FL(p_t) = -(1-p_t)^\gamma \log(p_t)$$
여기서 $\gamma$ 는 초점 매개변수를 제어합니다.

저자들은 PU 위험 방정식의 표준 손실 항을 Focal Loss 공식으로 대체하여 iFPU 위험 추정기를 유도합니다:
$$\tilde{R}_{iFPU}(g) = \frac{1}{n_P} \sum_{i=1}^{n_P} -\pi_P (1-g(x_i))^\gamma \log(g(x_i)) + \max\left\{0, \frac{1}{n_U} \sum_{i=1}^{n_U} -(g(x_i))^\gamma \log(1-g(x_i)) - \frac{1}{n_P} \sum_{i=1}^{n_P} -\pi_P (g(x_i))^\gamma \log(1-g(x_i)) \right\}$$

2.3 훈련 절차

훈련 과정은 확률적 최적화 (SGD) 를 활용합니다. 알고리즘의 핵심 특징은 비음수 제약의 처리입니다:

• 항 $(\tilde{R}_U^-(g) - \pi_P \tilde{R}_P^-(g))$ 가 음수가 아닐 경우, 모델은 전체 위험의 기울기를 사용하여 매개변수를 업데이트합니다.
• 항이 음수일 경우 (잠재적 과적합 또는 비음수 제약 위반을 나타냄), 모델은 단순히 기울기를 무시하는 대신 해당 항을 비음수 영역으로 다시 밀어내기 위해 기울기 상승 (gradient ascent) 단계를 수행합니다.

이 방법은 데이터 전처리나 재샘플링 없이 비용 최소화에 기반한 모든 분류기 (예: MLP, XGBoost) 와 호환되는 엔드 - 투 - 엔드 방식으로 설계되었습니다.

3. 주요 기여

1. 새로운 위험 추정기: Focal Loss 를 사용하여 불균형 PU 데이터에 맞게 특별히 설계된 비음수 위험 추정기의 유도. 이는 분류하기 어려운 양성 사례를 명시적으로 대상으로 합니다.
2. 가정의 완화: 이 방법은 SCAR 및 SAR 가정 하에서 모두 평가되어, 레이블링 편향이 존재하는 시나리오 (즉, 음성과 유사한 양성은 레이블이 지정될 가능성이 낮음) 에서 견고함을 입증했습니다.
3. 엔드 - 투 - 엔드 통합: 신뢰할 수 있는 음성을 먼저 식별해야 하는 2 단계 방법과 달리, iFPU 는 표준 분류기 (MLP 및 XGBoost) 의 훈련 루프에 직접 통합됩니다.
4. 실제 검증: 이 방법은 지연된 오류 탐지로 인해 PU 데이터가 자연스럽게 발생하는 재무 부정 보고 탐지라는 까다로운 실제 문제에 적용되었습니다.

4. 실험 결과

저자들은 14 개의 공개된 불균형 데이터셋과 실제 재무 데이터셋에서 iFPU 를 평가했습니다.

4.1 벤치마크 데이터셋

• 설정: 불균형 비율이 다양한 14 개의 데이터셋. 실험은 SCAR 및 SAR 가정 하에서 양성 사례의 25%, 50%, 75% 가 레이블이 지정된 조건으로 수행되었습니다.
• 비교 대상: uPU, nnPU, i-nnPU, NNIF(2 단계), PUHDT, PUHRF, LBE, SAREM 과 비교했습니다.
• 성능:
  • SCAR 하에서 iFPU(XGBoost 사용) 는 최신 기법인 PUHRF(PU Hellinger Random Forest) 와 유사한 결과를 달성했으며, 대부분의 경우 통계적으로 유의미한 차이가 없었습니다.
  • 더 까다로운 SAR 가정 하에서 iFPU 는 대부분의 경쟁자보다 현저히 우수한 성능을 보였습니다. 가장 어려운 시나리오 (레이블이 지정된 양성 25%) 에서 iFPU 는 PR-AUC 기준 PUHRF 를 5 퍼센트 포인트 상회했습니다.
  • 이 방법은 잘못된 클래스 사전 확률 추정에도 견고하여, 사전 확률이 크게 과소평가되었을 때도 성능을 유지했습니다.

4.2 실제 적용: 재무 부정 보고 탐지

• 맥락: 2003~2014 년 연차보고서의 재무 부정 보고를 탐지하는 작업으로, 부정 보고는 드물고 종종 수년 동안 탐지되지 않습니다 (SAR/PG 시나리오).
• 설정: 감독 학습 베이스라인 (calibrated focal loss 가 적용된 TabTransformer, Fin-SVM, RUSBoost) 과 PU 방법 (PUHRF) 과 비교했습니다.
• 결과:
  • 제안된 iFPUXGB는 이전 최신 기법인 TabTransformer 모델 (17.63%) 과 PUHRF(18.22%) 를 능가하는 19.95% 의 최고 R-정밀도를 달성했습니다.
  • 이러한 결과는 레이블이 지정되지 않은 데이터를 음성으로 취급하는 것보다 숨겨진 양성을 인정하는 PU 학습으로 문제를 모델링할 때 성능이 현저히 향상됨을 나타냅니다.

5. 중요성과 주장

본 논문은 iFPU가 특히 확률적 간격 (Probabilistic Gap) 가정이 성립하는 불균형 환경에서의 PU 학습을 위한 최신 솔루션임을 주장합니다.

• 견고성: 복잡한 데이터 조작이나 재샘플링 없이 SAR 가정 하에서 우수한 성능을 발휘하는 능력은 기존 트리 기반 또는 2 단계 방법 대비 주요 장점으로 강조됩니다.
• 실용성: 재무 부정 보고 탐지에 대한 성공적인 적용은 레이블이 지정된 데이터가 부족하고 편향된 고위험 실제 도메인에서 이 방법의 유용성을 입증합니다.
• 유연성: 다양한 분류기 (MLP, XGBoost) 와 호환되는 위험 최소화 프레임워크에 의존함으로써, 이 접근법은 특수화된 PU 알고리즘에 대한 유연한 대안을 제공합니다.

저자들은 공정한 비교를 위해 하이퍼파라미터 튜닝을 피했지만, XGBoost 와 Focal Loss 매개변수의 추가 최적화를 통해 더 강력한 결과를 얻을 수 있을 것이라고 겸손하게 언급합니다. 또한 온도 스케일링을 통한 보정과 다중 클래스 설정으로의 확장을 향후 연구 방향으로 제시합니다.