기술 요약: MLCBART (베이지안 가법 회귀 트리 기반 다중 레이블 분류)

문제 정의

다중 레이블 분류(Multilabel Classification, MLC)는 입력 공간 $\mathcal{X}$로부터 $q$개의 이진 레이블 벡터 $\mathbf{Y} = (y_1, \dots, y_q)$로의 매핑을 동시에 학습하는 것을 포함한다. 다중 클래스 분류(multi-class classification)와 달리, MLC에서 레이블은 상호 배타적이지 않으며, 단일 인스턴스는 여러 레이블을 가질 수 있고 레이블 간에는 임의의 연관성이 존재할 수 있다. 핵심적인 과제는 예측 변수와 각 레이블 사이의 복잡하고 잠재적으로 비선형적인 관계를 모델링하는 동시에, 예측 변수의 효과를 조정한 후에도 지속되는 레이블 간의 상관관계를 동시에 고려하는 것이다. 기존의 접근 방식은 크게 두 가지 범주로 나뉜다: 문제 변환(예: Binary Relevance, Classifier Chains) 방식은 레이블 의존성을 무시하거나 단순화하는 경향이 있으며, 알고리즘 적응 방식은 다중 출력을 처리하도록 기존 모델을 수정한다.

방법론: MLCBART 프레임워크

저자들은 베이지안 가법 회귀 트리(BART)를 다중 레이블 설정으로 확장한 베이지안 프레임워크인 MLCBART를 제안한다. 이 방법론의 핵심은 잠재 변수 정식화(latent variable formulation)와 합계-트리 앙상블 구조(sum-of-trees ensemble structure)의 결합에 의존한다.

1. 잠재 변수 모델

모델은 관측된 이진 레이블 $y_{ik}$가 기저의 연속적인 잠재 변수 $z_{ik}$를 임계값 처리(thresholding)하여 발생한다고 가정한다:
$$y_{ik} = \mathbb{1}(z_{ik} > 0)$$
잠재 벡터 $\mathbf{Z}_i = (z_{i1}, \dots, z_{iq})$는 다변량 정규 분포를 따른다:
$$\mathbf{Z}_i = \mathbf{G}(\mathbf{x}_i; \mathbf{T}, \mathbf{M}) + \boldsymbol{\epsilon}_i$$
여기서:

• $\mathbf{G}(\mathbf{x}_i; \mathbf{T}, \mathbf{M})$는 $q$개의 회귀 함수 벡터이다. 각 함수 $G_k$는 합계-트리 모델(BART)이며, 이는 각 레이블에 대한 예측 변수와 잠재 평균 사이의 관계를 유연한 비모수적 방식으로 모델링할 수 있게 한다.
• $\boldsymbol{\epsilon}_i \sim \mathcal{MVN}(\mathbf{0}, \mathbf{R})$이며, 여기서 $\mathbf{R}$은 잠재 오차의 상관 행렬이다. 이 구조는 레이블 간의 조건부 상관관계를 명시적으로 모델링한다.

2. 베이지안 추론 및 추정

모델 파라미터에는 트리 구조 $\mathbf{T}$, 터미널 노드 값 $\mathbf{M}$, 그리고 상관 행렬 $\mathbf{R}$이 포함된다.

• 사전 분포(Priors): 트리 구조와 노드 값에는 표준 BART 사전 분포가 사용된다. 상관 행렬 $\mathbf{R}$에 대해서는, 저자들은 비제한 공분산 행렬 $\boldsymbol{\Sigma}$에 역 와이샤트(Inverse-Wishart) 사전 분포를 배치하고, 분해($\boldsymbol{\Sigma} = \mathbf{D}^{1/2}\mathbf{R}\mathbf{D}^{1/2}$)를 통해 유도된 상관 행렬 $\mathbf{R}$의 밀도를 도출한다.
• 사후 샘플링(Posterior Sampling): 백피팅(backfitting) 접근 방식을 사용하는 마르코프 체인 몬테카를로(MCMC) 알고리즘이 채택된다. 샘플링 스킴은 다음 과정을 반복한다:
  1. 현재 파라미터가 주어졌을 때 절단된 단변량 정규 분포로부터 잠재 변수 $\mathbf{Z}$를 샘플링한다.
  2. 백피팅을 사용하여 각 레이블에 대한 트리 구조와 노드 값을 업데이트한다.
  3. 메트로폴리스-헤이스팅스(Metropolis-Hastings) 단계를 사용하여 상관 행렬 $\mathbf{R}$을 샘플링한다.

3. 예측 및 불확실성 정량화

프레임워크는 레이블 조합에 대한 사후 예측 분포를 생성한다.

• 하드 분류(Hard Classification): 사후 확률이 가장 높은 레이블 조합을 선택한다.
• 소프트 분류(Soft Classification): 모든 $2^q$개의 가능한 레이블 조합에 대한 전체 추정 확률 분포를 제공한다.
• 불확실성: 베이지안 특성을 통해 개별 레이블 수준(한계 확률)과 레이블 조합 수준(결합 확률) 모두에서 불확실성을 정량화할 수 있으며, 확률에 대한 신뢰 구간을 제공한다.

주요 기여

1. 유연한 비모수적 모델링: BART를 통합함으로써, 모델은 미리 지정된 함수 형태를 요구하지 않고 예측 변수와 레이블 사이의 복잡한 비선형 및 상호작용 관계를 포착한다.
2. 명시적 상관관계 모델링: 조건부 독립을 가정하는 단변량 BART와 달리, MLCBART는 조건부 상관 행렬 $\mathbf{R}$을 추정하여 결합 예측을 개선하기 위해 레이블 간 의존성을 활용한다.
3. 포괄적인 불확실성 정량화: 프레임워크는 레이블 조합에 대한 확률적 출력을 제공하여, 분석가가 전체 사후 분포를 바탕으로 예측 신뢰도를 평가하고 맞춤형 손실 함수를 적용할 수 있게 한다.
4. 적응형 평균 구조: 합계-트리 구조는 다양한 평균 구조에 적응할 수 있어, 상관관계 추정에 흡수될 수 있는 편향을 완화할 수 있다.

실험 결과

저자들은 시뮬레이션 연구와 실제 응용 사례를 통해 MLCBART를 평가하였다.

시뮬레이션 연구

• 설정: $q=3$개의 레이블과 $p=3$개의 예측 변수를 가진 시뮬레이션 데이터로, 비선형 및 상호작용적 평균 함수와 강한 레이블 간 상관관계를 특징으로 한다.
• 비교 대상: MLCBART를 단변량 BART, 다변량 프로빗(probit) 모델(정확한 및 선형 예측자 사용), 그리고 단변량 프로빗 모델과 비교하였다.
• 결과:
  • 약한 신호(Weak Signal): 신호 대 잡음비가 낮을 때(잠재 평균이 결정 경계 근처에 있을 때), MLCBT는 부분 정확도(subset accuracy) 측면에서 단변량 모델들보다 유의미하게 우수한 성능을 보였다. 상관 행렬을 정확하게 추정하는 것이 이 영역에서 매우 중요했다.
  • 강한 신호(Strong Signal): 신호가 강할 때(잠재 평균이 경계에서 멀리 떨어져 있을 때), 평균 구조가 성능을 지배했다. MLCBART는 최고의 단변량 모델들과 대등한 성능을 보였으며, 이는 높은 신호 영역에서 상관관계 추정이 어렵더라도 유연한 평균 모델링이 견고한 성능을 보장함을 시사한다.
  • 분포 정확도: 쿨백-라이블러(KL) 발산을 통해 측정했을 때, MLCBART는 단변량 BART보다 레이블 조합의 진정한 기저 분포에 훨씬 더 가까운 확률 분포를 생성했다.
  • 오라클(Oracle) 비교: MLCBART의 성능은 "오라클" 모델(진정한 함수 형태를 알고 있는 모델)에 근접하였으며, 다른 모든 경쟁 모델을 능가했다.
  • 강건성: 모델은 정보가 없는 예측 변수가 포함된 상황에서도 강건했다.

실제 데이터 분석

• 데이터셋: 555개의 사례, 49개의 예측 변수, 5개의 증후군(레이블)을 가진 관상동맥 심장 질환(CHD) 데이터.
• 결과: MLCBART는 단변량 BART(0.18) 및 베이스라인(0.14)과 비교하여 부분 정확도(0.19)에서 통계적으로 유의미한 향상을 달성했다.
• 해석: 이러한 향상은 특정 증후군 사이의 강한 음의 상관관계(예: -0.85)와 양의 상관관계를 포착하여 단변량 모델이 활용할 수 없었던 데서 기인했다.
• 불확실성: 분석은 모델이 미묘한 불확실성 척도를 제공할 수 있음을 강조했다. 즉, 가장 확률이 높은 레이블 조합을 식별하면서도, 데이터의 복잡성을 반영하여 (예: 가장 높은 확률이 20% 근처에 군집함) 일정 수준의 불확실성을 유지함을 보여주었다.

의의 및 한계점

본 논문은 MLCBART가 특히 다음과 같은 경우 MLC 문제에 강력한 후보라고 주장한다:

• 개별 레이블 정확도보다 결합 예측 정확도(부분 정확도)가 우선시될 때.
• 레이블 의존성을 이해하고 활용하는 것이 중요할 때 (예: 의료 진단, 마케팅).
• 의사결정을 위한 불확실성 정량화가 필요할 때.

저자들이 인정한 한계점:

• 계산 비용: 이 방법은 계산 집약적이어서, 현재로서는 중소 규모의 문제에 가장 적합하다.
• 확장성: 대규모 데이터셋을 위한 병렬화된 버전이 아직 개발되지 않았다.
• 민감도: 다양한 사전 분포 및 튜닝 파라미터에 대한 모델의 민감도가 충분히 탐구되지 않았다.
• 비교 범위: 평가는 특정 시뮬레이션 구조로 제한되었으며, 최근 개발된 다른 MLC 전용 방법들과의 비교는 포함되지 않았다.

저자들은 모델이 계산적으로는 많이 소요되지만, 오라클 성능에 근접하고 풍부한 불확실성 정량화를 제공할 수 있다는 점에서 복잡한 다중 레이블 분류 작업에 가치 있는 도구라고 결론지었다.