Addressing Imbalance in Multi-Label Data via Label-Specific Distance-based Oversampling

기술 요약: 레이블 특화 거리 기반 오버샘플링을 통한 멀티 레이블 데이터의 불균형 해결

문제 정의
멀티 레이블 분류(Multi-Label Classification, MLC)는 레이블 분포에 내재된 불균형으로 인해 심각한 과제에 직면해 있다. 이러한 불균형은 두 가지 방식으로 나타난다: 레이블 내 불균형(특정 레이블과 관련된 인스턴스가 관련 없는 인스턴스보다 훨씬 적은 경우)과 레이블 간 불균형(레이블 빈도가 크게 차이 나는 경우)이다. 또한, 데이터 포인트의 이웃 내에서도 국소적 불균형이 존재하여 학습 과정을 복잡하게 만든다. 기존의 대부분의 멀티 레이블 분류기는 다수 클래스와 고빈도 레이블에 편향되어 있다. 오버샘플링은 훈련 데이터셋의 균형을 맞추기 위한 유연한 해결책이지만, 현재의 방법들은 전체 특징 공간 내의 유클리드 거리에 크게 의존하여 이웃을 식별한다. 이러한 접근 방식은 서로 다른 레이블에 대한 특징들의 다양한 의미론적 관련성을 고려하지 못한다. 결과적으로, 이러한 방법들로 생성된 합성 인스턴스는 근접한 이웃들 사이에서 레이블 불일치를 겪게 되며, 이는 특히 희귀한 레이블 조합에 대해 레이블 혼동, 과적합 및 다양성 감소를 초래한다.

방법론: LSDMLO
본 논문은 더 유용하고 잘 레이블링된 합성 인스턴스를 생성하기 위해 설계된 새로운 프레임워크인 **LSDMLO(Label-Specific Distance-based Multi-Label Oversampling)**를 제안한다. 방법론은 세 가지 주요 단계로 진행된다:

1. 레이블 특화 특징 가중치 학습:
   전역적인 특징 공간을 사용하는 대신, LSDMLO는 각 레이블에 대해 희소(sparse) 특징 가중치를 학습한다. 이는 다음을 결합한 볼록 목적 함수(convex objective function)를 최적화함으로써 달성된다:

• 예측값과 실제 레이블 사이의 제곱 손실(Squared loss) 최소화.
• 레이블 예측에 필수적인 특징만이 기여하도록 하여 희소성을 강제하는 $\ell_1$ 노름(norm) 규제.
• 특징과 레이블 사이의 복잡한 관계를 탐색하기 위해 레이블 상관관계(레이블 벡터의 코사인 유사도에서 유도됨)에 기반한 그래프 규제.
  최적화는 가속 근접 기울기(Accelerated Proximal Gradient, APG) 알고리즘을 사용하여 해결된다. 도출된 가중치는 정규화되어 레이블 특화 특징 가중치 행렬($\Theta$)을 형성한다.

2. 레이블 특화 거리 및 인스턴스 가중치 지정:
   $\Theta$를 사용하여, 이 방법은 레이블 특화 거리 메트릭을 정의한다. 이 거리는 전체 특징 집합이 아닌, 특정 레이블에 가장 관련 있는 특징만을 기반으로 인스턴스 간의 근접도를 측정한다.
   이 거리를 바탕으로, LSDMLO는 시드(seed) 선택을 위한 인스턴스 가중치를 계산한다. 가중치는 두 가지 구성 요소의 합이다:

• 국소 불균형 가중치: $k$-최근접 이웃(레이블 특화 거리를 통해 검색됨) 사이의 국소적 레이블 불일치를 평가함으로써 인스턴스가 레이블 경계에 얼마나 가까운지를 측정한다. 불균형이 심한 레이블의 경계 근처에 있는 인스턴스는 더 높은 가중치를 받는다.
• 레이블 상관관계 가중치: 전역적 레이블 의존성과 국소적 이웃 일관성을 모두 고려하여 인스턴스가 보유한 상관관계 정보를 평가한다. 상관관계가 있는 소수 레이블의 중첩된 경계 영역에 위치한 인스턴스가 우선시된다.

3. 합성 인스턴스 생성:
   계산된 인스턴스 가중치를 기반으로 한 룰렛 휠 선택을 사용하여 합성 인스턴스를 생성한다. 각 새로운 인스턴스에 대해:

• 시드 인스턴스가 선택된다.
• 시드와 관련된 소수 레이블이 선택된다.
• 해당 레이블에 대한 레이블 특화 거리에 따라 참조 이웃(reference neighbor)이 선택된다.
• 특징 생성: 수치형 특징은 선형적으로 보간되며, 명목형(nominal) 특징은 시드와 그 이웃들 사이에서 가장 흔한 값을 취한다.
• 레이블 할당: 레이블 특화 거리 유도 전략이 사용된다. 만약 시드와 참조 이웃이 특정 레이블에 대해 일치하면 해당 레이블이 할당된다. 만약 불일치할 경우, 레이블 특화 특징 서브스페이스 내에서 합성 인스턴스에 더 가까운 인스턴스(시드 또는 참조 이웃)의 레이블이 할당된다. 이는 유의미한 특징 공간 내에서 레이블 일관성을 보장한다.

주요 기여

• 레이블 특화 거리: 멀티 레이블 컨텍스트에서 전역 유클리드 거리의 한계를 극 overcome하기 위해, 특정 레이블에 대한 관련성에 따라 특징 가중치를 동적으로 조절하는 거리 메트릭을 도입하였다.
• 의미론적 인지 시드 선택: 단순한 무작위 또는 순수 기하학적 근접성에 의존하는 대신, 레이블 경계 근처의 인스턴스와 풍부한 레이블 상관관계 정보를 가진 인스턴스에 우선순위를 두는 가중치 메커니즘을 제공한다.
• 일관된 레이블 할당: 합성 인스턴스가 판별적 특징 서브스페이스 내에서 레이블 일관성을 유지하도록 보장하는 생성 전략을 통해 레이블 혼동 및 과적합의 위험을 줄인다.

실험 결과
저자들은 13개의 다양한 도메인(텍스트, 이미지, 음악, 생물학)의 멀티 레이블 데이터셋에 대해 네 가지 베이스 분류기(BR, MLkNN, RAkEL, CC), 불균형 인지 분류기(COCOA), 그리고 딥러닝 모델(C2AE)을 사용하여 LSDMLO를 평가하였다.

• 성능: LSDMLO는 9개의 최신 샘플링 방법(MLSMOTE, MLSOL, MLBOTE, AEMLO, DR-SMOTE 포함)과 비교하여 네 가지 평가 지표(Macro-F, Macro-AUC, Macro-AUPR, Ranking Loss) 모두에서 가장 우수한 평균 순위를 달성하였다.
• 통계적 유의성: 윌콕슨 부호 순위 검정(Wilcoxon signed-rank tests)을 통해 LSDMLO가 대부분의 사례에서 경쟁 모델들을 유의미하게 앞질렀으며, 상당한 손실 없이 성능을 개선했음을 확인하였다.
• 국소 불균형 감소: 유클리드 거리와 비교했을 때, 레이블 특화 거리를 사용하는 것이 특히 복잡한 국소 레이블 분포를 가진 데이터셋에서 국소 레이블 불균형(LImb) 지표를 유의미하게 감소시킨다는 것을 입증하였다.
• 베이스 분류기 시너지: 이 방법은 C2AE 및 COCOA와 같은 고성능 베이스 러너와 결합되었을 때 탁월한 효과를 보였다.

의의 및 주장
본 논문은 LSDMLO의 주요 의의가 기존 오버샘플링 방법의 고유한 문제인 "레이블 불일치" 문제를 해결하는 능력에 있다고 주장한다. 서로 다른 레이블이 서로 다른 특징 부분 집합에 의존한다는 점을 인정함으로써, LSDMLO는 더 현실적이고 정보가 풍부한 합성 데이터를 생성한다. 저자들은 이 접근 방식이 다수 클래스로의 편향을 효과적으로 완화하고, 특히 국소 레이블 분포를 학습하기 어려운 복잡한 시나리오에서 소수 레이블의 학습을 개선한다고 단언한다. 이 방법은 다양한 멀티 레이블 학습 알고리즘의 성능을 향상시키는 유연하고 분류기 불가지론적(classifier-agnostic)인 솔루션으로 제시된다.

향후 연구
저자들은 향-후 연구가 더 포괄적인 레이블 특화 거리 학습 프레임워크를 개발하는 데 집중할 것이라고 언급하였다. 여기에는 전역 특징 중요도 및 인스턴스 상관관계의 통합, 그리고 현재의 희소 선형 정식화를 넘어 복잡한 특징-레이블 상호작용을 포착하기 위한 비선형 모델링 탐구가 포함된다. 또한, 현재의 쌍별(pairwise) 상관관계를 넘어 고차원적 관계를 포착하기 위한 고급 레이블 의존성 모델링 전략을 조사할 계획이다.