Hybrid Imbalanced Regression Through Unified Data-Level and Algorithm-Level Balancing

기술 요약: 통합 데이터 수준 및 알고리즘 수준 균형을 통한 하이브리드 불균형 회귀

문제 정의

불균형 학습은 과소 표현된 타겟 값이 희귀하지만 영향력이 큰 현상에 대해 모델이 편향되어 성능이 저하되는 문제를 야기하는 머신러닝의 핵심적인 과제입니다. 왜곡된 클래스 분포를 가진 분류 작업에서는 광범위하게 연구되어 왔으나, 불균형 회귀(imbalanced regression)—연속적인 타겟 공간 내에서 비균일한 밀도를 특징으로 하는—는 여전히 미개척 분야로 남아 있습니다.

기존의 불균형 회귀 접근 방식은 크게 두 가지 범주로 나뉘며, 각각 뚜렷한 한계를 가집니다:

1. 데이터 수준 방법: 희소한 영역을 풍부하게 하기 위해 샘플을 합성합니다(예: 오버샘플링을 통해). 직관적이고 모델에 무관(model-agnostic)하지만, 특히 복잡한 분포에서는 합성 노이즈를 도입하거나 과적합을 초래할 위험이 있습니다.
2. 알고리즘 수준 방법: 데이터를 수정하지 않고 희귀한 타겟 범위를 우선시하도록 손실 함수를 조정합니다. 원칙적이지만, 심각한 불균형과 복잡한 분포에서는 어려움을 겪을 수 있으며, 데이터 보강의 상호 보완적인 이점을 활용하지 못합니다.

현재의 문헌에는 단일 신경망 회귀기 학습 과정에서 데이터 수준의 샘플 합성와 명시적인 샘플별 비용 민감 또는 재가중화 손실을 긴밀하게 통합하는 진정한 하이브리드 접근 방식이 부족합니다. 대부분의 기존 "하이브리드" 시도는 앙상블 전략에 의존하거나 비정형 데이터 도메인에 국한되어 있어, 표준 회귀 작업을 위한 엔드 투 엔드 파이프라인으로 이러한 전략들을 통합하는 데 실패하고 있습니다.

방법론

저자들은 데이터 수준과 알고리즘 수준의 전략을 단일 파이프라인으로 시너지 있게 통합하는 5단계, 회귀기 불가지론적(regressor-agnostic) 하이브리드 프레임워크를 제안합니다. 이 프레임워크는 임의의 표준 회귀기 상단에 적용될 수 있도록 설계되었습니다.

단계 0: 적응형 타겟 공간 빈 분할 (Adaptive Target-Space Bin Partitioning)

회귀에서의 이산적인 클래스 레이블 부재를 해결하기 위해, 프레임워크는 먼저 연속적인 타겟 공간을 통계적으로 일관된 빈(bin)으로 분할합니다.

• 메커니즘: 로컬 $R^2$ 일관성 점수에 의해 구동되는 적응형 빈 분할을 채택합니다. 후보 구간 내에 단순 선형 회귀 모델을 적합시키고, 만약 $R^2$ 점수가 임계값($\tau$)을 초과하고 빈 크기가 데이터 기반 최소치($M$)를 충족하면 해당 빈을 수용합니다. 그렇지 않으면 해당 구간을 재귀적으로 분할합니다.
• 의의: 이는 연속적인 문제를 클래스 유사 구조로 변환하여, 희소성에 대한 국소적 인식을 가능하게 하고 후속 균형 작업을 용이하게 합니다. 최소 빈 크기 $M$은 통계적 신뢰성을 보장하기 위해 데이터셋 크기의 비율과 피크 커널 밀도 추정(KDE) 밀도의 역수를 조합하여 동적으로 계산됩니다.

단계 I: 표현 학습 (Representation Learning)

희소 영역의 원시 특징들은 필요한 잠재 구조를 포착하지 못하는 경우가 많습니다.

• 메커니즘: 연속적인 타겟 변수 $y$를 조건으로 하는 **조건부 변이형 오토인코더(CVAE)**를 학습시킵니다. 인코더는 입력 특징 $x$와 타겟 $y$를 잠재 공간 $z$로 매핑하고, 디코더는 $z$와 $y$로부터 $x$를 재구성합니다.
• 의의: 이는 출력 분포와 정렬된 예측 패턴(희소하게 분포된 영역 포함)을 포착하는 타겟 인식 잠재 임베딩을 생성합니다. CVAE의 확률적 특성은 불확실성을 고려한 표현을 용이하게 합니다.

단계 II: 데이터 수준 균형 (Data-Level Balancing)

이 단계는 다단계 전략을 통해 타겟 및 특징 공간 모두의 샘플 부족 문제를 해결합니다.

• 1단계 (클러스터링): 단계 0에서 정의된 각 적응형 빈 내에서 DBSCAN을 잠재 표현에 적용하여 희소한 소수 클러스터를 식тера 식별합니다.
• 2단계 (오버샘플링): 국소적인 SMOGN(Gaussian Noise를 이용한 회귀용 합성 소수 오버샘플링 기술) 기법을 이러한 소수 클러스터에 적용합니다. 글로벌 오버샘플링과 달리, 이는 특정 클러스터 맥락 내에서 희귀한 타겟 값을 우선시하기 위해 클러스터별 관련성 함수 $\phi_C(y)$에 의해 유도됩니다.
• 출력: 증강된 데이터셋(원본 + 합성)에 대해 얕은 MLP를 학습시키고, 원래 샘플들의 은닉 활성화 값($h_{data}$)을 추출합니다. 이는 원래 인스턴스와의 정확한 대응 관계를 유지하면서도, 특징들이 합성 이웃의 기하학적 구조로부터 이득을 얻도록 보장합니다.

단계 III: 알고리즘 수준 균형 (Algorithm-Level Balancing)

이 단계는 추가적인 데이터 수정 없이 학습 목표를 희소 영역을 강조하도록 적응시킵니다.

• 메커니즘: 새로운 **잠재 밀도 가중치 손실(Latent-Density Weighted Loss, LDWL)**이 도입됩니다. 손실 함수는 두 공간에서의 결합 희귀성을 바탕으로 샘플에 가중치를 부여합니다:
  1. 잠재 공간 ($Z$): CVAE 잠재 표현에 대한 KDE를 통해 추정된 밀도.
  2. 타겟 공간 ($Y$): 단계 0에서 정의된 적응형 빈 내의 KDE를 통해 추정된 밀도.
• 공식: 샘플의 가중치 $w_i$는 잠재 밀도와 빈 조건부 타겟 밀도의 곱에 반비례합니다. 정규화 항은 이상치에 대한 과적합을 방지하기 위해 지나치게 큰 가중치를 억제합니다.
• 출력: LDWL을 사용하여 MLP를 학습시키고, 원래 샘플들의 은별 활성화 값($h_{alg}$)을 추출합니다.

단계 IV: 최종 융합 (Final Fusion)

마지막 단계는 데이터 수준과 알고리즘 수준 표현의 상호 보완적인 강점을 통합합니다.

• 메커니즘: 어텐션 기반 게이트 융합(attention-based gated fusion) 메커니즘이 $h_{data}$와 $h_{alg}$를 결합합니다. 게이팅 네트워크는 두 특징 스트림을 혼합하기 위해 인스턴스별 가중치($\alpha_i$)를 동적으로 학습합니다: $\tilde{x}_i = \alpha_i \odot h_{data} + (1-\alpha_i) \odot h_{alg}$.
• 의의: 이를 통해 모델은 각 샘플에 대해 가장 정보가 풍부한 특징을 적응적으로 우선순위화하여, 어떤 다운스트림 회귀기에도 즉시 통합될 수 있는 견고하고 풍부한 표현을 생성할 수 있습니다.

주요 기여

1. 통합 하이브리드 프레임워크: 불균형 회귀를 위해 데이터 수준의 샘플 합성(국소적 SMOGN 활용)과 명시적인 샘플별 비용 민감 재가중화(LDWL 활용)를 긴밀하게 통합하는 최초의 엔드 투 엔드 파이프라인을 제시했습니다.
2. 적응형 빈 분할: 연속적인 타겟 공간을 동적으로 분할하여 클래스 유사 구조를 모사함으로써 효과적인 불균형 처리를 가능하게 하는 새로운 전처리 단계를 도입했습니다.
3. 잠재 밀도 가중치 손실 (LDWL): (CVAE를 통해 학습된) 잠재 특징 공간과 (적응형 빈 내의) 타겟 공간 모두에서 밀도를 공동으로 고려하여 희귀 샘플을 우선시하는 새로운 손실 함수를 제안했습니다.
4. 다단계 데이터 균형: 특징 공간 클러스터링(DBSCAN)과 국소적 오버샘플링을 결합하여 합성 편향을 최소화하면서 희소 영역을 풍부하게 만드는 전략을 구축했습니다.
5. 회귀기 불가지론적 설계: 프레임워크는 표준 회귀 알고리즘(선형, 트리 기반, 신경망 등)과 원활하게 통합될 수 있는 융합된 특징 벡터를 출력합니다.

실험 결과

프레임워크는 16개의 벤치마크 회귀 데이터셋(예: California Housing, Wine Quality, Abalone)에 대해 6가지 서로 다른 회귀기(MLP, XGBoost, Linear Regression, KNN, SVR, Ridge)로 평가되었습니다.

• 성능: 하이브리드 파이프라인은 데이터 수준 또는 알고로즘 수준의 단독 방법들과 불균형 처리가 없는 표준 베이스라인 회귀기들을 일관되게 능가했습니다.
• 지표: RMSE, MAE, $R^2$ 전반에서 개선이 관찰되었습니다. 예를 들어, airfoild 데이터셋에서 하이브리드 접근 방식은 단독 회귀기 대비 $R^2$ 측면에서 568.71%의 개선을 달립했습니다.
• 왜도 상관관계: 분석 결과, 타겟 변수의 절대 왜도(skewness)와 하이브리드 파이프라인의 성능 향상 사이에 유의미한 양의 상관관계가 있음이 밝혀졌습니다. 프레임워크는 타겟 왜도가 높은 시나리오에서 가장 효과적입니다.
• 한계점: 프레임워크는 데이터 양에 대한 의존성을 보입니다. 데이터가 약 1,000개 미만인 데이터셋의 경우, 적응형 빈 분할 및 CVAE 단계에서의 과적합과 밀도 추정의 불안정성으로 인해 단독 회귀기보다 성능이 낮아지는 경우가 간혹 발생했습니다.

의의 및 주장

본 논문은 제안된 하이브리드 프레임워크가 고립된 데이터 또는 알고리즘 수준의 개입을 넘어섬으로써 불균형 회귀 문헌의 중요한 공백을 메운다고 주장합니다. 이러한 전략들을 통합함으로써, 프레임워크는 희귀하지만 중요한 타겟 값을 예측하기 위한 더욱 포괄적인 솔루션을 제공합니다.

저자들은 자사의 접근 방식이 다음과 같음을 확언합니다:

• 데이터 증강의 다양성 이점과 비용 민감 학습의 원칙적 최적화를 시너지 있게 결합합니다.
• 단순한 오버샘플링의 노이즈 위험이나 표준 손실 함수의 분포적 맹목성 없이, 희소 영역에서의 일반화 능력을 향상시킵니다.
• 대규모 불균형 회귀 작업에 효과적으로 확장되며, 타겟 왜도의 정도가 프레임워크의 효과성을 나타내는 신뢰할 수 있는 대리 지표임을 입증합니다.

연구는 이 프레임워크가 5단계 아키텍처를 안정화하기 위해 충분한 데이터 볼륨을 필요로 하지만, 극단적인 기상 예측, 이상 탐지, 그리고 희귀 사건의 중요성이 매우 높은 의료 또는 금융 리스크 예측과 같은 실세계 응용 분야를 위한 견고하고 확장 가능한 회귀기 불가지론적 향상 도구임을 결론짓습니다.