CARTGen-IR: Synthetic Tabular Data Generation for Imbalanced Regression

이 논문은 불균형 회귀 문제에서 임계값 설정 없이 표적 밀도와 관련성을 기반으로 한 CART 기반 합성 샘플링 기법 (CARTGen-IR) 을 제안하여, 기존 생성 모델보다 빠르고 해석 가능한 방식으로 희귀한 목표값 영역을 효과적으로 보강하는 방법을 제시합니다.

핵심

🍎 1. 문제 상황: "사과와 돌"의 문제

상상해 보세요. AI 가 사과를 분류하는 일을 한다고 칩시다.

• 일반적인 상황: 사과 100 개 중에 '상한 사과'가 99 개, '완벽한 사과'가 1 개 있습니다.
• AI 의 실수: AI 는 '상한 사과'를 많이 보니까, "아, 모든 사과는 다 상한 거구나!"라고 생각하게 됩니다. 그래서 완벽한 사과를 봐도 "상한 사과"라고 잘못 예측하게 되죠.

이게 바로 불균형 (Imbalance) 문제입니다. 특히 회귀 (Regression) 문제에서는 숫자가 연속적으로 변하는 값 (예: 주가, 기온, 질병 수) 을 예측할 때, **매우 드물게 발생하는 '극단적인 값' (예: 폭풍우, 금융 사기, 희귀 병)**을 AI 가 잘 찾아내지 못해 큰 문제가 됩니다.

🚧 2. 기존 방법들의 한계: "자르는 칼"과 "블랙박스"

지금까지 이 문제를 해결하려고 했던 방법들은 두 가지 큰 단점이 있었습니다.

1. 임계값 (Threshold) 의 함정:
   • "5.0 이상이면 중요하고, 4.9 이면 중요하지 않다"라고 인위적으로 선을 그어버리는 방법들이었습니다.
   • 비유: 마치 "키가 180cm 이상이면 운동선수로 인정하고, 179.9cm 면 일반인"이라고 딱 잘라버리는 것과 같습니다. 0.1cm 차이로 운명이 달라지는 것은 불합리하죠. 연속적인 숫자 세계에서는 이런 '선 긋기'가 오히려 혼란을 줍니다.
2. 블랙박스 (Black Box) 의 복잡함:
   • 최신 AI(딥러닝) 를 쓰면 데이터를 만들어내기는 잘하지만, 어떻게 만들어졌는지 전혀 알 수 없어요.
   • 비유: 요리를 잘하는 마법사가 있지만, 그가 어떤 재료를 넣고 어떻게 요리했는지 알려주지 않는다면, 우리는 그 요리를 신뢰하거나 따라 할 수 없죠. 또한 계산도 너무 느립니다.

🌳 3. 새로운 해결책: CARTGen-IR (나무로 만든 지도)

이 논문은 CARTGen-IR이라는 새로운 방법을 제안합니다. 이름은 'CART(의사결정나무) 를 이용한 불균형 회귀 생성'이라는 뜻입니다.

핵심 아이디어 1: "선 긋지 않고, 중요도만 따지기"

• 비유: "5.0 이상"이라고 선을 그을 필요 없이, **"이 값이 얼마나 드물고 중요한가?"**를 점수로 매깁니다.
• 드문 값 (상한 사과) 에는 점수를 높게 주고, 흔한 값에는 점수를 낮게 줍니다. 이렇게 하면 AI 가 드문 사례를 더 많이 보게 됩니다.

핵심 아이디어 2: "나무 가지치기로 새로운 데이터 만들기"

• 이 방법은 **의사결정나무 (Decision Tree)**라는 알고리즘을 사용합니다.
• 비유:
  • 기존 데이터들을 나무 가지처럼 쪼개서 (예: "날씨가 비인가?", "온도가 높은가?") 그룹을 나눕니다.
  • 드문 사례가 모여 있는 **작은 가지 (리프 노드)**를 찾아냅니다.
  • 그 작은 가지 안에서 새로운 사과 (데이터) 를 만들어냅니다.
  • 장점: 나무 구조를 그대로 쓰기 때문에, "왜 이 데이터를 만들었는지"가 투명하게 보입니다. (블랙박스 아님!) 그리고 숫자, 카테고리, 결측치 (빈칸) 를 모두 자연스럽게 다룰 수 있습니다.

🏆 4. 실험 결과: 빠르고 똑똑한 승리

연구자들은 15 개의 다양한 데이터셋으로 실험을 해보았습니다.

• 성능: 기존에 가장 잘하던 방법들 (딥러닝 기반 등) 과 비교해도 매우 좋은 성능을 냈습니다. 특히 드문 값을 예측하는 데 탁월했습니다.
• 속도: 딥러닝 방법들은 데이터를 만드는 데 시간이 너무 오래 걸렸지만, CARTGen-IR 은 훨씬 빠릅니다. (딥러닝보다 평균 131 배 빠름!)
• 투명성: 어떻게 데이터를 만들었는지 이해하기 쉽습니다.

💡 5. 한 줄 요약

"드물고 중요한 사건을 찾아내는 AI 를 위해, 복잡한 마법 (딥러닝) 대신 투명한 나무 지도 (CART) 를 그려서, 드문 사례를 더 많이 보여주되 인위적인 선을 그어 끊지 않는 새로운 방법을 만들었습니다."

이 방법은 빠르고, 투명하며, 드문 사건을 잘 찾아내는 실용적인 해결책으로, 금융 사기 탐지, 극단적인 날씨 예측, 희귀 질병 진단 등 다양한 분야에서 유용하게 쓰일 수 있을 것으로 기대됩니다.

기술 요약

1. 문제 정의 (Problem Definition)

• 불균형 회귀 (Imbalanced Regression) 의 한계: 기존의 불균형 학습 연구는 주로 분류 (Classification) 문제에 집중되어 왔습니다. 그러나 회귀 문제에서도 극단적인 값 (예: 극한 기상 현상, 금융 사기, 드문 약물 반응 등) 이 과소대표되는 경우 모델 성능이 저하됩니다.
• 기존 방법의 문제점:
  • 임계값 (Threshold) 의존성: 기존 데이터 레벨 해결책 중 많은 방법이 분류 기법을 차용하여 연속적인 타겟 변수에 임의의 임계값을 설정합니다. 이는 연속성을 인위적으로 이산화 (Discretization) 하여, 임계값 바로 위와 아래 값의 중요도를 급격히 다르게 취급하는 비합리적인 결과를 초래합니다.
  • 복잡성과 해석 불가능성: 딥러닝 기반 생성 모델 (GAN, VAE 등) 은 유연하지만 계산 비용이 높고 블랙박스 성격을 띠어 해석이 어렵습니다.
  • 데이터 품질: 단순한 보간법 (Interpolation) 기반의 오버샘플링 (예: SMOTER) 은 비현실적인 합성 데이터를 생성하거나 과적합 (Overfitting) 위험을 높일 수 있습니다.

2. 제안 방법론: CARTGen-IR (Methodology)

저자들은 CART (Classification and Regression Trees) 기반의 합성 데이터 생성 기법인 CARTGen-IR을 제안합니다. 이 방법은 임의의 임계값 없이 불균형 회귀 문제를 해결하며, 다음과 같은 핵심 프로세스를 따릅니다.

1. 희소성/관련성 기반 가중치 부여 (Rarity-based Weighting):

   • 타겟 값의 희소성 (Rarity) 또는 관련성 (Relevance) 을 추정하여 가중치를 부여합니다.
   • DenseWeight (커널 밀도 추정 기반) 또는 Relevance Function (도메인 지식 기반) 중 하나를 선택할 수 있습니다.
   • 가중치에 희소성 지수 ($\alpha$) 를 적용하여 드문 사례를 더 많이 샘플링하도록 조정합니다.

2. 재샘플링 (Resampling):

   • 가중치를 기반으로 원본 데이터셋을 복원 추출 (Sampling with replacement) 하여 드문 사례가 포함된 데이터셋을 생성합니다.
   • 이 과정에서 자주 발생하는 값은 배제하고, 희소하고 중요한 영역에 집중합니다.

3. CART 기반 순차적 합성 데이터 생성:

   • 트리 학습: 재샘플링된 데이터셋을 사용하여 각 속성 (Feature) 을 타겟으로, 이전 속성들을 예측 변수로 하는 CART 트리를 순차적으로 학습합니다.
   • 합성 샘플 생성: 학습된 트리를 사용하여 새로운 합성 샘플을 생성합니다.
     • 첫 번째 변수는 루트 노드에서 무작위 값을 선택합니다.
     • 이후 변수들은 이전에 생성된 값들을 기반으로 해당 트리의 리프 노드 (Leaf Node) 를 찾아 값을 추출합니다.
   • 연속 변수 처리: 리프 노드의 이산적인 값에서 직접 샘플링하는 대신, 해당 노드의 값에 **가우시안 커널 밀도 추정 (Gaussian KDE)**을 적용하여 매끄러운 분포에서 값을 추출함으로써 일반화 성능을 높이고 희소한 꼬리 (Tail) 값을 포함합니다.
   • 노이즈 추가: 과적합을 방지하기 위해 수치형 속성에 가우시안 노이즈 (Jitter) 를 선택적으로 추가할 수 있습니다.

3. 주요 기여 (Key Contributions)

• 임계값 없는 접근법: 연속적인 타겟 변수를 인위적으로 이산화하지 않고, CART 의 분할 구조를 활용하여 자연스러운 희소 영역 포착이 가능합니다.
• 해석 가능성 (Interpretability): 딥러닝 기반 생성 모델과 달리, 의사결정나무 구조를 사용하므로 합성 데이터가 어떻게 생성되었는지 투명하게 추적 (Auditable) 할 수 있습니다.
• 범용성: 수치형 및 범주형 변수를 모두 처리하며, 결측치 (Missing Values) 에 대한 명시적인 대체 없이도 자연스럽게 처리할 수 있습니다.
• 효율성: 복잡한 딥러닝 모델에 비해 계산 비용이 낮고 실행 속도가 빠릅니다.

4. 실험 결과 (Experimental Results)

저자는 15 개의 벤치마크 회귀 데이터셋과 3 가지 학습 알고리즘 (Random Forest, SVR, XGBoost) 을 사용하여 56 가지 전처리 전략과 비교 실험을 수행했습니다.

• 성능 비교:
  • 정량적 지표: SERA (Squared Error-Relevance Area), RW-RMSE (Relevance Weighted RMSE) 등 불균형 회귀에 특화된 지표에서 CARTGen-IR은 WSMOTER, KNNOR-REG 등 최상위 기법들과 경쟁하거나 더 나은 성능을 보였습니다.
  • 베이지안 순위 검정: RF, SVR, XGBoost 모델 모두에서 CARTGen-IR 이 WSMOTER 보다 우세할 확률이 높게 나타났습니다 (예: RF 기준 99% 우세 확률).
  • 강건성: 다른 방법들은 과소샘플링 비율에 따라 성능이 크게 변동하는 반면, CARTGen-IR 은 일관된 강건성을 보였습니다.
• 실행 시간:
  • 합성 데이터를 생성하는 방법 중 가장 빠른 기법 중 하나로 평가받았습니다.
  • 딥러닝 기반 생성 모델 (TVAE, CTGAN 등) 보다 평균적으로 131 배 빠른 실행 시간을 기록했습니다.
  • 단순 샘플링 기반 방법 (RU, RO) 보다 느리지만, 생성된 데이터의 품질과 예측 성능을 고려했을 때 효율적인 트레이드오프를 제공합니다.

5. 의의 및 결론 (Significance & Conclusion)

• 실용적 가치: CARTGen-IR 은 불균형 회귀 문제 해결을 위해 계산 효율성, 해석 가능성, 그리고 높은 예측 성능을 동시에 만족하는 데이터 레벨 전략을 제공합니다.
• 기존 한계 극복: 임의의 임계값 설정으로 인한 인위적 분할 문제를 해결하고, 블랙박스 생성 모델의 단점을 보완합니다.
• 미래 전망: 이 연구는 트리 기반 메커니즘이 불균형 회귀 분야에서 유효한 접근법임을 입증했습니다. 향후 다양한 데이터셋으로의 확장, 더 복잡한 상호작용을 포착할 수 있는 트리 학습자 대체, 비용 민감 학습 (Cost-sensitive learning) 통합 등이 향후 연구 과제로 제시되었습니다.

요약하자면, CARTGen-IR 은 불균형 회귀 데이터의 희소 영역을 인위적인 임계값 없이, 투명하고 효율적인 의사결정나무 구조를 통해 합성 데이터로 보강함으로써 모델의 예측 능력을 획기적으로 개선하는 새로운 패러다임을 제시합니다.