기술 요약: 불균형 분류를 위한 대규모 언어 모델: 다양성이 차이를 만든다

문제 정의

불균형 분류(Imbalanced classification)는 머신러닝에서 여전히 중요한 과제로 남아 있으며, 특히 소수 클래스(예: 희귀 질환)가 다수 클래스보다 현저히 적은 정형 데이터(Tabular data)를 다룰 때 더욱 그러합니다. SMOTE와 같은 전통적인 오버샘플링 방식은 합성 소수 샘플을 생성함으로써 이 문제를 해결하려 합니다. 그러나 이러한 접근 방식은 범주형 변수를 수치형 벡터로 변환(서열 또는 원-핫 인코딩을 통해)해야 하며, 이 과정에서 정보 손실과 아티팩트(Artifact)가 발생할 수 있습니다.

최근에는 정형 데이터를 텍스트로 처리하여 변수의 문맥을 보존하고 수치 변환을 피하는 LLM 기반 방법들이 등장했으나, 이들은 제한된 다양성이라는 다른 한계에 직면해 있습니다. 기존의 LLM 기반 방식들은 일반적으로 생성된 합성 소수 샘플들이 서로 너무 유사하다는 특징이 있습니다. 이러한 다양성의 부족은 다운스트림 분류기의 강건성과 일반화 능력을 저하시킵니다. 또한, 현재의 방법들은 유효한 데이터를 필터링하는 과정에서 외부 분류기나 (불균형 데이터로 학습된) LLM 자체를 사용하는 신뢰할 수 없는 검증 단계에 의존하는 경우가 많아, 유효한 데이터를 거부할 위험이 있습니다.

방법론: ImbLLM

저자들은 합성 소수 샘플의 다양성과 품질을 향상시키기 위해 설계된 새로운 LLM 기반 오버샘플링 프레임워크인 ImbLLM을 제안합니다. 이 방법은 기존 베이스라인 모델들과 비교하여 세 가지 구체적인 기술적 개선 사항을 도입합니다.

1. 다양성 조건부 샘플링 (condition_yx)

기존 방식들은 LLM에 쿼리를 보내기 위해 소수 레이블(예: "소득은 200K 이상")에만 기반하여 프롬프트를 구성합니다. 소프트맥스(Softmax) 함수를 사용하는 토큰 예측 특성 때문에, 동일한 프롬프트는 매우 유사한 출력을 내놓는 경우가 많습니다.

• 혁신: ImbLLM은 소수 레이블과 무작위로 샘플링된 특징(Feature) 모두에 조건화된 프롬프트를 구성합니다.
• 메커니즘: 각 생성 단계마다 시스템은 소수 분포에서 특징 $X_i$와 그 값 $v_i$를 샘플링하여, "소득은 200K 이상, 학력은 학사"와 같은 형태의 프롬프트를 만듭니다. 이러한 조건부 입력의 변화는 LLM이 특징 공간의 다양한 영역을 탐색하도록 강제하여, 더 다양한 합성 샘플을 생성하게 합니다.

2. 고정 레이블을 통한 특징 순열 (fix_y)

표준 LLM 기반 방식들은 위치 편향(Positional bias)을 방지하기 위해 파인튜닝 시 특징($X$)과 타겟 변수($Y$)를 모두 순열(Permute)합니다. 그러나 디코더 전용(Decoder-only) LLM의 경우, 어텐션 메커니즘이 마스킹되어 있어 특정 토큰이 이전의 토큰들만 참조할 수 있습니다.

• 문제: 만약 소수 레이블 $Y$가 문장의 중간이나 끝으로 이동하면, 해당 레이블은 앞에 있는 특징들을 참조할 수 없게 되어, 해당 레이블에 조건화된 다양한 특징을 생성하는 능력이 제한됩니다.
• 혁신: ImbLLM은 소수 레이블($Y$)을 문장의 맨 앞에 고정하고 특징($X$)만을 순열합니다.
• 메커니즘: $Y$를 가장 먼저 배치함으로써(예: "소득은 200K 이상, 학력은 학사..."), 레이블이 어텐션 메커니즘을 통해 이후의 모든 특징을 참조할 수 있게 하여, 생성된 특징들이 타겟 클래스에 완전히 조건화되도록 보장합니다.

3. 보간법을 이용한 파인튜닝 (minor+interpolate)

기존 방식들은 LLM을 다수 클래스와 소수 클래스 모두로 파인튜닝한 후, 합성 샘플이 소수 클래스에 속하는지 확인하기 위해 검증 단계를 거칩니다. 그러나 검증기는 불균형 데이터로 학습되었기 때문에 이 검증 과정은 종종 신뢰할 수 없습니다.

• 혁신: ImbLLm은 소수 샘플과 보간된(Interpolated) 샘플에 대해서만 LLM을 파인튜닝하며, 파인튜닝 단계에서 다수 클래스를 완전히 배제합니다.
• 메커니즘: 연속형 변수의 도메인 커버리지가 부족할 수 있는 소수 데이터의 희소성 문제를 해결하기 위해, 저자들은 보간 단계를 도입합니다. 기존 소수 샘플 사이를 보간하여 합성 연속값을 생성합니다($x'_i = x^c_i + \epsilon(x^c_j - x^c_i)$). 이후 LLте LLM은 원본 소수 샘플과 이 보간된 샘플의 합집합으로 파인튜닝됩니다. 이를 통해 사후 생성 검증 단계를 제거하고, 모델이 다수 클래스로 편향되는 것을 방지합니다.

주요 기여

1. ImbLLM 프레임워크: 샘플링, 순열, 파인튜닝의 세 가지 핵심 개선 사항을 통합하여 다양하고 강건한 소수 샘플을 생성하는 새로운 오버샘플링 방법론을 제시했습니다.
2. 이론적 분석: 제안된 생성 프로세스가 수학적으로 출력의 다양성을 촉진함을 입증하는 엔트로피 기반 분석을 수행했습니다.
3. 포괄적 평가: 10개의 실제 정형 데이터셋을 사용하여 SMOTE, CTGAN 및 Great, TapTap, Pred-LLM과 같은 최신 LLM 기반 방법들을 포함한 8개의 SOTA(State-of-the-art) 베이스라인과 비교 실험을 진행했습니다.
4. 품질 및 다양성 지표: 생성된 샘플이 다운스트림 분류에 효과적일 뿐만 아니라, "근접 확률(Close Probability, 실제 데이터와의 유사도)"과 "커버리지(Coverage, 생성된 매니폴드의 다양성)" 측면에서도 우수함을 입증했습니다.

실험 결과

저자들은 10개의 데이터셋(예: Adult, German, Credit Card)에 대해 F1-score와 AUC를 주요 지표로 사용하여 ImbLLM을 평가했습니다.

• 분류 성능: ImbLLM은 10개 데이터셋 중 5개에서 최고의 F1-score를 기록했으며, 나머지 3개에서도 두 번째로 높은 성적을 거두었습니다. 평균적으로 Im-LLM은 2위인 CTGAN보다 약 3%, 표준 불균형 분류기(오버샘플링 미적용)보다 약 8% 높은 성능을 보였습니다. 특히, ImbLLM은 원본 소수 샘플의 20%만을 사용하여 훈련했음에도 불구하고, 균형 잡힌 데이터셋으로 훈련된 분류기의 성능에 근접하는 결과를 보여주었습니다.
• 다양성 및 품질:
  • 근접 확률(Close Probability): ImbLLM은 CTGAN의 0.7761 대비 0.8011을 기록하여, 합성 샘플이 실제 소수 샘플에 더 가깝다는 것을 보여주었습니다.
  • 커버리지(Coverage): Im-LLM은 CTGAN의 0.8482 대비 0.8933을 기록하여, 실제 데이터 매니폴드를 더 잘 포괄함을 나타냈습니다.
• 절제 연구(Ablation Studies): 연구를 통해 각 구성 요소(다양한 샘플링, 고정 레이블 순열, 보간법)가 성능에 유의미하게 기여함을 확인했습니다. 보간 단계를 제거했을 때 성능은 낮아졌으나, 여ers 베이스라인보다는 여전히 우수했습니다.
• 강건성: 검증 단계가 필요할 때 검증기를 훈련하기에 데이터가 너무 치우쳐 있으면 실패하는 TapTap 및 Pred-LLM과 달리, 파인튜닝 시 다수 데이터를 제외하는 ImbLLM의 방식은 다양한 불균형 비율에서도 더 강건한 모습을 보였습니다.

의의 및 주장

본 논문은 다양성이 성공적인 LLM 기반 오버샘플링과 실패하는 방식 사이를 가르는 결정적 요인이라고 주장합니다. 기존의 LLM 방식들이 생성 또는 검증의 메커니즘에 집중했다면, ImbLLM은 특정 프롬프트 엔지니어링, 어텐션 인지 순열, 보간 기반 파인튜닝을 통해 생성 프로세스의 다양성을 최적화하는 것이 어떻게 직접적으로 우수한 다운스트림 분류 성능으로 이어지는지를 보여줍니다.

저자들은 자신들의 방법이 잠재적으로 편향된 분류기를 사용하여 "나쁜" 샘플을 걸러낼 필요 없이, 고품질의 소수 데이터를 본질적으로 생성한다는 점에서 검증 중심의 접근 방식보다 더 신뢰할 수 있는 대안임을 강조합니다. 결과적으로 ImbLLM은 심각하게 불균형한 데이터셋과 그에 상응하는 균형 잡힌 데이터셋 사이의 성능 격차를 효과적으로 메울 수 있으며, 정형 데이터 내 희귀 사건을 다루는 실제 응용 분야에서 실행 가능한 솔루션이 될 수 있음을 시사합니다.