Improving Performance in Classification Tasks with LCEN and the Weighted Focal Differentiable MCC Loss

논문 요약: LCEN 및 가중 초점 미분 가능 MCC 손실 함수를 통한 분류 작업 성능 향상

1. 연구 배경 및 문제 제기 (Problem)

• 분류 문제의 중요성: 과학, 공학 등 다양한 분야에서 분류 문제는 ubiquitous(보편적) 이며, 모델의 해석 가능성 (Interpretability) 과 희소성 (Sparsity, 적은 입력 특징 사용) 은 신뢰할 수 있는 의사결정을 위해 필수적입니다.
• 기존 방법의 한계:
  • 해석 가능성: 많은 고성능 모델 (예: 심층 신경망) 은 블랙박스 성격을 띠며, 사후 해석 방법 (Shapley 값, LIME 등) 은 신뢰성이 낮거나 모델이 실제 문제와 무관한 '단순화 (shortcuts)'를 학습할 위험이 있습니다.
  • 손실 함수와 평가 지표의 불일치: 분류 모델은 일반적으로 교차 엔트로피 (Cross-Entropy, CE) 손실 함수로 훈련되지만, 최종 평가는 F1 점수나 매슈스 상관 계수 (MCC) 와 같은 분류 지표를 기준으로 합니다. CE 손실은 MCC 와 같은 지표를 직접 최적화하지 않으므로, 손실 함수가 최소화된 모델이 반드시 최고의 분류 성능을 보장하지는 않습니다.
  • LCEN 의 제한: 기존 LASSO-Clip-EN (LCEN) 알고리즘은 비선형적이고 해석 가능한 특징 선택 및 회귀 (Regression) 작업에 탁월한 성능을 보였으나, 분류 (Classification) 작업에는 적용되지 못했습니다.

2. 방법론 (Methodology)

이 논문은 LCEN 알고리즘을 분류 작업에 맞게 수정하고, 새로운 손실 함수를 도입하여 두 가지 핵심 접근법을 제시합니다.

가. 분류용 LCEN 알고리즘 수정 (Modified LCEN for Classification)

• 기반 알고리즘: 기존 회귀용 LCEN (LASSO-Clip-EN) 을 분류에 적용하기 위해 다음과 같이 수정했습니다.
  1. LASSO 단계: L1 정규화 penalties 를 가진 선형 회귀를 L1 정규화 penalties 를 가진 로지스틱 회귀로 변경.
  2. Clip 단계: 이진 분류에서는 동일하게 유지. 다중 클래스 분류의 경우, 각 클래스별로 생성된 특징 집합을 EN 단계 또는 최종 출력 전에 조화 (Harmonize) 시킴. 이를 위해 LCEN_clip_min_classes_selected 하이퍼파라미터를 도입하여 특정 클래스 수 이상에서 선택된 특징만 유지하도록 설정.
  3. EN 단계: L1-L2 정규화 penalties 를 가진 선형 회귀를 L1-L2 정규화 penalties 를 가진 로지스틱 회귀로 변경.
• 성능: 이 수정은 LCEN 의 최적 전략과 해석 가능성, 희소성 특성을 유지하면서 분류 문제에 적용 가능하게 함.

나. 가중 초점 미분 가능 MCC 손실 함수 (Weighted Focal Differentiable MCC Loss, diffMCC)

• 목적: 교차 엔트로피 (CE) 손실 함수의 한계를 극복하고, 직접적으로 MCC 지표를 최적화할 수 있는 미분 가능한 손실 함수를 사용.
• 적용: 수정된 LCEN 과 함께, 다층 퍼셉트론 (MLP) 을 훈련할 때 CE 손실 대신 diffMCC 손실 함수를 사용하여 모델의 분류 정확도를 극대화.

다. 실험 설정

• 데이터셋: 2 개의 이진 분류 (Heart Failure, Bank Marketing) 및 2 개의 다중 클래스 분류 (Wine Quality, Glass Identification) 데이터셋 포함 총 4 개의 실제 데이터셋 사용.
• 비교 대상: 로지스틱 회귀, LASSO, Ridge, Elastic Net, 랜덤 포레스트, GBDT, SVM, AdaBoost, CE 손실로 훈련된 MLP 등 10 가지 이상의 기존 모델과 비교.
• 평가 지표: Macro F1 점수, Matthews Correlation Coefficient (MCC).
• 특징 선택 검증: LCEN 이 선택한 특징만으로 다른 모든 모델을 재훈련하여 성능 변화를 분석.

3. 주요 기여 (Key Contributions)

1. 분류용 LCEN 알고리즘 개발: 회귀 전용이었던 LCEN 을 분류 작업에 맞게 확장하여, 높은 예측 성능과 동시에 해석 가능성 및 희소성을 유지하는 모델을 제안.
2. diffMCC 손실 함수의 광범위한 검증: 생물학적 문제를 넘어 다양한 과학 및 공학 분야의 분류 작업에서 diffMCC 손실 함수가 기존 CE 손실보다 우월한 성능을 보임을 입증.
3. 강력한 특징 선택 능력 입증: LCEN 이 선택한 특징 집합이 기존 통계적 방법이나 도메인 지식 기반 방법보다 다른 모델들의 성능을 향상시키는 것을 확인.

4. 실험 결과 (Results)

• 모델 성능 비교:
  • LCEN: 4 개 데이터셋에서 대부분의 기존 모델보다 높은 Macro F1 점수와 MCC 를 기록. 가장 좋은 모델 (주로 MLP-diffMCC) 과의 격차는 Macro F1 기준 평균 7.3%, MCC 기준 15.0% 이내로 매우 근접함.
  • MLP-diffMCC: 모든 실험에서 가장 높은 성능을 보임. CE 손실로 훈련된 MLP 대비 평균 Macro F1 점수는 4.9% 높고, MCC 는 8.5% 높음.
• 특징 선택 효과:
  • 희소성: LCEN 은 평균 56% 의 입력 특징을 제거하여 희소한 모델을 생성함 (3/4 의 데이터셋에서 50% 이상 제거).
  • 성능 향상: LCEN 이 선택한 특징으로 다른 모델을 재훈련했을 때, 4 개 데이터셋 중 3 개에서 통계적으로 유의미한 성능 향상을 보임.
    • Heart Failure: LCEN 특징 사용 시 Macro F1 3.3% 증가, MCC 10.0% 증가.
    • Bank Marketing: LCEN 특징 사용 시 Macro F1 1.2% 증가, MCC 7.5% 증가 (GBDT 제외 시 더 큰 향상).
    • Glass Identification: LCEN 특징 사용 시 Macro F1 5.4% 증가, MCC 19.1% 증가.
  • 비교: 기존 연구 (Chicco & Jurman, Moro et al.) 나 상관관계 기반 특징 선택 방법보다 LCEN 이 선택한 특징이 모델 성능을 더 크게 향상시킴.
• 하이퍼파라미터 분석: 다중 클래스 분류에서 LCEN_clip_min_classes_selected 파라미터를 클래스 수의 2/3 이하로 설정할 때 최적의 성능을 보임.

5. 의의 및 결론 (Significance)

• 해석 가능성과 성능의 동시 달성: LCEN 은 복잡한 분류 문제에서도 높은 정확도를 유지하면서도 해석 가능한 희소 모델을 제공하여, 의료, 항공 등 신뢰가 중요한 분야에서 머신러닝 모델 배포의 장벽을 낮춤.
• 손실 함수의 혁신: diffMCC 손실 함수는 분류 평가 지표 (MCC) 와 손실 함수 간의 불일치 문제를 해결하여, 기존 교차 엔트로피 손실보다 훨씬 정확한 분류 모델을 훈련할 수 있음을 입증.
• 미래 방향: LCEN 을 물리 법칙이 통합된 하이브리드 모델 (Physics-guided ML) 에 적용하여 물리 방정식을 자동 생성하는 연구로 확장 가능하며, diffMCC 손실 함수는 텍스트나 이미지와 같은 비표형 (Tabular) 데이터 작업으로도 확장 가능함.

이 논문은 LCEN 알고리즘의 분류 작업 적용 가능성과 diffMCC 손실 함수의 우수성을 체계적으로 증명함으로써, 해석 가능하고 고성능인 분류 모델 개발에 중요한 기여를 했습니다.