기술 요약: ECSEL – 시그모니얼 방정식 학습을 통한 설명 가능한 분류

문제 제기

현대 기계 학습은 종종 설명 가능성의 희생양으로 예측 성능을 최우선으로 합니다. 심층 신경망은 높은 정확도를 달성하지만 "블랙박스"로 기능하여 예측 뒤에 숨겨진 추론 과정을 가립니다. 의학, 금융, 인사 관리와 같은 고위험 영역에서는 정확도만큼이나 근본적인 의사 결정 과정을 이해하는 것이 중요합니다. 기호 회귀 (Symbolic Regression, SR) 는 명시적인 수학적 공식을 생성함으로써 본질적으로 해석 가능한 모델을 제공하지만, 기존 SR 접근법 (예: 유전 프로그래밍) 은 고차원 데이터셋에서 어려움을 겪고 데이터에 존재하는 구조적 패턴을 활용하지 못하는 계산 비용이 많이 드는 확률적 휴리스틱에 의존합니다. 또한, 기존 SR 방법들은 종종 범용 도구로 설계된 반면, 블랙박스 모델에 적용되는 사후 설명 기법 (예: LIME, SHAP) 은 신뢰성이 없거나 오해의 소지가 있을 수 있습니다.

방법론

본 논문은 시그모니얼 방정식 (signomial equations) 형태의 형식적 표현식을 학습하여 분류기와 설명자 역할을 모두 수행하는 ECSEL(Explainable Classification via Signomial Equation Learning) 을 소개합니다.

핵심 공식화

시그모니얼 함수는 실수 계수와 지수를 갖는 유한 개의 멱함수 (power-law) 항들의 합으로 정의됩니다:
$$z(x) = \sum_{k=1}^{K} \alpha_k \prod_{j=1}^{m} x_j^{\beta_{k,j}}$$
여기서 $x$는 특징 벡터, $\alpha_k$는 계수, $\beta_{k,j}$는 지수입니다.

ECSEL 아키텍처:

1. 클래스별 점수: $C$개의 클래스를 가진 다중 클래스 문제에서 ECSEL 은 각 클래스 $c$에 대해 특정 시그모니얼 점수 함수 $z_c(x)$를 학습합니다.
2. 확률 변환: 클래스별 시그모니얼 점수에 소프트맥스 (softmax) 함수를 적용하여 클래스 확률을 도출합니다. 이진 분류의 경우 시그모이드 함수를 적용합니다.
3. 전처리: 실수 지수는 양의 인수가 필요하므로, $x_{ij} > 0$을 보장하기 위해 특징을 아핀 변환 (예: $[1, 10]$으로 스케일링) 을 통해 전처리합니다.
4. 학습 목적: 모델은 지수 ($\beta$) 에 적용된 $\ell_1$ 정규화 항과 함께 교차 엔트로피 손실을 최소화하도록 학습됩니다. 이는 희소성을 유도하여 관련 없는 지수를 0 으로 만들고, 더 적은 활성 특징을 가진 간결하고 해석 가능한 방정식을 생성합니다.
5. 최적화: 저자들은 수치적 안정성 기법 (로그 변환) 과 결합된 그래디언트 기반 최적화 (그래디언트 클리핑이 적용된 Adam) 를 사용합니다. 기호 회귀 작업의 경우, 다중 시작 단계 최적화 전략 (구조 발견을 위한 Adam, 그 다음 L-BFGS 정제) 을 사용합니다.

이론적 기반

본 논문은 시그모니얼 함수가 양의 사분면의 컴팩트 부분집합에서 **보통 근사 성질 (Universal Approximation Property)**을 갖는다고 입증합니다. 로그 변환을 통해 시그모니얼을 선형 함수의 지수함수로 매핑함으로써, 저자들은 시그모니얼이 임의의 연속 함수를 임의의 정밀도로 근사할 수 있음을 증명하며, 이를 신경망과 동등한 범용 근사기로 위치시키되 곱셈적 멱함수 관계에 특화시켰습니다.

해석 가능성 속성

ECSEL 은 샘플링 기반 사후 방법의 필요성을 피하고 폐쇄형 구조에서 직접 세 가지 수준의 설명을 도출합니다:

1. 전역 특징 행동:
   • 탄력성 (G1): 클래스 점수에 대한 특징의 로그 - 로그 미분은 비례 민감도의 폐쇄형 측정을 제공합니다. 단일 항 모델 ($K=1$) 의 경우, 이는 상수이며 지수와 같습니다.
   • 반사실적 추론 (G2): 특징을 인자 $q$만큼 스케일링하는 효과는 $z_{new} = \sum q^{\beta} z_{old}$ 공식을 사용하여 재학습 없이 정확하게 계산할 수 있습니다.
   • 그래디언트 기반 민감도 (G3): 작은 비례 변화에 대한 1 차 응답은 분석적으로 유도됩니다.
2. 의사 결정 수준 효과:
   • 의사 결정 경계 민감도 (D1): 클래스 간 마진에 대한 특징의 영향은 로그 - 그래디언트의 차이로 특징지어집니다.
   • 확률 경쟁 (D2): 예측 확률에 대한 특징 변화의 민감도는 정규화를 통해 특징들이 어떻게 경쟁하는지를 보여주며 정확하게 유도됩니다.
3. 국소 특징 귀속:
   • 로그 공간 가법성 (L1): 단일 항 모델의 경우, 로그 점수는 SHAP 값과 유사하게 로그 공간에서 정확히 가법적입니다.
   • 그래디언트 기반 국소 귀속 (L2): 다중 항 모델의 경우, 국소 귀속은 기준점 주변의 1 차 선형화를 통해 얻어지며, 추정된 근사가 아닌 정확한 폐쇄형 그래디언트를 제공합니다.

주요 기여

1. 시그모니얼 구조의 식별: 저자들은 기호 회귀 벤치마크 (예: AI Feynman 방정식의 45%) 에서 시그모니얼 함수가 지배적인 구조임을 식별하고, 이 구조를 직접 활용하기 위해 ECSEL 을 제안합니다.
2. 효율적 복구: ECSEL 은 DGSR, NGGP, NeSymRes 와 같은 최신 접근법보다 SR 벤치마크에서 목표 방정식을 더 자주 복구하며, 훨씬 적은 계산 시간을 요구합니다.
3. 경쟁력 있는 분류: ECSEL 은 해석 가능성을 희생하지 않고도 로지스틱 회귀, 랜덤 포레스트, XGBoost, SVM, MLP 와 같은 기존 기계 학습 모델과 경쟁력 있는 분류 정확도를 달성합니다.
4. 형식적 해석 가능성: 이 방법은 모델 파라미터에서 도출되며 샘플링에 의존하지 않는 전역 특징 행동 분석, 의사 결정 경계 분석, 국소 특징 귀속을 가능하게 하는 분석적 속성을 충족합니다.
5. 실제 활용 가치: 전자 상거래 및 사기 탐지 사례 연구를 통해 저자들은 ECSEL 이 학습된 방정식을 통해 데이터셋 편향을 드러내고, 반사실적 추론을 지원하며, 실행 가능한 통찰력을 제공함을 입증합니다.

실험 결과

기호 회귀 벤치마크

AI Feynman, Livermore, Jin, Korns 데이터셋 (총 58 개 방정식) 에서 평가:

• 복구율: ECSEL 은 DGSR(59.10%), NGGP(58.54%), NeSymRes(56%) 를 크게 상회하는 **95.86%**의 전역 평균 복구율을 달성했습니다.
• 계산 시간: ECSEL 은 방정식당 평균 86.4 초가 소요되었으며, DGSR(612.9 초), NGGP(468.7 초), NeSymRes(126.3 초) 에 비해 훨씬 짧았습니다.
• 수치 정확도: 정확한 기호 복구에 실패하더라도 ECSEL 은 일반적으로 거의 완벽한 수치 근사 ($R^2 \approx 1$) 를 제공했습니다.

분류 벤치마크

11 개의 표준 이진 및 다중 클래스 데이터셋 (예: ILPD, COMPAS, LOAN, SKINNONSKIN) 에서 평가:

• 성능: ECSEL 은 11 개 데이터셋 중 4 개에서 가장 높은 F1 점수를 달성했으며, 11 개 중 9 개에서 최상위 방법과 1 퍼센트 포인트 이내의 순위로 평가되었습니다.
• 소수 클래스 재현율: ECSEL 은 클래스 불균형을 처리하는 데 우수한 성능을 보였으며, ILPD(42.42% 대 XGBoost 의 6.06%) 및 TRANSFUSION(41.67% 대 38.89%) 과 같은 데이터셋에서 소수 클래스 재현율이 현저히 높았습니다.
• 효율성: 학습 시간은 로지스틱 회귀와 같은 일부 베이스라인보다 길었지만, 비용은 설명에서 학습으로 이동되었습니다; 학습 후 모든 귀속은 블랙박스 모델이 요구하는 비싼 SHAP/LIME 계산과 달리 폐쇄형으로 거의 비용 없이 얻어집니다.

사례 연구

1. 온라인 쇼핑 의도: ECSEL 은 "PageValue per ExitRate"를 지배적 예측 변수로 식별하는 7 개 특징 시그모니얼을 학습했습니다. 이는 경쟁력 있는 소수 클래스 재현율 (75.7%) 을 달성했으며, LIME 보다 안정성과 계산 비용 측면에서 우수한 정확한 반사실적 추론 및 국소 분해를 제공했습니다.
2. PaySim 사기 탐지: 630 만 건의 거래 (사기율 0.13%) 가 포함된 데이터셋에서 ECSEL 은 **79.08%**의 F1 점수와 **94.27%**의 정밀도를 달성했습니다. 학습된 방정식은 지수 1.42 를 가진 "초선형 부자 타겟팅 메커니즘"(원천 계좌 잔고) 을 드러냈으며, 이는 사기꾼들이 고액 계좌를 불균형적으로 표적한다는 것을 시사합니다. ECSEL 의 성능은 Deep Symbolic Classification(DSC) 과 경쟁력 있었으며, 더 엄격한 방법론적 유효성 (시간적 데이터 누출 없음) 을 준수했습니다.

중요성 및 주장

본 논문은 ECSEL 이 기호 회귀의 해석 가능성과 현대 분류의 실용적 요구 사항 사이의 간극을 해소한다고 주장합니다. 계산 효율성과 투명한 의사 결정을 결합함으로써 ECSEL 은 고위험 영역에서 블랙박스 모델에 대한 실행 가능한 대안을 제공합니다. 저자들은 이 방법이 단순히 블랙박스 행동을 근사하는 것이 아니라, 의사 결정 논리가 명시적이고 수학적으로 엄밀하며 반사실적 추론과 편향 감사를 지원할 수 있는 본질적으로 해석 가능한 모델을 제공한다고 강조합니다. 이 연구는 단순하고 잘 선택된 공식이 필수적인 데이터 구조를 포착하여 정확한 예측과 인간이 읽을 수 있는 설명을 모두 제공할 수 있음을 시사합니다.