Improved Predictive Performance and Interpretability for Mesomorphic Neural Networks Using Local Fidelity Regularization

기술 요약: 국소 충실도 정규화(Local Fidelity Regularization)를 통한 메조모픽 신경망의 예측 성능 및 해석 가능성 개선

문제 정의
해석 가능한 메조모픽 신경망(Interpretable Mesomorphic Neural Networks, IMNs)은 딥러닝의 예측 능력과 선형 모델의 해석 가능성 사이의 간극을 메우기 위해 제안되었습니다. IMN에서 신경망 백본(backbone)은 선형 출력층을 위한 가중치를 동적으로 생성하며, 이를 통해 인스턴스별 특성 기여도(feature attribution)를 산출합니다. 그러나 기존의 공식은 결정적인 취약점을 가지고 있습니다. 즉, 모델이 부적정(underdetermined)하다는 점입니다. 신경망 백본이 매우 표현력이 높기 때문에, 모델은 모든 설명적 분산을 하나의 가중치(주로 절편)로 응축시키고 다른 가중치들은 억제함으로써 최적의 예측 성능을 달성할 수 있습니다. 이러한 "퇴행적(degenerate)" 동작은 예측은 수학적으로 정확하지만, 해석은 실제 데이터 관계를 전혀 반영하지 못하는 결과를 초래합니다. 역설적이게도, 희소성을 유도하기 위해 원래 제안되었던 L1 페널티는 이러한 퇴행적 구성을 더욱 부추깁니다.

방법론: 국소 충실도 정규화 (Local Fidelity Regularization, LFR)
이를 해결하기 위해 저자들은 훈련 데이터에 존재하는 국소적 변동과 생성된 선형 가중치를 일치시키도록 설계된 새로운 페널티 항인 **국소 충실도 정규화(LFR)**를 도입합니다.

• 이론적 기초: 이상적으로 생성된 가중치 $w_j(x_i, \theta)$는 각 특성에 대한 예측 함수의 편미분($\nabla f(x_i)$)에 대응해야 합니다. 그러나 해석적 그래디언트(analytical gradients)에 의존하는 것은 계산 비용이 많이 들며(이중 역전파 필요), 거시적인 추세보다는 미세한 노이즈를 포착하기 쉽습니다.
• SMOTE 기반 보간법: 이러한 문제를 극복하기 위해 LFR은 정확한 미분을 피합니다. 대신, SMOTE(Synthetic Minority Over-sampling Technique) 전략에서 영감을 얻어 앵커 포인트 $x_i$ 주변에 국소 이웃을 구축합니다. 주어진 앵커에 대해, $K$개의 합성 샘플 $\tilde{x}_k$는 인접한 데이터 포인트들과의 선형 보간을 통해 생성됩니다: $\tilde{x}_k = x_i + \alpha_k(x' - x_i)$.
• 페널티: LFR 손실($L_{LFR}$)은 $x_i$에 앵커링된 선형 근사(생성된 가중치 사용)가 합성 이웃 전체에 대해 전체 신경망의 예측값으로 정확하게 외삽(extrapolate)되어야 함을 강제합니다. 페널티는 합성 이웃 전체에 걸친 선형 외삽과 전체 네트워크의 순전파(forward pass) 간의 평균 제곱 차이입니다.
• 최적화: 전체 목적 함수는 원래의 예측 손실, L1 희소성 페널티, 그리고 새로운 LFR 페널티를 결합합니다. 저자들은 예측 성능(예: AUROC 또는 $R^2$)과 설명 충실도(불충실도 감소량으로 측정) 사이의 균형을 맞추는 합성 점수 $S(\gamma)$를 사용하는 튜닝 전략을 제안합니다.

주요 기여

1. 새로운 정규화 메커니즘: 데이터의 기하학적 구조에 해석을 고정함으로써 가중치 붕괴를 방지하는 LFR의 도입.
2. 이중 성능 향상: LFR이 해석 가능성 문제를 해결할 뿐만 아니라, 최신 블랙박스 모델과 경쟁할 수 있는 수준의 성능을 일관되게 향상시킨다는 실증적 증거 제시.
3. 오픈 소스 구현: scikit-learn 스타일의 API를 갖춘 모듈형 Python 구현체를 공개적으로 제공.

실험 결과
제안된 방법론을 합성 및 실제 벤치마크를 통해 평가하였습니다:

• 합성 실험: 알려진 정답 국소 효과(상호작용 항 포함)를 가진 합성 데이터셋에서, 정규화되지 않은 IMN은 특성 가중치를 거의 0으로 몰아넣고 크기를 절편에 흡수시켜 실제 효과를 복구하는 데 실패했습니다. 반면, LFR-IMN은 실제 국소 그래디언트를 성공적으로 복구했습니다. 특히, 복잡한 TabResNet 백본을 사용할 때 LFR-IMN은 정규화되지 않은 IMN(0.0444)보다 현저히 낮은 테스트 MSE(0.0244)를 달이트어, 해석 제약 조건이 일반화 성능을 향상시킬 수 있음을 입증했습니다.
• XAI-Bench 평가: 알려진 정답 중요도를 사용하여 LFR-IMN을 정규화되지 않은 IMN 및 블랙박스 모델에 적용된 표준 사후 설명 모델(LIME, SHAP)과 비교했습니다. 연구에서는 국소 그래디언트의 정확도를 측정하기 위해 새로운 지표인 **스케일드 불충실도(Scaled Infidelity)**를 사용했습니다. 결과는 LFR-IMN이 예측 정확도(AUROC)를 유지하거나 개선하면서도 매우 충실한 설명을 제공함을 나타냈습니다.
• 실제 벤치마크: OpenML 벤치마크 제품군에 대한 평가 결과, LFR-IMN은 설명 가능성을 위해 정확도를 희생하지 않으면서도 CatBoost 및 TabNet과 같은 최상위 모델들과 매우 경쟁력 있는 AUROC 점수를 달성했습니다.

의의 및 주장
본 논문은 LFR-IMN이 이중 혜택을 제공한다고 주장합니다: 즉, 퇴행적 해를 이용하는 것을 방지함으로써 신뢰할 수 있고 충실한 해석을 보장하며, 동시에 예측 성능을 향상시킨다는 것입니다. 저자들은 정확도와 해석 가능성 사이의 상충 관계(trade-off)가 존재한다는 일반적인 가정과 달리, 국소 충실도를 강제하는 것이 더 견고한 결정 경계를 형성할 수 있다고 주장합니다. 이 방법론은 높은 성능과 신뢰할 수 있는 설명이 모두 필수적인 안전 중심 분야(예: 의료, 금융)를 위한 실질적인 솔루션으로 제시됩니다. 본 연구는 채택과 추가 연구를 촉진하기 위해 오픈 소스 저장소를 지원합니다.