HyConEx: Hypernetwork classifier with counterfactual explanations for tabular data

이 논문은 표 형식 데이터를 위해 설계된 하이퍼네트워크 기반의 분류기인 HyConEx 를 제안하여, 정확도 높은 예측과 동시에 모델의 결정 근거를 설명하는 반사실적 예제를 생성하는 통합 딥러닝 모델을 제시합니다.

핵심

하이콘엑스 (HyConEx): "왜 그 답을 줬을까?"와 "어떻게 답을 바꿀까?"를 한 번에 알려주는 AI

이 논문은 인공지능 (AI) 이 복잡한 표 (Table) 데이터를 분석할 때, 단순히 **"정답"**만 알려주는 것이 아니라, "왜 그 정답을 내렸는지" 그리고 **"결과를 바꾸려면 무엇을 고쳐야 하는지"**를 동시에 설명해 주는 새로운 기술을 소개합니다.

이 기술을 **하이콘엑스 (HyConEx)**라고 부릅니다. 일상적인 언어와 비유로 쉽게 설명해 드릴게요.

---

1. 문제 상황: "블랙박스" 같은 AI

지금까지 AI 는 매우 똑똑해졌습니다. 은행 대출 심사를 하거나, 질병을 진단할 때 기존 방식보다 훨씬 정확하게 예측합니다. 하지만 문제는 **"왜?"**라는 질문에 답을 못 한다는 것입니다.

• 기존 방식 (블랙박스): "대출 거절입니다." (이유는 모름)
• 기존 설명 도구 (LIME, SHAP 등): "대출 거절 이유는 '연봉'이 낮기 때문입니다." (이유는 알려주지만, 어떻게 고쳐야 하는지는 모호함)
• 기존 반사실 설명 (Counterfactual): "연봉을 500 만 원 더 올리면 대출이 승인될 것입니다." (하지만 이 설명을 만들기 위해 AI 는 매번 몇 시간씩 계산을 해야 해서 매우 느립니다.)

2. 하이콘엑스 (HyConEx) 의 등장: "한 번에 해결하는 만능 비서"

하이콘엑스는 이 모든 것을 **한 번의 작업 (Forward Pass)**으로 끝내버립니다. 마치 마법 같은 비서처럼요.

🏠 비유: "집을 팔고 싶을 때"

• 일반 AI: "이 집은 팔리지 않습니다." (이유는 말해주지 않음)
• 기존 설명 도구: "이 집이 팔리지 않는 이유는 '거실'이 너무 작기 때문입니다." (사실은 맞지만, 어떻게 고쳐야 할지 구체적인 행동을 제시하지는 않음)
• 기존 반사실 도구: "거실을 2 평 넓히면 팔립니다." (하지만 이 계산을 위해 건축 도면을 다시 그리는 데 몇 시간이 걸림)
• 하이콘엑스: "이 집은 팔리지 않습니다. 하지만 거실을 2 평만 넓히면 바로 팔립니다." (이유와 해결책을 순간적으로 알려줌)

3. 어떻게 작동할까요? (두 가지 핵심 기술)

하이콘엑스는 두 가지 놀라운 기술을 섞어서 작동합니다.

① "초능력 신경망" (Hypernetwork)

일반적인 AI 는 모든 데이터에 대해 같은 규칙을 적용합니다. 하지만 하이콘엑스는 데이터 하나하나마다 '나만의 작은 AI'를 만들어줍니다.

• 비유: 모든 학생에게 똑같은 시험지를 주는 게 아니라, 학생 한 명 한 명에게 그 학생의 실력에 맞춰 즉석에서 만든 시험지를 주는 것과 같습니다.
• 이 '작은 AI'는 그 데이터가 왜 그 클래스 (예: 대출 승인/거절) 에 속하는지 결정할 뿐만 아니라, **"어떤 점을 조금만 건드리면 다른 클래스로 바뀔지"**도 계산해 줍니다.

② "현실감 필터" (Invertible Normalizing Flows)

AI 가 만들어낸 해결책이 현실적으로 불가능하면 안 되죠. (예: "연봉을 1 억 원으로 올리세요" -> 현실적으로 불가능)

• 비유: AI 가 제안한 해결책이 **"현실 세계의 데이터 분포라는 바다"**에 떠 있는지도 확인해 줍니다.
• 이 기술은 제안된 변화가 **실제 존재할 법한 데이터 (Plausible)**인지 확인합니다. "연봉을 100 만 원만 올리면 된다"처럼 현실적인 조언만 해주는 것입니다.

4. 왜 이 기술이 특별한가요?

1. 속도: 기존 방법들은 매번 새로운 해결책을 찾기 위해 몇 시간씩 계산을 했지만, 하이콘엑스는 0.003 초 만에 끝냅니다. (비유: 수작업으로 지도를 그리는 대신, GPS 가 즉시 최적 경로를 알려주는 것과 같음)
2. 정확도: 설명을 추가한다고 해서 AI 의 예측 능력이 떨어지지 않습니다. 오히려 기존 최고의 AI 들과 경쟁할 만큼 정확합니다.
3. 모든 것을 한 번에: 예측 (Prediction) 과 설명 (Explanation) 이 하나의 모델 안에 통합되어 있습니다. 별도의 설명 도구를 따로 설치할 필요가 없습니다.

5. 실제 사용 예시

• 은행: "고객님, 대출이 거절되었습니다. 하지만 신용점수를 20 점만 올리시면 바로 승인됩니다." (고객은 무엇을 해야 할지 명확히 알 수 있음)
• 의료: "환자분, 현재 진단은 A 입니다. 하지만 혈압을 5 단위만 낮추시면 B 로 진단될 가능성이 높습니다." (의사는 치료 방향을 쉽게 설정할 수 있음)

6. 결론: AI 의 투명성과 실용성을 동시에 잡다

하이콘엑스는 **"왜?"**라는 질문에 답하는 것을 넘어, **"어떻게?"**라는 질문에 대한 구체적인 행동 지침을 실시간으로 제공합니다.

기존에는 AI 가 "정답"을 알려주고, 별도의 도구가 "이유"를 설명하고, 또 다른 도구가 "해결책"을 찾는 복잡한 과정이 필요했습니다. 하지만 하이콘엑스는 이 모든 것을 하나의 모델로 통합하여, 빠르고, 정확하며, 현실적인 조언을 가능하게 합니다.

이 기술은 AI 가 단순히 "예측 기계"를 넘어, 인간과 소통하고 도움을 줄 수 있는 **"신뢰할 수 있는 파트너"**로 발전하는 중요한 한 걸음입니다.

기술 요약

1. 문제 정의 (Problem Statement)

최근 표제 데이터 (Tabular Data) 분야에서 딥러닝 모델 (TabPFN, VisTabNet 등) 은 CatBoost 나 XGBoost 와 같은 기존 최첨단 앙상블 모델과 경쟁하거나 그 이상의 성능을 보여주고 있습니다. 그러나 이러한 고성능 딥러닝 모델은 '블랙박스' 성격을 띠고 있어 의사결정 근거를 설명하기 어렵다는 문제가 있습니다.

기존의 설명 가능 AI (XAI) 방법은 주로 사후 (Post-hoc) 방식으로 작동합니다. 즉, 훈련된 분류 모델 외부에서 LIME, SHAP 같은 도구를 사용하여 특징 중요도를 설명하거나, PPCEF, CEGP 같은 방법을 통해 반사실 (Counterfactual) 예시를 생성합니다.

• 한계점:
  1. 비효율성: 외부 설명기는 매번 새로운 최적화 과정을 거쳐야 하므로 계산 비용이 크고 시간이 많이 소요됩니다.
  2. 분리된 구조: 예측과 설명이 별도의 모델에서 이루어지므로, 설명이 모델의 실제 결정 경계를 완전히 반영하지 못할 수 있습니다.
  3. 실시간성 부재: 실시간 애플리케이션에 적용하기 어렵습니다.

따라서, 예측 (Classification) 과 반사실 설명 (Counterfactual Explanation) 을 단일 신경망 내에서 동시에 수행하면서도 높은 정확도를 유지하는 통합 모델의 필요성이 대두되었습니다.

2. 방법론 (Methodology: HyConEx)

저자들은 HyConEx라는 새로운 아키텍처를 제안했습니다. 이는 하이퍼네트워크 (Hypernetwork) 와 가역 정규화 흐름 (Invertible Normalizing Flows, INF) 을 결합한 딥러닝 모델입니다.

2.1 핵심 아키텍처

1. 하이퍼네트워크 (Hypernetwork):

   • 입력 데이터 $x$를 받아 해당 데이터 포인트에 특화된 **로컬 선형 분류기 (Local Linear Classifier)**의 가중치 행렬 $W$를 생성합니다.
   • 이 행렬 $W$는 단순히 클래스 예측을 위한 것뿐만 아니라, 다른 클래스로 변경하기 위한 **반사실 벡터 (Counterfactual Vectors)**의 방향을 결정하는 데 사용됩니다.
   • 구체적으로, 입력 $x$가 클래스 $k$로 분류될 때, 목표 클래스 $m$으로 변경하기 위한 반사실 예시 $x'$는 $x' = x - W_m$ (행렬 $W$의 $m$번째 행) 으로 정의됩니다.

2. 가역 정규화 흐름 (Invertible Normalizing Flows, INF):

   • 생성된 반사실 예시 $x'$가 실제 데이터 분포 내에 존재하는 **타당성 (Plausibility)**을 보장하기 위해 사용됩니다.
   • 각 클래스 조건부 ($p(x|y)$) 로 INF 를 학습하여 데이터 밀도를 추정하고, 생성된 $x'$가 해당 클래스의 고밀도 영역에 위치하도록 제약을 가합니다.

3. 범주형 변수 처리:

   • 범주형 데이터의 경우, 단순 원-핫 인코딩 (One-hot) 을 사용하면 생성된 반사실 벡터가 유효한 범주 값이 아닐 수 있습니다. 이를 해결하기 위해 소프트맥스 (Softmax) 활성화 함수와 낮은 온도 (Temperature) 파라미터를 사용하여 생성된 벡터를 유효한 원-핫 형태로 강제 변환합니다.

2.2 손실 함수 (Loss Function)

HyConEx 는 다음 세 가지 손실 항을 결합하여 학습합니다:

1. 분류 손실 ($L_{CE}$): 원래 입력 $x$에 대한 정확한 클래스 예측을 보장.
2. 반사실 손실 ($L_{conEx}$):
   • 분류 손실: 생성된 반사실 $x'$가 목표 클래스 $m$으로 올바르게 분류되도록 함.
   • 근접성 손실 (Proximity): $x$와 $x'$ 사이의 거리 ($L_2$) 를 최소화하여 최소한의 변경만 하도록 함.
   • 타당성 손실 (Plausibility): INF 를 통해 $x'$가 데이터 분포 내 (In-distribution) 에 위치하도록 함.
3. 전체 손실: 위 항들을 가중치 ($\alpha_1, \alpha_2, \alpha_3$) 와 함께 합산하여 단일 포워드 패스 (Forward Pass) 로 최적화합니다.

2.3 학습 과정

1. Pre-training: k-means 클러스터링을 기반으로 초기 반사실 후보를 생성하여 하이퍼네트워크를 사전 학습.
2. INF 학습: 사전 학습된 분류기를 기반으로 조건부 INF 를 학습하여 데이터 밀도 모델 구축.
3. Fine-tuning: INF 파라미터를 고정하고 하이퍼네트워크만 전체 손실 함수로 미세 조정.

3. 주요 기여 (Key Contributions)

1. 최초의 통합 모델: 표제 데이터에 대해 예측과 반사실 설명을 동시에 생성하는 최초의 딥러닝 분류기를 제안했습니다. 기존에는 외부 도구를 사용해야 했지만, HyConEx 는 단일 모델로 이를 해결합니다.
2. 실시간 효율성: 외부 최적화 과정이 필요 없어, 단일 포워드 패스로 예측과 설명을 모두 제공합니다. 이는 기존 방법들 (PPCEF, CEGP 등) 에 비해 수천 배 빠른 추론 속도를 달성했습니다.
3. 높은 타당성: INF 를 통합하여 생성된 반사실 예시가 실제 데이터 분포 내에 존재하도록 보장하여, 현실적으로 실행 가능한 (Actionable) 설명을 제공합니다.
4. 범주형 데이터 지원: 범주형 변수에 대한 유효한 반사실 생성을 위한 특수한 처리 기법을 도입했습니다.

4. 실험 결과 (Results)

저자들은 18 개의 다양한 표제 데이터셋과 여러 벤치마크 (Moons, Adult, Credit-G 등) 를 통해 HyConEx 를 평가했습니다.

• 예측 성능:

  • HyConEx 는 TabResNet, IMN, CatBoost 등 최첨단 모델들과 비교하여 경쟁력 있는 AUROC 점수를 기록했습니다.
  • 반사실 생성 기능을 추가했음에도 불구하고 분류 정확도가 크게 저하되지 않았으며, 통계적 검정 (Wilcoxon signed-rank test) 을 통해 다른 모델들과 유의미한 성능 차이가 없음을 입증했습니다.

• 반사실 설명 품질:

  • 타당성 (Validity) 및 커버리지 (Coverage): 거의 모든 데이터셋에서 100% 에 가까운 타당성과 커버리지를 달성했습니다.
  • 계산 효율성: 다른 방법들이 수천 초 (시간 단위) 가 걸리는 반면, HyConEx 는 0.003 초 ~ 0.05 초 내에 반사실을 생성했습니다.
  • 밀도 기반 지표: LOF(Local Outlier Factor) 및 IsoForest 와 같은 이상치 탐지 지표에서 우수한 성능을 보여, 생성된 예시가 실제 데이터 분포에 잘 통합됨을 증명했습니다.
  • 근접성: 일부 방법 (CEGP 등) 이 거리 측면에서 더 우수할 수 있으나, HyConEx 는 타당성과 속도 간의 균형을 잘 맞추었습니다.

5. 의의 및 결론 (Significance)

HyConEx 는 예측과 설명을 분리하지 않고 통합한 '올인원 (All-in-one)' 신경망으로서의 새로운 패러다임을 제시합니다.

• 실용성: 금융 (대출 승인/거부), 의료 등 설명이 필수적인 분야에서 실시간으로 "왜 이 결정이 내려졌는가"뿐만 아니라 "어떻게 하면 결과를 바꿀 수 있는가"에 대한 즉각적이고 실행 가능한 답변을 제공할 수 있습니다.
• 효율성: 기존 사후 설명 방법들의 계산적 부담을 획기적으로 줄여, 대규모 데이터나 실시간 시스템 적용을 가능하게 합니다.
• 미래 전망: 하이퍼네트워크 기반의 로컬 선형 모델링과 가역 흐름을 결합한 이 접근법은 표제 데이터 해석 가능성 연구의 중요한 이정표가 되었으며, 향후 이미지나 텍스트 등 다른 모달리티로 확장될 잠재력을 가지고 있습니다.

결론적으로, HyConEx 는 높은 예측 정확도를 유지하면서도 실시간, 타당성, 실행 가능성을 모두 갖춘 차세대 설명 가능 AI 모델로 평가됩니다.