기술 요약: 기각 능력을 갖춘 증거적 규칙 학습 (FERL)

1. 문제 정의

의사결정의 근거를 정당화해야 하는 고위험 도메인에서는 의사결정 나무(decision trees)나 규칙 리스트(rule lists)와 같은 해석 가능한 분류 모델이 필수적이다. 그러나 표준 트리 기반 분류기(예: CART, C4.5)는 종종 과잉 확신(overconfidence) 문제를 겪으며, 결정에 대한 근거를 신뢰할 수 있게 설명하지 못한 채 하드 클래스 레이블이나 국소적 분포만을 제공한다. 또한, 이들은 증거가 불충분할 때 예측을 기각(abstain)할 수 있는 메커니즘이 부족하다.

신뢰성을 개선하려는 기존 접근 방식들은 상당한 한계에 직면해 있다:

• 사후 교정 (Post-hoc Calibration): 온도 스케일링(temperature scaling)이나 등간 회귀(isotonic regression)와 같은 방법은 확률을 조정하지만, 근저에 깔린 증거를 정량화하거나 원칙적인 기각을 지원하지는 못한다. 이러한 방법들은 분포 변화(distribution shifts) 상황에서 성능이 저하되는 경우가 많다.
• 불확실성 추정 (Uncertainty Estimation): 샘플링 기반 방법(예: MC-dropout)은 반복적인 추론을 요구하며, 결정론적 불확실성 방법(DUMs)은 스펙트럼 미세 조정이 필요한 신경망 구조에 의존하는 경우가 많고, 훈련 매니폴드(manifold)와 겹치는 "근접 OOD(near-OOD)" 입력을 감지하는 데 실패할 수 있다. 또한, 이러한 방법들은 일반적으로 왜 해당 사례가 의심스러운지에 대한 기호적(symbolic) 설명 없이 스칼라 불확실성 점수만을 출력한다.
• 크레디알 분류기 (Credal Classifiers): 일부 트리 기반 크레디알 분류기가 존재하지만, 이들은 종종 부정확한 리프 빈도 추정치에 의존하여 미교정(miscalibration) 문제를 일으키거나 복잡한 사후 조정을 필요로 한다.

본 논문은 해석 가능성(규칙 기반), 증거성(믿음, 개연성 및 무지 제공), 그리고 기각 능력을 별도의 보조 헤드나 홀드아웃 교정 세트 없이 단일 결정론적 패스(deterministic pass) 내에서 동시에 갖춘 모델의 필요성을 다룬다.

2. 방법론: 빠른 증거적 규칙 학습 (FERL)

FERL은 뎀프스터-셰퍼(Dempster–Shafer, DS) 이론을 규칙 학습 과정에 직접 통합한 퍼지 규칙 트리 학습기이다.

2.1 퍼지 트리 구축

FERL은 내부 노드가 특징(feature)과 퍼지 집합(fuzzy set)을 할당하는 분류 트리를 성장시킨다.

• 퍼지 분할 (Fuzzy Splits): 통계적 견고성을 보장하기 위해 부트스트래핑 절차를 사용하여 분할 파라미터를 학습한다. 깊은 트리의 경우, 알고리즘은 리샘플링에서 지니 최적 컷(Gini-optimal cuts)을 찾아 중앙값 임계값($\theta$)과 견고한 확산 척도($h$)로 정의되는 퍼지 분할을 결정한다.
• 유계 지원 (Bounded Support): OOD 데이터에 대한 허위 확신을 방기하기 위해, 퍼지 멤버십 함수의 지원 범위는 훈련 중에 관찰된 특징 범위 내로 소프트 바운딩(soft-bounded)된다. 이 범위를 벗어나는 지점은 작동 강도(firing strength)가 0으로 감소하여 모델의 "무지(ignorance)"를 증가시킨다.
• 기하학적 인식 (Geometry Awareness): 훈련 매니폴드와 겹치는 새로운 클래스(near-OOD)를 탐지하기 위해, FERL은 경로의 작동 강도에 의해 가중치가 부여된 대각선 가우시안을 사용하여 모든 노드에서 분할되지 않은 특징을 모델링한다. 이를 통해 특정 속성의 이상 여부를 식별할 수 있다.

2.2 증거적 출력 생성

FERL에서 모든 활성화된 노드 $o$는 판별 프레임 $\Theta$에 대한 DS 질량 함수(mass function)를 방출한다.

• 질량 할당: 작동 강도 $\phi_o(x)$는 신뢰성 할인 요소로 작용한다. 노드는 클래스 $c$에 질량 $\phi_o(x) p_o(c)$를 할당하고, 나머지 질량 $1 - \phi_o(x)$는 전체 프레임 $\Theta$에 할당한다(무지를 나타냄).
• 결합 (Combination): 활성화된 노드들은 뎀프스터의 결합 규칙을 사용하여 결합된다.
  • 컴팩트 트리 (Compact trees): 내부 노드와 리프 노드가 함께 결합된다.
  • 깊은 트리 (Deep trees): 중첩된 노드로부터 발생하는 상관된 증거가 무지를 인위적으로 0으로 몰아넣는 "의존성 문제(dependence problem)"를 피하기 위해 리프 노드들만 결합한다.
• 예측:
  • 점 예측 (Point Prediction): 결합된 질량의 피그니스틱 변환(pignistic transform)으로부터 유도된다.
  • 집합 값 예측 (Set-Valued Prediction): 구간 지배(interval dominance, $Pl(c) \ge \max_{c'} Bel(c')$)를 통해 유도된다. 만약 예측 집합이 전체 프레임 $\Theta$를 덮는다면, 모델은 **기각(abstain)**한다.
  • 해석적 형태: 본 논문은 결합된 질량에 대한 폐쇄형 표현식(closed-form expression)을 유도하며, 증거가 공허하지 않을 때 반복적인 결합이 무지를 단조적으로 감소시킴을 보여준다.

2.3 안정성 분석

저자들은 FERL이 **립시츠 안정적(Lipschitz stable)**임을 증명한다. 정규화되지 않은 증거 질량은 입력에 대해 립시츠 연속적이며, 그 상수는 트리 깊이($D$), 결합된 노드의 수($K$), 그리고 퍼지 멤버십의 최대 기울기($\lambda$)에 의존한다. 이는 작은 입력 섭동이 증거 출력의 매끄러운 변화를 유발함을 보장한다.

3. 주요 기여

1. 네이티브 증거적 규칙 학습기: FERL은 해석 가능한 규칙 학습기, 기각 능력을 갖춘 크레디알 분류기, 그리고 OOD 탐지기로서 단일 결정론적 패스 내에서 기능하는 최초의 모델이다. 보조 헤드나 반복적인 추론 없이 퍼지 멤버십으로부터 믿음, 개연성 및 기각을 직접 계산한다.
2. 폐쇄형 특성 규명: 본 논문은 퍼지 밴드 폭에 의해 제어되는 국소적 안정성 인증과 중첩된 노드 결합이 무지를 단조적으로 감소시킨다는 증명을 포함하여, 트리 구축 및 증거적 예측에 대한 분석적 설명을 제공한다.
3. 광범위한 실증적 평가:
   • 정형 데이터 (Tabular Data): 30개의 다양한 데이터셋을 벤치마킹하였다.
   • 이미지 데이터: CUB 및 AwA2 데이터셋의 컨셉 보틀넥 모델(CBM)에 통합되어, 인간이 이해할 수 있는 속성 수준의 진단을 제공하기 위해 컨셉 벡터상에서 작동한다.

4. 실험 결과

4.1 정형 데이터 분류

• 정확도 대비 복잡도: 30개의 정형 데이터셋에서 FERL-deep(200개 규칙)은 83.2%의 평균 정확도를 달 기록하였으며, 이는 다른 규칙 학습기(예: CART 79.8%, NeuRules 79.3%)를 통계적으로 유의미하게 능가하고, 비해석적 앙상블인 Random Forest(86.6%) 및 Gradient Boosting(85.6%)에 더 가깝게 근접하였다.
• 효율성: FERL-deep은 0.26초 내에 훈련되고 1.5ms 내에 추론되며, 이는 다른 증거적 또는 신경망 기반 규칙 학습기(예: 훈련에 140초가 걸리는 FUCS)보다 훨씬 빠르다.
• 집합 값 예측: FERL-deep은 크레디알 분류기 중 가장 좋은 유틸리티 할인 정확도($u_{65}=0.80, u_{80}=0.83$)를 달성하였으며, 컨포멀 베이스라인(conformal baselines)에 비해 높은 집합 커버리지(0.92)와 더 작은 평균 집합 크기를 보였다.
• OOD 탐지: FERL-deep은 leave-one-class-out 작업에서 전용 OOD 탐지기와 대등한 성능(77.7 AUROC vs. kNN 거리 77.4)을 보였으며, 어떤 속성이 이상한지를 독특하게 식별해냈다.

4.2 컨셉 보틀넥 통합

• 정확도: CBM 설정에서, FERL-deep(개별 컨셉 교정 포함)은 CUB-20에서 86.28%, CUB-200에서 **65.18%**를 달성하여 CART 및 컨셉 제한 로지스틱 회귀를 능가하였다.
• 오픈 월드에서의 OOD: 탐지기-클래스 불일치(detector-class-disjoint) 설정에서 FERL은 전용 탐지기와 경쟁할 만한 수준을 유지했다. AwA2에서 86.2 AUROC(kNN과 2.0 포인트 차이 이내)를 달성하였고, 가장 우수한 AUPR-Out (68.3) 및 **미지 클래스 거부율 (57.2%)**을 기록하면서도 구체적인 이상 속성을 명시하였다.

5. 의의 및 주장

본 논문은 FERL이 고성능 분류와 엄격한 해석 가능성 사이의 간극을 성공적으로 메운다고 주장한다. 퍼지 규칙 학습에 증거적 추론을 직접 내장함으로써, FERL은 사후 교정의 함정과 샘플링 기반 불확실성 모델의 계산 오버헤드를 피한다.

• 신뢰성: 모델은 분포 변화에 강건하고 기하학적 및 속성 수준의 이상을 모두 감지할 수 있는 "네이티브" 기각 및 불확실성 정량화 메커니즘을 제공한다.
• 해석 가능성: 블랙박스 불확실성 방법과 달리, FERL의 기각과 불확실성은 특정 퍼지 규칙과 속성에 의해 설명되므로, 왜 모델이 불확실한지를 이해하는 것이 예측 자체만큼 중요한 고위험 도메인에 적합하다.
• 확장성: 이 방법은 계산 효율적이며, 정형 데이터 및 컨셉 기반 이미지 데이터에 대한 복잡한 신경망 불확실성 모델의 실행 가능한 대안을 제공한다.

저자들은 단일 FERL 헤드가 보조 불확실성 모델 없이도 감사 가능한 규칙, 증거적 기각, 속성 수준의 신규성 진단을 제공할 수 있다고 결론짓는다.