Expanding Data-Agnostic Pivotal Instances Selection Models with Proximity Trees and Ensemble Learning

기술 요약: 근접성 트리와 앙상블 학습을 통한 데이터 불가지론적 피보트 인스턴스 선택 모델의 확장

문제 정의
머신러닝 모델은 의료 및 금융과 같은 복잡한 의사결정 영역에서 필수적인 도구가 되었으나, 이들의 "블랙박스"적 특성은 종종 해석 가능성을 저해합니다. 인간은 자연스럽게 대표적인 사례를 새로운 사례와 비교하며 추론하지만(사례 기반 추론), 기존의 많은 해석 가능한 모델들은 이러한 인지 과정과 일치하지 않는 추상적인 특징 기반 규칙에 의존합니다. 또한, 현재의 인스턴스 기반 접근 방식은 특징이 명확한 의미론적 의미를 갖지 않는 데이터 모달리티(예: 이미지, 텍스트, 시계열)에서 어려움을 겪거나, 설명에 필요한 대표 인스턴스(피보트)의 수와 예측 성능 사이의 균형을 맞추는 데 실패하는 경우가 많습니다. 본 논문은 유사성을 통해 추론할 수 있는 해석 가능한 예측 모델을 구축하기 위해 고품질의 피보트 인스턴스를 선택하는 통합된 데이터 불가지론적 프레임워크의 필요성을 다룹니다.

방법론
저자들은 특징 임계값이 아닌 선택된 피보트와의 유사성에 기반하여 결정 트리와 유사하지만, 그 원리는 다른 계층적이고 설계 단계부터 해석 가능한 모델인 PivotTree를 제안합니다. 이 방법론은 세 가지 주요 구성 요소로 이루어집니다:

1. 피보트 선택 및 트리 유도 (Pivot Selection and Tree Induction):
   PivotTree는 각 노드에서 데이터를 특정 "피보트"(대표적인 훈련 인스턴스)와의 유사성에 따라 분할하여 결정 트리를 탐욕적(greedily)으로 구축합니다. 알고리즘은 각 단계에서 두 가지 유형의 피보트를 식별합니다:

   • 변별적 피보트 (Discriminative Pivots): 데이터를 분할할 때 불순도 이득(impurity gain)을 최대화하는 인스턴스.
   • 기술적 피보트 (Descriptive Pivots): 현재 노드 내의 동일한 클래스에 속한 다른 인스턴스들과의 유사성을 최대화하는 인스턴스.
     트리 유도 과정은 인스턴스를 피보트와 관련된 유사성 공간으로 인코딩하며, 이를 통해 모델은 피보트 선택기와 독립적인 예측 모델로서 동시에 기능할 수 있습니다.

2. 분할 전략 (Splitting Strategies):
   표현력과 적응성을 높이기 위해, PivotTree는 세 가지 뚜렷한 분할 메커니즘을 구현합니다:

   • 단변량 분할 (Univariate Split, pt): 노드당 하나의 피보트를 사용하며 임계 조건($s(x, p_i) \geq \beta$)을 적용합니다.
   • 사선 분할 (Oblique Split, opt): 두 피보트에 대한 유사성의 선형 결합($\omega_i s(x, p_i) + \omega_j s(x, p_j) \geq \beta$)을 사용하여 더 복잡한 결정 경계를 허용합니다.
   • 근접성 분할 (Proximity Split, ppt): 인스턴스의 두 피보트에 대한 유사성을 직접 비교합니다($s(x, p_i) > s(x, p_j)$). 이는 유사성에 대한 절대적 수치가 아닌 상대적 해석을 제공합니다.

3. 앙상블 학습 (Ensemble Learning, RandomPivotForest):
   저자들은 단일 트리 접근 방식을 RandomPivotForest라는 앙상블 프레임워크로 확장하여, 다수결 투표를 통해 여러 PivotTree 추정치의 예측을 집계합니다. 복잡성을 관리하기 위해, 이들은 "분할 스텀프 포레스트(splitting stump forest)" 접근 방식을 탐구합니다. 이는 포레스트에서 추출된 압축된 약한 학습기(stumps)의 앙상블을 사용하여 직접 투표를 수행하거나 로지스틱 회귀 분류기와 결합하여 사용합니다.

4. 데이터 불가지론 (Data Agnosticism):
   본 방법론의 핵심 기능은 유사도 계산을 객체의 표현으로부터 분리하는 것입니다. 사전 학습된 네트워크(예: 이미지를 위한 ResNet, 텍스트를 위한 Sentence Transformers)를 활용하여 데이터를 잠재 벡터 공간($\mathbb{R}^m$)으로 매핑함으로써, PivotTree는 표 형식 데이터, 시계열, 이미지, 텍스트에 걸쳐 균일하게 적용될 수 있습니다.

주요 기여

• 통합 프레임워크: 인스턴스 선택과 해석 가능한 분류 사이의 간극을 메우는, 피보트 선택과 예측 모델링을 동시에 수행하는 모델인 PivotTree를 도입했습니다.
• 다양한 분할 메커니즘: 모델이 다양한 데이터 구조와 해석 가능성 요구에 적응할 수 있도록 단변량, 사선 및 근접성 기반 분할 전략을 개발했습니다.
• 데이터 모달리티 독립성: 사전 학습된 임베딩과 통일된 유사도 메트릭(유클리드 거리, 코사인 및 맨해튼 거리 평가 포함)을 활용하여 다양한 모달리티(표 형식, 시계열, 이미지, 텍스트)에서 효과적임을 입증했습니다.
• 앙상블 통합: RandomPivotForest 및 그 압축된 변형들을 제안하여, 앙상블 방법의 견고함과 사례 기반 추론의 해석 가능성 사이의 절충안을 제시했습니다.

실험 결과
저자들은 네 가지 모달리티에 걸친 45개의 데이터셋에서 PivotTree와 그 변형들을 평가했습니다. 주요 결과는 다음과 같습니다:

• 예측 성능: PivotTree 변형들(특히 $ptc_Z$ 및 $pts_Z$)은 최신 해석 가능한 모델(예: 결정 트리, 규칙 집합) 및 표준 분류기(kNN, Random Forests)와 경쟁할 만한 결과를 달성했습니다. 많은 경우, 특히 이미지나 텍스트와 같은 비관계형 데이터에서 경쟁 모델들을 능가했습니다.
• 해석 가능성: 모델은 최소한의 피보트(종종 20개로 제한됨)를 사용하면서도 높은 성능을 유지했으며, 이는 블랙박스 대안들에 비해 모델 복잡성을 크게 줄였습니다.
• 앙상블 성능: RandomPivotForest 변형들은 표 형식 및 시계열 데이터에서 표준 Random Forest 및 부스팅 방법(XGBoost, LightGBM)의 성능에 근접하거나 이를 따라잡았습니다. 특히, 근접성 기반 변형($rppt$)은 이미지 데이터셋에서 우수한 성능을 보였습니다.
• 거리 측정 방식: 유클리드 거리가 주요 지표였으나, 코사인 및 맨해튼 거리 실험에서도 전반적으로 유사한 성능을 보였으며, 코사인 거리는 이미지 데이터에서 특히 강력한 결과를 나타냈습니다.
• 효율성: 훈련 시간은 데이터셋의 크기와 차원에 따라 달랐으며, 단변량 변형이 사선 변형보다 일반적으로 더 빨랐습니다. 앙상블 훈련 시 10% 서브샘플링을 사용하는 것은 예측 성능에 미미한 영향을 주면서도 훈련 시간을 크게 단축시켰습니다.

의의 및 주장
본 논문은 PivotTree가 머신러닝의 의사결정 과정을 인간의 인지 전략(사례 기반 추론)과 일치시킴으로써 설명 가능한 AI (XAI) 분야에서 중요한 진전을 이루었다고 주장합니다. 이 연구의 주요 의의는 전통적인 특징 기반 해석 가능 모델이 어려움을 겪는 복잡한 영역에서도 예측 정확도를 희생하지 않으면서 해석 가능하고 투명한 모델을 제공할 수 있다는 점에 있습니다.

저자들은 앙상블 접근 방식(RandomPivotForest)이 높은 성능을 달지만 모델 복잡성의 변동성을 초래한다는 점을 겸허히 언급했습니다. 또한, 절대적인 성능이 최우선인 작업에서는 블랙박스 모델이나 PivotTree와 kNN을 결합한 모델이 단독 트리 구조보다 뛰어날 수 있음을 인정하면서도, 후자가 구조적 해석 가능성 측면에서 우월하다고 설명했습니다. 이 연구는 모델의 선택이 전역적 해석 가능성, 국소적 추론, 그리고 예측력 사이의 구체적인 절충 요구 사항에 따라 달라져야 함을 시사합니다. 향후 방향으로는 하이브리드 분할 전략 탐색과 인간 참여형(human-in-the-loop) 의사결정 시나리오에서의 검증이 포함됩니다.