기술 요약: 설명 가능한 앙상블 트리 (E2Tree) 를 회귀 맥락으로 확장

문제 제기

앙상블 방법, 특히 랜덤 포레스트 (RF) 는 약한 학습자들의 집합을 통해 높은 예측 정확도를 제공함으로써 지도 학습을 혁신해 왔습니다. 그러나 이러한 모델은 입력 값을 어떻게 처리하여 예측을 생성하는지에 대한 투명성이 결여된 "블랙박스"로 작동합니다. 이러한 불투명성은 의료 및 금융과 같은 중요한 분야에서 사용자의 이해와 신뢰를 저해합니다. 설명 가능성에 대한 기존 접근법들—고유하게 해석 가능한 모델 (예: 의사결정나무) 부터 사후 설명 도구 (예: 변수 중요도, Shapley 값) 까지—가 존재하지만, 종종 모델 정확도와 특징 간의 복잡한 비선형 상호작용을 명확히 설명하는 능력 사이의 균형을 맞추는 데 어려움을 겪습니다.

본 논문에서 다루는 구체적인 과제는 설명 가능한 앙상블 트리 (E2Tree) 방법론의 확장입니다. Aria 등 (2024) 이 분류 작업을 위해 처음 제안한 E2Tree 는 예측 변수의 효과와 예측 변수 간의 연관성을 모두 고려하는 RF 모델의 그래픽적, 트리 형태의 표현을 제공합니다. 저자들은 E2Tree 가 분류 RF 를 성공적으로 설명했지만, 회귀 맥락 (연속적 결과 모델) 에 해당하는 방법론은 부재했다고 지적합니다.

방법론

본 논문은 회귀 문제를 처리하기 위해 E2Tree 프레임워크를 확장하는 것을 제안합니다. 핵심 목표는 훈련된 랜덤 포레스트 회귀 모델의 의사결정 논리를 충실히 반영하는 단일하고 해석 가능한 트리 형태의 구조를 도출하는 것입니다.

1. 비유사성 행렬 구성

이 방법론은 RF 모델에서 유도된 비유사성 행렬 $D$를 정의하는 것으로 시작합니다. $H = \{H_1, \dots, H_B\}$를 크기 $n$의 표본으로 훈련된 $B$개의 약한 학습자로 구성된 랜덤 포레스트라고 합시다. 임의의 두 관측치 $u_i$와 $u_j$에 대해, 비유사성 $d_{ij}$는 가중 공출현 측정치 $O_{ij}$를 사용하여 $1 - O_{ij}$로 정의됩니다.

$O_{ij}$는 일련의 트리에서 두 관측치 쌍이 동일한 노드에 속하는 빈도를, 트리 $b$의 노드 $t$에 대한 국소 적합도 측정치 $W(t)_{ij|b}$로 가중치를 두어 정량화합니다:
$$O_{ij} = \frac{\sum_{b=1}^{B} I(u_i \land u_j) \cdot W(t)_{ij|b}}{\max(\sum_{b} u_i W(t)_{i|b}; \sum_{b} u_j W(t)_{j|b})}$$

2. 회귀 특화 적합도

본 논문의 주요 기여는 회귀를 위한 국소 적합도 측정치 $W(t)_{ij|b}$의 적응입니다. 분류 맥락에서 이 측정치는 순도 (purity) 에 기반했으나, 회귀에서는 저자들이 **정규화 평균 제곱 오차 (NMSE)**를 사용할 것을 제안합니다:
$$NMSE(t)_{ij|b} = \frac{MSE(t)_{ij|b}}{MSE_{max} \cdot p(t)}$$
여기서:

• $MSE(t)_{ij|b}$는 노드 $t$에서의 평균 제곱 오차입니다.
• $p(t)$는 노드 $t$ 내 관측치의 비율입니다.
• $MSE_{max}$는 노드 내 반응 변수 $Y$의 범위를 기반으로 계산된 이론적 최대 MSE 입니다 (Jacobson, 1969 에 따름): $MSE_{max} = \frac{(\max(Y|b) - \min(Y|b))^2}{9}$.

국소 적합도 측정치는 다음과 같이 정의됩니다:
$$W(t)_{ij|b} = \begin{cases} 0 & \text{if } 1 - NMSE(t)_{ij|b} \le 0 \\ 1 - NMSE(t)_{ij|b} & \text{otherwise} \end{cases}$$

3. 트리 구성 및 정지 규칙

알고리즘은 비유사성 행렬 $D$를 기반으로 데이터를 재귀적으로 분할하여 E2Tree 를 구성합니다. 과적합을 방지하고 결과 트리가 간결하도록 보장하기 위해 저자들은 표준 RF 분할을 넘어선 특정 정지 기준을 도입합니다:

• NMSE 임계값 ($\gamma$): 계산된 $NMSE(t)_{ij|b}$가 지정된 임계값 $\gamma$(실험에서는 0.05 로 설정) 미만으로 떨어지면 노드가 종단 노드가 됩니다.
• 분포적 동등성: 각 잠재적 분할에 대해, 자식 노드 내 예측 값의 분포가 동일한지 확인하기 위해 Mann-Whitney 검정을 수행합니다. 분포가 유의미하게 다르지 않으면 분할이 거부되고 부모 노드는 종단 노드로 처리됩니다.

주요 기여

1. 방법론적 확장: 주요 기여는 분류에서 회귀로 E2Tree 를 공식적으로 확장하는 것입니다. 여기에는 국소 적합도 지표를 분류 순도가 아닌 NMSE 를 활용하도록 재정의하는 작업이 포함됩니다.
2. 통합 표현: 이 방법은 예측 변수 간의 복잡한 상호작용을 포함하여 랜덤 포레스트의 전역 논리를 포착하면서도 원본 앙상블의 예측 정확도를 유지하는 단일 트리 형태의 구조를 제공합니다.
3. 이중 설명 능력: 결과적인 E2Tree 는 모델이 따르는 패턴과 규칙에 대한 전역 설명과 특정 사례에 대한 상세 논리에 대한 국소 설명을 모두 제공하여, 블랙박스 성능과 인간의 해석 가능성 사이의 간극을 메웁니다.
4. 오픈소스 구현: 저자들은 방법론의 재현성과 추가 적용을 촉진하기 위해 R 패키지 (e2tree) 와 코드 가용성을 제공합니다.

실험 결과

저자들은 UCI 머신러닝 저장소의 두 데이터셋을 사용하여 제안된 방법을 검증했습니다: Iris 데이터셋(꽃잎 길이에 대한 회귀로 적응됨) 과 Auto MPG 데이터셋(연비 예측).

• Iris 데이터셋: E2Tree 는 RF 의 공출현 행렬 구조를 성공적으로 재구성했습니다. 원래 RF 행렬 ($O_{ij}$) 과 E2Tree 추정 행렬 ($\hat{O}_{ij}$) 을 비교한 계층적 군집 분석 결과, 군집 구조의 높은 유사성을 나타내는 **약 90% 의 Fowlkes-Mallows 지수 (FMI)**가 도출되었습니다.
• Auto MPG 데이터셋: 데이터셋의 더 큰 규모와 비선형 관계에도 불구하고, E2Tree 는 효과적으로 의사결정 경로를 시각화했습니다. $O_{ij}$와 $\hat{O}_{ij}$에 대한 히트맵 비교 결과 약 75% 의 FMI가 나타났습니다.
• 해석 가능성: 두 경우 모두 E2Tree 는 명확한 "If-Then" 경로를 제공했습니다. Auto MPG 데이터의 경우, 트리는 배기량, 중량, 마력이 MPG 에 미치는 부정적 영향과 모델 연식 및 원산지 (origin) 가 미치는 긍정적 영향을 시각화하여, 표준 적합 RF 모델에서는 직접 접근할 수 없는 통찰력을 제공했습니다.

중요성과 주장

본 논문은 E2Tree 가 앙상블의 정확성을 희생하지 않으면서도 이해 가능한 의사결정 과정을 제공함으로써 기계 학습 모델이 여전히 "권능 부여의 도구"로 남도록 보장한다고 주장합니다. 저자들은 그들의 접근 방식이 다음과 같음을 강조합니다:

• 단일하고 일관된 트리 구조를 통해 앙상블 과정을 해석합니다.
• 기반이 되는 랜덤 포레스트의 정확도 성능을 유지합니다.
• 최종 노드 예측을 결정하는 예측 변수 간의 상호작용을 설명하는 강력한 도구를 제공합니다.

저자들은 이 확장이 분류와 회귀 맥락 모두에서 해석 가능성과 설명 가능성 문제를 모두 해결한다고 결론지었습니다. 그들은 향후 작업이 다른 앙상블 트리 방법론으로 이 접근법을 일반화하고, E2Tree 결과와 원본 앙상블 출력 간의 충실도를 평가하기 위한 추가 지표를 개발하는 것을 목표로 한다고 언급합니다. 본 논문은 블랙박스 모델을 대체한다고 주장하지는 않지만, 모델의 유용성을 보존하는 투명한 사후 설명 계층을 제공한다고 주장합니다.