기술 요약: 랜덤 포레스트에 의해 측정된 변수 중요도 교정

문제 정의

랜덤 포레스트(Random Forests, RF)는 통계적 데이터 분석 및 머신러닝을 위한 강력한 도구로 널리 인정받고 있으며, 분류 및 회귀 작업에서 견고한 성능을 제공한다. RF의 핵심 기능 중 하나는 모델 해석, 선택 및 진단에 필수적인 변수 중요도 점수를 출력하는 능력이다. 그러나 RF의 표준적인 변수 중요도 계산 방식—특히 순열 정확도(permutation accuracy) 방법—은 변수 간의 상관관계를 고려하지 못한다는 결정적인 한계를 지닌다.

변수 $U$가 반응 변수 $Y$를 조건으로 하여 다른 변수들($V_1, V_2, \dots$)과 높은 상관관고 있을 때, $U$의 중요도는 종종 과소평가되거나 완전히 가려지는(masked) 현상이 발생한다. 표준 순열 접근법에서는 $U$의 값을 섞음으로써 $Y$와의 연관성을 깨뜨린다. 그러나 $V_1, V_2, \dots$가 모델에 남아 있고 이들이 $U$와 높은 상관관계를 가진다면, 이 변수들이 누락된 정보를 효과적으로 "채워 넣을" 수 있어 예측 정확도의 저하가 미미하게 나타난다. 결과적으로, $U$가 실제로는 유효한 예측 변수임에도 불구하고 계산된 중요도는 인위적으로 낮게 유지된다. 이러한 현상은 계산된 중요도와 변수의 실제 예측 효용성 사이의 상당한 불일치를 초과하게 만든다.

방법론

변수 간 상관관계로 인한 마스킹 효과를 해결하기 위해, 저자들은 중요도를 계산하기 전 조건부 상관관계(반응 변수 $Y$가 주어졌을 때의 상관관계)를 기준으로 변수들을 그룹화하는 프레임워크를 제안한다. 핵심 아이디어는 특정 관심 변수의 중요도를 평가하는 동안 상관된 변수들의 영향을 제거하는 것이다.

본 논문은 조건부 상관계수 $\rho(U, V | Y)$를 조건부 공분산을 조건부 표준편차의 곱으로 나눈 비율로 정의한다. 저자들은 이 지표를 사용하여 두 가지 뚜렷한 알고리즘적 접근 방식을 탐구한다.

방법 1: 개별 변수 교정 (corrVI-Individual)

이 방식은 변수별로 작동한다:

1. 타겟 변수 $V_i$에 대해, 알고리즘은 $V_i$와 조건부 상관관계가 있는 변수 집합 $V_{cor}$을 식별한다.
2. $V_{cor}$을 제외한 나머지 변수들($V_{nc}$로 표기)로 구성된 축소된 데이터셋을 구축한다.
3. 랜덤 포레스트의 예측 정확도를 $V_{nc}$ 세트에 대해 계산한 후, $V_{nc} \cup \{V_i\}$ 세트에 대해 다시 계산한다.
4. $V_i$의 중요도는 $V_{nc}$ 세트에 $V_i$를 추가했을 때 발생하는 예측 정확도의 증가량으로 정의된다.
5. 모든 상관된 변수를 제거함으로써, 이 방법은 정확도 상승이 오직 $V_i$에 의해서만 기인하도록 보장하여 마스킹 현상을 방지한다.

참고: 저자들은 이 방법이 엄격하게 필요한 것보다 "더 많은" 정보(예: $V_{cor}$이 $V_i$ 이상의 정보를 포함할 수 있음)를 제거할 수 있음을 인정하며, 이로 인해 중요도가 약간 과대평가될 가능성이 있다고 언급한다. 그러나 남은 변수들이 적절한 예측 분리력을 제공한다면 이러한 과대평가는 무시할 만한 수준이라고 주장한다.

방법 2: 스펙트럴 클러스터링 교정 (corrVI-Spectral)

이 방식은 전체 변수 집합을 쌍별 조건부 상관관계에 따라 서로 겹치지 않는 하위 그룹으로 나눈다:

1. 모든 변수에 대한 쌍별 조건부 상관계수 행렬을 계산한다.
2. 이 행렬을 유사도 행렬로 취급하고, **스펙트럴 클러스터링(spectral clustering)**을 적용하여 변수들을 서로 상관관계가 높은 내부 그룹과 상관관계가 낮은 외부 그룹으로 구분되는 서로 소(disjoint)인 그룹($G_1, \dots, G_K$)으로 분할한다.
3. 그룹 $G_i$에 속한 변수 $V$에 대해, 알고-리즘은 데이터셋에서 해당 그룹 $G_i$ 전체를 제거한다.
4. $V$를 변수 집합 $V_{nc} = \text{All Variables} \setminus G_i$에 다시 추가했을 때의 예측 정확도 증가량을 통해 $V$의 중요도를 계산한다.
5. $V_{nc}$ 내의 어떤 변수도 $V$와 조건부 상관관계가 없으므로, 중요도 점수가 마스킹되지 않는다.

변수 제거 vs. 순열(Permutation):
저자들은 중요도 계산 시 상관된 변수를 순열하는 대신 명시적으로 제거하는 방 방식을 선택했다. 그들은 단일 변수를 제거하거나 순열하는 것이 RF의 내장된 변수 선택 기능 덕분에 유사한 결과를 낸다는 것을 보여주었으나, 여러 변수를 동시에 순열하는 것은 단순 제거보다 예측 정확도를 더 많이 떨어뜨릴 수 있음을 입증했다. 이는 여러 노이즈 변수를 순열할 경우 노이즈 변수가 분할 지점(split point)으로 선택될 확률이 높아져 정확도 저하를 인위적으로 부풀리기 때문이다. 따라서 제거가 다변량 상관관계를 교정하는 데 더 안정적인 접근법으로 간주된다.

주요 기여

1. 마스킹 문제 식별: 본 논문은 RF의 표준 구현에서 흔히 간과되는, 조건부 상관관계가 변수 중요도를 과소평가하는 문제를 공식적으로 강조한다.
2. 조건부 상관관계 프레임워크: 무조건적 상관관계가 아닌, (Y가 주어졌을 때의) 조건부 상관관계를 변수 그룹화의 지표로 사용하는 것을 도입한다.
3. 두 가지 교정 알고리즘 제안: 계산 효율적인 두 가지 방법을 제안한다:
   • 방법 1: 특정 타겟을 위해 상관된 변수들을 제거하는 유연한 개별 기반 접근 방식.
   • 방법 2: 변수 그룹을 전역적으로 처리하기 위해 스펙트럴 클러스터링을 사용하는 클러스터링 기반 접근 방식.
4. 실증적 검증: 제안된 방법들을 UC Irvine 머신러닝 저장소의 8개 실제 데이터셋에 테스트하여, 교정된 결과가 표준 RF 중요도 점수보다 도메인 지식과 더 잘 일치함을 입증했다.

실험 결과

저자들은 Seeds, Indian Liver Patient, Heart Disease, Wine, Maternal Health, Obesity, Bank Marketing을 포함한 데이터셋에서 두 방법을 평가했다.

• Seeds 데이터셋: 기존 RF는 "Compactness" ($V_3$)에 거의 제로에 가까운 중요도를 할당했고, "Area" ($V_1$)와 "Perimeter" ($V_2$)에도 낮은 중요도를 부여했다. 두 교정 방법 모두 $V_1$과 $V_2$의 중요도를 유의미하게 높였다. 방법 1은 $V_3$가 고유한 정보를 포함하고 있음을 파악하여 비제로(non-zero) 중요도를 올바르게 식별했으나, 방법 2는 클러스터링의 한계로 인해 이를 약간 과소평가했다.
• Indian Liver Patient 데이터셋: Alkaline Phosphatase ($V_5$) 및 Total Protein ($V_8$)과 같은 변수들은 표준 RF에서 거의 제로에 가까운 중요도를 할당받았다. 방법 1은 이를 상향 조정하여 의학적 중요성을 올바르게 반영했다. 방법 2는 클러스터링 알고리즘이 $V_5$의 상관관계를 완전히 포착하지 못해 중요도 조정을 수행하는 데 실패했다.
• Heart Disease 데이터셋: Age ($V_1$), Gender ($V_2$), Resting Blood Pressure ($V_4$)와 같은 핵심 변수들은 표준 RF에 의해 현저히 낮게 평가되었다. 두 방법 모두 이 점수들을 교정했다. 그러나 방법 2는 클러스터링 경계 문제로 인해 $V_4$와 $V_{11}$(ST segment의 기울기)를 방법 1만큼 효과적으로 조정하지 못했다.
• Obesity 및 Bank Marketing 데이터셋: 가족력(Family History of Overweight)이나 이전 접촉 이력(Previous Contact History)과 같이 도메인 측면에서 중요한 변수들이 RF에서는 낮게 평가되었으나, 제안된 방법들에 의해 교정되는 유사한 경향이 관찰되었다. 일반적으로 방법 1은 상관 구조가 완벽한 불연속 클러스터를 형성하지 않는 경우에도 더 높은 유연성과 정확성을 보였다.

전반적으로, 방법 1은 상관 구조가 스펙트럴 클러스터링이 완벽하게 분할할 수 없는 복잡한 형태를 띨 때, 중요도 점수를 교정하는 데 있어 더 높은 유연성과 정확성을 입증했다.

의의 및 주장

본 논문은 자신의 접근 방식이 랜덤 포레스트가 생성하는 변수 중요도 점수에 대해 "합리적인 교정"을 제공한다고 주장한다. 이 연구의 의의는 다음과 같다:

• 해석력 향의: 마스킹 효과를 완화함으로써, 교정된 점수는 변수의 실제 예측 기여도를 더 잘 반영하여 모델 해석과 특성 선택을 돕는다.
• 도메인 일치성: 교정된 중요도 점수는 표준 RF 점수에 비해 확립된 도메인 지식(예: 간 및 심장 데이터셋의 의료 지표)과 더 밀접하게 일치한다.
• 일반적 적용 가능성: 본 연구는 RF를 동기로 했으나, 상관된 변수를 제거하여 중요도를 평가하는 접근 방식은 일반적인 예측 방법론에도 적용 가능하다.

저자들은 방법 1이 필요한 것보다 더 많은 정보를 제거함으로써 중요도를 약간 과대평가할 수 있다는 점과, 방법 2의 성능이 스펙트럴 클러스터링의 품질에 달려 있다는 점을 인정하며 신중한 태도를 유지한다. 이들은 모든 이슈를 해결하겠다고 주장하는 것이 아니라, 상관관계로 인한 마스킹이라는 특정 문제를 해결하기 위한 실용적이고 계산 효율적인 메커니즘을 제공하는 데 목적을 두고 있다.