Improving Random Forests by Smoothing

기술적 요약: 평활화를 통한 랜덤 포레스트 개선

문제 제기
랜덤 포레스트 회귀는 데이터 주도적 분할을 통해 국소 데이터 특성에 적응하는 강력한 비모수적 방법이다. 그러나 그 예측은 본질적으로 구간별 상수(piecewise constant)이므로 분할 경계에서 불연속성이 발생한다. 이러한 평활함의 부재는 입력 공간 전체에 걸쳐 정보를 공유하지 못해 하위 최적 성능을 초래할 수 있는 소규모 데이터 환경에서 특히 문제적이다. 기존 평활화 방법 (예: 커널 추정기) 과 소프트 트리 변형체가 존재하지만, 이들은 종종 고차원 확장성 문제, 증가된 계산 복잡도, 또는 랜덤 포레스트를 매력적으로 만드는 효율적인 트리 성장 알고리즘의 상실을 겪는다. 핵심 과제는 랜덤 포레스트 예측에 평활함과 미분 가능성을 도입하되, 공간 적응성이나 계산 효율성을 희생하지 않는 것이다.

방법론
저자들은 트리 구축 과정 자체를 변경하는 대신, 학습된 랜덤 포레스트의 출력에 작용하는 사후 학습 (post-learning) 기반 커널 평활화 메커니즘을 제안한다.

1. 확률적 평활화: 이 방법은 잠재 변수 $z$를 확률 커널 $k(\cdot | x_0, \lambda)$에 따라 분포시킬 때, 원래 구간별 상수 예측 함수 $f(z)$의 기댓값으로 평활화된 예측 $\tilde{f}(x_0)$을 정의한다. 수학적으로, $\tilde{f}(x_0) = \mathbb{E}_{z \sim k}[f(z)]$이다.
2. 구간별 상수 구현: 축 평행 초직사각형으로 도메인이 분할된 의사결정 트리와 포레스트의 경우, 이 기댓값은 각 영역의 상수 값들의 가중 합으로 단순화된다. 가중치는 선택된 커널의 누적 분포 함수 (CDF) 를 효율적으로 계산하여 구한 잠재 변수가 각 영역에 속할 확률이다.
3. 커널 선택: 저자들은 결과 예측 함수가 모든 곳에서 미분 가능하도록 보장하기 위해 곱 커널, 구체적으로 가우시안 및 쌍곡선 secant(Hypsec) 분포를 활용한다. 쌍곡선 secant 는 트리 분할점 변동성에 대한 이론적 분석에서 유도된 라플라스 분포의 점근적 행동을 모방하는 지수적 꼬리 감쇠 특성을 가진 것으로 주목받는다.
4. 이론적 정당화: 본 논문은 이 평활화 절차가 훈련 입력의 재표본 추출 하에서 트리 절단점의 변동성이나 불확실성을 포착하는 것으로 해석될 수 있음을 보여준다. 구체적으로, 재표본 추출 하에서 트리의 절단점 추정치의 극한 분포는 라플라스 분포를 따르며, 제안된 평활화는 이 변동성을 근사하는 커널과 예측을 컨볼루션함으로써 이를 모방한다.
5. 앙상블 적용: 랜덤 포레스트는 가법적 앙상블이므로, 평활화 연산자 (선형성 보유) 는 개별 트리에 적용된 후 평균화될 수 있어, 전체 앙상블의 지수적으로 복잡한 영역 구조를 평활화하는 계산적 비실용성을 피할 수 있다.
6. 모델 선택: 평활화 매개변수 (스케일 $\lambda$) 와 아핀 재교정 매개변수 ($\beta_0, \beta_1$) 는 아웃 - 오브 - 백 (OOB) 손실을 최소화하여 선택된다. 저자들은 OOB 손실 지형의 비볼록성을 처리하기 위해 L-BFGS, AdamW 와 같은 그래디언트 기반 최적화를 사용한다.

주요 기여

• 사후 학습 평활화 프레임워크: 원래 모델의 공간 적응성을 유지하면서 학습된 임의의 구간별 상수 함수에 임의의 평활함을 부여하는 일반적이고 확률적인 접근법을 제시한다.
• 이론적 해석: 데이터 재표본 추출 하에서 트리 분할점의 불확실성과 커널 평활화 사이의 이론적 연결고리를 제공하여 특정 커널 형태의 사용을 정당화한다.
• 효율적 구현: 앙상블의 선형성을 활용하여 랜덤 포레스트에 평활화를 효율적으로 적용할 수 있음을 보여주며, 복잡도를 (영역 수 기준) 지수적에서 (개별 트리 영역 기준) 선형적으로 감소시킨다.
• 실증적 검증: 소수의 트리 (예: 10 개) 를 가진 평활화된 랜덤 포레스트가 다양한 데이터셋에서 표준 랜덤 포레스트 (최대 100 개 트리) 및 가우시안 프로세스 회귀보다 우수한 성능을 발휘함을 입증한다.

실험 결과
이 접근법은 50 에서 500 개의 관측치까지 훈련 크기가 다양한 10 개의 UCI 데이터셋에서 평가되었다.

• 성능: 가우시안 또는 쌍곡선 secant 커널을 사용한 제안된 "주변 매개변수를 가진 평활화된 트리의 앙상블 (EST-PD)"은 93~94% 의 경우에서 기준 랜덤 포레스트 (10 개 트리) 보다 일관되게 우수한 성능을 보였다.
• 기준 대비 비교: EST-PD 변형체는 각각 20 개, 50 개, 100 개의 트리를 가진 표준 랜덤 포레스트보다 81%, 69%, 64% 의 경우에서 우수한 성능을 보였다. 또한 가우시안 프로세스 회귀보다 크게 우세하여 (88% 의 경우 승리) 성능을 입증했다.
• 통계적 유의성: 비모수 통계 검정 (Friedman 및 Nemenyi) 은 평활화된 변형체가 표준 랜덤 포레스트 및 가우시안 프로세스보다 통계적으로 우월한 동등 그룹을 형성함을 확인했다.
• 소규모 데이터 환경: 이 방법은 데이터가 부족한 환경 (예: $n=50$) 에서 특히 강점을 보였으며, 표준 기준 대비 평균 제곱 오차 (MSE) 에서 유의미한 백분율 개선을 달성했다.
• 커널 선택: 가우시안 및 쌍곡선 secant 커널은 놀랍도록 유사한 성능 프로파일을 보여, 커널 선택이 효과성에 미치는 실질적 영향이 미미함을 시사한다.

의의 및 주장
본 논문은 사후 평활화가 데이터가 제한적일 때 랜덤 포레스트의 예측 정확도를 개선하는 계산적으로 실현 가능한 방법을 제공한다고 주장한다. 트리 기반 방법의 적응성과 커널 방법의 평활 가정들을 결합함으로써, 이 접근법은 소프트 트리의 복잡한 적합 기법이 필요하지 않으면서도 표준 포레스트에 내재된 불연속성 문제를 해결한다. 저자들은 프레임워크가 회귀 (조건부 평균 추정) 에 초점을 맞추고 있지만, 개념은 불확실성 정량화 (조건부 분산) 및 분류 작업으로 확장될 수 있으나 이는 향후 연구 과제로 남아있다고 지적한다. 또한 이 작업은 방법이 이론적으로 그래디언트 부스팅으로 확장 가능하지만, 부스팅 트리의 순차적 특성이 여기서 사용된 전역 교정 접근법에 도전을 제기함을 강조한다.