📊 statistics

Interpretable Network-assisted Random Forest+

이 논문은 네트워크 의존성을 활용하는 동시에 특징 및 네트워크 기여도를 정량화하기 위한 포괄적인 도구를 제공함으로써, 높은 예측 정확도와 모델 투명성 사이의 간극을 메우는 일반화된 랜덤 포레스트 프레임워크를 기반으로 구축된 해석 가능한 네트워크 보조 모델군을 소개한다.

원저자: Tiffany M. Tang, Elizaveta Levina, Ji Zhu

게시일 2026-09-09

📖 5 분 읽기🧠 심층 분석

CC BY 4.0

원저자: Tiffany M. Tang, Elizaveta Levina, Ji Zhu

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

현대 데이터 과학의 세계에서 컴퓨터는 종종 시험 공부를 하는 학생처럼 예시로부터 배우도록 교육받습니다. 수십 년 동안 표준적인 가정은 모든 예시가 독립적이며, 홀로 서 있는 고립된 사실이라는 것이었습니다. 하지만 현실 세계에서 사물은 좀처럼 고립되어 존재하지 않습니다. 사람들은 우정으로 연결되어 있고, 도시들은 도로로 연결되어 있으며, 유전자는 생물학적 경로로 연결되어 있습니다. 이러한 연결은 한 사람의 행동이나 한 도시의 상태가 이웃에게 영향을 미치며 파동처럼 퍼져 나갈 수 있는 영향력의 그물을 형성합니다. 데이터 포인트들이 이런 방식으로 연결되어 있을 때, 이를 독립적인 것으로 취급하는 것은 결과에 영향을 미치는 미묘하지만 강력한 힘을 놓치는 사각지대를 만듭니다. 과학자들의 과제는 모델을 이해할 수 없는 '블랙박스'로 만들지 않으면서도, 이러한 연결을 활용하여 더 나은 예측을 할 수 있는 모델을 구축하는 것입니다. 만약 모델이 한 학생의 사회적 관계를 바탕으로 그 학생의 미래를 예측하거나, 한 도시의 범죄율을 예측한다면, 우리는 그 사회적 관계가 개인의 이력에 비해 얼마나 중요한지를 정확히 알 필요가 있습니다.

이것이 바로 노터데임 대학교와 미시간 대학교의 연구진이 개발한 NeRF+라는 새로운 방법론이 다루는 문제입니다. 그들은 투명성을 유지하면서도 네트워크 연결의 힘을 활용하여 예측력을 높일 수 있는 도구를 만들고자 했습니다. 기존의 접근 방식들은 흔-히 두 가지 선택 중 하나를 강요합니다. 해석이 불가능할 정도로 복잡하고 매우 정확한 시스템을 사용하거나, 연결된 데이터의 미묘한 차이를 포착하지 못하는 단순하고 이해하기 쉬운 시스템을 사용하는 것입니다. 연구진은 의사결정 나무(decision trees)의 예측 능력과 선형 방정식(linear equations)의 명확성을 결합한 유연한 모델을 구축함으로써 이 간극을 메웠습니다. 그들의 방식은 컴퓨터가 데이터의 구조로부터 학습하게 하여, 어떤 개인적 특성이 중요한지뿐만 아니라 주변 네트워크가 결과에 얼마나 영향을 미치는지까지 식별할 수 있게 합니다.

그들 연구의 핵심은 컴퓨터에게 네트워크가 현실을 형성하는 두 가지 뚜렷한 방식을 인식하도록 가르치는 것입니다. 때때로 네트워크에서 가까운 관계에 있는 사람들이 유사한 이유는 그들이 속한 사회적 집단과 같이 숨겨진 근본적인 특성을 공유하기 때문입니다. 또 다른 경우에는, 이웃들이 서로 닮은 습관을 채택하는 것처럼 단순히 직접 연결되어 서로에게 영향을 주기 때문에 유사한 것입니다. 이 새로운 방법은 이 두 가지 패턴을 모두 감지할 수 있습니다. 이는 데이터를 두 가지 방식으로 동시에 살펴봄으로써 수행됩니다. 첫째, 네트워크를 매핑하여 사람들이 누구를 알고 있는지에 따라 원을 그리듯 숨겨진 그룹을 찾아냅니다. 둘第二, 연결된 이웃들을 유사하게 취급하도록 권장하는 평활화 규칙(smoothing rule)을 적용하여, 그들 사이의 직접적인 영향력의 흐름을 포착합니다. 이러한 요소들을 각 개인이나 장소의 세부 사항과 결합함으로써, 모델은 날카로우면서도 적응력이 뛰어난 예측을 만들어냅니다.

이 도구가 실제 의사결정에 유용하도록 하기 위해, 연구진은 작동 원리를 볼 수 있는 내장된 일련의 렌즈를 갖추었습니다. 별도의, 종종 신뢰할 수 없는 설명 도구를 필요로 하는 다른 고급 시스템들과 달리, 이 모델은 스스로를 설명합니다. 이 모델은 학생의 성적이나 도시의 기온과 같은 특정 특징이 예측에 정확히 얼마나 기여했는지 연구자에게 알려줄 수 있습니다. 더 중요한 것은, 네트워크의 영향과 개인적 특성의 영향을 분리할 수 있다는 점입니다. 모델은 예측의 얼마만큼이 네트워크 연결에서 왔는지, 그리고 얼마만큼이 개인의 고유한 특성에서 왔는지를 정량화할 수 있습니다. 이처럼 웹(web)과 개인을 분리하는 능력은 복잡한 시스템에서 결과의 진정한 동인을 이해하는 데 매우 중요합니다.

연구진은 게임의 규칙을 정확히 알고 있는 시뮬레이션 데이터를 사용하여 이 방법을 테스트했습니다. 그들은 네트워크가 작은 역할을 하거나, 큰 역할을 하거나, 혹은 전혀 역할을 하지 않는 시나리오를 만들었으며, 변수 간의 관계가 단순하거나 매우 복잡한 경우를 설정했습니다. 모든 경우에 대해, 이 새로운 방법은 기존 기술들과 대등하거나 더 나은 성능을 보였습니다. 네트워크가 강력한 요인일 때, 이 방법은 이를 사용하여 정확도를 크게 높였습니다. 네트워크가 무의미할 때, 이 방법은 예측 능력을 잃지 않으면서도 네트워크를 단순히 무시했습니다. 결정적으로, 데이터의 관계가 들쭉날쭉하고 예측 불가능한 상황에서도 높은 성능을 유지했는데, 이는 단순한 모델들이 흔히 실패하는 지점입니다. 또한 시뮬레이션은 이 방법이 숨겨진 그룹과 직접적인 연결을 구별하여, 어떤 부분이 결과를 주도하는지 정확히 식별할 수 있음을 보여주었습니다.

이 방법이 현실 세계의 혼란스러운 실제 상황에서도 작동함을 증명하기 위해, 팀은 두 가지 뚜렷한 사례 연구에 이를 적용했습니다. 첫 번째는 학교 갈등에 관한 대규모 실험으로, 연구진은 학생들이 연말에 자신의 학교를 얼마나 우호적으로 인식할지를 예측하려고 노력했습니다. 데이터에는 학생들의 배경과 친구 관계 지도가 포함되었습니다. 새로운 모델은 이러한 인식을 성공적으로 예측했으며, 내부 분석을 통해 놀라운 사실을 밝혀냈습니다. 일부 학교에서는 전반적인 사회적 구조가 주요 동인이었던 반면, 다른 학교에서는 긴밀한 친구 집단이 가장 중요했습니다. 한 특정 학교의 경우, 모델은 부정적인 학교 인식을 가진 특정 소외된 8학년 그룹을 식별해 냈습니다. 모델의 개별 연결을 확대해서 보는 능력이 없었다면, 이 특정 그룹은 데이터의 평균적인 소음 속에 묻혔을지도 모릅니다.

두 번째 사례 연구는 15년 동안 필라델피아 전역의 범죄율을 살펴보았습니다. 여기서 데이터는 물리적으로 인접한 수백 개의 동네에 대한 월별 범죄 통계로 구성되었습니다. 목표는 날씨 데이터와 시간을 사용하여 범죄율을 예측하는 것이었습니다. 결과는 명확했습니다. 이웃 동네의 네트워크가 날씨나 시기보다 훨씬 더 중요한 단일 핵심 요인이었습니다. 모델의 내부 도구들은 그 영향력이 거의 전적으로 이웃 간의 직접적인 연결에서 온다는 것을 보여주었으며, 이는 범죄율이 경계를 따라 완만하게 나타나는 경향이 있음을 확인시켜 주었습니다. 모델은 심지어 어떤 특정 동네들이 이러한 패턴을 주도하는지도 짚어낼 수 있었으며, 관찰된 범죄 지도와 일치하는 뚜렷하고 매끄러운 영향의 구배(gradient)를 보여주었습니다. 학교와 도시 모두에서, 이 방법은 연결에 의해 혼란을 겪지 않고 연결로부터 학습할 수 있음을 입증했습니다.

연구진은 이 도구가 예측 자체만큼이나 '왜'를 이해하는 것이 중요한 상황을 위해 설계되었다는 점을 강조합니다. 진단을 이해하려는 의사든, 정책을 평가하는 정책 입안자든, 혹은 사회적 역학을 연구하는 과학자든, 네트워크의 기여도를 보는 능력은 필수적입니다. 이 방법은 인간 행동의 미스터리를 해결하거나 한 가지가 다른 것을 일으킨다는 인과관계를 증명한다고 주장하는 것이 아니라, 데이터가 어떻게 사용되고 있는지에 대한 명확하고 정직한 지도를 제공합니다. 이는 연결된 데이터의 복잡성을 확신을 가지고 탐색할 수 있는 방법을 제시하며, 얻어진 통찰력이 단지 정확할 뿐만 아니라 투명하고 신뢰할 수 있도록 보장합니다. 영향력의 보이지 않는 그물을 가시화함으로써, 이 연구는 모든 것이 연결된 세상에서 더 현명한 결정을 내릴 수 있는 문을 열어줍니다.

기술 요약: 해석 가능한 네트워크 보조 랜덤 포레스트 플러스 (NeRF+)

문제 정의
머신러닝 알고리즘은 일반적으로 훈련 샘플이 독립적이라고 가정합니다. 그러나 많은 현대적 응용 분야(예: 소셜 네트워크, 공간 데이터)에서 데이터 포인트는 네트워크를 통해 연결되어 있으며, 이는 의존성을 유발하여 유효 샘样本 크기를 감소시키고 편향을 초래합니다. 이러한 의존성(네트워크 응집력)을 활용하면 예측력을 높일 수 있지만, 기존 방법론들은 다음과 같은 트레이드오프에 직면해 있습니다:

그래프 신경망 (GNNs): 높은 예측 정확도를 제공하지만, 내재적 해석 가능성이 부족한 "블랙박스"인 경우가 많습니다. GNN을 위한 사후(post-hoc) 설명 도구들은 종종 불안정하며 적대적 공격에 취취약합니다.
네트워크 보조 선형 회귀 (예: RNC): 매우 해석 가능하지만, 복잡한 비선형 관계를 포착하는 유연성이 부족하여 최적의 예측 성능을 내지 못할 수 있습니다.
네트워크 보조 트리 기반 방법 (예: Network BART, BAMDT): 예측 성능은 개선하지만 강력한 해석 도구가 부족합니다. 기존의 중요도 측정 방식은 잠재적인 네트워크 분할(split)의 수가 많아 네트워크 특징에 대한 중요도가 편향되는 경와가 있어, 네트워크의 중요성과 특징의 중요성을 분리해내는 데 어려움을 겪습니다.

따라서 높은 예측 정확도와 내재적 해석 가능성 사이의 균형을 맞추며, 특히 네트워크 연결의 기여도와 노드 특징의 기여도를 분리할 수 있는 방법론이 필요합니다.

방법론: NeRF+
저자들은 **Random Forest Plus (RF+)**를 기반으로 구축된 유연한 모델 군인 **Network-assisted Random Forest Plus (NeRF+)**를 제안합니다. RF+는 결정 트리 예측을 선형 모델로 표현함으로써 표준 랜덤 포레스트를 일반화하며, 비선형 트리 기반 특징과 선형 특징을 결합합니다.

NeRF+는 두 가지 상호 보완적인 메커니즘을 통해 네트워크 정보를 통합합니다:

네트워크 임베딩 특징 ( $Z$ ): 원래의 공변량 행렬 $X$ 에 네트워크 구조로부터만 학습된 네트워크 임베딩 특징 $Z$ (예: 라플라시안 스펙트럼 임베딩)를 추가합니다. 이는 잠재 공간에서의 응집력을 포착합니다.
네트워크 응집력 페널티 ( $\alpha$ ): 모델은 네트워크 응집력 페널티( $\alpha^\top L \alpha$ , 여기서 $L$ 은 네트워크 라플라시안)에 의해 규제되는 노드별 효과 $\alpha$ 를 포함합니다. 이는 연결된 노드들의 예측값이 유사해지도록 유도하여, 관측된 네트워크에서의 매끄러움(smoothness)을 포착합니다.

모델 공식:
$T$ 개의 트리로 구성된 포레스트에 대해, NeRF+는 앙상블 평균을 통해 $\hat{y}$ 를 예측합니다:
$\hat{y} = \frac{1}{T} \sum_{t=1}^T \left( \hat{\alpha}^{(t)} + \tilde{X}\hat{\beta}^{(t)} + \Psi_t(\tilde{X})\hat{\gamma}^{(t)} \right)$
여기서:

$\tilde{X} = [X, Z]$ 는 확장된 특징 행렬입니다.
$\hat{\alpha}^{(t)}$ 는 노드 효과(네트워크 응집력)를 나타냅니다.
$\hat{\beta}^{(t)}$ 는 선형 특징에 대한 계수입니다.
$\Psi_t(\tilde{X})$ 는 트리 분할에서 유도된 결정 스텀프(decision stump) 특징을 나타냅니다.
$\hat{\gamma}^{(t)}$ 는 트리 기반 비선형 특징에 대한 계수입니다.

파라미터는 손실 함수(예: 제곱 오차)와 규제 페널티(예: $\beta$ 와 $\gamma$ 에 대한 $\ell_2$ 규제, 그리고 $\alpha$ 에 대한 응집력 페널티)를 최소화함으로써 추정됩니다.

핵심 기여: 해석 도구
본 논문의 주요 기여는 사후 근사치의 불안정성을 피하기 위해 모델 파라미터로부터 직접 유도된 내재적 해석 도구(intrinsic interpretability tools) 세트입니다. 이 도구들을 통해 연구자들은 다음을 수행할 수 있습니다:

전역적 특징 중요도 (Global Feature Importance):
- 순열 중요도 (Permutation Importance): 특징 값(또는 네트워크 특징)을 순열(permutation)했을 때 예측 정확도의 하락을 측정합니다. 결정적으로, 이를 통해 네트워크 응집력( $\alpha$ )과 네트워크 임베딩( $Z$ )의 중요도를 별도로 정량화할 수 있습니다.
- MDI+ 중요도: RF+에 맞게 조정된 평균 불순도 감소(Mean Decrease in Impurity)의 일반화된 형태입니다. 이는 일부 특징만을 사용하고 나머지는 열 평균으로 대체하여 예측값과 반응 사이의 유사성을 측정함으로써, 네트워크와 특징의 기여도를 분리합니다.
지역적 특징 중요도 (Local Feature Importance):
- NeRF+의 선형 형태를 활용하여, 개별 샘플에 대한 지역적 중요도 점수(Shapley 값과 유사함)를 정의합니다. 이는 특정 특징이나 네트워크가 평균적인 예측에 비해 특정 샘플의 예측에 얼마나 기여하는지를 정량화합니다.
샘플 영향력 (Sample Influence):
- 저자들은 모델 계수에 대한 폐쇄형 근사 Leave-One-Out (LOO) 추정치를 도출했습니다. 이를 통해 모델을 $n$ 번 다시 적합시키지 않고도 이상치나 영향력이 큰 관측치를 식별하기 위한 샘플 영향력 점수를 계산할 수 있습니다.

결과
논문은 시뮬레이션과 두 가지 사례 연구를 통해 NeRF+를 평가합니다:

시뮬레이션: NeRF+는 다양한 함수 형태(선형, 다항식, 국소적 스파이크 희소성) 및 다양한 네트워크 효과 유형(가법적 블록 단위, 네트워크 자기상관)에 대해 RNC, Network BART, 표준 RF+, 선형 회귀와 비교하여 일관되게 경쟁적이거나 우수한 예측 정확도( $R^2$ $R^{2}$ 로 측정)를 달연했습니다.
- NeRF+는 신호가 있는 특징을 신호가 없는 특징보다 정확하게 식별합니다.
- 전역 중요도 측정치는 네트워크 효과의 강도를 정확하게 반영하며, 네트워크 응집력과 임베딩의 기여도를 성공적으로 구분합니다.
- 샘플 영향력 점수는 이상치를 효과적으로 식별하며, 섭동(perturbation) 강도가 증가함에 따라 이들을 가장 영향력 있는 샘플로 순위 매깁니다.
사례 연구 1 (학교 갈등): 학생들의 학교 친밀도 인식을 예측하는 데 있어, NeRF+는 (평균적으로 가장 우수한 성능을 보인) RNC와 경쟁력 있는 성능을 보였으나, 여러 학교에 걸쳐 더 높은 일관성을 보였습니다. 해석 도구는 기초적인 친밀도가 가장 강력한 예측 변수이지만, 네트워크 효과는 학교마다 다르다는 것을 밝혀냈습니다: 일부는 커뮤니티 구조(임베딩)에 의해 주도되었고, 일부는 또래 간 응집력(peer-to-peer cohesion)에 의해 주도되었습니다. 지역적 중요도 점수는 원시 데이터에서는 명확히 드러나지 않았던 강한 부정적 또래 영향력을 가진 특정 친구 그룹을 식별했습니다.
사례 연구 2 (필라델피아 범죄): 인구 조사 구역(census tracts)별 월간 범죄율 예측. NeRF+와 RNC는 비네트워크 방법들보다 우수한 성능을 보였습니다. 결과는 네트워크 응집력이 지배적인 요인(날씨 변수나 시간보다 훨씬 더 중요함)임을 나타냈으며, 이는 범죄율의 공간적 매끄러움을 반영합니다. 지역적 네트워크 중요도 맵은 관측된 범죄율 패턴과 밀접하게 일치하여, 공간적 의존성을 포착하는 모델의 능력을 입증했습니다.

의의 및 주장
본 논문은 NeRF+가 네트워크 데이터 맥락에서 딥러닝/트리 앙상블의 유연성과 선형 모델의 해석 가능성 사이의 간극을 메운다고 주장합니다.

내재적 해석 가능성: GNN과 달리, NeRF+는 사후 설명 도구의 불안정성을 피하여 모델 파라미터로부터 직접 유도된 모델 기반 해석을 제공합니다.
분리(Disentanglement): 네트워크 구조(응집력 vs 임베딩)와 노드 특징으로부터 예측력이 얼마나 오는지 정량화할 수 있는 독특한 능력을 갖추고 있습니다.
적용 가능성: 이 방법은 모델이 어떻게 예측을 내리는지에 대한 투명성과 이해가 정확도만큼 중요한 고위험 영역(예: 생물 의학, 사회 과학)에서 특히 가치가 있습니다.
실용성: 저자들은 도구 사용을 용이하게 하기 위해 Shiny 애플리케이션이 포함된 R 패키지를 제공하며, NeRF+가 (최대 $n=1500$ 인 데이터셋에 대해 3분 미만으로) 효율적으로 적합될 수 있음을 입증했습니다(Network BART보다 현저히 빠름).

저자들은 해석이 적합된 모델에 국한되며 인과 추론을 구성하는 것은 아니라는 점을 겸허히 언급하며, 인과 추론은 여전히 복잡하고 별개의 영역임을 명시했습니다. 또한 향-후 연구로서 임베딩과 모델의 공동 학습(joint learning) 또는 동적 네트워크로의 확장을 제안했습니다.

유사한 논문