🤖 machine learning

TreeCCA: Canonical Correlation Analysis via Gradient-Boosted Trees

이 논문은 커스텀 Eckart-Young 손실 함수를 사용하여 그래디언트 부스팅 트리 앙상블을 정준 상관 분석 인코더로서 엔드 투 엔드로 학습시키는 새로운 방법론인 TreeCCA를 소개하며, 이를 통해 표준 트리 기반 라이브러리의 플러그 앤 플레이 방식의 신뢰성과 효율성을 유지하면서도 최첨단 비선형 상관 추출 및 해석 가능성을 달성한다.

원저자: James Chapman

게시일 2026-07-30

📖 5 분 읽기🧠 심층 분석

CC BY 4.0

원저자: James Chapman

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 미스터리를 풀려는 탐정이라고 상상해 보세요. 하지만 당신에게는 서로 다른 두 개의 단서가 담긴 수첩이 있습니다. 한 수첩에는 용의자들의 키, 몸무게, 신발 사이즈가 적혀 있고, 다른 수첩에는 그들이 좋아하는 음식, 음악 장르, 취미가 적혀 있습니다. 당신의 임무는 이 두 목록 사이의 숨겨진 연결 고리를 찾는 것입니다. 예를 들어, 키가 큰 용의자들이 재즈를 좋아하는 경향이 있다거나, 매운 음식을 좋아하는 사람들도 등산을 선호할 수도 있습니다. 이것이 바로 통계적 탐정 게임인 **정준 상관 분석(Canonical Correlation Analysis, CCA)**의 핵심입니다. CCA는 과학자들이 두 가지 서로 다른 데이터 세트(예: 유전자와 질병, 또는 뇌 활동과 행동)가 서로 어떻게 연결되어 있는지 이해하기 위해 사용하는 도구입니다.

오랫동안 탐정들은 이러한 연결을 찾기 위해 단순한 직선 자를 사용해 왔습니다. 그들은 관계가 "키가 크면 재즈를 좋아한다"처럼 아주 단순할 것이라고 가정했습니다. 하지만 현실 세계는 무질서하고 구불구불합니다. 때로는 연결 고리가 직선 자로는 측정할 수 없는 뒤틀리고 복잡한 곡선 형태를 띠기도 합니다. 이를 해결하기 위해 과학자들은 "딥러닝"을 사용하기 시작했는데, 이는 마치 매우 똑똑하고 유연한 로봇 팀을 고용하여 그 구불구불한 패턴을 찾아내는 것과 같습니다. 이 로봇들은 강력하지만, 튜닝하기 어렵고, 적은 양의 데이터에 혼란을 느낄 수 있으며, 일단 답을 찾아내면 왜 그런 선택을 했는지 알 수 없는 '블랙박스'와 같습니다. 그들은 과정을 보여주지 않고 그저 결과만 내놓을 뿐입니다.

여기서 새로운 논문이 참신한 아이디어를 들고 등장합니다. 저자들은 제임스 채프먼(James Chapman)이 이끄는 팀으로서 다음과 같이 질문합니다. "이미 표 형식의 데이터(tabular data)에서 왕좌를 차지하고 있는 도구인 **그래디언트 부스팅 트리(Gradient-Boosted Trees)**를 사용하여 이 미스터리를 풀 수 있다면 어떨까?" 여러분도 XGBoost나 LightGBM 같은 엔진의 기반이 되는 이 나무들을 알고 있을 것입니다. 이 도구들은 집값이나 대출 위험 등을 예측하는 거의 모든 경진대회에서 우승을 차지하는 도구들입니다. 이들은 신뢰할 수 있고, 사용하기 쉬우며, 무엇보다 투명하다는 점으로 유명합니다. 여러분은 트리의 구조를 보고 어떤 단서가 가장 중요했는지 정확히 확인할 수 있습니다. 이 논문은 TreeCCA라는 방법을 소개하는데, 이는 복잡하고 구불구불한 연결 고리를 찾는 데 있어 화려한 로봇들처럼 작동하면서도, 잘 만들어진 나무가 가진 신뢰성과 명확성을 동시에 갖춘 방법입니다.

상관관계를 학습하는 나무

이 논문은 TreeCCA를 제안합니다. 이는 그래디언트 부스팅 트리 앙상블을 CCA를 위한 "인코더(encoder)"로 훈련시키는 최초의 방법입니다. 인코더를 원시 데이터(숫자 목록 등)를 받아 가장 중요한 관계를 강조하는 비밀 코드(임베딩)로 변환하는 번역기로 생각해보세요. 보통 이 번역기들은 신경망(로봇)이지만, TreeCCA는 이 로봇들을 의사결정 트리의 숲으로 대체합니다.

이를 가능하게 하는 비결은 에카르트-영(Eckart-Young, EY) 손실 함수라고 불리는 것입니다. 과거에 이 작업을 위해 트리를 훈련시키는 것은 개에게 미적분을 가르치려는 것과 같았습니다. 수학적 구조가 맞지 않았기 때문입니다. 그러나 EY 손실은 상관관계를 더 잘 찾도록 트리의 가지를 어떻게 조정해야 하는지 알려주는 특별한 지침(그래디언트)을 제공합니다. 이는 마치 나무에게 "여기서 갈라지면 진실에 더 가까워진다"라고 적힌 지도를 주는 것과 같습니다. 이 지침이 매우 명확하기 때문에, 소프트웨어를 새로 작성할 필요 없이 XGBoost나 LightGBM 같은 표준 트리 라이브러리에 직접 적용할 수 있습니다.

왜 나무가 로봇보다 나을 수 있는가

저자들은 TreeCCA를 현재의 챔피언들인 Deep CCA(로봇 방식) 및 Linear CCA(직선 자 방식)와 비교 테스트했습니다. 결과는 놀라웠으며, 어떤 경우에는 나무가 경주에서 승리하기도 했습니다.

까다로운 테스트를 위해 설계된 합성 데이터 테스트에서 TreeCCA는 로봇보다 더 강력한 연결 고리를 찾아냈습니다. 예를 들어, "Signed Power"라는 테스트에서 TreeCCA는 2.61을 기록하며 Deep CCA의 2.43을 앞질렀습니다. 직선 자로는 전혀 찾아낼 수 없을 정도로 복잡한 연결 관계를 가진 "Hermite" 테스트에서도, TreeCCA는 2.93의 점수를 기록하며 Deep CCA의 2.89를 근소하게 제치고 강력한 신호를 포착했습니다.

하지만 진짜 마법은 데이터가 거대해지거나 지저나질 때 일어납니다. 수만 장의 손글씨 숫자 데이터를 사용한 대규모 데이터셋(54,000장의 이미지를 가진 Split MNIST) 테스트에서, 로봇 방식(Deep CCA)은 규칙을 배우는 대신 훈련 데이터를 암기하기 시작하여 연습 점수와 테스트 점수 사이의 격차(비율 1.95)가 크게 벌어졌습니다. 반면 TreeCCA는 침착하고 일관되게 유지되었으며, 비율은 단 1.04에 불과했습니다. 나무는 과하게 생각하지 않는 특성이 있어, 데이터가 수백만 개가 되지 않는 실제 환경의 데이터에서도 더 신뢰할 수 있는 모습을 보였습니다.

"왜"라는 질문의 초능력

TreeCCA의 가장 흥ile한 점은 단순히 작동한다는 것이 아니라, 그것이 어떻게 작동하는지를 설명해 준다는 것입니다. 신경망은 종로는 종종 불투명하다는 비판을 받습니다. 어떤 특징(feature)을 사용하여 결정을 내렸는지 쉽게 알 수 없기 때문입니다. 반면 트리는 "온도가 70도 이상인가? 예/아니오"와 같은 분기(split)를 기반으로 구축됩니다. 이 구조는 나무에 **내재적인 해석 가능성(native interpretability)**을 부여합니다.

저자들은 스마트폰 센서(가속도계 및 자이로스코프)를 통해 인간의 움직임을 추적하는 UCI HAR 데이터셋을 통해 이를 입증했습니다. 그들은 모델이 움직임의 '크기(magnitude)'(폰이 얼마나 세게 회전하는지)가 활동을 식별하는 핵심 요소임을 알아낼 수 있는지 확인하고자 했습니다. TreeCCA는 단순히 정답을 맞힌 것에 그치지 않고, "특징 중요도(feature importance)" 점수를 통해 '크기' 관련 특징들이 가장 중요하다는 것을 명확히 보여주었습니다. 이는 회전 원리에 대한 물리적 가설과 완벽히 일치했습니다. 신경망은 정답을 맞혔지만 그 이유를 설명하지 못한 채 수백만 개의 파라미터 속에 "왜"를 숨겨두었지만, TreeCCA는 그 근거를 테이블 위에 펼쳐 놓았습니다.

노이즈 속에서 신호를 찾다

논문은 또한 다른 방법들이 실패하는 특정 문제, 즉 희소 신호(sparse signals) 문제를 다루었습니다. 500개의 단서가 있지만 그중 5개만이 실제로 중요하고, 그들 사이의 연결이 비선형(곡선)인 상황을 상상해 보세요. PMD(대중적인 희소 CCA 도구)는 선형 수학에 의존하기 때문에 이런 유형의 신호에서는 완전히 혼란을 겪으며 무작ful한 추측보다 나은 성과를 내지 못합니다. 그러나 TreeCCA는 "스무고개" 게임처럼 문제를 다루었습니다. "어떤 특징을 기준으로 나눌 것인가?"를 스스로 묻고, 495개의 쓸모없는 노이즈 특징들을 자연스럽게 무시했습니다. 50개의 특징이 있는 테스트에서 TreeCCA는 완벽한 정밀도(1.00)를 달성하며 5개의 진짜 단서를 매번 정확히 찾아낸 반면, PMD는 아무것도 찾지 못했습니다.

결론

TreeCCA는 단순한 새로운 알고리즘이 아니라 관점의 전환입니다. 이는 표 형식의 데이터(숫자로 된 행과 열)와 관련된 많은 문제에서, 깊은 연결 고리를 찾기 위해 반드시 복잡하고 튜닝하기 어려운 신경망을 붙잡고 있을 필요는 없다는 것을 시사합니다. 대신, 우리는 이미 해당 분야를 지배하고 있는 견고하고 신뢰할 수 있으며 설명 가능한 나무를 사용할 수 있습니다.

저자들은 TreeCCA가 정확도 면에서 Deep CCA와 대등하거나 이를 능가하며, 일부 벤치마크에서는 5배 더 빠르고, 명확한 추론 과정을 제공한다는 것을 발견했습니다. 비록 논문에서는 나무가 어떻게 수렴하는지에 대한 공식적인 수학적 증명이 여전히 진행 중이라고 언급했지만, 시뮬레이션과 실세계 테스트 결과는 강력합니다. 이는 나무가 레이블(label) 없이도 데이터로부터 학습할 수 있는 새로운 종류의 "자기 지도 학습(self-supervised learning)"의 문을 열어주며, 선형 방식으로는 절대 볼 수 없는 문제들을 해결할 가능성을 보여줍니다. 데이터 과학의 세계에서 TreeCCA는 때때로 가장 복잡한 도구가 아니라, 정확히 어느 가지를 따라가야 할지 아는 도구가 최선일 수 있음을 상기시켜 줍니다.

기술 요약: TreeCCA

문제 정의

정준 상관 분석(Canonical Correlation Analysis, CCA)은 두 개의 매칭된 뷰(view) 사이의 교차 뷰 상관관계를 최대화하는 투영을 찾는 근본적인 기법입니다. CCA는 유전체학, 전사체학, 단백질체학 간의 연관성을 밝히기 위해 멀티오믹스(multi-omics)와 같은 영역에서 성공적으로 적용되어 왔으나, 기존 방법론들은 다음과 같은 중대한 한계에 직면해 있습니다:

선형성: 고전적 CCA는 선형 투영에 의존하므로 비선형 관계를 포착하지 못합니다.
신경망의 한계: Deep CCA(DCCA)는 신경 인코더를 사용하여 비선형성을 해결하지만, 임계값 구조(threshold structures), 특징 상호작용(feature interactions), 적당한 샘플 크기를 처리하는 능력이 뛰어난 그래디언트 부스팅 트리(GBT)에 비해 정형 데이터(tabular data)에서 성능이 저하되는 경우가 빈번합니다.
희소성 맹목성(Sparse Blindness): 희소 CCA 방법(예: PMD)은 특징 선택을 위해 L1 페널티를 사용하지만, 선형 교차 뷰 공분산이 0인 신호에 대해서는 구조적으로 무지합니다.
해석 가능성: 신경 인코더는 고유한 해석 능력이 부족하여, 어떤 특징이 교차 뷰 상관관계를 주도하는지 이해하기 어렵습니다.

현재 GBT가 정형 머신러닝 벤치마크를 지배하고 있음에도 불구하고, GBT를 CCA 인코더로 사용하는 방법은 존재하지 않습니다.

방법론: TreeCCA

저자들은 TreeCCA를 제안하며, 이는 그래디언트 부스팅 트리 앙상블을 CCA 인코더로서 엔드 투 엔드(end-to-end)로 학습시키는 최초의 방법입니다. 핵심적인 기술적 동력은 Eckart-Young (EY) 손실로, 이는 일반화된 고윳값 문제(generalized eigenvalue problems)를 거치지 않고 임베딩 행렬 $Z_1$ 과 $Z_2$ 에 대한 무제약 최적화 문제로 CCA를 재구성합니다.

주요 기술 구성 요소

EY 손실 및 그래디언트:
EY 손실은 다음과 같이 정의됩니다:
$L_{EY}(Z_1, Z_2) = -2 \text{tr}(C) + \|V\|_F^2$
여기서 $C$ 는 대칭화된 교차 공분산이며, $V$ 는 뷰 내부의 공분산입니다. 결정적으로, 이 공식은 **폐쇄형 샘플별 그래디언트(closed-form per-sample gradients)**를 제공합니다:
$\frac{\partial L_{EY}}{\partial Z_{1,i}} = \frac{4}{N-1} (-Z_{2c,i} + V Z_{1c,i})$
이 그래디언트들은 인코더 아키텍처가 아닌 경험적 임베딩에만 의존합니다. 이를 통해 인코더 자체를 수정하지 않고도 표준 GBT 라이브러리(XGBoost, LightLightGBM)의 커스텀 목적 함수 API를 통해 그래디언트를 직접 공급할 수 있습니다.
학습 절차:
- 두 개의 인코더 설정: 두 개의 부스터 $B_1$ 과 $B_2$ 가 뷰 $X_1$ 과 $X_2$ 를 임베딩 $Z_1$ 과 $Z_2$ 로 매핑하도록 학습됩니다.
- 점진적 임베딩 캐시(Incremental Embedding Cache): 모든 라운드마다 모든 트리를 재평가하는 데 드는 $O(R^2NK)$ 비용을 피하기 위해, 이 방법은 캐시된 임베딩 $Z$ 를 유지하고 새로 추가된 트리만 평가하여 점진적으로 업데이트합니다. 이를 통해 50~100배의 속도 향상을 달까냅니다.
- 단위 헤시안(Unit Hessians): 이 방법은 모든 샘플에 대해 헤시안 $h_i = 1$ 로 설정합니다. 실제 EY 헤시안을 사용하면 리프 가중치 계산의 분모가 L2 규제 항 $\lambda$ 에 의해 지배되어 발산하게 됩니다. 단위 헤시안은 리프 값이 평균 그래디언트와 같도록 보장하여 안정성을 제공합니다.
- 그래디언트 정규화: 원시 EY 그래디언트는 $O(1/\sqrt{N})$ 에 따라 스케일링됩니다. 이 방법은 그래디언트를 고정된 목표 표준 편차( $\sigma_{target} = 0.1$ )로 정규화하여, 학습 속도를 데이터셋 크기와 분리하고 학습률의 균일한 해석 가능성을 보장합니다.
확장:
- TreeMCCA: 쌍별(pairwise) EY 목적 함수를 합산함으로써 $M > 2$ 개의 뷰로 일반화합니다.
- TreeCCA-SSL: 독립적으로 증강된 뷰들에 대해 공유 부스터를 학습시키는 시아미즈(siamese) 단일 인코더 변형입니다.

주요 기여

최초의 GBT 기반 CCA: EY 손실이 라이브러리 수정 없이 GBT를 CCA 인코더로 학습할 수 있게 함을 입증하였으며, EY 손로의 전역 최적화 지형(spurious local minima 없음)을 활용합니다.
효율적인 학습: 점진적 임베딩 캐시와 원칙적인 단위 헤시안을 도입하여 상당한 속도 향상과 안정성을 달성했습니다.
비선형 특징 복구: 선형 교차 뷰 공분산이 0인 희소 비선형 신호(PMD가 완전히 실패하는 영역)를 완벽하게 복구합니다.
내재적 해석 가능성: 신경 인코더와 달리, TreeCCA는 어떤 특정 특징이 교차 뷰 상관관계를 주도하는지 추가 비용 없이 드러내는 게인 중요도(gain importances)를 제공합니다.
확장성 및 일반화: Split MNIST 데이터셋에서 Deep CCA보다 우수한 일반화 성능을 보여주며, GBT의 내재적 규제를 통해 과적합을 방지합니다.

실험 결과

논문은 합성 및 실제 세계 벤치마크를 통해 TreeCCA를 평가합니다:

합성 벤치마크 (Signed Power & Hermite):
- TreeCCA는 총 상관관계 캡처량(Total Correlation Captured, TCC) 측면에서 Deep CCA 및 Kernel CCA(KCCA)를 능가합니다.
- 선형 공분산이 0인 Hermite 벤치마크에서, TreeCCA는 2.93 TCC를 기록한 반면 Deep CCA는 2.89, 선형 CCA는 거의 0에 가까운 값을 보였습니다.
- 학습 시간은 Deep CCA보다 현저히 짧으며(~50초 vs ~300초), KCCA의 $O(N^2)$ 메모리 문제를 피합니다.
규모 (Split MNIST):
- $N=54,000, K=50$ 인 데이터셋에서 Deep CCA는 과적합되는 반면(Train/Val TCC 비율 = 1.95×), TreeCCA는 효과적으로 일반화됩니다(비율 = 1.04×).
센서 퓨전 (UCI HAR):
- TreeCCA는 Deep CCA와 대등한 정확도(0.466 vs 0.510 프로브 정확도)를 5배 낮은 실제 실행 시간(17s vs 80s)으로 달성했습니다.
- 해석 가능성: XGBoost 게인 중요도는 물리적 가설을 검증했습니다. 크기 관련 특징(각속도와 관련된)이 자이로스코프 뷰의 상관관계를 주도하는 주요 동인이라는 물리적 통찰력을 제공했으며, 이는 신경 인코더로는 쉽게 얻을 수 없는 구조적 통찰입니다.
희소 복구:
- 선형 교차 뷰 공분산이 0인 합성 벤치마크에서, TreeCCA는 $p=50$ 일 때 Precision@S = 1.00을 달성한 반면, PMD는 무작위 베이스라인 수준에 머물렀습니다.
다중 뷰 (TreeMCCA):
- 5개의 실제 다중 뷰 데이터셋(예: Caltech101-7, 3Sources)에서 평가한 결과, TreeMCCA는 TCC 및 다운스트림 분류 정확도에서 일관되게 선형 CCA와 대등하거나 이를 능가했습니다. 가장 큰 이득은 교차 뷰 신호가 매우 비선형적일 때 관찰되었습니다.
자기 지도 학습 (TreeCCA-SSL):
- 부호 상호작용(sign interactions)으로 인해 어파인 인코더(affine encoder)가 신호를 볼 수 없는 합성 벤치마크에서, TreeCCA-SSL은 0.630의 정확도(무작위 대비 3.8배 높음)를 달성한 반면, PCA는 무작위 확률(0.159)에 그쳤습니다.

의의 및 주장

논문은 TreeCCA가 다음과 같이 이전에 단일 방법으로는 불가능했던 고유한 특성들의 조합을 제공한다고 주장합니다:

비선형 및 희소 신호 복구: 합성 벤치마크에서 Deep CCA와 대등하거나 이를 능가하며 일반화 성능이 뛰어나고, 선형 희소 방법들이 구조적으로 복구할 수 없는 신호를 찾아냅니다.
해석 가능성: 실무자가 데이터에 대한 가설(예: 물리 기반 신호 구조)을 직접 검증할 수 있도록 내재된 특징 진단 도구(게인 중요도)를 제공합니다.
실용적 폭: 표준 GBT 기본 설정 외에 별도의 아키텍처 탐색이나 하이퍼파라미터 튜닝 없이도 Deep CCA와 대등한 성능을 훨씬 낮은 계산 비용으로 달성합니다.

저자들은 TreeCCA를 특히 멀티오믹스나 임상 적용 분야와 같이 샘플 크기가 적당하고 데이터가 정형이며 해석 가능성이 중요한 분야에서 실무자들이 시작할 수 있는 자연스러운 첫 단계로 위치시킵니다. 논문은 매우 높은 $p/N$ 비율에서 희소 복구 정밀도가 저하되는 문제와 교대 GBT 업데이트 절차에 대한 공식적인 수렴 이론의 부재를 한계점으로 인정합니다.