📊 statistics

Quantifying uncertainty and stability among highly correlated predictors: a subspace perspective

이 논문은 고도로 상관된 예측 변수 간의 불확실성과 안정성을 평가하기 위해 기존 이산적 접근법의 한계를 극복하고, 특징 부분공간 (feature subspaces) 에 기반한 연속적 유사도 및 안정성 측정법과 이를 적용한 새로운 안정성 선택 알고리즘을 제안합니다.

원저자: Xiaozhu Zhang, Jacob Bien, Armeen Taeb

게시일 2026-03-24

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Xiaozhu Zhang, Jacob Bien, Armeen Taeb

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

이 논문은 **"데이터 속의 '쌍둥이'들 (상관관계가 높은 변수들) 을 어떻게 다룰 것인가?"**라는 매우 실용적인 문제를 해결하는 새로운 방법을 제안합니다.

기존의 통계 방법들은 변수들이 서로 매우 비슷할 때 (예: 키와 몸무게, 혹은 유전자 A 와 유전자 B) 혼란을 겪습니다. 이 논문은 그 혼란을 해결하기 위해 **'공간 (Subspace)'**이라는 개념을 도입했습니다.

이해하기 쉽게 세 가지 핵심 비유로 설명해 드리겠습니다.

1. 문제 상황: "완벽한 쌍둥이"의 딜레마

가정해 보세요. 여러분이 브레스트 (유방) 암의 예후를 예측하는 모델을 만들려고 합니다. 데이터에는 수만 개의 유전자가 있습니다.

유전자 A와 유전자 B는 서로 거의 똑같은 행동을 합니다. (상관관계가 99% 이상)
유전자 C와 유전자 D도 마찬가지입니다.

기존의 방법 (예: 안정성 선택) 은 이렇게 작동합니다:

"데이터를 여러 번 잘게 나누어 분석해보자. A 가 나올까, B 가 나올까?"

그런데 결과는 이렇게 나옵니다:

100 번 중 50 번은 A가 선택되고,
50 번은 B가 선택됩니다.

기존 방법은 "A 는 50% 만 선택되었으니 불안정하다", "B 도 50% 만 선택되었으니 불안정하다"라고 판단합니다. 결과적으로 두 유전자 모두 '불필요한 잡음'으로 치부되어 모델에서 제외됩니다. 하지만 실제로는 둘 다 암 예후를 잘 예측하는 중요한 신호입니다.

이것은 "투표 분열 (Vote Splitting)" 현상이라고 합니다. 똑같은 능력을 가진 후보들이 서로 표를 나누어 가면서, 결국 아무도 당선되지 않는 비극이 발생하는 것입니다.

2. 해결책: "방 (Subspace)"을 보는 새로운 눈

이 논문은 "우리가 변수 (유전자) 하나하나를 세는 게 아니라, 그 변수들이 만들어내는 '공간 (방)'을 보자"라고 제안합니다.

기존 관점: "A 와 B 는 서로 다른 이름이니까 다른 사람이다." (이산적 사고)
새로운 관점 (이 논문): "A 와 B 는 거의 같은 방향을 가리키고 있으니, A 와 B 가 만드는 '방'은 거의 같다" (연속적 사고).

비유:
여러분이 방을 꾸미려고 합니다.

A는 '파란색 벽지'입니다.
B는 '파란색 벽지 + 아주 작은 얼룩'입니다.

기존 방법은 "벽지 색이 다르다"고 해서 A 와 B 를 완전히 다른 방으로 봅니다. 하지만 이 논문은 **"두 방의 모양과 방향이 거의 똑같으니, 사실상 같은 방이다"**라고 봅니다.

이처럼 **변수들이 만들어내는 '공간 (Subspace)'**을 비교하면, A 와 B 가 서로를 대체할 수 있다는 것을 수학적으로 증명할 수 있습니다. 그래서 "A 가 불안정하니까 버리자"가 아니라, **"A 나 B 나 둘 중 하나만 있으면 같은 효과를 내니까, 둘 다 '안정적인 후보'로 인정하자"**라고 판단하게 됩니다.

3. 새로운 방법: FSSS (공간 기반 안정성 선택)

이 논문은 FSSS라는 새로운 알고리즘을 만들었습니다.

기존 방법: "가장 많이 뽑힌 유전자 하나만 고르세요." (단 하나의 정답을 찾음)
FSSS 방법: "A 나 B 나, C 나 D 나, 서로 대체 가능한 여러 개의 '완벽한 조합'을 모두 찾아주세요."

비유:
여러분이 여행 계획을 세우고 있습니다.

기존 방법: "가장 인기 있는 항공권 하나만 사세요." (가격이 오르면 못 삽니다.)
FSSS 방법: "A 항공편이 비싸면 B 항공편으로, B 가 없으면 C 항공편으로 갈 수 있는 모든 가능한 여행 코스를 찾아서 보여줍니다."

이렇게 하면 다음과 같은 이점이 생깁니다.

예측 성능 향상: 중요한 변수를 놓치지 않고 더 많은 변수를 모델에 포함시킬 수 있어 예측이 더 정확해집니다.
불확실성 인정: "이 유전자가 정답이다"라고 단정 짓지 않고, "이 유전자와 저 유전자는 서로 바꿔 쓸 수 있다"는 불확실성을 있는 그대로 보여줍니다.
오류 감소: 실제로는 중요하지 않은 잡음 (Noise) 과 진짜 신호 (Signal) 를 구별하는 능력이 훨씬 뛰어납니다.

요약: 왜 이것이 중요한가요?

이 논문은 **"데이터 속의 변수들이 서로 너무 비슷할 때, 우리는 '누가 더 많이 뽑혔나'를 세는 게 아니라, '누가 어떤 역할을 할 수 있는가'를 봐야 한다"**는 통찰을 줍니다.

기존: "A 와 B 는 서로 다르다. 둘 다 불안정하니까 버린다." (실수: 중요한 정보를 잃음)
새로운 방법 (이 논문): "A 와 B 는 같은 역할을 한다. 둘 중 하나라도 있으면 OK. 그래서 여러 가지 조합을 모두 찾아낸다." (성공: 더 정확하고 풍부한 통찰)

이 방법은 특히 **유전체학 (Gene expression)**처럼 수만 개의 변수가 서로 복잡하게 얽혀 있는 분야에서, 더 나은 질병 예측 모델을 만들고 과학적 통찰력을 얻는 데 큰 도움을 줄 것입니다.

한 줄 요약:

"서로 닮은 쌍둥이 변수들이 서로 표를 나누어 가며 사라지는 비극을 막기 위해, **'개별 변수'가 아닌 '변수들이 만드는 공간'**을 기준으로 안정성을 판단하는 새로운 나침반을 만들었습니다."

1. 연구 배경 및 문제 정의 (Problem)

고차원 데이터 분석에서 변수 선택 (Variable Selection) 은 중요한 과제이나, **예측변수 (Features) 간에 높은 상관관계 (Multicollinearity)**가 존재할 때 기존의 방법론은 두 가지 근본적인 한계에 직면합니다.

모델 유사성 (Similarity) 의 부재: 기존 방법은 두 모델이 공유하는 변수의 개수 (Set Intersection) 로 유사성을 측정합니다. 그러나 높은 상관관계로 인해 서로 다른 변수 집합 (예: $S_1=\{X_1, X_2\}$ , $S_2=\{X_3, X_4\}$ ) 이 서로 매우 높은 상관관계를 가질 경우, 예측 성능은 거의 동일하지만 공유 변수는 0 개로 측정되어 두 모델이 전혀 관련이 없는 것으로 오해받습니다.
변수 선택의 불안정성 (Instability) 과 '투표 분할 (Vote Splitting)': 안정성 선택 (Stability Selection) 과 같은 재표본추출 기반 방법은 높은 상관관계로 인해 한 번은 $X_1$ 이, 다른 번에는 $X_3$ 이 선택되는 현상 (Vote Splitting) 이 발생합니다. 이로 인해 실제로 중요한 신호 변수들도 낮은 안정성 점수를 받아 모델에서 제외되거나, 반대로 불안정한 변수들이 포함되는 문제가 발생합니다. 또한, 기존 방법은 단일 모델만 출력하므로 변수 간의 대체 가능성 (Interchangeability) 을 반영하지 못합니다.

2. 제안된 방법론 (Methodology)

저자들은 이러한 문제를 해결하기 위해 부분공간 (Subspace) 관점을 도입한 새로운 프레임워크를 제안했습니다.

A. 부분공간 기반 유사성 및 안정성 측정

부분공간 표현: 변수 집합 $S$ 를 단순히 집합이 아닌, 해당 변수들에 해당하는 데이터 행렬 $X$ 의 열들로 생성된 **부분공간 (Feature Subspace, $\text{col}(X_S)$ )**으로 정의합니다.
유사성 측정 (Similarity): 두 모델 $S_1, S_2$ $S_{1}, S_{2}$ 의 유사성을 공유 변수의 개수가 아닌, 두 부분공간 간의 정렬 정도 (Alignment) 로 측정합니다.
- 주요 지표: $\tau(S_1, S_2) = \text{trace}(P_{\text{col}(X_{S_1})} P_{\text{col}(X_{S_2})})$ 를 사용합니다. 이는 두 부분공간 사이의 주성분 각도 (Principal Angles) 의 코사인 제곱 합으로, 상관관계가 높을수록 유사성 점수가 1 에 가까워집니다.
- 예측 유사성: 최악의 경우 (Worst-case) 예측 성능을 비교하기 위해 가장 큰 주성분 각도의 코사인 제곱 ( $\tilde{\tau}$ ) 을 사용하여 두 모델이 서로 다른 응답 변수 $y$ 에 대해 얼마나 유사한 예측을 하는지 측정합니다.
진양성/위양성 정량화: 기존의 이산적 (Discrete) 인 변수 개수 세기를 연속적 (Continuous) 인 부분공간 정렬도 (Trace) 로 대체하여, 상관관계가 높은 변수가 포함된 경우에도 더 정확한 오차 평가를 가능하게 합니다.
안정성 측정: 재표본추출을 통해 얻은 여러 모델들의 부분공간 평균 투영 행렬 ( $P_{avg}$ ) 과 특정 변수 집합 $S$ 의 부분공간 사이의 정렬도를 측정하여 안정성 $\pi(S)$ 를 정의합니다. 이는 개별 변수가 선택된 횟수가 아니라, 해당 변수가 생성하는 공간이 다른 샘플들에서 얼마나 일관되게 포착되는지를 반영합니다.

B. FSSS (Feature Subspace Stability Selection) 알고리즘

목표: 주어진 안정성 임계값 $\alpha$ 를 만족하는 **최대 $\alpha$ -안정 집합 (Maximal $\alpha$ -stable sets)**을 탐색합니다.
동작 원리:
1. 공집합에서 시작하여 변수를 하나씩 추가하는 탐색 과정을 수행합니다.
2. 새로운 변수를 추가할 때, 기존 변수들과의 상관관계로 인한 중복을 피하고 부분공간 정렬도가 $\alpha$ 를 유지하도록 합니다.
3. 검색 공간 축소 전략: 안정성 점수가 임계값 미만인 경우 더 이상 확장하지 않거나, 이미 검증된 상위 모델이 존재하는 경우 탐색을 중단하는 등의 휴리스틱을 적용하여 계산 효율성을 높입니다.
4. 결과적으로 단일 모델이 아닌, 서로 대체 가능한 여러 개의 안정적인 모델 집합을 출력합니다.

3. 주요 기여 (Key Contributions)

부분공간 관점의 도입: 상관관계가 높은 변수 환경에서 모델 비교, 유사성, 안정성, 오차 측정을 위한 연속적 (Continuous) 인 수학적 프레임워크를 정립했습니다. 이는 기존 이산적 접근법의 한계를 극복합니다.
FSSS 알고리즘 개발: 기존 안정성 선택의 단점 (투표 분할, 단일 모델 출력) 을 해결하고, 상관관계 구조를 자동으로 고려하여 여러 개의 안정적인 모델을 탐색하는 알고리즘을 제안했습니다.
이론적 보장:
- 위양성 오차 (False Positive Error) 통제: FSSS 로 선택된 모델의 기대 위양성 오차가 기저 절차 (Base Procedure) 의 품질과 안정성 임계값 $\alpha$ 에 의해 상한이 보장됨을 증명했습니다.
- 일관성 (Consistency): 특정 조건 하에서 FSSS 가 신호 변수가 포함된 클러스터에서 정확히 하나의 변수를 선택하고 (또는 그와 동등한 부분공간을 선택), 노이즈 변수는 배제하는 일관성을 가짐을 보였습니다.
실제 데이터 및 시뮬레이션 검증: 합성 데이터와 유전자 발현 데이터 (유방암 예후) 를 통해 기존 방법 (Stability Selection, Cluster Stability Selection) 대비 더 큰 모델 크기와 더 높은 예측 정확도를 달성함을 입증했습니다.

4. 실험 결과 (Results)

합성 데이터 실험:
- 투표 분할 해결: 기존 안정성 선택은 상관된 신호 변수들이 낮은 안정성 점수를 받아 모델에서 제외되는 반면, FSSS 는 상관된 신호들을 명확히 식별하여 높은 안정성 점수를 부여했습니다.
- 성능: FSSS 는 더 많은 참 양성 (True Positives) 을 발견하면서도 위양성 (False Positives) 을 낮게 유지했습니다. 특히 $\ell_0$ -회귀를 기저 절차로 사용할 때 가장 우수한 성능을 보였습니다.
- 다중 모델 출력: FSSS 는 상관관계가 높은 변수들 간의 대체 관계를 반영하는 여러 개의 안정적인 모델을 생성했습니다.
실제 데이터 (유방암 유전자 발현 데이터):
- 예측 성능: 기존 방법들보다 낮은 테스트 MSE (Mean Squared Error) 를 기록했습니다.
- 해석 가능성: FSSS 는 단일 모델이 아닌, 서로 다른 유전자 조합을 가진 여러 안정적 모델을 제시했습니다. 예를 들어, $X_1$ 과 $X_2$ 가 높은 상관관계를 가질 때, $X_1$ 을 포함한 모델과 $X_2$ 를 포함한 모델이 모두 안정적임을 보여주어 생물학적 해석의 유연성을 제공했습니다.
- R 패키지: 제안된 방법은 substab 패키지로 구현되어 공개되었습니다.

5. 의의 및 결론 (Significance)

이 논문은 고차원 상관관계 데이터 분석에서 "단 하나의 최적 모델"을 찾는 것이 불가능하거나 비현실적일 수 있음을 인정하고, **"최적 성능을 내는 여러 모델의 집합 (Rashomon Effect)"**을 탐색하는 패러다임 전환을 제시했습니다.

불확실성 정량화: 변수 선택의 불확실성을 이산적인 '선택/비선택'이 아닌, 부분공간의 연속적인 거리로 정량화함으로써 더 신뢰할 수 있는 통계적 결론을 도출합니다.
실용적 가치: 상관관계가 높은 유전체학, 금융 데이터 등 다양한 분야에서 더 강건하고 예측력이 높은 모델을 제공하며, 변수 간의 대체 관계를 이해함으로써 도메인 전문가에게 더 풍부한 인사이트를 제공합니다.
이론적 확장: 부분공간 이론을 변수 선택의 안정성 분석에 성공적으로 접목하여, 향후 비선형 모델이나 더 복잡한 의존 구조로 확장 가능한 기반을 마련했습니다.

요약하자면, 이 연구는 상관관계가 높은 예측변수 환경에서 부분공간 기하학을 활용하여 모델의 유사성과 안정성을 재정의하고, 이를 통해 더 강력하고 해석 가능한 다중 모델 선택을 가능하게 하는 획기적인 프레임워크를 제시했습니다.