🔬 condensed matter

The limits of interpretability in multiple linear regression

이 논문은 다중 선형 회귀에서 다중공선성이 가중치 변동을 증폭시키고 상관관계가 있는 특성들 사이에서 진동 패턴을 생성함으로써 물리적 해석 가능성을 저해하며, 이러한 현상은 릿지 규제(Ridge regularization)를 통해 완화될 수는 있으나 완전히 해결될 수는 없음을 입증한다.

원저자: Anand Sharma, Chen Liu, Daniele Coslovich, Misaki Ozawa

게시일 2026-06-16

📖 5 분 읽기🧠 심층 분석

CC BY 4.0

원저자: Anand Sharma, Chen Liu, Daniele Coslovich, Misaki Ozawa

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

개요: 왜 "단순한" 수학이 까다로울 수 있는가

당신이 미스터리를 풀려는 탐정이라고 상상해 보세요: 무엇이 어떤 물질을 초전도체(전기 저항이 0인 물질)로 만드는가?

당신은 원자의 무게, 크기, 전자를 떼어내는 데 필요한 에너지 등과 같은 단서들(특성, features) 목록을 가지고 있습니다. 당신은 어떤 단서가 가장 중요한지 알아내기 위해 **다중 선형 회귀(Multiple Linear Regression)**라는 단순한 도구를 사용하려고 합니다.

보통 사람들은 선형 회귀가 머신러닝의 "쉬운 모드"라고 생각합니다. 그것은 마치 다음과 같은 간단한 레시피와 같습니다:

예측값 = (단서 A의 무게 × 중요도 점수 A) + (단서 B의 무게 × 중요도 점수 B) + ...

만약 "원자 크기"에 대한 "중요도 점수(가중치)"가 매우 크고 양수라면, 당신은 "아하! 큰 원자가 핵심이구나!"라고 생각할 것입니다. 만약 음수라면, "작은 원자가 핵심이구나!"라고 생각할 것입니다.

이 논문은 이러한 단순한 논리가 종종 무너진다고 주장합니다. 수학은 단순할지라도, 만약 당신의 단서들이 서로 너무 비슷하다면, "중요도 점수"는 혼란스럽고 불안정하며 신뢰할 수 없는 상태가 됩니다.

문제점: "쌍둥이" 단서들 (다중공선성)

이 이야기의 주요 악당은 **다중공선성(Multicollinearity)**입니다. 이것은 두 개 이상의 단서가 너무 비슷해서 사실상 쌍둥이나 다름없을 때 발생합니다.

비유: 쌍둥이 형제
당신이 어떤 사람의 키를 추측하려고 한다고 가정해 봅시다. 당신에게는 두 가지 단서가 있습니다:

단서 A: 센티미터(cm) 단위의 키.
단서 B: 인치(inch) 단위의 키.

이 두 단서는 완벽하게 상관되어 있습니다. 하나를 알면 다른 하나도 알 수 있습니다. 이들은 "쌍둥이"입니다.

이제 이 두 단서를 사용하여 키를 예측하는 모델을 만든다고 상상해 보세요. 수학은 혼란에 빠집니다. 수학은 묻습니다: "키의 얼마만큼이 센티미터 때문이고, 얼마만큼이 인치 때문인가?"

그들이 쌍둥이이기 때문에, 수학은 결정을 내릴 수 없습니다.

어떤 실험에서는 "센티미터가 매우 중요하고(+100), 인치는 전혀 중요하지 않다(-100)"라고 말할 수도 있습니다.
다음 실험(약간 다른 데이터를 사용했을 때)에서는 반대로 뒤집힐 수 있습니다: "센티미터는 -100이고, 인치는 +100이다."

전체 예측값(합계)은 정확하게 유지되지만, 개별 점수는 마치 진자처럼 격렬하게 요동칩니다. 이것이 논문에서 말하는 **가중치 변동(Weight Fluctuations)**입니다.

논문에서 발견된 구체적인 문제들

저자들은 실제 물리 데이터(초전도체 및 유리질 액체)를 조사하였고, 두 가지 구체적인 악몽을 발견했습니다.

1. "떨리는" 가중치 (데이터셋 간의 변동)

모델을 한 배치(batch)의 데이터로 학습시키면 일련의 점수들을 얻게 됩니다. 만약 동일한 물리 실험에서 나온 것이라도 다른 배치의 데이터로 학습시킨다면, 점수들이 완전히 바뀌어 버립니다.

메타포: 약간 흔들리는 저울 위에 깃털의 무게를 재려고 한다고 상상해 보세요. 깃털을 올려놓으면 저울이 "5그램"이라고 표시합니다. 깃표를 치우고 다시 올려놓으면 "-3그램"이라고 표시합니다. 깃털은 변하지 않았지만, 측정값은 불안정합니다.
결과: 점수들이 매번 바뀌기 때문에, 당신은 그 숫자들이 물리적으로 무엇이 중요한지를 알려준다고 믿을 수 없습니다.

2. "진동하는" 가중치 (시소 효과)

이것은 가장 기이한 부분입니다. 저자들은 순서가 있는 단서들(예: "규모 1에서의 원자 크기", "규모 2에서의 원자 크기", "규모 3에서의 원자 크기")이 있을 때, 점수들이 단순히 떨리는 것에 그치지 않고 **진동(oscillate)**한다는 것을 발견했습니다.

메타포: 도미노 줄을 상상해 보세요. 첫 번째 도미노를 밀면, 두 번째는 올라가고, 세 번째는 내려가고, 네 번째는 다시 올라가는 식입니다.
실제 상황: 데이터에서 "규모 1의 원자 크기"는 거대한 양수 점수를 받을 수 있습니다. "규모 2의 원자 크기"(거의 같은 것임에도 불구하고)는 거대한 음수 점수를 받습니다. "규모 3"은 다시 양수로 돌아갑니다.
왜 중요한가: 이것은 물리적으로 말이 되지 않습니다. 두 대상이 물리적으로 비슷하다면, 비슷한 점수를 가져야 합니다. 대신, 수학은 서로를 상쇄하도록 만드는 혼란스러운 춤을 강요합니다.

왜 이런 일이 발생하는가? (숨겨진 메커니즘)

저자들은 이를 설명하기 위해 **고유 모드 분해(Eigenmode Decomposition)**라는 수학적 도구를 사용했습니다. 이것을 데이터의 "진동"을 살펴보는 것이라고 생각하면 됩니다.

비유: 기타 줄을 상상해 보세요. 줄에는 주된 진동(우리가 듣는 음)과 아주 미세하고 고주파인 진동(배음)이 있습니다.
수학: 당신의 단서들이 너무 비슷할 때(다중공선성), 데이터의 "기타 줄"에는 매우 약하고 흔들리는 진동(작은 고유값, small eigenvalues)이 존재합니다.
충돌: 선형 회귀 수학은 예측을 수행하기 위해 이 약한 진동들을 증폭시키려 합니다. 하지만 이 진동들이 너무 약하기 때문에, 데이터의 아주 작은 노이즈조차도 점수의 거대하고 격렬한 요동으로 증폭됩니다. 이 약한 진동들이 바로 "시소" 같은 진동을 일으키는 주범입니다.

해결책: 릿지 규제 (Ridge Regularization)

논문은 **릿지 회귀(Ridge Regression)**라는 흔한 해결책을 테스트합니다.

비유: 다시 흔들리는 저울을 상상해 보세요. 릿지 회귀는 저울에 무겁고 뻣뻣한 스프링을 추가하는 것과 같습니다. 이것은 바늘이 격렬하게 휘둘리지 못하게 합니다. 증거가 압도적이지 않는 한, 바늘이 0 근처에 머물도록 강제합니다.
결과: 이 "스프링"(수학적 패널티)은 격렬한 진동을 멈추고 점수를 안정화합니다. 점수들은 훨씬 차분해지고 일관되게 변합니다.

하지만, 주의할 점이 있습니다:
논문은 이 해결책을 사용하더라도, 단순히 숫자 하나를 골라 "이것이 진리다"라고 말할 수는 없다고 경고합니다.

만약 스프링을 너무 뻣뻣하게 만들면, 모든 단서를 0으로 뭉개버립니다(정보를 잃게 됩니다).
만약 스프링을 너무 느슨하게 만들면, 떨림 현상이 다시 나타납니다.
결정적으로: 논문은 동일하게 정확한 예측을 얻을 수 있는 "스프링 설정값"이 여러 개 존재할 수 있지만, 각 설정에 따라 설명(가중치)은 완전히 다르게 보일 것이라고 보여줍니다.

핵심 요약

선형 회귀는 항상 단순하지 않습니다: 공식이 단순해 보인다고 해서 결과까지 이해하기 쉬운 것은 아닙니다.
상관관계는 위험합니다: 단서들이 너무 비슷하면, 수학은 혼란에 빠져 노이즈처럼 보이는 불안정하고 진동하는 답을 내놓습니다.
예측 $\neq$ 이해: 미래를 완벽하게 예측하는 모델을 만들 수는 있지만, 그 모델이 제시하는 "이유"(가중치)는 이 불안정성 때문에 물리적으로 무의미할 수 있습니다.
해결책은 마법의 버튼이 아닙니다: 수학적 해결책(Ridge)을 더하는 것이 도움은 되지만, 근본적인 문제를 해결하지는 못합니다. 물리학을 진정으로 이해하려면, 아마도 특성 선택(Feature Selection), 즉 수학을 시작하기 전에 가장 좋고 독특한 단서들을 직접 골라내고 "쌍둥이"들을 버리는 과정이 필요할 것입니다.

요컨대: 숫자를 맹목적으로 믿지 마세요. 데이터에 너무 비슷한 단서들이 많다면, 그 "중요도 점수"는 물리적 실체가 아니라 수학적 혼란이 반영된 결과일 가능성이 높습니다.

기술 요약: 다중 선형 회귀의 해석 가능성 한계

문제 제기
다중 선형 회귀(MLR)는 딥 뉴럴 네트워크와 같은 복잡한 모델에 비해 해석 가능한 대안으로 널리 간주되지만, 입력 특성들이 강하게 상관되어 있는 경우(다중공선성) 물리 과학 분야에서의 유용성이 저해된다. 이러한 영역에서 학습된 가중치(일반적으로 특성 중요도의 척도로 해석됨)는 두 가지 결정적인 병리 현상을 보인다:

데이터셋 간 변동성: 추정된 가중치는 동일한 기저 분포에서 추출된 서로 다른 샘플들 사이에서 크게 변하며, 이는 통계적 견고성을 저해한다.
진동 현상: 물리적으로 유사하거나 인접한 특성들(예: 인접한 파장의 스펙트럼 강도 또는 유사한 길이 척도에서의 거친 입도 구조 매개변수)에 할당된 가중치가 부호가 교차하거나 큰 크기를 나타내며, 이는 물리적 일관성을 위반한다.

본 논문은 다중공선성 하에서 가중치의 불안정성이 통계학적으로 알려져 있음에도 불구하고, 물리적 해석에 미치는 구체적인 결과(특히 비물리적인 진동 패턴의 생성)가 체계적으로 규명되지 않았다고 주장한다.

방법론
저자들은 특성 상관 행렬( $\mathbf{C}$ )의 고유 모드 분해(eigenmode decomposition)를 기반으로 한 통합적 이론 프레코임워크를 사용하여 최소제곱법(OLS)과 릿지(Ridge) 회귀를 모두 분석한다.

이론적 분석: 연구는 빈도주의적 접근 방식을 사용하여 가중치 추정량의 공분산을 도출하며, 유한한 샘플 크기로 인한 변동과 다중공선성에 의해 순수하게 유도된 변동을 분리한다. 또한 분산 팽창 요인(VIF)과 베이지안 관점을 활용하여 불확실성을 정량화한다.
고유 모드 분해: 저자들은 OLS 해( $\hat{\mathbf{w}}_{OLS} = \mathbf{C}^{-1}\mathbf{R}$ )를 $\mathbf{C}$ 의 고유벡터( $\mathbf{u}^{(k)}$ )와 고유값( $\lambda^{(k)}$ )으로 표현한다. 이들은 다중공선성과 관련된 작은 고유값들이 변동을 증폭시키고 특정 고유벡터 패턴을 생성함을 입증한다.
수치적 검증: 이론적 예측은 두 가지 물리 데이터셋을 통해 테스트된다:
1. 초전도체: 원소적 물리량 및 통계적 기술자로부터 임계 온도( $T_c$ )를 예측함 ( $d=81$ ).
2. 유리 역학(Glassy Dynamics): 여러 길이 척도에 걸쳐 거칠게 입도화된 국부 구조 매개변수로부터 입자 이동성을 예측함 ( $d=60$ ).
일반화: 발견된 사항들은 보편성을 평가하기 위해 다양한 공개 데이터셋(예: 와인 품질, 엘니뇨, 가전제품 에너지)을 통해 검증된다.

주요 기여 및 결과

변동의 메커니즘: 논문은 가중치 $\hat{w}^{(f)}$ 의 조건부 분산이 VIF, 즉 $1/(1-R^2[X^{(f)}, \hat{X}^{(f)}])$ 에 비례함을 도출한다. 이는 데이터셋의 크기가 크더라도 특성들 사이의 강한 선형 의존성이 가중치의 분산을 발산하게 만든다는 점을 확인시켜 주며, 이는 샘플 크기의 제한과는 독립적이다.
진동의 메커니즘: 저자들은 진동하는 가중치 패턴이 "소프트 모드(soft modes)"(작은 고유값과 연관된 고유벡터)의 증폭으로부터 발생함을 식별한다. 강한 상관관계가 존재할 때, 작은 고유값에 대응하는 고유벡터들은 반대칭 또는 사인파 형태의 구조를 나타낸다. 이러한 모드들이 OLS 해의 $1/\lambda^{(k)}$ 항에 의해 증폭될 때, 상관된 특성들의 가중치에 교차하는 부호를 유도한다.
릿지 규제화의 역할:
- 릿지 회귀는 해를 $\hat{\mathbf{w}}_{Ridge} = (\mathbf{C} + \alpha\mathbf{I})^{-1}\mathbf{R}$ 로 수정한다.
- 규제 매개변수 $\alpha$ 는 작은 고유값 모드( $\lambda^{(k)} \ll \alpha$ )의 기여를 억제함으로써 VIF와 진동 현상을 모두 감소시킨다.
- 논문은 다양한 데이터셋에 걸쳐 최대 VIF의 보편적인 스케일링 동작을 확립한다: 이는 매우 작은 $\alpha$ 에서 고원(plateau)을 형성하고, 중간 영역에서는 $1/(4\alpha)$ 로 스케일링되며, 큰 $\alpha$ 에서는 $1/\alpha^2$ 로 감소한다.
- 결정적 주의사항: 릿지 규제화가 가중치를 안정화시키기는 하지만, 결과적인 가중치 패턴은 $\alpha$ 의 선택에 매우 민감하다. 예측 성능(예: $R^2$ )이 거의 일정하게 유지되는 상황에서도 $\alpha$ 를 변화시키면 가중치의 물리적 해석이 급격히 달라질 수 있다. 따라서 릿지 가중치 또한 주의 깊은 해석이 필요하다.
베이지안 관점: 분석 결과, MSE가 최소화되는 시점에도 가중치의 사후 분포는 "소프트 모드"(작은 고유값의 방향)를 따라 넓게 유지됨을 확인하였다. 이는 우수한 예측 성능이 신뢰할 수 있는 가중치 해석을 보장하지 않는 이유를 설명한다.

의의 및 주장
본 논문은 다중공선성이 존재할 때 왜 선형 회귀 모델조차 물리적 해석이 어려운지에 대한 체계적인 이론적 설명을 제공한다고 주장한다. 논문은 흔히 혼동되는 두 가지 별개의 현상인 통계적 변동과 물리적 진동을 구분한다.

저자들은 다음과 같이 결론짓는다:

선형 회귀의 외견상 단순함이 상관된 특성들이 존재하는 상황에서 해석 가능성을 보장하지는 않는다.
규제 매개변수를 선택하는 표준 기준(예: 테스트 성능 극대화)은 가중치 패턴이 예측 정확도에 의해 유일하게 결정되지 않기 때문에, 해석 가능성을 보장하기에는 불충분하다.
본 논문은 해석 가능성을 위한 단일한 "해결책"을 제시하는 것이 아니라, 단순히 불안정한 모델을 규제하는 것보다 특성 선택(예: 높은 VIF를 가진 특성 제거, Lasso 사용, 또는 정보 불균형 방법론)이 해석 가능성을 유지하는 데 더 근본적인 경로임을 시사한다. 목표는 고도로 상관된 특성 공간으로부터 가중치를 해석하려고 시도하는 것이 아니라, 정보를 소수의 관련성 있고 중복되지 않는 변수로 압축하는 것이어야 한다.