Restricted nonlinear shrinkage of high-dimensional residual covariance matrices in multivariate regressions

당신은 용의자들 사이의 연결 고리를 밝혀내려는 형사라고 상상해 보십시오. 당신은 사람들의 명단(데이터)을 가지고 있고, 나이나 거주지 같은 정보(공변량)도 알고 있습니다. 하지만 그들에게는 숨겨진 연결 고리가 있다는 것도 알고 있습니다. 예를 들어, 그들이 모두 같은 공원에서 시간을 보내거나, 비가 올 때 모두 똑같이 반응하는 식입니다. 이 지도를 그리는 작업이 통계학에서는 "공분산 행렬(covariance matrix)"이라고 불립니다. 이것은 한 요소가 변할 때 다른 요소가 얼마나 변하는지를 알려줍니다.

보통 형사들은 아주 많은 증거를 가진 소수의 용의자를 다룹니다. 하지만 현대 사회에서는 종종 그 반대의 문제에 직면합니다. 수천 명의 용의자가 있지만 단 몇 십 개의 단서밖에 없는 상황 말입니다. 이것이 바로 "고차원(high-dimensional)" 세계입니다. 단서가 너무 적은 상태에서 연결 고리를 지도화하려고 하면, 그 지도는 대개 엉망진창인 낙서가 되어버립니다. 마치 세 개의 이정표만 가지고 상세한 도시 지도를 그리려는 것과 같습니다. 그 결과는 온갖 짐작과 오류로 가득 차게 됩니다. 게다가 현실 세계의 데이터는 종종 "노이즈"가 많거나 "스파이크(튀는 값)"가 존재합니다. 때때로 어떤 데이터 포인트는 다른 모든 것과 비교했을 때 완전히 미친 듯이 행동하는 극단적인 이상치(outlier)일 수 있습니다. 만약 당신의 지도 제작 도구가 모든 사람이 차분하고 예측 가능하다(완벽한 종 모양의 정규 분포처럼)고 가정한다면, 미친 용의자 한 명 때문에 전체 지도가 망가질 수 있습니다.

이 논문은 바로 그 엉망진창인 상황을 다룹니다. 이 논문은 다음과 같이 질문합니다. "단서가 너무 적고 데이터에 거친 이상치가 가득할 때, 더 나은 지도를 만들 수 있을까?" 저자들은 그렇다고 답하면서도, 한 가지 반전을 제시합니다. 우리는 때때로 용의자들에 대해 이미 알고 있는 어떤 규칙들을 가지고 있다는 점을 깨달았습니다. 예를 들어, 특정 두 집단은 절대 상호작作用하지 않는다거나, 특정 요인이 결과에 아무런 영향을 미치지 않는다는 사실을 알고 있을 수 있습니다. 이것이 바로 "제약 조건(restrictions)"입니다. 논문은 우리가 이 알려진 규칙들을 사용하여 지도를 그리기 전에 단서들을 먼저 정제한다면, 데이터가 엉망이고 변수의 수가 엄청나게 많더라도 훨씬 더 선명한 그림을 얻을 수 있음을 보여줍니다.

형사의 새로운 도구 상자

이 논문의 저자들은 안개가 자욱하고 혼란스러운 도시에서 지도를 그리는 새로운 방법을 발명한 숙련된 지도 제작자들과 같습니다. 그들의 연구는 "다변량 회귀(multivariate regression)"라고 불리는 특정 유형의 수학적 문제, 즉 "일련의 단서를 바탕으로 여러 가지를 동시에 예측하는 것"에 초점을 맞추고 있습니다.

보통 통계학자들이 많은 변수 사이의 숨겨진 연결(공분산 행렬)을 추정하려고 할 때, 두 가지 큰 골칫거리에 부딪힙니다. 첫째, 변수의 수가 데이터 포인트의 수와 거의 비슷할 때, 표준적인 방법은 매우 부정확한 지도를 만들어냅니다. 지도의 선들이 엉뚱한 곳에서 늘어나거나 찌그러지는 현상이 발생하는데, 이는 마르첸코-파스투르 법칙(Marchenko–Pastur law)이라는 유명한 법칙으로 설명됩니다. 둘째, 현실 세계의 데이터는 "두꺼운 꼬리(heavy tails)"를 갖는 경우가 많습니다. 이는 모두가 평균적이기보다는, 금융 시장의 붕괴나 기이하게 행동하는 유전자처럼 극단적인 이상치가 존재함을 의미합니다. 표준적인 도구들은 데이터가 "말끔하고" 가우시안(종 모양) 형태라고 가정하기 때문에, 이러한 거친 이상치를 만나면 작동을 멈추거나 쓰레기 같은 결과를 내놓습니다.

이 논문은 두 가지 아이디어를 결합한 영리한 해결책을 제안합니다: 알려진 규칙을 사용하는 것과 노이즈의 규모를 무시하는 것입니다.

1. "자유로운 단서" 기법

당신이 도시 전체의 날씨 패턴을 추측하려고 한다고 상상해 보십시오. 당신에게는 "북쪽의 기온은 남쪽과 정확히 같다"라는 모델이 있습니다. 만약 이 규칙이 참이라는 것을 안다면, 연결 고리를 파악하기 위해 북쪽과 남쪽을 따로 측정할 필요가 없습니다. 한쪽의 데이터만으로도 다른 쪽을 이해하는 데 도움을 받을 수 있습니다. 통계학에서는 이를 "선형 제약(linear restriction)"이라고 부릅니다.

저자들은 알려진 규칙(예: "이 두 요인은 결과에 영향을 미치지 않는다")이 있을 때, 이를 사용하여 데이터의 "노이즈" 중 일부를 버릴 수 있음을 보여줍니다. 모델이 이 규칙을 따르도록 강제함으로써, 당신은 실질적으로 더 많은 "자유도(degrees of freedom)"를 얻게 됩니다. 이렇게 생각해 보십시오. 100조각짜리 퍼즐이 있는데 그중 10조각이 특정 구석에 딱 맞는다는 것을 알고 있다면, 당신은 나머지 90조각만 맞추면 됩니다. 이것은 남은 퍼즐을 훨씬 더 쉽게 풀 수 있게 만듭니다. 논문은 이 "추가적인" 자유도가 변수의 수가 매우 많을 때도 연결 관계에 대한 훨씬 더 날카롭고 정확한 지도를 가능하게 한다는 것을 증명합니다.

2. "모양 중심"의 나침반

이제 당신의 데이터가 서로 다른 방향을 가리키는 화살표 뭉치라고 상상해 보십시오. 어떤 화살표는 짧고, 어떤 것은 길며, 어떤 것은 이상치 때문에 믿기 힘들 정도로 깁니다. 표준적인 도구들은 패턴을 파악하기 위해 모든 화살표의 길이를 측정하려고 합니다. 하지만 만약 어떤 화살표 하나가 다른 것들보다 1,000배 더 길다면, 전체 계산을 망쳐놓을 것입니다.

저자들은 다른 접근 방식을 제안합니다. 화살표의 길이는 완전히 무시하고 오직 그들이 가리키는 방향만을 보는 것입니다. 그들은 "타일러의 M-추정량(Tyler's M-estimator)"이라는 특수한 도구를 사용하는데, 이는 바람이 얼마나 세게 부는지보다는 바람이 어느 방향으로 부는지만 신경 쓰는 나침반과 같습니다. 이 도구는 극단적인 길이(두꺼운 꼬리)를 무시하기 때문에, 데이터에 미친 듯한 이상치가 가득하더라도 완벽하게 작동합니다.

여기서 마법 같은 부분이 있습니다. 저자들은 "알려진 규칙(제약 조건)"에 의해 정제된 데이터에 이 "방향 중심" 도구를 사용하면, 결과물인 지도가 **분포로부터 자유롭다(distribution-free)**는 것을 발견했습니다. 이는 데이터가 완벽하게 정규 분포를 따르든, 아니면 거친 이상치로 가득 차 있든 상관없이 동일하게 잘 작동한다는 것을 의미합니다. 지도의 모양은 데이터가 얼마나 "뾰족한지"와 상관없이 동일한 정확도를 유지합니다. 이는 대부분의 다른 방법론이 데이터가 매끄럽지 않을 때 실패하는 것과 대조되는 매우 중요한 성과입니다.

3. "안전망" 전략

만약 당신이 어떤 규칙을 알고 있다고 생각했지만, 실제로는 틀렸다면 어떻게 될까요? 아마도 두 집단이 상호작용하지 않는다고 생각했지만 실제로는 상호작용을 하고 있을 수도 있습니다. 만약 잘못된 규칙을 맹목적으로 따른다면, 당신의 지도는 엉망이 될 수 있습니다.

이를 해결하기 위해 저자들은 그들의 방법론에 "안전망"을 구축했습니다. 그들은 스마트 스위치처럼 작동하는 하이브리드 추정량을 만들었습니다. 이 스위치는 데이터가 그 규칙을 지지하는지 끊임없이 확인합니다.

• 데이터가 규칙과 일치하면, "제약된(restricted)" 지도(추가적인 단서를 사용하는 지도)에 크게 의존합니다.
• 데이터가 규칙이 틀렸다고 외친다면, "제약되지 않은(unrestricted)" 지도(아무것도 가정하지 않는 표준 지도)로 부드럽게 전환합니다.

이 스위치는 당신이 규칙을 잘못 예측하더라도 손해를 보지 않도록 설계되었습니다. 제약된 지도의 초강력한 정확도는 얻지 못할지라도, 표준적인 지도보다 못한 결과를 얻지는 않게 됩니다. 이는 마치 도로가 뚫려 있으면 지름길을 이용하다가, 교통 체증이 감지되면 즉시 주요 고속도로로 경로를 재탐색하여 절대 길을 잃지 않게 해주는 GPS와 같습니다.

실험 결과가 보여준 것

저자들은 단순히 종이 위에서 수학적 계산만 한 것이 아니라, 시뮬레이션과 실제 데이터를 통해 자신들의 아이디어를 테스트했습니다.

• 시뮬레이션: 그들은 수천 개의 변수를 가진 가짜 데이터를 생성하고 다양한 조건에서 테스트했습니다. 데이터가 "두꺼운 꼬리(이상치가 많은 상태)"를 가질 때, 표준적인 방법들(샘플 공분산이나 선형 축소법 등)은 엄청난 오류를 내며 무너졌습니다. 그러나 새로운 "제약된 강건한(restricted robust)" 방법은 안정적이고 정확하게 유지되었습니다. 그들은 적용할 수 있는 "규칙(제약)"이 많을수록 지도가 더 좋아지며, 오류가 현저히 줄어든다는 것을 발견했습니다.
• 실제 테스트 1 (범죄 데이터): 그들은 100개 이상의 사회경제적 지표를 가진 미국 지역 사회 데이터셋을 살펴보았습니다. 이 데이터는 매우 무질서하고 비정규 분포를 띠고 있었습니다. 표준적인 방법들은 사용할 수 있는 지도를 만드는 데 실패(수치적으로 불안정함)했지만, 새로운 방법은 미래의 결과를 훨씬 더 잘 예측하는 안정적이고 신뢰할 수 있는 지도를 만들어냈습니다 표출했습니다.
• 실제 테스트 2 (유전학): 그들은 백혈병 환자의 유전자 발현 데이터를 분석했습니다. 여기서도 데이터는 두꺼운 꼬리 형태를 띠고 있었습니다. 새로운 방법은 다른 모든 방법보다 뛰어난 성능을 보였으며, 샘플 크기가 유전자 수에 비해 적음에도 불구하고 유전자들이 어떻게 연결되어 있는지 훨씬 더 선명한 그림을 제공했습니다.

결론

이 논문은 무질서하고 고차원적인 데이터를 이해하는 강력하고 새로운 방법을 제시합니다. 이 논문은 변수들이 어떻게 관계를 맺고 있는지에 대한 사전 지식(제약 조건)이 있다면, 그것을 사용하여 추정치를 더욱 날카롭게 다듬어야 한다는 것을 가르쳐 줍니다. 하지만 더 중요한 것은, 데이터의 극단적인 크기에 집중하기보다 데이터의 '모양'과 '방향'에 집중함으로써 현실 세계의 과학을 괴롭히는 거친 이상치에 대해 강건한 지도를 만들 수 있다는 점을 보여준 것입니다.

저자들은 자신들의 방법이 단순한 이론적 호기심이 아니라, 데이터가 두꺼운 꼬리를 가지고 고차원적일 때 기존 방법들보다 더 잘 작동하는 실용적인 도구라고 결론짓습니다. 이 방법은 우리의 가정이 틀렸을 때는 안전망을 제공하고, 맞았을 때는 추진력을 제공하여 통계학자의 도구 상자에 다재다능한 추가 항목이 되도록 합니다. 그 이면의 수학은 복잡하지만, 핵심 아이디어는 간단합니다. 아는 것을 활용하고, 중요하지 않은 노이즈는 무시하며, 항상 백업 플랜을 갖추는 것입니다.