The Zero Pattern of a Design Matrix Drives Multiple Descent in Over-parameterized Regression

기술 요약: 설계 행렬의 제로 패턴이 과잉 매개변수화 회귀에서의 다중 하강을 유도한다

문제 제기
과잉 매개변수화된 선형 회귀는 광범위하게 연구되어 왔으나, 기존의 이론적 프레임워크는 주로 두 가지 제한적인 가정, 즉 공변량이 독립적이라는 점과 공분산 행렬이 비퇴화적(양의 정부호)이라는 점에 의존하고 있다. 이러한 조건 하에서 예측 위험(prediction risk)은 일반적으로 설계 행렬이 랭크를 상실하는 단일 스펙트럼 이벤트에 의해 유도되는, 보간 임계값($\gamma = p/n = 1$)에서의 단일 피크를 갖는 "이중 하강(double descent)" 곡선을 나타낸다.

본 논문은 아키텍처 튜닝, 별도의 특징 블록, 또는 구별된 커널 스케일에 의존하지 않고, 오직 데이터의 구조로부터 다중 하강(multiple descent)—즉, 여러 개의 위험 피크가 출현하는 현상—이 언제, 왜 발생하는지에 대한 이해의 간극을 다룬다. 저자들은 릿지 페널티가 소멸하는 경우($\lambda_n \downarrow 0$)와 비례적 정체(proportional regime, $p/n \to \gamma \in (0, \infty)$) 환경에서의 릿지 최소제곱법을 조사하며, 다음 두 가지 특정 완화 조건을 고려한다:

1. 이질성(Heterogeneity): 관측치들은 독립적이지만, 서로 다른, 잠재적으로 랭크 결핍(rank-deficient) 상태인 공분산 행렬을 가진다.
2. 의존성(Dependence): 관측치들이 유한 랭크의 분리 가능한 성분(예: 데이터 증강)을 통해 상관관계를 갖는다.

방법론
본 연구의 핵심 방법론적 혁신은 이질적이고 의존적인 가우시안 설계를 **분산 프로필 모델(variance-profile model)**로 환원하는 것이다. 데이터를 공유 고유 기저(공분산들이 동시에 대각화되는 기저)로 회환함으로써, 저자들은 문제를 독립적이지만 서로 다른 분산을 가진 성분들로 구성된 가우시안 행렬을 분석하는 문제로 변환한다. 이때 분산 프로필 행렬 $S \in \mathbb{R}^{n \times p}$가 정의된다.

1. 분산 프로픽 환원:

   • 모델 1 (이질적 모델): $X_i = \Sigma_i^{1/2} Z_i$인 경우, 프로필 $S$는 개별 공분산 $\Sigma_i$의 고유값들로부터 구성된다.
   • 모델 2 (의존적 모델): $X = \sum (\tilde{\Sigma}^{(m)})^{1/2} Z^{(m)} (\Sigma^{(m)})^{1/2}$인 경우, 프로필 $S$는 샘플 공분산과 좌표 공분산 성분의 곱으로부터 유도된다.
   • 결정적으로, $S$의 제로 패턴(zero pattern)(즉, $S_{ij} = 0$인 지점)은 어떤 관측치가 어떤 좌표 방향을 "볼 수 없는지"를 인코딩하며, 이는 구조적 퇴화(structural degeneracy)를 나타낸다.

2. 로컬 법칙(Local Laws)을 통한 결정론적 등가물:
   저자들은 소멸하는 릿지 환경(vanishing-ridge regime)에서의 예측 위험(편향 및 분산)에 대한 결정론적 등가물을 도출한다. 이를 위해서는 스펙트럼 파라미터가 0에 접근함에 따라($\lambda_n \downarrow 0$) 이를 명시적으로 추적할 수 있도록 로컬 법칙(특히 [4]의 확장)을 확장해야 한다. 이를 통해 작은 고유값들이 축적되는 스펙트럼의 "하드 엣지(hard edge)"를 분석할 수 있다.

3. 조합론적 특성화:
   위험의 거동은 $S$의 서포트(support)와 관련된 이분 그래프(bipartite graph)의 듈마주-멘델송(Dulmage–Mendelsohn, DM) 분해와 연결된다.

   • 편향 서포트(Bias Support): 분산 그래프에서 최대 매칭(maximum matching)에 의해 매칭되지 않은 상태로 남을 수 있는 열($J_S$)의 집합에 의해 결정된다. 이는 추정치가 편향을 유지하게 되는 방향들에 해당한다.
   • 분산 피크(Variance Peaks): 잔여 그래프(residual graph, 퇴화된 열과 그 이웃들을 제거한 후의 그래프)에서의 "스위칭 조건(switching condition)"에 의해 결정된다. 피크는 잔여 그래프가 "열 측 강한 홀 속성(column-side strong Hall property)"을 상실하여, 가장 작은 0이 아닌 고유값들을 하드 엣지로 몰아넣을 때 발생한다.

주요 기여 및 결과

1. 다중 하강의 메커니즘:
   본 논문은 단일 설계 행렬과 단일 추정기가 어떻게 여러 개의 위험 피크를 생성할 수 있는지를 보여준다. 이러한 피크는 특정 아키텍처의 부산물이 아니라, 공분산 구조의 제로 패턴에 의한 스펙트럼 퇴화에서 기인하는 본질적인 특성이다.

   • 편향(Bias): 구조적으로 관측 불가능한 좌표(DM 분해에서 매칭되지 않는 좌표)에서 지속된다.
   • 분산(Variance): 잔여 설계가 "정방형(square)"이 되는 특정 종횡비(aspect ratio)에서 발산하며(스위칭 조건), 이로 인해 위험의 급증이 발생한다.

2. 피크 위치에 대한 정확한 규칙:
   저자들은 피크의 수와 위치를 예측하기 위한 정확한 조합론적 규칙을 제공한다:

   • 편향 서포트는 퇴화된 열 집합 $J_S$에 의해 고정된다.
   • 분산 피크는 잔여 서브-디자인( $J_S$를 제거한 후의 디자인)이 강한 홀 슬랙(strong Hall slack)을 갖는 상태에서 이를 상실하는 $\gamma$ 값에서 발생한다.
   • 이는 데이터 증강(모델 2)이나 이질적 부분 공간(모델 1)과 같은 예시에서, 설계의 서로 다른 블록들이 샘플 크수에 대해 정방형이 됨에 따라 여러 임계값이 나타나는 것으로 입증된다.

3. 양의 정부호 설계와의 대비:
   본 논문은 랭크 결핍 설계와 양의 정부호 공분산 설계를 구분한다.

   • 공분산이 **양의 정부호(positive definite)**라면(이질적이고 비가환적이라 할지라도), 제로 패턴은 존재하지 않는다. 저자들은 시뮬레이션을 통해 이러한 설계가 클래식한 단일 피크($\gamma = 1$에서)만을 유지한다는 가설을 제시하며 이를 뒷받침한다.
   • 다중 하강은 단순히 이질성이나 회전에 의한 것이 아니라, 공분산의 **제로(zeros, 랭크 결핍)**에 의해 구동된다.

4. 강건성 및 보편성:

   • 이론적 결과는 가우시안뿐만 아니라 동일한 분산 프로필을 가진 독립적인 성분들을 가진 설계에 대해서도 유효하다(Remark 1). Student-$t_3$ 엔트리(무한 3차 모멘트)를 사용한 시뮬레이션은 이러한 피크 구조가 지속됨을 확인시켜 준다.
   • 이 메커니즘은 가우시안 노이즈로 증강된 사전 학습된 트랜스포머의 텍스트 임베딩과 같이, 실제 세계의 퇴화된 설계에도 적용된다.

의의
본 논문은 다중 하강 현상이 복잡한 다중 구성 요소 모델에 국한되지 않고, 단일한 이질적 또는 의존적 설계의 구조적 제로 패턴으로부터 발생할 수 있음을 주장한다. 저자들은 분산 프로필의 서포트에 대한 듈마주-멘델송 분해를 통해 위험 피크를 특성화함으로써, 위험 급증이 발생하는 위치를 예측하는 결정론적 규칙을 제공한다. 이는 과잉 매개화된 회귀에 대한 이해를 순수하게 스펙트럼 관점(종횡비 기반)에서 구조적 관점(좌표의 관측 가능성 기반)으로 전환시키며, 데이터 공분산의 퇴화가 다중 하강의 주요 동인임을 강조한다.

또한, 본 연구는 구조적 제로가 존재하는 상황에서 스펙트럼의 하드 엣지를 분석할 수 있도록 로컬 법칙의 기술적 확장을 도입하였으며, 이는 무작위 행렬 이론(random matrix theory) 분야에서도 독립적인 가치를 지닌 도구이다.