Asymptotics for estimating a diverging number of parameters -- with and without sparsity

기술 요약: 파라미터 수가 발산하는 경우의 점근적 추정 — 희소성(Sparsity) 유무에 따른 분석

문제 정의

현대의 통계적 응용 분야는 파라미터 수 $p_n$이 표본 크기 $n$과 함께 증가하고, 희소한 설정에서는 $p_n$이 $n$을 초과할 수도 있는 고차원 데이터를 빈번하게 다룬다. 전통적인 고정된 $p$와 큰 $n$을 가정한 점근적 이론은 이러한 시나리오에 부적합하다. 기존 문헌들은 특정 모델(예: 선형 모델, 일반화 선형 모델)이나 특정 페널티 구조(예: 볼록 함수, 좌표 분리 가능 함수)에 대한 점근적 결과들을 확립해 왔으나, 다음과 같은 상황을 위한 통합적인 이론적 프레임워크는 부족한 실정이다:

1. 단일 손실 함수의 기울체가 아닌 일반적인 추정 방정식(Estimating equations).
2. 발산하는 수의 추정 단계(예: 단계적 추정)를 포함하는 절차.
3. 독립적이지만 동일하게 분포하지 않는 데이터(i.i.d.를 가정하지 않음) 또는 종속적인 데이터(예: 시계열, 네트워크 데이터).
4. 비볼록(Nonconvex), 비좌표 분리 가능(Non-coordinate-separable), 그리고 그룹 구조를 동시에 갖는 페널티(예: Group SCAD)를 사용하는 페널티 추정.

저자들은 근본적인 질문을 다룬다: 데이터 생성 과정, 추정 함수 $\phi$, 그리고 $p_n$의 증가율에 대한 어떠한 조건 하에서 추정 방정식을 푸는 추정량이 존재하며, 언제 일관성(Consistency), 유일성(Uniqueness) 및 점근적 정규성(Asymptotic Normality)을 갖는가?

방법론

본 논문은 다음과 같은 형태의 추정 방정식 $\hat{\theta}$를 푸는 추정량에 대한 일반적인 점근 이론을 전개한다:
$$\frac{1}{n} \sum_{i=1}^n \phi(X_i; \hat{\theta}) = 0$$
그리고 그 페널티 버전인 다음을 다룬다:
$$\frac{1}{n} \sum_{i=1}^n \phi(X_i; \hat{\theta}) \in \partial p_{\lambda_n}(\hat{\theta})$$
여기서 $\partial p_{\lambda_n}$는 페널티 함수의 일반화된 기울체(Generalized gradient)를 나타낸다.

핵심 접근 방식

특정 모델을 위한 별도의 논증을 도출하는 대신, 저자들은 추정 방정식과 그 곡률(Curvature)에 대한 **검증 가능한 모집단 수준의 조건(Verifiable population-level conditions)**을 공식화한다. 주요 방법론적 특징은 다음과 같다:

1. 모집단 수준의 곡률 조건: 이 이론은 추정 방정식의 기대 곡률에 대한 일종의 오목성(또는 음의 정치성)을 부과하는 조건(A1, A4)에 의존한다. 이는 대칭 행렬 값 함수인 $H_n(x)$ 시퀀스에 의해 제어되며, 이 함수는 대칭화된 자코비안(Jacobian)의 포락선(Envelope) 역할을 한다. 실제 구현된 샘플 헤시안(Sample Hessian)에 대해 강한 제한적 강한 볼록성(Restricted Strong Convexity, RSC)을 요구하는 기존 연구들과 달리, 이 접근법은 모집단의 기댓값에 대한 더 약한 조건을 사용한다.
2. 일반화된 기울체: 페널티 문제의 경우, 저자들은 비미분 및 비볼록 페널티를 처리하기 위해 클라크의 일반화된 기울체(Clarke's generalized gradient)를 활용하여 Lasso, SCAD, MCP 및 그룹 구조 페널티를 통합적으로 다룬다.
3. 종속 데이터 확장: 본 프레임워크는 블로킹(Blocking) 및 결합(Coupling) 논증을 통해 종속 데이터(예: 시계열, 네트워크 의존성)로 확장된다. 데이터를 블록으로 분할하고 유지된 블록들 사이의 약한 의존성($\beta$-mixing 계수로 측정됨)을 가정함으로써, 저자들은 종속적인 문제가 무시할 수 있는 오차를 가진 독립적인 문제로 근사될 수 있음을 보여준다.
4. 단계적 및 다중 샘플 절차: 본 이론은 순차적 추정 단계나 다중 샘플 문제를 하나의 고차원 추정 방정식으로 취급하여, 단계 또는 샘플의 수가 $n$과 함께 증가하더라도 적용 가능하도록 한다.

주요 기여 및 결과

1. 비페널티 추정 (Unpenalized Estimation)

저자들은 다음 조건들에 대한 성립 여부를 확립한다:

• 존재성 및 일관성 (정리 1): 해(Solution)는 확률 1로 진정한 파라미터 $\theta^*$의 수축하는 근방 내에 존재한다. 수렴 속도는 $r_n = \sqrt{\text{tr}(I_p(\theta^*))/n}$이며, 일반적으로 $\sqrt{p_n/n}$ 차수이다.
• **유일성 (정리 2): 강화된 곡률 조건 하에서 해는 해당 근방 내에서 유일하다.
• 점근적 정규성 (정리 3): 추정량의 유한 차원 투영(Finite-dimensional projections)은 점근적으로 정규 분포를 따른다.
• 증가율: 일반화 선형 모델(GLM)의 경우, 본 이론은 일관성을 위해 $p_n \ln p_n / n \to 0$이라는 조건을 제시하며, 이는 Portnoy(1984)의 가장 날카로운 결과와 일치한다. 점근적 정규성을 위해서는 $p_n^2/n \to 0$ (또는 특정 선형 구조 하에서 약간 더 약한 $p_n^{3/2} \ln n / n \to 0$)이 필요하며, 이는 일반적인 비선형 MLE에 대해 Fan과 Peng(2004)이 요구했던 $p_n^5/n \to 0$보다 개선된 결과이다.

2. 페널티 추정 (Penalized Estimation)

$p_n > n$인 희소한 문제의 경우:

• 일관성 및 선택 (정리 4 & 5): 저자들은 일관된 추정과 선택적 일관성(즉, $\hat{\theta}^{(2)} = 0$)을 동시에 만족하는 해가 존재함을 증명한다. 수렴 속도는 희소도 수준 $s_n$과 페널티에 의한 편향(Bias)에 따라 결정된다.
• 일반화된 상호 무관성 (Generalized Mutual Incoherence): 가정(A6)은 상호 무관성 및 비표현 가능 조건(Irrepresentable conditions)을 비좌표 분리 가능 및 그룹 구조 페널티로 일반화한다. 이는 활성 변수의 영향력이 비활성 방정식에 미치는 영향이 충분히 작아 페널티가 비활성 계수를 0으로 만들 수 있음을 보장한다.
• 오라클 성질 (정리 7): SCAD 및 MCP와 같은 비볼록 페널티에 대해, 추정량은 "오라클 성질"을 달성한다. 즉, 참된 서포트(Support)를 미리 알고 있는 것처럼 행동하여, 활성 집합(Active set)에서의 비페널티 추정량과 동일한 효율성을 얻는다.
• 유일성 (정리 6): $\mu$-amenability 조건의 일반화 버전에 기초하여 페널티 해가 유일해지는 조건들을 제공한다.

3. 종속 데이터 및 단계적 절차

• 종속 데이터 (정리 8): 블로킹 스킴을 도입하여 종속 데이터(예: $\beta$-mixing 시계열, 네트워크 의존 데이터)로 결과를 확장한다. 이론은 의존성이 충분히 빠르게 감소한다면, 의존 구조에 따라 조정된 공분산 행렬을 가진 독립적인 경우와 점근적 행동이 유사함을 보여준다.
• 발산하는 단계: 본 프레임워크는 이전 단계로부터의 누적 오차가 제어되는 한, 단계의 수 $K_n \to \infty$가 증가하는 단계적 절차를 수용한다.

4. 강한 RSC에 대한 반례

논문의 섹션 5.2에서는 흔히 사용되는 강한 RSC 조건(모든 희소 벡터에 대해 이차 형식의 하한을 요구하는 조건)이 샘플 헤시안의 계수 구조(Rank structure)로 인해 높은 확률로 실패하는 간단한 이차 할당 문제(Quadratic allocation problem)를 제시한다. 그러나 저자들의 더 약한 모집단 수준 조건은 성립하며, 이는 기존의 비점근적 이론들(예: Negahban et al., 2012; Loh and Wainwright, 2015)이 적용되지 않는 시나리오를 본 프레임워크가 포괄함을 입증한다.

의의 및 주장

저자들은 본 연구가 다음 세 가지 방향에서 기존 결과의 적용 범위를 실질적으로 확장하는 통합적 점근 이론을 제공한다고 주장한다:

1. 일반성: 리스크 최소화에서 유도되지 않은 일반적인 추정 방정식(단계적 및 다중 샘플 절차 포함)에도 적용된다.
2. 페널티 유연성: 비볼록성과 그룹 구조를 동시에 갖는 페널티(예: Group SCAC)를 다룬다. 이는 기존의 일반 이론이 다루지 못했던 조합이다.
3. 데이터 유연성: 독립적이지만 동일하게 분포하지 않는 관측치와 다양한 형태의 의존성을 다루며, 고차원 설정에서 자주 실패하는 강한 샘플 수준의 RSC 조건을 요구하지 않는다.

본 논문은 규제 조건(Regularity conditions)을 모집단 수준에서 공식화함으로써 이론의 적용 가능성을 명확히 하고, 결과적인 분포 극한이 추정 불확실성을 타이트하게 특징짓는다는 점을 강조한다. 결과는 Group SCAD를 적용한 GLM, 네트워크 의존성 하의 분산 추론, 인과 추론에서의 페널티 단계적 추정 등의 응용을 통해 입증되며, 이를 통해 프레임워크가 알려진 결과를 복구하는 동시에 복잡한 고차원 절차에 대한 새로운 보증을 제공함을 보여준다.