기술 요약: 2단계 비지도 절차로서의 지도 학습

문제 정의

본 논문은 머신러닝의 근본적인 질문을 다룹니다: 모델의 구조를 학습하기 위해 출력 레이블($y$)이 반드시 필요한가, 아니면 모델 구조를 완전히 비지도 방식으로 학습할 수 있는가? 비지도 학습은 $y$에 대한 접근 없이 작동하는 반면, 지도 학습은 전통적으로 파라미터를 최적화하기 위해 $y$에 의존합니다. 저자들은 지도 학습이 (1) 모든 모델 파라미터(특히 입력 공간의 "스무더(smoother)" 또는 표현형)를 $y$에 대한 접근 없이 선택하고, (2) 예측을 생성하기 위해 파라미터가 고정된 후에만 출력 $y$를 추가하는 2단계 절차로 분해될 수 있는지 조사합니다.

방법론

1. 스무더 프레임워크 (The Smoother Framework)

핵심적인 이론적 기여는 지도 모델을 **선형 스무더(linear smoothers)**로 정식화한 것입니다. 모델은 다음과 같이 표현됩니다:
$$\hat{f}^* = s^{*\top} y$$
여기서 $\hat{f}^*$는 새로운 공변량 $x^*$에 대한 예측이며, $s^*$는 훈련 공변량 $X$와 잠재적인 모델 하이퍼파라미터에는 의존하지만, 출력 $y$에는 의존하지 않는 스무더 벡터(또는 행렬 $S$ for in-sample data)입니다.

• 선형 모델(예: Ridge Regression)의 경우, $s^*$는 폐쇄형 해(closed-form solution)로부터 직접 유도됩니다.
• 비선형 모델(예: 신경망, Random Forest)의 경우, 저자들은 이들을 스무더로 표현하는 방법을 보여줍니다. 신경망의 경우, 뉴럴 탄젠트 커널(NTK) 프레임워크를 활용하여 네트워크를 선형 스무더로 취급하며, 이때 스무더 행렬은 훈련 중에 반복적으로 업데이트되지만 훈련 레이블이 교체될 경우 $y$와는 독립적으로 유지됩니다.

2. $y$ 없는 모델 선택 (MSV)

$y$에 대한 접근 없이 모델 하이퍼파라미터(예: 규제 강도 $\lambda$, 커널 대역폭 또는 정지 시간)를 선택하기 위해, 저자들은 **표본 외 예측의 분산(variance of out-of-sample predictions)**에 기반한 기준을 제안합니다.

• 전제: 잘 일반화되는 모델의 경우, 표본 외 예측 $\hat{f}^*_v$의 분포는 관측된 데이터 $y$의 분포와 대략 일치해야 합니다.
• 기준: 이 방법은 관측된 데이터 $y$의 표본 분산과 검증 공변량 $X^*_v$(훈련 분포에서 생성되었으나 연관된 레이블은 없는)에 대한 예측의 표본 분산 사이의 차이를 최소화합니다.
• $y$-free 구현: 목적 함수는 $|y^\top A y|$ 형태의 항을 포함합니다. 이를 $y$와 무관하게 만들기 위해, 저자들은 $y$를 무작위 벡터 $y_R$(또는 영벡터)로 대체합니다. $y_R$에 대한 기댓값을 취함으로써, 목적 함수는 행렬 $A$의 노름(특히 trace seminorm 또는 Frobenius norm)을 최소화하는 것으로 단순화됩니다. 이를 MSV-Tr(Matching of Sample Variances - Trace)이라고 명명합니다.
  $$\text{Minimize } \left| 1 - \frac{1}{n^*_v} \text{Tr}(S^{*\top}_v S^*_v) \right|$$
  이를 통해 $y$를 사용하는 단계를 완전히 건너뛰고 $X$와 생성된 $X^*_v$만을 사용하여 하이퍼파라미터를 선택할 수 있습니다.

3. 이론적 분석

본 논문은 점근적 한계($n, d \to \infty$)에서의 선형 리지 회귀(linear ridge regression)에 대한 편향-분산 분해 분석을 제공합니다.

• Proposition 1: MSV-Tr이 측정 노이즈($\sigma^2_\epsilon$)와 추론된 함수의 분산이 같아지도록 모델을 선택함을 보여줍니다.
• Theorem 1: 선형 리지 회귀에 대해 MSV-Tr에 의해 선택되는 최적의 규제 파라미터 $\lambda$에 대한 폐쇄형 식을 도출합니다. 저자들은 이 방법의 점근적 표본 외 리스크(out-of-sample risk)가 이론적으로 최적의 리스크(신호 대 잡음비(SNR)를 알고 있어야 하는 리스크)에 비해 유계(bounded)임을 증명합니다. 구체적으로 SNR이 $[1, 80]$ 범위에 있을 때, 리스크 비율은 2.45로 제한됩니다.
• Theorem 2: 일반화 교차 검증(GCV) 및 인샘플(in-sample) MSV와 같은 대안적인 "$y$-free" 방법들이 리지 회귀에서 실패함을 보여줍니다. 이들은 무한한 규제를 선택하거나(학습 제로) 규제가 없는 상태(과적합)를 선택하여, 파라미터 선택 도구로서 무용지물이 됩니다. 오직 표본 외(out-of-sample) MSV만이 유한하고 0이 아닌 최적의 규제를 산출합니다.

주요 기여

1. 지도 학습의 분해: 본 논문은 표준적인 지도 모델(선형/커널 리지 회귀, 스무딩 스플라인, k-NN, 랜덤 포레스트, 신경망)이 모델 구조는 비지도 방식으로 학습되고 레이블은 예측 단계에서만 도입되는 2단계 프로세스로 훈련될 수 있음을 입증합니다.
2. 새로운 모델 선택 기준 (MSV): 표본 외 예측의 분산을 데이터의 분산과 일치시키는 것에 기반한 모델 선택 기준을 도입하였으며, 이는 $y$를 무작위 노이즈로 대체함으로써 $y$ 없이도 계산될 수 있습니다.
3. 이론적 경계 설정: MSV-Tr로 훈련된 선형 리지 회귀에 대한 점근적 리스크 경계를 설정하여, 이 방법이 최적의 리스크와 상수 배 차이 내에서 성능을 발휘함을 보여줍니다.
4. 실험적 검증: 합성 데이터 및 실제 데이터셋(MNIST, CIF-10, Steel Production, CPU Run Time, Superconductors, Power Consumption)에 대한 광범위한 실험을 통해, $y$ 없이 훈련된 모델(파라미터 선택 단계에서 무작위 또는 0의 레이블을 사용한 모델)이 표준적인 $y$ 기반 훈련과 유사한 성능을 달라는 것을 보여줍니다.

결과

• 성능 일치: 실험에서 $y$ 없이 훈련된 모델(MSV를 사용하여 선택됨)은 표준적인 $y$ 기반 훈련 모델과 매우 유사한 정확도 및 $R^2$ 점수를 달eric했습니다. 예를 들어, MNIST에서 표준 신경망 분류기는 0.82의 정확도를 기록한 반면, $y$-free MSV 버전은 0.75를 기록했습니다.
• 대안의 실패: $y$-free 일반화 교차 검증(GCV)은 무작위 추측 수준(예: 10개 클래스 문제에서 0.1 정확도)의 성능을 보였으며, 이는 GCV가 이러한 모델들에 대해 효과적으로 $y$-free가 될 수 없다는 이론적 발견을 확인시켜 줍니다.
• 랜덤 포레스트: $y$-free 훈련이 대부분의 모델에서 잘 작동한 반면, 랜덤 포레스트는 $y$ 기반 훈련에 비해 더 큰 성능 격차를 보였습니다. 저자들은 이를 결정 트리 분할이 $y$의 분산에 의존하는데, $y$가 무작위 노이즈로 대체될 때 이 정보가 손실되기 때문이라고 설명합니다.

의의 및 주장

본 논문은 지도 학습과 비지도 학습의 차이가 "생각보다 근본적이지 않을 수 있다"고 주장합니다. 결과는 지도 학습의 주요 과제가 입력 공간 $x$의 좋은 표현(스무더 $s^*$)을 찾는 것이며, 이는 레이블 없이도 달성 가능하다는 점을 시사합니다. 레이블 $y$는 미리 구축된 이러한 표현들에 값을 할당하기 위해서만 필요합니다.

주장의 겸손함:
저자들은 실무 적용 시 훈련 과정에서 $y$를 제외하라고 제안하는 것이 아님을 명시적으로 밝힙니다. 그들은 다음을 인정합니다:

• 스무더 공식은 데이터 크기에 따라 확장성이 떨어지며, 특히 NTK를 반복적으로 재계산해야 하는 신경망의 경우 더욱 그러합니다.
• 이 방법은 기존의 $y$ 기반 접근법보다 성능을 높이기 위해 제안된 것이 아닙니다.
• 목표는 산업적 배포를 위한 새로운 표준을 제안하는 것이 아니라, 지도 학습과 비지도 학습 사이의 이론적 평행 관계를 강조하고 실현 가능성을 입증하는 데 있습니다.

이 연구는 모델 선택과 표현 학습이 레이블 정보로부터 분리될 수 있음을 보여주는 이론적, 경험적 입증으로서, 지도 학습의 전 과정에서 레이블이 필수적이라는 전통적인 관념에 도전합니다.