Prediction-Only Distillation in Linear and Logistic Regression

기술 요약: 선형 및 로지스틱 회귀에서의 예측 전용 증류(Prediction-Only Distillation)

문제 정의
표준적인 자기 증류(Self-Distillation, SD)는 일반적으로 학생 모델을 교사 모델의 원래 레이블된 훈련 데이터로 재학습시키는 과정을 포함한다. 그러나 개인정보 보호, 저장 공간 또는 안전상의 제약으로 인해 원래의 레이블된 훈련 데이터를 사용할 수 없는 실제적인 배포 시나리오가 많다. 이러한 "예측 전용(prediction-only)" 체제에서 실무자들은 훈련된 예측기(교사)와 신선하고 잠재적으로 분포 외(out-of-distribution, OOD)인 레이블 없는 공변량(covariates)의 흐름만을 가질 수 있다. 본 논문이 다루는 핵심 질문은, 원래의 훈련 데이터와 교사의 특정 규제 매개변수(regularization parameters)를 알 수 없는 상황에서, 이러한 신선한 레이블 없는 데이터가 고정된 예측기를 개선하는 데 활용될 수 있는지 여부이다.

방법론
저자들은 예측 혼합 자기 증류(Prediction-Mixed Self-Distillation, PMSD) 프레임워크를 제안한다. 이 절차는 세 단계로 구성된다:

1. 순수 증류(Pure Distillation, PD): 학생 모델을 교사의 예측을 의사 레이블(pseudo-labels)로 사용하여 신선한 레이블 없는 공변량으로 학습시킨다. 이를 통해 "순수 증류된" 학생 모델이 생성된다.
2. 아핀 혼합(Affine Mixing): PD 학생 모델을 단독으로 배포하는 대신, 최종 예측기는 교사의 예측과 PD 학생의 예측의 아핀 결합(affine combination)으로 구성된다: $f_{pmsd}(x) = (1-\xi)f_{teacher}(x) + \xi f_{pd}(x)$. 여기서 혼합 가중치 $\xi$는 $[0, 1]$ 구간에 제한될 필요가 없는 실수 값이다.
3. 교정(Calibration): 최적의 혼합 가중치는 알려지지 않은 모집단 양(population quantities)에 의존하므로, 저자들은 작고 독립적인 레이블된 교정 세트를 사용하여 이를 추정하는 방법을 제안한다. 이 추정은 모델을 재학습시키지 않고 단 한 번의 사후 학습 단계(post-training step)로 수행된다.

이론적 분석은 비례 점근(proportional asymptotics, $n, p \to \infty$이며 $p/n$이 상수인 경우) 하에서 두 가지 설정에 대해 수행된다:

• 릿지 회귀(Ridge Regression): 일반적인 비등방성 공분산 구조와 결정론적 신호(deterministic signals) 하에서 분석된다. 저자들은 최적의 혼합 가중치와 그에 따른 예측 위험(prediction risk)에 대한 결정론적 등가물(deterministic equivalents)을 도출한다.
• 로지스틱 회귀(Logistic Regression): 하드 의사 레이블(hard pseudo-labels)을 사용하는 이진 분류 설정에서 분석되며, 교사의 오차율이 높은 경우(심지어 50%를 초과하는 경우까지)로 분석을 확장한다.

주요 기여

1. PMSD 위험의 이론적 특성화: 저자들은 릿지 회귀에서 최적의 PMSD 혼합 가중치와 위험에 대한 정확한 오라클 항등식(oracle identities)과 결정론적 등가물을 도출한다. 이 결과는 신선한 공변량이 교사의 훈련 데이터와 다른 분포를 갖더라도(공분사 행렬이 가환(commuting)인 경우), 일반적인 비등방성 공분사 구조에서도 유효하다.
2. 엄격한 개선 보장: 저자들은 거의 모든 쌍의 교사 및 학생 규제 수준에 대해, 최적으로 혼합된 PMSD 학생이 교사보다 엄격하게 더 우수한 성능을 보임을 증명한다. 이는 다음의 경우에도 성립한다:
   • 신선한 공변량이 분포 외(OOD)인 경우(예: 등방성 가우시안 분포에서 샘플링된 경우).
   • 교사의 규제 수준을 알 수 없거나 최적이 아닌 경우.
   • 학생의 규제가 최적으로 조정되지 않은 경우.
     예외는 위험이 일치하는 특정 유한한 "퇴화(degeneracy)" 지점에서만 발생한다.
3. 레이블 없는 데이터의 비단조성(Non-Monotonicity): 직관과는 반대로, 본 논문은 신선한 레이블 없는 데이터의 양을 늘리는 것이 성능을 단조롭게 개선하지 않는다는 것을 보여준다. 동일-$\lambda$ 등방성 설정에서, 최적의 PMSD 위험은 레이블 없는 샘플 크스에 대해 단봉형(unimodal)이다. 즉, 일정 수준 이상의 데이터를 추가하면 오히려 성능이 저하될 수 있다.
4. 재학습 없는 일관된 교정: 저자들은 레이블 없는 데이터만으로는 최적의 혼합 가중치를 식별할 수 없음을(정보 이론적 한계) 보여준다. 그러나 작고 독립적인 레이블된 교정 세트가 있으면 추가적인 모델 피팅 없이 단 한 번의 사후 단계로 최적의 가중치를 일관되게 추정할 수 있음을 증명한다.
5. 로지스틱 회귀에서의 이득: 제곱 손실(squared loss)을 넘어, 본 논문은 예측 혼합이 로지스틱 회귀에서 교사와 PD 학생 모두보다 엄격하게 더 나은 성능을 보일 수 있음을 보여준다. 특히, 교사와 PD 학생이 모두 실제 레이벨을 복구하는 데 실패하더라도(고노이즈 환경에서 정확도 0% 달성), PMSD 학생은 적절한 외삽(extrapolation)을 통해 100%의 모집단 정확도를 달달성할 수 있다.

결과

• 경험적 검증: 실제 데이터셋(UCI Blog Feedback, Communities and Crime, Airfoil) 및 합성 데이터에 대한 실험을 통해 이론적 예측을 확인한다. PMSD 학생은 다양한 규제 수준과 공분사 구조(등방성 및 AR1 포함)에서 교사와 PD 학생보다 일관되롭게 낮은 제곱 예측 위험을 달성한다.
• OOD에 대한 강건성: 신선한 공변량이 교사의 훈련 분포와 다른 등방성 분포에서 샘플링된 경우에도 방법론은 효과적이다.
• 분류 성능: Corrupted labels가 포함된 Caltech-101, Caltech-256, CIFAR-100에 대한 선형 프로빙 실험에서, PMSD는 교사와 PD 학생에 비해 테스트 정확도를 일관되롭게 향상시킨다. 최적의 혼합 가중치는 종종 $[0, 1]$ 범위를 벗어나며, 이는 볼록 결합(convex combination)이 아닌 아핀 결합(affine combination)의 사용을 정당화한다.

의의 및 주장
본 논문은 예측 전용 증류가 데이터가 제한된 환경에서 고정된 예측기를 개선하기 위한 이론적으로 근거 있고 실용적으로 실행 가능한 방법임을 주장한다. 그 의의는 다음과 같다:

• 데이터 격차 해소: 원래의 훈련 데이터에 접근할 수 없는 경우 모델을 적응시키는 메커니즘을 제공한다. 이는 실제 배포 시 흔히 발생하는 제약 사항이다.
• 일반적 개선: 엄격한 개선이 미세하게 조정된 하이퍼파라미터나 특정 분포적 정렬에 의존하지 않는 PMSD 스킴의 일반적인 속성임을 확립한다.
• 운영 효율성: 최소한의 계산 오버헤드(원샷 교정)와 신선한 데이터에 대한 정답 레이블에 대한 접근 없이도 증류의 이점을 실현할 수 있음을 보여준다.
• 이론적 참신함: 레이블 없는 데이터가 항상 도움이 된다는 가정에 도전하며, 신선한-$X$ 설정에서 샘플 크스와 위험 사이의 비단조적 관계를 밝혀낸다.

저자들은 이 연구를 기존의 "동일-$X$" 자기 증류 문헌을 보완하는 작업으로 위치시키며, 동일-$X$ 방식이 원래의 데이터를 제공받을 때 최적의 성능을 회복할 수 있는 반면, PMSD는 오직 교사의 예측과 신선한 공변량만을 가질 때 가능한 최선의 개선책을 제공한다는 점을 강조한다.