Robust Predictive Uncertainty and Double Descent in Contaminated Bayesian Random Features

기술 요약: 오염된 베이지안 랜덤 피처에서의 강건한 예측 불확실성과 이중 하강(Double Descent)

문제 정의
랜덤 피처(Random Feature, RF) 모델은 대규모 데이터셋에 대해 커널 방법을 확장하는 표준적인 메커니즘이며, 종종 리지 정규화(ridge-regularized) 학습이 가우시안 사전 확률 및 가능도(likelihood)를 가진 최대 사후 확률(MAP) 추정에 대응한다는 베이지안 관점에서 해석된다. 그러나 고전적인 베이지안 RF 공식은 (가우시안 계수 사전 확률과 가우시안 가능도와 같은) 모델링 가정에 의존하며, 이러한 가정은 실제 상황에서 정확하지 않은 경우가 많다. 헤비 테일(heavy-tailed) 노이즈, 레이블 오염, 이분산성 또는 분포 변화로 인한 편차는 과도하게 확신하거나, 이상치에 취약하거나, 사전 선택에 민감한 사후 예측 분포를 초래할 수 있다. 본 논문은 사전 확률 및 가능도의 미스스펙리피케이션(misspecification)을 명시적으로 고려했을 때 베이지안 RF의 결론이 어떻게 변화하는지를 조사하며, 특히 RF 모델의 구조적 특성인 이중 하강 현상이 이러한 불확실성 하에서도 지속되는지를 탐구한다.

방법론
저자들은 단일 사전 확률 및 가능도 명시를 크레달 집합(credal sets; 볼록하고 weak*-closed된 확률 측도 집합)으로 대체하는 강건한 베이지안 공식인 오염 랜덤 피처(Contamination Random Features, CRF) 모델을 제안한다.

• 오염 집합(Contamination Sets): 모델은 $\epsilon$-오염된 사전 집합과 $\eta$-오염된 가능도 집합을 사용한다. 이들은 베이스라인 가우시안 명시($P^N$ 및 $L^N$)와 임의의 대안적 분포($Q$ 및 $S$)의 혼합으로 정의된다. 형식적으로 $P_\epsilon = \{(1-\epsilon)P^N + \epsilon Q\}$ 이고 $L_\eta = \{(1-\eta)L^N + \eta S\}$ 이다.
• 추론 규칙: 저자들은 비관적 일반화 베이지안 업데이트(pessimistic generalized Bayesian updating; Walley, 1991)를 채택한다. 이 접근 방식은 단일 사후 분포를 업데이트하는 대신 크레달 집합의 하한 및 상한 엔벨로프(envelope)를 업데이트함으로써 보수적인(최악의 경우를 고려한) 사후 결론을 도출한다.
• 분석적 접근: 저자들은 하한 및 상한 사후 예측 밀도에 대한 명시적인 경계(bounds)를 유도한다. 이들은 오염 파라미터 $\epsilon$과 $\eta$를 사전 및 데이터 생성 가정에 대한 '모호성 예산(ambiguity budget)'으로 해석되는 강건성 또는 민감도 파라미터로 취급한다.

주요 기여

1. 명시적 예측 경계: 저자들은 사전 확률과 가능도의 동시 오염에 의해 유도되는 다루기 쉽고 명시적인 하한 및 상한 사후 예측 밀도 경계를 유도한다. 그들은 하한 사후 예측 밀도 $\underline{\ell}_{pred}$가 $\underline{\ell}_{pred} \leq (1-\eta)\ell_{pred}$를 만족함을 증명하며, 여기서 $\ell_{pred}$는 고전적인 가우시안 예측 밀도이다. 상한은 가산적인 최악의 경우 항을 포함한다. 이러한 결과는 사전 확률과 가능도의 중등도 오염이 대략적으로 사후 예측 분포의 직접적인 오염으로 작용함을 시사한다.
2. 비정밀 최고 밀도 영역(Imprecise Highest Density Region, IHDR): 예측 불확실성을 정량화하기 위해, 저자들은 목표로 하는 하한 예측 확률 질량을 달라는 가장 작은 영역인 IHDR을 도입한다. 저자들은 IHDR이 조정된 커버리지 레벨($\beta = \min\{1, \frac{1-\alpha}{1-\eta}\}$)을 가진 고전적인 가우시안 사후 예측 분포의 신뢰 구간에 의해 효율적으로 근사될 수 있음을 보여준다. 이는 강건한 예측 구간을 위한 계산 가능한 절차를 제공한다.
3. 분산 경계 및 점근적 성질: 저자들은 하한 및 상한 예측 분산에 대한 경계를 유도한다. 상한에 대한 완만한 절단 근사(truncation approximation) 하에서, 이 분산 경계들은 고전적인 예측 분산의 아핀 변환(affine transformation)임이 밝혀진다. 결정적으로, 저자들은 이 경계들이 RF 모델에서 알려진 **주요 차수 비례 성장 점근성(leading-order proportional-growth asymptotics)**을 보존함을 증명한다.
4. 이중 하강 보존: 분석 결과, 이중 하강 단계 구조(보간 임계값 $N \approx n$ 근처에서의 리스크와 분산의 특이 거동)가 오염 하에서도 유지됨을 보여준다. 오염 파라미터는 분산 피크의 크기를 증폭시키지만, 비례 성장 영역에서 그 위치를 이동시키지는 않는 재스케일링 인자로 작용한다.

결과

• 이론적 경계: 유도된 경계들은 사후 예측 분포 주변의 불확실성 엔벨로프가 오염 수준 $\epsilon$과 $\eta$에 의해 직접적으로 영향을 받는다는 것을 확인시켜 준다. 하한은 단순한 재스케일링인 반면, 상한은 재스케일링과 절단 구간에 의존하는 항을 포함한다.
• 점근적 행동: 비례 점근 영역($n, d, N \to \infty$ 이며 비율은 고정됨)에서, 강건한 모델은 베이스라인 RF 모델과 동일한 점근적 행동을 유지한다. 이중 하강 피크의 위치($\psi_1 = N/d$)는 오염에 의해 변하지 않으며, 다만 오염에 의해 분산 피크의 높이가 증폭된다.
• 수치적 검증: 허버(Huber) 스타일의 이상치를 통해 시뮬레이션된 레이블 미스스펙리피케이션 실험은 오염 수준 $\eta$를 높이는 것이 보간 임계값 근처에서 테스트 MSE 피크를 위치 이동 없이 증폭시킨다는 것을 확인해 준다. 편향(bias) 성분은 안정적인 반면, 분산(variance) 성분이 이중 하강 행동을 주도하며, 이는 이론적 경계와 일치한다.

의의 및 주장
본 논문은 베이지안 랜덤 피처를 위한 강건성 이론을 확립한다. 저자들은 RF 모델의 예측 불확민성이 유계된(bounded) 사전 확률 및 가능도 미스스펙리피케이션 하에서도 계산적으로 다루기 쉽고 점근적으로 잘 작동할 수 있다고 주장한다.

• 희생 없는 강건성: 이 프레임워크는 가우시안 RF 모델의 분석적 용이성을 포기하지 않으면서도 명시적인 최악의 경우 보장(불확실성 엔벨로프 및 IHDR을 통해)을 제공한다.
• 구조적 안정성: 핵심적인 주장은 고차원 학습의 구조적 특징, 특히 이중 하강 현상이 모델 미스스펙리피케이션에 대해 강건하다는 것이다. 오염은 불확실성의 "희석" 또는 증폭 역할을 하지만, 모델의 근본적인 위상 전이 구조를 바꾸지는 않는다.
• 실용적 유용성: 제안된 방법은 이상치나 분포 변화가 존재하는 상황에서 불확실성을 정량화하는 원칙적인 방법을 제공하며, 이를 통해 실무자가 오염 파라미터에 기반하여 민감도 곡선이나 교정된 예측 구간을 보고할 수 있게 한다.

저자들은 임의의 비매개변수적 오염 하에서 오염 수준 $(\epsilon, \eta)$를 완전히 자동적으로 선택하는 것은 추가적인 모델링 가정이 필요하며 향후 연구 과제로 남겨둔다고 언급하였다. 또한, 상한 분산에 대한 절단 구간의 선택은 현재 휴리스틱(heuristic)에 의존하고 있으나, 데이터 적응적 선택이 향후 연구 방향임을 명시하였다.