기술 요약: Perturb-and-Correct (P&C)

문제 정의

현대 심층 신경망은 과도하게 매개변수화되어 '미지정 (underspecification)'이라는 현상을 초래합니다. 많은 서로 다른 매개변수 구성이 분포 내 (ID) 학습 데이터에서 거의 동일한 성능을 낼 수 있지만, 이러한 모델들은 분포 변화나 적대적 공격 하에서는 극적으로 다르게 행동하는 경우가 많습니다. 이러한 제약의 부재는 표준 학습 파이프라인이 데이터 지지 영역 밖에서 모델 행동을 완전히 결정하지 못하게 하여, 특히 인식적 불확실성과 분포 외 (OOD) 감지와 관련하여 신뢰할 수 있는 배포에 치명적인 격차를 만듭니다. 이러한 불확실성을 추정하는 기존 방법들은 종종 여러 개의 독립적인 모델을 학습 (Deep Ensembles) 하거나, 학습 절차를 수정 (MC Dropout) 하거나, 사후 분포를 근사 (SWAG, Laplace) 해야 하므로 계산 비용이 많이 들거나 구조적으로 제한적입니다.

방법론: Perturb-and-Correct (P&C)

본 논문은 단일 사전 학습된 네트워크에서 재학습 없이 인식적으로 다양한 예측기를 생성하는 사후 앙상블 구성 방법인 **Perturb-and-Correct (P&C)**를 소개합니다. 이 방법은 심층 네트워크의 미지정 특성을 활용하여 의도적으로 매개변수 변이를 도입한 후, 이를 분포 내 데이터에 미치는 영향에 대해 제약합니다.

핵심 메커니즘

1. 교란 (Perturbation): P&C 는 은닉 레이어 (또는 레이어 시퀀스) 를 선택하고 무작위 저랭크 매개변수 교란을 적용합니다. 구체적으로, 무작위 직교 기저를 샘플링하고 교란 크기 $\sigma$로 스케일링하여 교란 행렬 $\Delta W$를 생성합니다.
2. 보정 (Correction): 이러한 교란이 분포 내 데이터의 성능을 저하시키지 않도록, P&C 는 바로 다음 아핀 (affine) 레이어에 보상 보정을 적합시킵니다. 이는 분포 내 데이터의 보정 부분집합에 대한 릿지 정규화 최소제곱법을 통해 달성됩니다. 이 보정은 다음 레이어의 원래 전활성 (pre-activations) 과 교란된 전활성 간의 차이를 최소화합니다.
3. 앙상블 구성: 이 과정은 서로 다른 무작위 교란과 선택적으로 보정 데이터의 다른 부트스트랩 부분집합을 사용하여 $M$번 반복됩니다. 결과적으로 생성된 앙상블은 이러한 보정된 예측기들의 균일 가중치 혼합물입니다.

이론적 기반

본 논문은 **보정 잔차 (post-correction residual)**와 **보정 민감도 (corrected sensitivity)**의 관점에서 메커니즘을 분석합니다:

• 분포 내 보존: 보정 분포 근처에서 최소제곱 보정은 교란의 영향을 효과적으로 억제합니다. 잔차는 입력이 보정 기하학 내에 있을 때 작아지는 레버리지 항에 의해 제한됩니다.
• 분포 외 발산: 입력이 보정 지지 영역에서 벗어나면 (외삽), 레버리지 항이 커지고 보정이 더 이상 교란을 완전히 흡수할 수 없게 됩니다. 결과적으로 보정 민감도(은닉 레이어 교란 단위당 출력 변화) 가 증가하여 앙상블 구성원들이 분포 외 데이터에서 현저하게 불일치하게 됩니다.
• 무작위 프로빙 (Random Probing): 저자들은 무작위 교란이 보정 민감도 연산자의 편향되지 않은 스케치로 작용한다고 주장합니다. 보정이 데이터가 행동을 제약하는 곳에서만 효과를 억제하기 때문에, 무작위 샘플링은 학습 데이터에 의해 해결되지 않은 '인식적 자유도'를 효과적으로 프로빙합니다.

주요 기여

1. 사후 앙상블 구성: 본 논문은 전체 사후 분포를 추정하거나 특수한 교란 방향을 선택하지 않고도 유용한 인식적 앙상블을 구성할 수 있음을 보여줍니다. 무작위 저차원 은닉 레이어 교란과 보정 데이터에서의 국소 아핀 보정을 결합하는 것만으로도 다양한 예측기를 생성하기에 충분합니다.
2. 잔차의 기하학적 분석: 저자들은 보정 기하학 근처에서는 일치가 유지되지만 변화 하에서는 불일치가 발생하는 이유에 대한 이론적 분석을 제공합니다. 잔차, 레버리지, 보정 민감도 간의 관계를 공식화하여 무작위 교란이 인식적 불확실성을 프로빙하는 데 효과적인 이유를 설명합니다.
3. 실증적 검증: 이 방법은 두 가지 명확한 작업에서 평가되었습니다:
   • MuJoCo 동역학 예측: P&C 는 분포 내 평균 제곱근 오차 (RMSE) 와 먼 분포 외 (Far-OOD) 음의 로그 가능도 (NLL) 간의 강력한 트레이드오프를 달성하여, 단일 사전 학습된 모델만 사용하면서도 표준 베이스라인 (Deep Ensembles, SWAG, Laplace, Subspace) 을 능가하거나 이에 필적하는 성능을 보였습니다.
   • CIFAR-10 분포 외 감지: OpenOOD 프로토콜을 사용하여 P&C 는 사후 방법 중 최첨단 결과를 달성했으며, SWAG 과 같은 강력한 단일 모델 베이스라인을 개선하고 Deep Ensembles 의 성능에 근접하면서도 계산 비용을 크게 절감했습니다.

결과

• MuJoCo: 11 개 환경 전반에 걸쳐 P&C 는 먼 분포 외 NLL(1.55), 먼 AUROC(1.27), 먼 스피어만 상관관계 (1.64) 에서 최상의 평균 순위를 달성했습니다. 분포 내 RMSE(3.18) 를 경쟁력 있게 유지하면서 분포 외 감지 지표에서 Deep Ensembles 를 크게 능가했습니다.
• CIFAR-10: P&C 는 보고된 방법 중 가장 높은 근접 분포 외 AUROC(91.55) 와 먼 분포 외 AUROC(95.09) 를 달성했으며, SWAG 및 Deep Ensembles 대비 95% 재현율에서의 위양성률 (FPR95) 을 크게 감소시켰습니다.
• 메커니즘 진단: 실험은 최소제곱 보정 없이는 무작위 교란이 분포 내 성능을 저하시킨다는 것을 확인했습니다. 보정이 있을 경우 분포 내 성능은 보존되며, 불일치는 보정 활성화에서 마할라노비스 거리가 증가함에 따라 비례하여 커집니다.

중요성과 주장

본 논문은 P&C 가 미지정을 제거해야 할 병리로 보지 않고, 활용해야 할 인식적 불확실성의 원천으로 재정의한다고 주장합니다. 보정 데이터에 의해 해결되지 않은 자유도를 자원으로 간주함으로써, P&C 는 여러 독립 모델을 학습하거나 복잡한 베이지안 추론을 수행하는 대신 계산 효율적인 대안을 제공합니다.

저자들은 P&C 를 명시적인 베이지안 방법보다 **인식적 신경망 (Epistemic Neural Networks)**에 철학적으로 더 가깝게 위치시킵니다. 이는 모델 아키텍처나 학습 파이프라인의 변경 없이 데이터가 행동을 제약하는 곳에서는 일치하고 그렇지 않은 곳에서는 발산하는 예측기 가족을 통해 불확실성을 표현하기 때문입니다. 이 연구는 국소 아핀 보정이 단순한 무작위 교란을 효과적인 사후 앙상블로 변환할 수 있음을 시사하며, 심층 학습에서 과도한 매개변수화의 잠재력을 강조합니다.