Exploring the Potential of Bilevel Optimization for Calibrating Neural Networks

기술 요약: 신경망 보정을 위한 이중 최적화(Bilevel Optimization) 가능성 탐구

문제 제기
현대 신경망은 높은 판별력을 지니고 있지만, 종종 보정이 잘 되어 있지 않아 예측된 신뢰도 점수가 실제 정확도 확률을 정확히 반영하지 못합니다. 이러한 과도한 자신감은 모델이 불확실성을 표현하거나 자신이 확신하지 못하는 예측을 '거부'해야 하는 의료, 자율주행 차량과 같은 민감하고 규제가 엄격한 분야에서 심각한 위험을 초래합니다. 사후 보정(post-calibration) 방법들은 존재하지만, 이들은 훈련이 완료된 후 별도의 단계로 작동합니다. 저자들은 자기 보정(self-calibration)—즉, 신뢰도 보정을 훈련 과정에 직접 통합하는 것—이 **이중 최적화(Bilevel Optimization, BO)**를 통해 효과적으로 달성될 수 있는지 조사합니다.

방법론
본 논문은 신경망 훈련을 이중 최적화 문제로 공식화한 BO4SC라는 새로운 프레임워크를 제안합니다. 핵심 혁신은 모델이 클래스 예측과 신뢰도 추정을 동시에 학습하는 이중 출력 구조이며, 두 출력 모두 동일한 모델 파라미터에 의존합니다.

프레임워크는 다음과 같이 정의됩니다:

• 내부 수준 문제 (추종자): 표준 분류 훈련에 중점을 둡니다. 훈련 세트($D_{train}$)에 대한 가중 교차 엔트로피 손실을 최소화하여 모델 파라미터($\theta$)를 업데이트합니다. 각 훈련 샘플의 가중치($w$)는 외부 수준에서 결정되는 파라미터로 간주됩니다.
• 외부 수준 문제 (리더): 신뢰도 보정에 중점을 둡니다. 검증 세트($D_{val}$)에 대한 이진 교차 엔트로피(BCE) 손실을 최소화합니다. 목표는 내부 루프에서 적용되었을 때 예측된 신뢰도 점수($\hat{p}$)가 예측의 실제 정확도와 일치하도록 하는 최적의 샘플 가중치($w$)를 찾는 것입니다.

이를 해결하기 위해 저자들은 **근사 하이퍼그래디언트 하강(approximate hypergradient descent)**을 사용하는 그래디언트 기반 접근법을 채택합니다. 내부 최적화를 고정된 수의 단계($T$)만큼 언롤(unrolling)하고 역방향 자동 미분을 사용하여 하이퍼그래디언트(외부 파라미터 $w$에 대한 외부 목적 함수의 그래디언트)를 계산함으로써 이중 최적화 문제를 근사화합니다. 구현에는 복잡한 최적화 계층 구조를 처리하기 위해 torchopt 라이브러리가 활용됩니다.

주요 기여

1. 새로운 프레임워크: 본 논문은 이전 연구들이 별도의 불확실성 점수 아키텍처에 BO를 사용한 것과 구별되는, 단일 자기 보정 심층 신경망 훈련을 위해 구체적으로 제안된 이중 최적화 프레임워크인 BO4SC를 소개합니다.
2. 자기 보정 통합: 훈련 후 출력을 조정하는 사후 보정 방법 (예: 등방성 회귀, Isotonic Regression) 과 달리, BO4SC는 샘플 가중치를 동적으로 조정함으로써 보정 목적 함수를 훈련 루프에 직접 통합합니다.
3. 진단 분석: 이 연구는 이중 최적화가 불확실성 분포에 미치는 영향을 상세히 분석하며, 특히 이 방법이 결정 경계 근처의 모호하거나 오분류된 샘플에 낮은 가중치를 부여하는 방식을 관찰합니다.

실험 결과
저자들은 BO4SC를 표준(Standard) 훈련 접근법과 널리 사용되는 사후 보정 방법인 **등방성 회귀(IsoReg)**와 비교하여 여러 데이터셋에서 평가했습니다:

• 데이터셋: 시각적 진단을 위한Toy 데이터셋 (Blobs 1.3/1.7, Spirals 2.5/3.5) 과 실제 시뮬레이션 데이터셋 (혈중 알코올 농도 - BAC).
• 지표: 기대 보정 오차 (ECE) 와 정확도.
• 결과:
  • 보정: BO4SC는 대부분의 데이터셋에서 일관되게 가장 낮은 ECE 를 달성하여 표준 방법과 IsoReg 방법 모두를 능가했습니다. 예를 들어, Blobs 1.7 데이터셋에서 BO4SC 는 0.016 의 ECE 를 달성한 반면, 표준 방법은 0.074, IsoReg 는 0.039 의 ECE 를 기록했습니다.
  • 정확도: 이 방법은 경쟁력 있는 정확도를 유지했으며, 일부 경우 표준 방법에 비해 정확도가 약간만 감소하여 보정 개선이 예측 성능의 상당한 타협을 필요로 하지 않음을 보여주었습니다.
  • 시각 분석: 신뢰성 다이어그램과 신뢰도 히스토그램은 표준 모델이 과도하게 자신감을 보였고, IsoReg 는 때로는 이진 작업에서 0.5 가 기준선인 경우 0.5 미만으로 떨어지는 등 신뢰도가 부족하게 나타나는 경우가 있음을 보여주었습니다. 반면 BO4SC 는 예측된 신뢰도와 실제 정확도 사이의 가장 균형 잡힌 일치를 생성했습니다.
  • 가중치 역동성: 학습된 가중치에 대한 분석은 BO4SC 가 결정 경계 근처 (모호한 영역) 의 샘플을 자연스럽게 하향 조정하고, 확신 있게 분류된 샘플에는 더 높은 가중치를 부여하여 훈련 신호를 효과적으로 정제함을 보여주었습니다.

의의 및 주장
본 논문은 이중 최적화가 사후 보정 기술에 대한 강력한 대안을 제공한다고 주장합니다. 저자들은 IsoReg 와 같은 사후 보정 방법이 효과적이지만, 때로는 과도한 조정이나 부적절한 신뢰도 분포 (예: 신뢰도 과소평가) 로 이어질 수 있다고 지적합니다. 반면, BO4SC 의 자기 보정 특성은 불확실한 예측을 거부해야 하는 시나리오를 포함하여 실제 세계 의사결정에 더 신뢰할 수 있는 신뢰도 점수를 생성합니다.

저자들은 현재 작업의 상태에 대해 겸손하게 접근하며, 결과가 유망하지만 이중 최적화 접근법의 계산 비용 (실행 시간 및 메모리) 이 기존 훈련보다 현재 더 높음을 인정합니다. 계산 효율성과 거부 옵션 분류 (reject-option classification) 에의 적용을 향후 연구의 주요 방향으로 제시합니다.