기술적 요약: 초기 종료 신경망의 보정 재고

1. 문제 제기

초기 종료 신경망 (Early-Exit Neural Networks, EENNs) 은 중간 분류기가 예측이 충분히 신뢰할 만하다고 판단되면 계산을 중단하도록 허용하여 추론을 가속화합니다. 해당 분야의 주류 가정은 이러한 중간 분류기의 **보정 (calibration)**을 개선하여 예측 신뢰도 점수가 경험적 정확도와 일치하도록 하는 것이 네트워크의 비용 - 정확도 트레이드오프를 본질적으로 향상시킬 것이라는 것입니다.

저자들은 이러한 가정에 도전하며, EENNs 에는 보정의 표준적 개념이 부족하다고 주장합니다. 그들은 다음과 같이 가정합니다:

1. 구조적 불일치: 표준 보정은 분류기를 고립된 개체로 취급하여, EENNs 의 순차적 구조를 무시합니다. EENNs 에서는 후기 종료 지점일수록 더 많은 계산 자원을 보유하고 잠재적으로 더 높은 정확도를 가집니다.
2. 낭비되는 계산: 잘 보정된 분류기조차도 네트워크 내 어떤 종료 지점에서도 올바르게 분류할 수 없는 '무의미한 (futile)' 샘플에 대해 낮은 신뢰도를 부여할 수 있습니다. 이로 인해 샘플이 전체 아키텍처를 통과하게 되어 계산 자원이 낭비됩니다.
3. 지표의 실패: 보정 지표 (예: 기대 보정 오차, ECE) 는 EENNs 의 전체 성능과 상관관계를 보이지 못하며, 종종 서로 다른 적응형 계산 능력을 가진 네트워크들을 구분하지 못합니다.

2. 이론적 분석

이 논문은 보정과 적응형 계산 간의 관계를 이론적으로 조사합니다:

• 정형 보정의 자명성: 저자들은 EENNs 의 모든 구성 모델이 '정형적으로 보정된 (canonically calibrated)' 경우 (즉, 실제 조건부 확률 $P(y|x)$와 완벽하게 일치하는 경우), 해당 EENNs 는 '자명하다 (trivial)'고 증명합니다. 이 시나리오에서는 모든 종료 지점이 동일한 예측을 생성하므로 중간 종료 지점들은 불필요해집니다.
• 신뢰도 보정의 한계: 최대 예측 확률에 대한 보정인 신뢰도 보정은 일반적이지만, 저자들은 이것이 로그 손실 (log-loss) 하에서 초과 위험 (excess risk) 을 통제하지 못함을 보여줍니다. 확률 질량이 비모달 (non-modal) 클래스들 사이에 잘못 분포되어 있다면, 모델이 완벽하게 신뢰도 보정되어 있더라도 초과 위험이 무한대가 될 수 있습니다.
• 구조적 순서의 필요성: EENNs 가 '언제나 (anytime)' 계산을 지원하려면 (즉, 깊이에 따라 위험이 엄격히 감소하려면), 보정을 정의하는 그룹화 함수들이 정제 체인 ($\Phi_1 \preceq \dots \preceq \Phi_M$) 을 형성해야 합니다. 표준 신뢰도 보정은 이러한 구조적 순서를 보장하지 않습니다.

3. 방법론: 초기 종료 실패 예측 (EEFP)

보정의 부족함을 해결하기 위해 저자들은 **초기 종료 실패 예측 (Early-Exit Failure Prediction, EEFP)**을 제안합니다.

3.1. 개념

클래스 레이블을 예측하거나 신뢰도를 보정하는 대신, 시스템은 최적의 중단 결정을 예측합니다. 특정 종료 지점 $m$에 대해 목표 변수 $\otimes_m$은 다음과 같이 정의됩니다:

• $\otimes_m = 1$ (종료): 현재 예측이 정확하거나 또는 후속 종료 지점에서도 결코 정확하지 않을 경우.
• $\otimes_m = 0$ (계속): 현재 예측은 부정확하지만 미래의 종료 지점에서 정확할 것으로 예상되는 경우.

이 공식화는 추론을 계속하는 계산 비용을 명시적으로 고려합니다.

3.2. 구현

저자들은 EEFP 를 구현하기 위한 경량화된 사후 훈련 (post-training) 절차를 도입합니다:

1. 메타 분류기: 각 종료 지점 $m$에 대해 경량 멀티 레이어 퍼셉트론 (MLP) 을 훈련시켜 확률 $P(\otimes_m = 1 | x)$을 예측합니다.
2. 입력:
   • 변형 1 (현재): 현재 분류기 $f_m$의 상위 $k$개 신뢰도 점수를 사용합니다.
   • 변형 2 (이력): 현재 분류기 및 모든 이전 종료 지점 ($f_1, \dots, f_m$) 의 상위 $k$개 신뢰도 점수를 사용합니다. 이를 통해 메타 분류기는 네트워크 전반에 걸친 신뢰도의 변화를 관찰할 수 있습니다.
3. 훈련: EENN 가중치는 고정됩니다. 메타 분류기는 홀드아웃 (held-out) 세트에서 이진 교차 엔트로피 손실을 사용하여 훈련되며, 여기서 $\otimes_m$의 정답은 시퀀스 내 모든 예측을 실제 레이블과 비교하여 계산됩니다.
4. 추론: 메타 분류기의 출력 확률이 임계값 $\tau$를 초과하면 네트워크는 단계 $m$에서 종료합니다.

4. 주요 기여

1. 이론적 반박: 표준 보정이 EENNs 에는 부족하다는 것을 보여주는 공식적 증명. 이는 종료 지점의 순차적 특성과 무의미한 샘플의 계산 비용을 고려하지 못하기 때문입니다.
2. EEFP 점수: ECE 와 달리 EENNs 의 적응형 계산 능력의 품질을 신뢰성 있게 반영하는 새로운 지표인 EEFP 점수 (실패 예측 작업의 AUROC) 의 도입.
3. 신뢰도 보정 절차: 표준 신뢰도 기반 종료를 대체하기 위한 경량화된 EEFP 기반 방법. 이 절차는 기본 EENNs 의 재훈련 없이도 여러 벤치마크에서 비용 - 정확도 트레이드오프를 개선합니다.

5. 실험 결과

저자들은 CIFAR-100, TinyImageNet, ImageNet-1k 에서 ResNet-34, ViT-Tiny, ViT-Small, EfficientNet, MSDNet 에 대해 접근법을 평가했습니다.

• 비용 - 정확도 트레이드오프: EEFP 기반 신뢰도 보정을 사용하는 네트워크는 베이스라인 모델 및 온도 보정 (temperature-calibrated) 모델 모두보다 우수한 비용 - 정확도 특성을 일관되게 달성했습니다.
• 지표의 신뢰성:
  • EEFP 점수: 내부 분류기의 높은 EEFP 점수는 종단간 EENN 성능과 강한 상관관계를 보였습니다.
  • ECE: ECE 는 성능을 예측하지 못했습니다. 여러 사례에서 낮은 ECE(더 잘 보정된) 를 가진 모델이 비용 - 정확도 측면에서 더 높은 ECE 를 가진 모델보다 더 나쁜 성능을 보였습니다.
• 실패 사례: 저자들은 "과신 (overconfident)" 모델 (의도적으로 보정이 잘못된) 이 효율성 측면에서 "보정된" 모델보다 더 나은 성능을 보일 수 있음을 입증했습니다. EEFP 지표는 과신 모델의 우수한 성능을 올바르게 식별한 반면, ECE 는 보정된 모델을 더 나은 것으로 잘못 순위 매겼습니다.
• 계산 오버헤드: 메타 분류기의 추가 비용은 무시할 수준입니다 (FLOPs 약 0.001% 증가).

6. 중요성 및 주장

이 논문은 EENNs 를 최적화하는 방식에 대한 관점을 근본적으로 전환한다고 주장합니다.

• 패러다임 전환: EENNs 의 목표가 "잘 보정된 분류기"가 아니라 "효과적인 실패 예측"이어야 한다고 주장합니다.
• 실용적 유용성: 제안된 EEFP 기반 보정은 기존 보정 방법들에 대한 실용적이고 경량화된 대안을 제공하며, 적응형 계산 시스템의 효율성을 직접적으로 개선합니다.
• 광범위한 적용 가능성: 저자들은 이러한 통찰력이 계산 중단 시점을 결정하는 것이 중요한 대규모 언어 모델 (LLMs) 및 사고의 사슬 (chain-of-thought) 추론을 포함한 다른 적응형 계산 시나리오로 확장될 수 있다고 제안합니다.

저자들은 이론적 한계에 대해 겸손하게 접근하며, 이상적인 '언제나' 계산을 위해 필요한 그룹화 함수 ($\Phi$) 의 구조적 순서를 강제하는 방법을 제공하지는 않았으며, 고차원 공간에서 이러한 함수들의 세분성을 측정하는 것이 여전히 과제임을 인정합니다.