Training Neural Networks with Optimal Double-Bayesian Learning

기술 요약: 최적 이중-베이지안 학습을 통한 신경망 훈련

문제 제기
신경망 훈련은 여전히 주로 경험적 과정으로 남아 있으며, 학습률과 모멘텀과 같은 하이퍼파라미터는 이론적 유도보다는 경험칙, 경험, 또는 체계적인 그리드 검색을 기반으로 선택되는 경우가 많습니다. 이러한 파라미터들이 과적합을 방지하고 편향 없는 일반화를 보장하는 데 중요하다는 점은 널리 인정받고 있지만, 그 최적 값을 결정하기 위한 결정적인 이론은 존재하지 않습니다. 현재 문헌은 종종 적응형 학습률 (예: Adam) 이나 2 차 방법을 의존하지만, 최적 훈련 방법과 특정 하이퍼파라미터 값에 대한 "최종 판결"은 여전히 해결되지 않았습니다. 학습률에 대한 훈련 결과의 민감성—작은 값은 지역 최적점에 갇힐 위험이 있고 큰 값은 진동을 유발함—은 원칙적인 프레임워크 없이는 협상하기 어려운 트레이드오프를 만들어냅니다.

방법론: 이중-베이지안 프레임워크
본 논문은 두 가지 대립적인 베이지안 과정을 포함하는 "이중-베이지안" 의사결정 메커니즘에 기반한 이론적 프레임워크를 제안합니다. 이 접근법은 측정 대상과 그 측정 값 사이의 불확실성 해결로 훈련 과정을 모델링함으로써 측정의 내재적 불확실성을 다룹니다.

1. 이론적 기초:

   • 이중 과정: 이 프레임워크는 두 가지 병렬 과정을 가정합니다. 하나는 측정 값의 확실성 ($P(A)$) 을 추정하고, 다른 하나는 측정 대상의 확실성 ($P(B)$) 을 추정합니다. 이러한 과정들은 베이즈 정리에 의해 연결되지만, 조건부 확률 ($P(A|B)$ 및 $P(B|A)$) 에 대한 서로 다른 해석으로 작동합니다.
   • 내부 및 외부 방정식: 이 프레임워크는 두 가지 방정식을 유도합니다. "외부 베이즈 방정식"은 사전 확률을 로그 밑 $\lambda$를 통한 사후 확률의 비율과 관련시킵니다. "내부 베이즈 방정식"은 로그의 입력과 밑을 반전시켜 로그 표현식을 사전 확률로 이동시킴으로써 유도됩니다.
   • 고정점과 불확실성: 정보 이론을 사용하여, 논문은 학습을 입력 추정치가 목표 값으로 매핑되는 고정점을 찾는 과정으로 취급합니다. 이 모델은 "내재적 불확실성" 원리를 도입합니다. 측정 값 불확실성을 나타내는 각도 $\phi$를 완벽하게 안다는 것은 대상 불확실성을 나타내는 밑 $\lambda$에 대한 최대 불확실성을 의미하며, 그 반대도 마찬가지입니다.

2. 최적 하이퍼파라미터 유도:

   • 황금비: 내부 베이즈 방정식의 해는 확률 항이 황금비 ($\phi \approx 0.62$) 와 일치할 때 발생합니다.
   • 모멘텀 ($\alpha$): $\phi = \pi/4$에서 내부 방정식을 만족시키고 외부 방정식의 기울기를 고려함으로써, 논문은 이론적 모멘텀 가중치를 유도합니다: $\alpha = \sqrt{2} \cdot \phi \approx 0.874$.
   • 학습률 ($\eta$): 이중 과정 유도를 통해 학습률은 $\eta = (1 - \alpha)^2 \approx 0.016$으로 계산됩니다.
   • 훈련 메커니즘: 이 프레임워크는 훈련이 내부 베이즈 방정식을 만족시키는 것 (한 변수의 불확실성 최소화) 과 외부 방정식을 만족시키지 않는 것 (상대 변수의 불확실성 최대화) 사이를 교차하는 것을 포함한다고 제안합니다. 이는 효과적으로 이전 반복을 위한 모멘텀 항으로 $\alpha$를, 현재 반복을 위한 학습률로 $\eta$를 사용하는 것입니다.

실험적 검증
이론적으로 유도된 값 ($\eta \approx 0.016$, $\alpha \approx 0.874$) 을 검증하기 위해 저자들은 네 가지 다른 작업에 걸쳐 광범위한 그리드 검색 실험을 수행했습니다:

• 손글씨 숫자 분류: 커스텀 11 층 CNN 을 사용한 MNIST 데이터셋.
• 결핵 분류: DenseNet121 을 사용한 흉부 X-ray (TBX11K 데이터셋).
• 폐 분할: YOLOv8m-seg 를 사용한 흉부 X-ray (COVID-19 데이터셋).
• 말라리아 세포 탐지: YOLOv8m 을 사용한 혈액 도말 이미지.

실험은 학습률 (0.00010.2) 과 모멘텀 값 (0.00.925) 을 체계적으로 변화시켰으며, 확률적 경사 하강법 (SGD) 과 Adam 옵티마이저를 비교했습니다. 평가에는 훈련 세트 크기 변경 (100%, 75%, 50%, 25%) 과 일반화 및 견고성을 측정하기 위해 테스트 세트에 노이즈를 도입하는 것이 포함되었습니다.

주요 결과

• 최적 하이퍼파라미터: 그리드 검색 결과는 이론적으로 유도된 학습률 ($\eta \approx 0.016$) 과 0.01 에 가까운 값이 분류, 분할, 탐지 작업 전반에서 최상이거나 최상에 가까운 성능을 보였음을 일관되게 보여주었습니다. 유도된 모멘텀 값 ($\alpha \approx 0.874$) 또한 SGD 의 최상위 성능 범위에 속했습니다.
• SGD 대 Adam:
  • 성능: 유도된 하이퍼파라미터로 튜닝된 SGD 는 대부분의 작업과 훈련 세트 크기에서 최종 테스트 정확도, IoU, mAP50 측면에서 Adam 일관되게 능가했습니다.
  • 수렴: Adam 은 최소 검증 손실에 도달하는 데 훨씬 빠르게 (2~3 배 적은 에포크) 수렴하여 그 인기를 설명했습니다. 그러나 이 속도는 종종 일반화 능력의 대가를 치른 것이었습니다.
  • 과적합: 여러 경우에서 Adam 은 더 낮은 검증 손실을 달성했지만 최상의 테스트 세트 성능을 달성하지 못하여, SGD 에 비해 과적합 경향이 더 높음을 나타냈습니다.
• 노이즈 견고성: 노이즈가 있는 테스트 조건 (무작위로 반전된 픽셀 강도) 에서 SGD 로 훈련된 모델은 우수한 견고성을 보여주었습니다. 노이즈 수준이 증가함에 따라 SGD 와 Adam 간의 오차 격차가 벌어졌으며, SGD 는 일관되게 더 낮은 오차율을 유지했습니다.

의의 및 주장
본 논문은 경험적 휴리스틱을 넘어 신경망 훈련의 하이퍼파라미터 선택에 대한 이론적 근거를 제공한다고 주장합니다. 주요 기여점은 다음과 같습니다:

1. 이론적 유도: 정보 이론과 베이지안 의사결정 과정을 네트워크 훈련과 연결하는 이중-베이지안 프레임워크에 기반한 구체적인 이론적 학습률 ($\approx 0.016$) 과 모멘텀 가중치 ($\approx 0.874$) 를 제공합니다.
2. 모멘텀의 재해석: 이 프레임워크는 모멘텀 항에 대한 새로운 설명을 제공하며, 이것이 단순한 평활화 인자가 아니라 두 가지 병렬 베이지안 과정 사이의 내재적 불확실성을 해결하기 위한 필수 구성 요소임을 시사합니다.
3. 일반화 우위: 적응형 방법인 Adam 이 더 빠른 수렴을 제공하지만, 최적으로 튜닝된 SGD 는 특히 노이즈가 많은 환경에서 편향이 적고 일반화가 더 나은 모델을 산출한다는 결과가 시사됩니다.
4. 의사결정 모델: 이중-베이지안 접근법은 지식이 두 가지 과정에 분산되어 있고 "최적" 상태가 불확실성의 균형인 새로운 의사결정 모델로 제시되며, 이는 하이젠베르크 불확실성 원리와 유사합니다.

저자들은 이 프레임워크가 네트워크 훈련의 최적성 개념에 대한 새로운 통찰을 제공하며, 편향 없고 견고한 모델을 달성하기 위해 특정 이론적 근거를 가진 하이퍼파라미터로 SGD 를 사용하는 것을 지지한다고 결론지었습니다.