📊 statistics

A Framework for Variational Inference of Lightweight Bayesian Neural Networks with Heteroscedastic Uncertainties

본 논문은 네트워크 매개변수의 분산에 이질적 알레토릭 불확실성과 인식적 불확실성을 모두 직접적으로 내재화하여 학습 가능한 매개변수의 수를 증가시키지 않으면서 예측 성능을 향상시키는 경량 베이지안 신경망을 위한 샘플링 없는 변분 추론 프레임워크를 제안한다.

원저자: David J. Schodt, Ryan Brown, Michael Merritt, Samuel Park, Delsin Menolascino, Mark A. Peot

게시일 2026-05-01

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: David J. Schodt, Ryan Brown, Michael Merritt, Samuel Park, Delsin Menolascino, Mark A. Peot

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

상상해 보세요. 매우 똑똑하지만 아주 작은 로봇 두뇌 (경량 신경망) 가 미래 예측에 사용되기를 원한다고 가정해 봅시다. 이 로봇은 단순히 답을 주는 것을 넘어, 그 답에 대해 얼마나 확신하는지도 알려주기를 원합니다.

AI 세계에서는 로봇이 불확실해 질 수 있는 두 가지 주요 이유가 있습니다:

"노이즈가 있는 데이터" 문제 (Aleatoric): 로봇이 바라보는 정보가 지저분하거나 흐릿합니다. 예를 들어, 짙은 안개 속에서 길 표지판을 읽으려 하는 경우입니다. 데이터 자체가 나쁘기 때문에 로봇은 100% 확신할 수 없습니다.
"이전엔 본 적 없는 것" 문제 (Epistemic): 로봇이 훈련 매뉴얼에 없던 완전히 새로운 무언가를 바라보고 있습니다. 예를 들어, 고양이 사진만으로 훈련받았을 때 기린을 식별하려 하는 경우입니다. 지식이 부족하기 때문에 불확실합니다.

구식 방식: "두 개의 머리"를 가진 로봇

전통적으로 로봇에게 데이터의 노이즈 수준과 자신이 무엇을 모르는지 둘 다 알려주게 하려면, 엔지니어들은 "두 개의 머리"를 가진 로봇을 만들어야 했습니다.

머리 1: 답을 예측합니다 (예: "기온은 70°F 입니다").
머리 2: "노이즈 수준"을 예측합니다 (예: "센서가 고장 났기 때문에 50% 만 확신합니다").

문제점: 이는 학습을 위해 더 크고 무겁고 부품 (파라미터) 이 많은 로봇을 필요로 합니다. 배터리와 공간이 제한된 작은 장치 (드론이나 의료 센서 등) 에 이 로봇을 탑재하려 한다면, 두 번째 머리를 추가하는 것은 너무 비쌉니다. 스프린트를 뛰고 싶을 때 무거운 배낭을 메는 것과 같습니다.

신식 방식: 비밀을 가진 "한 개의 머리"를 가진 로봇

이 논문의 저자들은 교묘한 트릭을 제안합니다. 그들은 말합니다: "왜 두 번째 머리를 만들까요? 그냥 첫 번째 머리가 자신의 확신에 대해 더 똑똑하게 만들면 됩니다."

로봇에게 별도의 "노이즈 숫자"를 출력하도록 가르치는 대신, 로봇의 내부 기어 (파라미터) 가 지저분한 데이터와 자신의 지식 부족을 둘 다 나타내는 방식으로 자연스럽게 흔들리도록 가르칩니다.

비유:
로봇의 내부 기어를 일련의 스프링으로 생각하세요.

구식 방식: 로봇은 답을 위한 주 스프링과 안개를 측정하기 위한 별도의 추가 스프링을 가지고 있습니다.
신식 방식: 주 스프링 자체가 안개와 로봇의 기억에 기반하여 늘어나고 수축하도록 설계됩니다. 주 스프링의 "흔들림"이 총 불확실성에 대해 알아야 할 모든 것을 알려줍니다.

이렇게 하면 추가적인 "노이즈 머리"가 필요 없습니다. 로봇은 작고 가볍고 빠르지만, 여전히 얼마나 불확실한지 정확히 알고 있습니다.

그들이 어떻게 했는지 ("모멘트 전파" 트릭)

로봇이 수천 번의 시뮬레이션을 실행해야 하는 것 (너무 느릴 것입니다) 없이 이를 가능하게 하기 위해, 저자들은 모멘트 전파 (Moment Propagation) 라는 수학적인 단축법을 사용했습니다.

볼록한 언덕을 따라 공을 굴린다고 상상해 보세요.

어려운 방법: 공이 평균적으로 어디에 떨어지고 착륙 지점이 얼마나 퍼져 있는지 보기 위해 언덕을 따라 공을 1,000 번 굴리는 시뮬레이션을 수행합니다.
모멘트 전파 방식: 공을 실제로 1,000 번 굴리지 않고도, 규칙 세트를 사용하여 공이 어디에 떨어지고 얼마나 퍼질지 단 한 단계로 정확히 계산합니다.

이를 통해 로봇은 불확실성을 즉시 계산할 수 있게 되어 경량 장치에 이상적이 됩니다.

그들이 발견한 것 (실험)

팀은 데이터가 어떤 곳에서는 다른 곳보다 더 노이즈가 많은, 파동선을 예측하는 간단한 수학 문제로 이를 테스트했습니다.

작은 로봇 (경량): 내부 부품이 매우 적은 아주 작은 로봇을 사용했을 때, 신식 방식 (한 개의 머리) 이 훨씬 더 좋았습니다. 패턴과 불확실성을 완벽하게 학습했습니다. 구식 방식 (두 개의 머리) 은 고전했습니다; 너무 무거워서 불확실성을 잘 학습하지 못했고, 더 많은 부품을 추가하지 않으면 불가능했습니다.
큰 로봇: 수천 개의 부품을 가진 거대한 로봇을 사용했을 때, 두 방법 모두 비슷하게 작동했습니다.
"범위 밖" 테스트: 로봇이 훈련 범위 밖에서 본 적 없는 데이터를 보여줬을 때, 신식 방식이 더 정직했습니다. 높은 불확실성과 함께 "이건 모릅니다"라고 인정했습니다. 구식 방식은 때때로 과도하게 확신하여 낮은 불확실성과 함께 잘못된 답을 내놓았습니다.

결론

이 논문은 "데이터에 대한 불확실성"을 로봇의 내부 가중치에 직접 임베딩함으로써, 추측할 때 언제인지 알 수 있는 더 작고, 더 빠르고, 더 정확한 AI 모델을 구축할 수 있다고 주장합니다. 로봇이 불확실할 때 인정하게 만들기 위해 로봇에 추가 부품을 넣을 필요는 없습니다. 기존 부품이 올바르게 흔들리도록 가르치기만 하면 됩니다.

이는 모든 메모리와 처리 능력이 중요한 작은 제한된 하드웨어에 스마트한 AI 를 탑재하려는 사람들에게 큰 일입니다.

Schodt 등이 제안한 "이질적 불확실성을 가진 경량 베이지안 신경망의 변분 추론을 위한 프레임워크"에 대한 상세 기술 요약입니다.

1. 문제 정의

베이지안 신경망 (BNN) 은 예측 불확실성을 정량화하고, 인지적 불확실성(제한된 데이터로 인한 모델 불확실성) 과 알레토릭 불확실성(데이터 노이즈) 을 구분하는 데 필수적입니다.

과제: 많은 응용 분야, 특히 이질적(입력에 따라 노이즈 수준이 변하는) 불확실성이 필요한 경우, 표준 접근법은 BNN 이 예측 평균과 별도로 알레토릭 분산을 출력하는 추가 네트워크 헤드를 갖도록 요구합니다.
한계: 분산을 위한 출력 노드를 추가하면 학습 가능한 매개변수의 수와 아키텍처 복잡도가 증가합니다. 이는 하드웨어 제약이 있는 시스템에 배포되거나 계산 시간이 제한된 환경에서 의도된 경량 BNN에 치명적입니다.
격차: 기존 방법들은 종종 모델 크기와 복잡한 입력 의존성 노이즈 구조를 포착하는 능력 사이에서 절충을 강요합니다.

2. 방법론

저자들은 알레토릭 불확실성과 인지적 불확실성을 BNN 의 학습 가능한 매개변수 분산에 직접 임베딩함으로써, 알레토릭 불확실성을 위한 별도의 출력 노드가 필요하지 않은 새로운 추론 프레임워크를 제안합니다.

A. 매개변수 분포의 재해석

베이지안 뉴런 매개변수의 분산을 오직 인지적 불확실성만 나타낸다고 간주하는 대신, 저자들은 이러한 분포를 총 예측 불확실성(알레토릭 + 인지적) 을 인코딩하도록 재해석합니다.

표준 접근법: $Var(\hat{y}) = \sigma^2_{epistemic}$ . 알레토릭 분산 ( $\sigma^2_{aleatoric}$ ) 은 별도의 출력으로 예측됩니다.
제안된 접근법: 주어진 입력 $k$ 에 대한 총 분산 $\sigma^2_k$ 는 알레토릭 분산과 인지적 분산의 합으로 정의됩니다:
$\sigma^2_k = \sigma^2_{a,k} + \sigma^2_{e,k}$
훈련 중 네트워크는 출력 분산이 분산 $\sigma^2_k$ 를 가진 가우시안이라고 가정하는 재구성 손실을 최소화하는 증거 하한 (ELBO) 을 최소화합니다. 분산 $\sigma^2_k$ 는 매개변수 분포에서 유도된 BNN 출력의 분산으로 계산되며, 이는 효과적으로 알레토릭 노이즈를 매개변수 분산에 "흡수"시킵니다.

B. 모멘트 전파를 통한 샘플링 없는 변분 추론

계산 효율성을 유지하고 몬테카를로 샘플링의 비용을 피하기 위해, 저자들은 모멘트 전파(moment propagation) 방식을 사용합니다.

메커니즘: 각 층의 입력에 대한 평균과 분산을 네트워크를 통해 분석적으로 전파하여 출력의 평균과 분산을 계산합니다.
층 처리:
- 완전 연결 및 합성곱: 뉴런 간의 독립성을 가정하여 평균과 분산의 정확한 분석적 전파 수행.
- Leaky-ReLU: 활성화 함수의 입력이 정규 분포를 따른다고 가정하여 근사 전파 수행. 저자들은 절단된 정규 분포를 포함하는 총 기댓값과 분산의 법칙을 사용하여 출력의 평균과 분산에 대한 폐쇄형 식을 유도합니다.
이점: 이는 반복적인 샘플링 없이 결정론적 추론을 가능하게 하여, 이 프레임워크를 경량 실시간 응용 분야에 적합하게 만듭니다.

3. 주요 기여

매개변수 분산 임베딩: 알레토릭 및 인지적 불확실성의 합을 나타내도록 BNN 의 가중치와 편향의 분산을 훈련시키는 개념적 전환으로, 전용 분산 출력 헤드가 필요하지 않게 됩니다.
경량 아키텍처: 이 프레임워크는 표준 "학습된 분산" 접근법보다 적은 학습 가능한 매개변수로 BNN 이 이질적 불확실성을 포착할 수 있게 합니다.
샘플링 없는 추론: 몬테카를로 드롭아웃이나 샘플링의 계산 오버헤드를 피하면서 분석적 불확실성 추정을 제공하는 간소화된 모멘트 전파 기술의 통합.
통합 프레임워크: 불확실성 원천의 재해석과 훈련 및 추론을 위한 효율적인 모멘트 전파를 결합한 완전한 파이프라인.

4. 실험 결과

저자들은 이질적 가우시안 노이즈를 가진 다항식 회귀 작업을 사용하여 "임베디드 분산" 접근법을 (분산이 별도의 출력인) 표준 "학습된 분산" 접근법과 비교 평가했습니다.

경량 환경에서의 성능:
- 숨겨진 뉴런 수가 적을 때 (예: 4 개), 임베디드 분산 모델은 분포 내 데이터에 대해 추세와 불확실성을 모두 정확하게 예측하고, 분포 외 데이터에 대해 높은 불확실성을 올바르게 표현했습니다.
- 학습된 분산 모델은 동일한 작은 아키텍처에서 분포 내 데이터에 대한 실제 불확실성을 회복하지 못했고, 분포 외 데이터에 대한 불확실성을 크게 과소평가했습니다.
매개변수 효율성:
- 고정된 뉴런 수의 경우, "학습된 분산" 모델은 동등한 성능을 달성하기 위해 "임베디드 분산" 모델보다 약 34% 더 많은 학습 가능한 매개변수가 필요했습니다.
- "임베디드 분산" 접근법은 저매개변수 환경에서 더 낮은 재구성 손실 (음의 로그 가능도) 을 달성했습니다.
일반화:
- "임베디드 분산" 모델은 분포 외 데이터에 대한 일반화가 더 우수하여, "학습된 분산" 모델에 비해 훈련 분포에서 멀어질수록 재구성 손실이 더 완만하게 증가하는 것을 보여주었습니다.
확장성: 네트워크 크기가 증가할 때 (예: 1024 개 뉴런), 성능 격차는 줄어들었고 두 방법 모두 유사하게 작동하여 제안된 방법이 리소스 제약이 있는 경량 모델에서 가장 중요함을 시사합니다.

5. 의의

이 연구는 엣지 컴퓨팅 및 안전-중요 시스템에 베이지안 신경망을 배포하는 데 있어 중요한 병목 현상을 해결합니다.

효율성: 노이즈 예측을 위한 추가 출력 노드가 필요 없게 함으로써 모델 크기와 계산 비용을 크게 줄여, 엄격한 제약을 가진 하드웨어에서 BNN 을 실행 가능하게 만듭니다.
강건성: 모델 복잡성을 증가시키지 않고 이질적 불확실성을 포착할 수 있는 능력은 경량 모델이 신뢰성이나 안전성 평가를 희생하지 않도록 보장합니다.
실용성: 추론의 샘플링 없는 특성은 예측 시간을 단축시켜, 지연 시간이 중요한 실시간 응용 분야에 필수적입니다.

요약하자면, 이 논문은 **총 불확실성을 BNN 의 매개변수 분포에 효과적으로 "내재화"**할 수 있음을 보여주며, 경량 이질적 불확실성 정량화를 위한 전통적인 다중 출력 헤드를 우월한 대안으로 제시합니다.