The Neuron as a Latent State: Classical Variational Readout in Distributional Neural Units

기술 요약: 잠재 상태로서의 뉴런

문제 정의
고전적인 신경망은 일반적으로 은닉 유닛을 결정론적인 스칼라 활성화 값으로 표현한다. 이는 구성적 계산(compositional computation)을 용이하게 하지만, 유닛의 내부 상태를 단일 값으로 붕괴시켜 불확실성, 가변성 및 신뢰성을 외부(예: 베이지안 가중치, 앙상블 또는 사후 분석 점수)에서 모델링하도록 강제한다. 본 논문은 대안적인 관점을 제안한다. 즉, 뉴런을 점 값 형태의 변환이 아니라 로컬 **잠재 상태(latent state)**로 취급하는 것이다. 여기서 핵심 과제는 단순히 이러한 상태를 학습하는 것이 아니라, 이를 어떻게 읽어낼(read) 것인가를 결정하는 것이다. 만약 은닉 계산이 스칼라가 아닌 사후 분포(posterior distribution)를 운반한다면, 예측 문제는 두 가지 별개의 작업으로 분리된다: 사후 분포를 학습하는 것과, 그로부터 예측을 추출하기 위한 규칙을 선택하는 것이다. 표준적인 접근 방식들은 종종 이 둘을 혼동하여 몬테카를로 평균(Monte Carlo mean)이 자연스러운 출력이라고 가정한다. 본 논문은 학습된 사후 분포가 단순한 집계(aggregation)로는 추출할 수 없는 활용 가능한 예측 구조를 포함하고 있는지 조사한다.

방법론: EVE 및 사후 분포 동결(Posterior-Freezing)
본 연구는 EVE(고전적인 분포형 신경 메커니즘)를 활용하며, 여기서 은닉 계산은 로컬 변분 사후 분포 $q_\phi(z | h) = \mathcal{N}(\mu_\phi(h), \text{diag}(\sigma^2_\phi(h)))$를 갖춘 상태이다.

• 메커니즘: 잠재 상태 $z$는 재매개변수화(reparameterization, $z = \mu + \sigma \odot \epsilon$)를 통해 샘플링되며, 로컬 쿨백-라이블러(KL) 발산에 의해 규제된다.
• 핵심 프로토콜: "읽기" 문제를 "학습" 문제로부터 격리하기 위해, 저자들은 사후 분포 동결 프로토콜을 도입한다.
  1. EVE 모델을 통제된 다중 모드 예측 벤치마크(CHBF)에 대해 학습시킨다.
  2. 검증 성능을 기준으로 체크포인트를 선택하고, 모든 사후 분포 파라미터($\theta, \phi, \psi$)를 **동결(freeze)**한다.
  3. 동일한 동결된 잠재 상태에 대해 여러 가지 **고전적 변분 판독(classical variational readouts)**을 적용한다. 이때 사후 분포의 추가 학습이나 업데이트는 수행하지 않는다.
• 판독 유형:
  • 점 붕괴 판독(Point-collapse readouts): 샘플들을 단일 궤적으로 집계한다 (예: 몬테카를로 평균, 중앙값, 절단 평균).
  • 분포형 판독(Distributional readouts): 예측 집합을 보존하되 샘플을 필터링하거나 가중치를 재설정한다 (예: 브랜치-메도이드(branch-medoid), 유효성 필터링, 브랜치 균형).
• 진단 지표: **판독 차이(readout gap, $\Delta$)**는 동결된 사후 분포 상에서 특정 판독 방식이 나이브한 원시 몬테카를로 집합(raw Monte Carlo set)보다 보여주는 성능 향상 폭으로 정의된다. 양(+)의 차이는 사후 분포가 단순한 집계로는 추출할 수 없는 구조를 포함하고 있음을 나타낸다.

주요 기여

1. EVE의 정식화: 은닉 계산이 스칼라가 아닌 샘플링 가능하고 진단 가능한 상태인 고전적 잠재 상태 메커니즘으로서의 EVE를 정의한다.
2. 고전적 변분 판독: 고정된 학습 사후 분포로부터 예측을 추출하는 문제를 별도의 설계 선택지로 도입한다.
3. 사후 분포 동결 프로토콜: 상태 학습과 상태 읽기를 방법론적으로 분리하여 사후 분포의 정보 함유량을 테스트한다.
4. 운영적 진단: 동결된 사후 분포가 단순히 확률적 노이즈나 규제 도구인지, 아니면 정보를 담고 있는 상태인지를 판단하기 위해 판독 차이를 정의한다.
5. 경험적 검증: 통제된 벤치마크를 통해, 재학습 없이도 비-오라클(non-oracle) 구조 인식 판독이 성능을 개선함을 입증한다.

실험 결과
실험은 각 입력이 네 개의 가능한 미래 궤적을 생성하는 합성 데이터셋인 CHBF (Controlled Branching-Future) 벤치마크에서 수행되었다. 유효한 미래들을 평균 내는 것은 종종 유효하지 않은 궤적을 생성하므로, 이는 다중 모드 표현에 대한 엄격한 테스트가 된다.

• EVE vs. 결정론적 베이스라인: 동결된 EVE 사후 분포는 분포형 지표에서 결정론적 베이스라인(DET)을 유의미하게 상회했다. DET는 평균 MSE 0.2499를 기록한 반면, EVE의 원시 몬테카를로 집합은 최적 샘플 MSE 0.0051, 커버리지 1.00 (DET의 0.25 대비), CRPS 0.2352 (DET의 0.4081 대비)를 달성했다.
• 점 붕괴의 한계: 사후 분포를 단일 궤적으로 붕괴시키는 것(예: 몬테카를로 평균)은 높은 무효율 발생률(100%)과 낮은 정확도를 초-래하여, 나이브한 집계가 다중 모드 구조를 파괴함을 확인시켜 주었다.
• 분포형 판독 차이: 궤적 클러스터 내에서 대표 샘플을 선택하는 비-오라클 방식인 브랜치-메도이드(branch-medoid) 판독은 사후 분포를 재학습시키지 않고도 원시 몬테카를로 집합보다 성능을 개선했다.
  • CRPS: 원시 MC(0.2352)에서 브랜치-메도이드(0.2230)로 개선되어 5.20%의 상대적 이득을 보였다.
  • 유효성(Validity): 무효 궤적 비율을 0.62%에서 0.00%로 감소시켰다.
  • 브랜치 균형(Branch Balance): 브랜치 확률 $\ell_1$ 오차를 0.1202에서 0.0000으로 줄였다.
  • 통계적 유의성: 브랜치-메도이드 세트의 CRPS에 대한 부트스트랩 신뢰 구간 [0.2210, 0.2254]는 원시 MC 세트의 [0.2323, 0.2383]와 겹치지 않았다.
• 선택적 예측: 사후 분포 유래 진단(예: 무효 샘플 비율)이 예측 위험을 효과적으로 순위화할 수 있음을 보여주었으며, 이를 통해 커버리지가 감소함에 따라 위험이 감소하는 선택적 예측이 가능함을 보였다.

의의 및 주장
본 논문은 자신의 결과가 EVE를 단순한 확률적 노이즈나 규제 도구가 아닌, 정보를 담고 있는 잠재 계산 상태로 해석하는 것을 뒷받침한다고 완곡하게 주장한다.

• 주요 주장: 동결된 사후 분포에서 양(+)의 판독 차이가 존재한다는 사실은, 학습된 상태가 나이브한 집계가 포착하지 못하는 예측 구조를 포함하고 있음을 증명한다.
• 범위: 저자들은 자신의 주장이 통제된 CHBF 벤크마크에 국한됨을 명시하며, 이것이 실제 세계의 데이터셋 전반에 걸친 광범위한 경험적 우월성을 확립하는 것은 아님을 인정한다.
• 시사점: 본 연구는 은닉 표현이 단순히 점 값 형태의 변환이 아니라, 적용되는 명시적인 판독 프로토콜에 따라 예측 유용성이 결정되는 잠재 상태로 간-주되어야 함을 시사한다. 발견된 가장 강력한 배포 가능 판독 방식은 학습된 통계적 요약보다는 구조 인식(branch-medoid) 방식이었으며, 이는 사후 분포의 기하학적 구조를 보존하는 것이 매우 중요하다는 것을 시사한다.