기술 요약: 신경 베이지안 순차 라우팅 (NBSR)

1. 문제 제기

표준 딥러닝 아키텍처는 모든 입력 특징을 동시에 처리하여 단일한 확률 분포를 생성하는 정적이며 밀집된 순방향 계산에 의존합니다. 의미적 정확도 측면에서는 효과적이지만, 이러한 모델들은 다음과 같은 세 가지 치명적인 한계를 겪습니다:

1. 인지적 타당성 부재: 가설이 한 번에 평가되는 것이 아니라 점진적으로 정제되는 인간의 의사결정 특성을 모델링하지 못합니다. 즉, 증거가 누적되는 순차적 특성을 반영하지 못합니다.
2. 낮은 해석 가능성: 밀집 네트워크의 "블랙박스" 성질은 증거가 어떻게 획득되고 불확실성이 어떻게 진화하는지 모호하게 만들어 의사결정 감시를 어렵게 합니다.
3. 비효율성과 과도한 자신감: 쉽게 분류 가능한 입력에 불필요한 계산 자원을 소모하며, 내재적 불확실성 정량화 메커니즘이 부재하여 분포 외 (OOD) 데이터에 대해 과도하게 자신감 있는 예측을 생성합니다.

혼합 전문가 (MoE) 아키텍처는 조건부 계산을 도입하지만, 일반적으로 시간적으로 진화하는 믿음 상태를 유지하지 않으며 순차적 증거 누적이나 동적 조기 종료 (early exiting) 를 허용하지 않는 소프트하고 연속적인 라우팅에 의존합니다.

2. 방법론: 신경 베이지안 순차 라우팅 (NBSR)

NBSR 은 신경 추론을 계층적 방향 비순환 그래프 (DAG) 를 통한 능동적이고 증거가 누적되는 탐색으로 모델링하는 동적 프레임워크입니다. 이는 조건부 신경 실행, 증거적 불확실성, 그리고 순차적 의사결정을 통합합니다.

핵심 아키텍처

• 글로벌 지식 오라클: 표준 순방향 네트워크에서 특징이 레이어별로 변환되고 폐기되는 것과 달리, NBSR 은 입력 $x$ 를 공유 백본을 사용하여 한 번에 밀집 특징 벡터 $h_x$ 로 임베딩합니다. 이 벡터는 DAG 의 모든 노드에 브로드캐스트되는 영속적인 "지식 오라클"로 작용하여, 모든 결정이 전체 컨텍스트 상태에 접근할 수 있도록 보장합니다.
• 의사결정 그래프: 모델은 노드가 의사결정 상태를 나타내는 DAG 를 탐색합니다. 각 노드 $v_t$ 에서 라우터 네트워크(MLP) 는 글로벌 특징 $h_x$ 와 현재 베이지안 믿음 상태 $\alpha_t$ 를 기반으로 이산 경로를 선택합니다.
• 증거 추출: 선택된 노드에 도달하면 로컬 전문가 네트워크가 오라클 $h_x$ 를 쿼리하여 엄격히 양수인 증거 벡터 $e_t$ 를 추출합니다.
• 베이지안 믿음 업데이트: 믿음 상태는 정확한 켤레 덧셈을 통해 업데이트됩니다: $\alpha_{t+1} = \alpha_t + e_t$. 여기서 $\alpha$ 는 디리클레 분포의 농도 파라미터를 나타냅니다. 증거 벡터 $e_t$ 는 베이지안 의사계수로 작용하여 디리클레 상태를 결정론적으로 업데이트합니다. 이 과정은 수학적으로 증거가 누적됨에 따라 의사결정 경계가 "선명해지도록" 강제합니다.

학습 및 추론 메커니즘

• 미분 가능한 이산 라우팅: 이산 트리 구조의 엔드 투 엔드 학습을 가능하게 하기 위해, NBSR 은 Gumbel-Softmax 완화와 Straight-Through Estimator(STE) 를 결합하여 사용합니다.
  • 순방향 통과: 라우터는 argmax 를 통해 하드한 단일 경로를 선택하여 방문한 노드만 실행함으로써 계산 효율성을 보장합니다.
  • 역방향 통과: 기울기는 연속적인 Gumbel-Softmax 근사를 통해 흐르므로, 라우터는 이산 연산의 기울기 소실 문제 없이 최적 경로 선택을 학습할 수 있습니다.
• 학습 목적 함수: 손실 함수는 최종 디리클레 기대값의 음의 로그 가능도 (NLL) 와 엔트로피 페널티 항 ($\lambda \sum H(\alpha_t)$) 을 결합합니다. 이는 모델이 정확도를 극대화할 뿐만 아니라 궤적을 따라 가능한 한 빠르게 불확실성 (엔트로피) 을 감소시키도록 장려합니다.
• 추론 전략:
  • 조기 종료: 믿음 상태의 미분 엔트로피 $H(\alpha_t)$ 가 임계값 $\eta$ 미만으로 떨어지면 탐색이 즉시 중단되어 계산 FLOPs 를 절약합니다.
  • 인식적 기각: 전체 정밀도 $\alpha_0$ 가 완전 탐색 후에도 여전히 낮다면 (높은 불확실성을 나타냄), 모델은 예측을 기각하여 OOD 입력에 대한 내재적 안전 메커니즘을 제공합니다.

3. 주요 기여

1. 베이지안 순차 라우팅 프레임워크: 이산 라우팅 결정이 정확한 켤레 덧셈을 통해 디리클레 믿음 상태를 순차적으로 업데이트하는 새로운 공식화로, 수학적으로 점진적 가설 선명화를 강제합니다.
2. 엔드 투 엔드 하드 라우팅: 표현 붕괴를 방지하면서 동적이고 엔트로피 기반의 조기 종료를 가능하게 하는 이산 계층적 의사결정 트리를 학습하기 위해 Gumbel-Softmax 추정기를 적용했습니다.
3. 이론적 보장: 엄격히 양수인 증거 추출 하에서, 총 디리클레 정밀도가 모든 유효한 궤적을 따라 단조 증가하고 한계 예측 분산이 이에 상응하여 제한됨을 보여주는 공식적 증명을 제시합니다. 또한, 이상화된 용량 가정 하에서 프레임워크가 베이지 최적 조건부 분포를 회복함을 보였습니다.
4. 해석 가능하고 안전한 추론: 이 프레임워크는 모든 결정에 대한 투명한 인과적 감사 추적을 제공합니다. OOD 안전 기각을 트리거하기 위해 내재적 디리클레 정밀도를 활용하여 환각을 방지합니다.
5. 자원 합리적 확장: 자율 제어를 위한 시간적 기억 (NBSR-Mem) 통합을 위해 DAG 위상 구조를 성공적으로 확장하고, 비용 인식 베이지안 최적 실험 설계 (AR-NBSR) 를 위해 자기회귀 상태 기계로 공식화했습니다.

4. 실험 결과

이 프레임워크는 다섯 가지 다양한 도메인에서 평가되었습니다:

• 시각 분류 (CIFAR-10): NBSR 은 **96.74%**의 최고 정확도를 달성하여 평탄한 ResNet-18(96.60%) 과 희소 MoE(96.43%) 를 모두 능가했습니다. 특히, 기준 모델 (~0.027) 에 비해 0.015로 현저히 낮은 기대 보정 오차 (ECE) 를 달성했습니다. 이 모델은 정확도 저하 없이 Depth 1 에서 90% 조기 종료를 보여 자원 합리성을 입증했습니다.
• 구조화된 의료 진단: 임상 분업 작업에서 NBSR 은 환자별, 경로 의존적 특징 귀속을 제공하면서도 평탄한 MLP(97.62%) 와 동일한 진단 정확도를 달성했습니다. 모호하지 않은 경우 평균 추론 깊이를 2.0 에서 1.0 으로 성공적으로 줄여 성능 손실 없이 추론 시간을 단축했습니다.
• 언어 모델링: 통제된 구문 - 의미적 소거 작업에서 NBSR 은 생성 능력 (Perplexity 13.81 대 기준 13.43) 을 유지하면서 투명한 라우팅 흔적 (예: 구문 대 의미 전문가 구분) 을 노출했습니다. 표준 소프트맥스 모델이 환각을 일으키는 OOD 프롬프트에서 기각할 수 있는 능력을 입증했습니다.
• 부분 관측 가능 제어 (POMDP): 공간적 실증이 있는 항해 작업에서 NBSR-Mem(순환 기억 통합) 은 100% 성공률을 달성하여 블랙박스 CNN-GRU 의 성능과 일치했습니다. 블랙박스 기준 모델과 달리, NBSR-Mem 은 "외계 위험" OOD 입력을 성공적으로 감지하고 충돌 대신 안전한 정지 (100% 기각률) 를 트리거했습니다.
• 능동적 임상 분업 (BOED): AR-NBSR 공식은 능동 학습 에이전트로서 단위 비용당 정보 획득을 극대화하기 위해 진단 검사를 선택하는 법을 학습했습니다. 탐욕적 기준 모델 ($60-$80) 에 비해 평균 비용 (~$45-$50) 이 현저히 낮으면서 최고 진단 정확도를 달성하여, 비단시적이고 자원 합리적인 계획을 입증했습니다.

5. 중요성 및 주장

이 논문은 NBSR 이 정적이며 단일한 딥러닝에서 능동적이고 순차적인 특징 획득 패러다임으로의 근본적 전환을 나타낸다고 주장합니다. 그 중요성은 세 가지 이전에 분리되었던 개념의 통합에 있습니다:

1. 조건부 실행: 소프트하고 병렬적인 평균화에서 하드하고 경로 의존적인 라우팅으로의 전환.
2. 증거적 불확실성: 불확실성을 보조 진단이 아닌 조기 종료와 기각을 통해 계산을 능동적으로 제어하는 상태 변수로 취급.
3. 순차적 추론: 중간 상태와 전문가 기여도가 검사 가능한 전향적 인과 믿음 궤적로서 추론을 모델링.

저자들은 NBSR 이 해석 가능하고, 모듈화되며, 자원 합리적인 에이전트형 AI를 위한 수학적으로 근거 있는 프레임워크를 제공한다고 주장합니다. 전문가들이 소프트하게 평균화되는 것이 아니라 선택적으로 쿼리되고 불확실성이 상태에 내재되도록 보장함으로써, 이 프레임워크는 정확할 뿐만 아니라 투명하고 안전하며 계산적으로 효율적인 AI 시스템으로 가는 길을 제시합니다. 논문은 NBSR 이 현재 특정 벤치마크에서 검증되었지만, 그 아키텍처는 신경 - 심볼릭 통합, 디리클레 과정을 통한 무제한 위상 구조, 그리고 동적 기술 습득으로의 미래 확장을 자연스럽게 지원한다고 결론지었습니다.