Internal-state criticality in Bayesian-inverse-Bayesian inference

기술 요약: 베이지안-역-베이지안 추론에서의 내부 상태 임계성 (Internal-State Criticality)

문제 제기
최근의 경험적 및 이론적 연구는 임계성(criticality)과 추론 역학(inference dynamics) 사이의 수렴을 시사하며, 신경 기록 및 생물학적 채집 행동은 종종 임계점 근처에서 헤비 테일(heavy-tailed, 멱법칙) 통계를 나타낸다. 그러나 기존 문헌은 임계성의 징후를 식별하거나 추론된 모델이 임계 표면 근처에 위치하는 경향이 있다고 주장할 뿐, 그 자체의 역학이 본질적으로 임계적인 구체적인 추론 규칙을 제시하지는 못한다. 또한, 표준 게임 플레이 AI(예: Counterfactual Regret Minimization과 같은 내쉬 타겟 최적화 도구)는 정확도와 최적 전략으로의 수렴을 추구하며, 이는 대칭적 제로섬 게임에서 흔히 균등 무작위 플레이(uniform random play)로 붕괴되어, 인간의 의사결정에서 관찰되는 비자명한 헤비 테일 역학을 포착하는 데 실패한다. 본 논문은 외부 튜닝이나 흡수 상태(absorbing state)를 향한 자기 조직화에 의해 강제되는 것이 아니라, 추론 과정 자체에서 임계성이 발생하는 최소한의 생성 모델의 필요성을 다룬다.

방법론
저자들은 반복되는 $N$-핸드 순환 지배 구조의 가위바위보(RPS) 게임 맥락에서 베이지안-역-베이지안(Bayesian–Inverse-Bayesian, BIB) 추론을 제안하고 시뮬레이션한다.

• 모델: BIB 에이전트는 상대에 대한 일련의 가설($N_h$)을 유지한다. 에이전트는 관찰된 결과에 기반하여 표준 베이지안 업데이트(수축, contraction)를 수행한다. 결정적으로, 에이전트는 이를 역-베이지안 단계(이완, relaxation)로 보강한다. 즉, $m$번의 관찰 윈도우 이후, 가장 낮은 사후 확률을 가진 가설을 최근 관찰의 경험적 히스토그램으로 교체한다. 이 "가설 갱신(hypothesis renewal)"은 사후 확률 붕괴(posterior collapse)를 방지하고, 최근의 데이터 흐름을 반영하는 새로운 가설을 주입한다.
• 실험 설계: 연구는 여섯 가지 축을 스윕(sweep)하며 대규모 시뮬레이션($\sim 10^8$ 결정 이벤트)을 수행한다: 게임 크기 ($N \in \{3, 5, 7\}$), 가설 수 ($N_h \in \{3, 6, 10, 15, 20\}$), 윈도우 크기 ($m \in \{10, 20, 50, 100\}$), 초기화 방식(무작위 vs 구조적), 예측 모드(샘플링 vs argmax), 그리고 가능도 날카로움(likelihood sharpness).
• 대조군: 저자들은 BIB를 다음 모델들과 비교한다:
  • Bayes-Only (BO): 역 단계를 수행하지 않고 표준 베이지안 업데이트만 수행하는 에이전트.
  • 표준 학습 모델: Win-Stay/Lose-Shift (WSLS), Q-learning, 그리고 Regret Matching.
  • 무작위 에이전트: 균등 무작위 플레이 (내쉬 균형 베이스라인).
• 관측 지표: 주요 지표는 argmax-지속 시간($T_{argmax}$)으로, 가장 높은 확률을 가진 가설이 변하지 않고 유지되는 기간으로 정의된다. 이차 지표로는 라미나 단계 길이(laminar-phase lengths, 최대 사후 확률이 특정 임계값을 초과하는 기간) 및 유한 크기 스케일링(finite-size scaling) 분석이 포함된다.

주요 결과

1. 보편적 임계 상태: 모든 설계 변형(초기화, 예측 모드) 및 상대 클래스에 걸쳐, BIB 역학은 견고한 내부 임계 상태로 수렴한다. argmax-지속 시간의 분포는 멱법칙(power law)을 따르며, 지수 $\alpha \approx 1.43$을 나타낸다 (표준 윈도우 $m=50, N=3$ 기준).
2. Bayes-Only 추론에서의 부재: 역 단계를 결어한 BO 에이전트는 멱법칙 지속성을 보이지 않는다. 이들의 분포는 스트레치드 엑스포넨셜(stretched exponentials) 또는 로그 노멀(lognormals)에 더 잘 적합되며, 가설 수에 따른 보편적 지수를 갖지 않는다.
3. 보편성 클래스와 드리프트: 측정된 지수 $\alpha \approx 1.43$은 고정된 상수가 아니라, 유한 샘플 잔차 $(N-1)/(2m)$이 소멸함에 따라 체계적으로 보편적 값인 $3/2$로 드리프트한다. 이는 역 단계에 의해 고정된 **제로-드리프트 로그-사후 확률 걷기(zero-drift log-posterior walk)**에 의해 역학이 구동됨을 확인시켜 준다.
4. 유한 크기 스케일링: 시스템은 가설 수 $N_h$에 대해 유한 크기 스케일링을 보인다. 핵심 영역($N_h \in \{6, 10\}$)에서 지수는 불변이다. 컷오프 시간은 $T_{max} \propto N_h^{-z}$ (여기서 $z \approx 1.49$)로 스케일링된다. 사후 확률 확산은 $\sigma \propto N_h^{-\beta}$ (여기서 $\beta \approx 1.07$)로 스케일링되며, 이는 정보 이론적 하한에 근접하여 역 단계가 갱신 역학 속으로 스케일링을 흡수함을 나타낸다.
5. 강건성: 보편성은 게임 차원($N=3, 5, 7$), 게임 구조(Matching Pennies, $N=2$로 테스트됨), 그리고 다양한 관찰 규칙에 걸쳐 유지된다 (단, 역-베이지안 갱신이 활성화되어 있는 경우).
6. 내부 vs 외부: 균등 내쉬(uniform Nash) 상대와 대칭적 BIB-vs-BIB 플레이를 할 때, 헤비 테일 임계성은 내부 가설 공간에 국한된다. 행동적 스트릭(손 모양 반복, 승리 연속 등)은 지수 분포를 보이는데, 이는 대칭적 상대가 행동 주변부를 균등 내쉬로 고정하기 때문이다. 그러나 고정된 편향된(착취 가능한) 상대와 대로할 때, 에이전트의 행동적 스트릭은 멱법칙으로 교차(crossover)하며, 이는 내부 임계성이 유연성의 저장소 역할을 함을 보여준다.

의의 및 주장
본 논문은 표준 베이지안 추론에 역-베이지안 이완 단계를 추가함으로써 생성되는 보편적 임계 구조를 식별했다고 주장한다.

• 메커니즘: 저자들은 이것이 외부 파라미터 튜닝 없이, 가설 공간의 경계를 지속적으로 재구성함으로써 달성되는 내부 상태 임계성의 메커니즘이라고 주장한다. 역 단계는 로그-사후 확률의 단계별 드리프트를 구조적으로 제로로 고정하여, 외부 튜닝 없이도 임계 상태를 만든다.
• SOC와의 구별: SOC(자기 조직화 임계성)와 유사한 특징(척도 불변 통계, 튜닝 불필요)을 공유하지만, 저자들은 BIB가 흡수 임계점으로 자기 조직화하는 것이 아니라 경계 재구성을 통해 임계성을 유지한다는 점을 들어 이를 구분한다. 저자들은 이 역학을 가설 분포의 심플렉스(simplex) 상에서의 **온-오프 간헐성(on-off intermittency)**과 기능적으로 동일시한다.
• 행동적 관련성: 이 연구는 BIB가 인간의 의사결정에서 관찰되는 헤비 테일 지속 통계를 제공하는 생성 모델임을 시사한다. 내쉬 타겟팅 알고리즘이 대칭적 게임에서 무작위성으로 붕괴하는 것과 달리, BIB 에이전트는 사전 학습이나 외부 피팅 없이도 인간의 플레이에서 나타나는 비자명한 헤비 테일 역학을 자연스럽게 재현한다.
• 겸손한 결론: 저자들은 $\alpha \approx 1.43$이 물리적 상수가 아니라 프로토콜 의존적인 추정치임을 명시한다. 그들은 고전적 SOC를 증명하려는 것이 아니라, 자연스러운 파라미터 범위 내에서 견고한 보편적 임계 구조를 규명하고자 한다. 본 연구의 의의는 합리적 최적화(인간의 역학을 포착하는 데 실패함)와 생물학적 시스템에서 관찰되는 임계성 사이의 간극을 메우는 최소한의 생성적 추론 규칙을 제공하는 데 있다.