Hierarchical Autocatalytic Systems as a Bridge between Maximum Entropy Production and Bayesian Posterior Contraction: A Numerical Study with Stochastic-Thermodynamic Bounds

기술 요약: 최대 엔트로피 생성 원리와 베이지안 사후 분포 수축 사이의 가교로서의 계층적 자기촉매 시스템

문제 제기
본 논문은 생명의 열역학적 기초를 다루며, 다음의 세 가지 서로 다른 이론적 프레임워크를 통합하고자 시도한다: (1) 생명체가 내부 질서를 유지하기 위해 엔트로피 수출을 극대화한다는 최대 엔트로피 생성 원리(MEPP) 및 소산 적응(dissipative adaptation), (2) 비평형 전류에 대한 열역학적 불확정성 관계(TUR) 및 열역학적 속도 제한(TSL)과 같은 보편적 경계를 제공하는 확률론적 열역학, (3) 생물학적 자기 조직화와 베이지안 추론(특히 확산 모델 학습) 사이의 형식적 유사성. 이전 연구들이 이러한 개념들을 개별적으로 또는 쌍으로 탐구해 왔으나, 유전적 질서(네겐트로피)의 출현, 엔트로피 생성 비용, 그리고 이러한 과정들의 근본적인 열역학적 경계 대비 효율성을 동시에 입증할 수 있는 구체적인 수치 모델은 부족했다.

방법론
저자들은 NumPy와 PyTorch로 구현된 계층적 자기촉매 반응-확산 모델을 구축하고 분석한다. 이 시스템은 세 개의 층으로 구성된다:

1. 원시 분자 ($a_i$): 환경적 입력값 (예: $CO_2$, 물).
2. 촉매 단백질 ($p_l$): 중간 집단.
3. 거대 고분자 ("유전자" $W^{(k)}_p$): 폴딩 정보를 인코딩하는 고차원 구조.

역학은 질량 작용 화학양론 텐서 $Coef_{ijk}$에 의해 지배되며, 반응 속도는 가장 큰 고분자의 "폴드 안정성 활성(fold-stable activity)"에 의해 조절된다. 이때 활성은 $pal = \tanh(\beta W_{l,:,k} p_p - \theta_l)$로 정의된다. 시스템이 진정한 비평형 상태를 유지하도록 하기 위해, 엄격한 질량 작용 법칙은 $\epsilon$-노이즈 항에 의해 깨진다.

연구는 네 가지 반복적인 모델 변형($v1 \to v4$)을 통해 진행된다:

• v1 & v2: 비자명한 비평형 정상 상태(NESS)를 유지하는 데 실패하거나 단조 감소를 보였던 초기 시도들.
• v3 (계층적 모델): 시스템이 성장과 유전적 다양성을 유지할 수 있는 "생존 섬(survival island)"을 찾기 위해 Optuna의 Tree-structured Parzen Estimator(TPE)를 사용하여 파라미터(예: $\beta, \gamma, \epsilon$, decay rates)를 최적화한 튜닝 가능한 버전.
• v4 (최소 복제자): 계층적 모델에서 관찰된 비효율성이 구조적인 것인지 아니면 크기 의존적인 것인지를 테스트하기 위해 설계된, 단일 사이클의 키네틱 교정(kinetic-proofreading) 유사 모델.

시스템 규모($N, M, L$)를 $(4,3,3)$에서 $(32,8,3)$으로 확장해도 이 경계들은 타이트해지지 않으며, 이는 비효율성이 구조적임을 시사한다. 주요 지표로는 총 엔트로피 생성($\sigma$), 심볼-스트링 투영으로부터 유도된 유전적 섀넌 엔트로피($S_{gene}$), 그리고 성장 및 진화율에 대한 TUR 및 TSL 경계가 계산된다.

주요 기여 및 결과

1. 슈뢰딩거 패턴의 검증:
   계층적 모델(v3)은 환경 엔트로피 생성의 증가($\sigma_{env} \uparrow$)와 유전적 엔트로피의 감소($S_{gene} \downarrow$)가 동시에 발생하는 현상을 자발적으로 보여준다. 시스템은 1 nat의 유전적 질서가 생성될 때마다 약 589 nats의 환경 엔트로피를 수출한다. 이는 MEPP 기반의 적응 논리를 정량적으로 확인하며, 질서 생성이 상당한 열역학적 비용을 수반함을 보여준다.

2. 열역학적 경계의 구조적 느슨함:
   비평형 정상 상태를 유지함에도 불구하고, 계층적 모델은 열역학적 최적성에서 멀리 떨어져 작동한다.

• TUR 곱 (엔트로피 생성으로 정규화된 전류의 분산)은 보편적 하한선인 2보다 $10^4$에서 $10^5$배 더 크다.
• TSL 비율은 그 경계인 1보다 $10^6$에서 $10^8$배 더 크다.
  시스템 규모를 확장해도 이러한 경계는 타이트해지지 않는데, 이는 이 비효율성이 여러 결합된 사이클과 분산된 피드백 루프를 통해 전류를 집계하는 과정에서 발생하는 구조적 문제임을 의미한다. 즉, 분산을 억제하면서도 엔트로피 생성을 줄이지 못하는 구조적 특성 때문이다.

3. 미니멀리즘을 통한 실험적 영역의 회복:
   계층 구조를 단일 사이클의 최소 복제자(v4)로 축소했을 때, TUR 곱은 $\sim 5$로 떨어지며, 이는 E. coli 리보솜이 작동하는 실험적 관찰 영역(하한선보다 약 5배 높게 작동)과 일치한다. 이는 생물학적 복잡성(계층 구조)이 일반성을 위해 필수적이지만, 본질적으로 열역학적 효율성을 희생시킨다는 것을 시사한다.

4. 확산 모델 학습과의 유사성:
   저자들은 자기촉매 시스템과 확산 모델 학습 사이의 형식적 대응 관계를 설정한다:

• 원시 분자 플럭스 $\leftrightarrow$ 데이터 정보 흐름.
• 폴드 활성 ($\tanh$) $\leftrightarrow$ 스코어 네트워크(score network).
• 복제 노이즈 $\leftrightarrow$ 순방향 확산 노이즈(forward-diffusion noise).
• 유전적 엔트로피 수축 ($S_{gene} \downarrow$) $\leftrightarrow$ 사후 분포 수축 ($H[q(\theta|D)] \downarrow$).
  본 논문은 생물학적 세포가 과잉 매개변수화된 신경망과 마찬가지로, 적응성과 일반화 능력을 보존하기 위해 열역학적(또는 정보 이론적) 최적성에서 멀리 떨어진 "게으른(lazy)" 영역에서 작동한다고 가정한다.

의의 및 주장
본 논문은 MEPP, 확률론적 열역학, 그리고 베이지안 추론을 연결하는 "수치적 가교"를 제공한다고 주장한다. 주요 의의는 다음과 같다:

• 생물학적 일반성(계층적 구조)과 열역학적 효율성 사이의 트레이드오프는 이 클래스의 모델 내에서 날카롭고 피할 수 없는 관계이다.
• 생물학적 시스템의 "낭비성"(TUR 경계보다 $10^5$배 높게 작동함)은 설계 결함이 아니라, 복잡한 적응을 위해 필요한 다중 사이클 및 계층적 구조의 구조적 결과이다.
• 이러한 열역학적 비효율성은 현대 딥러닝 시스템의 동작과 평행을 이루며, 엄격한 경계 포화보다 적응성과 일반화를 우선시하는 보편적 원리가 존재함을 시사한다.

저자들은 자신의 결과가 복잡한 시스템에는 보편적인 소산-복제 관계가 존재하지 않는다는 최근의 주장(예: Kolchinsky [12])과 일치하며, 최소 모델의 결과가 리보솜 및 폴리머레이스의 효율성에 대한 실험적 측정값(Piñeros et al. [16])과 부합함을 명시한다. 이 연구는 새로운 실험 프로토콜을 제안하는 것이 아니라, 기존의 생물학적 데이터와 머신 러닝 현상을 확률론적 열역학의 관점에서 해석하기 위한 이론적 프레임워크를 제공한다.