A framework for the use of generative modelling in non-equilibrium statistical mechanics

이 논문은 생성 모델과 변분 자유 에너지 원리를 사용하여 비평형 및 자기 조직화 시스템을 모델링하기 위한 프레임워크를 제안하며, 이는 시스템이 문자 그대로 추론을 수행할 필요 없이 변분 추론의 한 형태로서 시스템 역학에 대한 다루기 쉽고 간결한 설명을 제공한다.

핵심

큰 그림: "마치 ~인 것처럼" 게임

하늘에서 새 떼가 소용돌이치며 날아가는 모습을 보고 있다고 상상해 보세요. 과학자에게 이 새들은 바람, 중력, 근육의 힘에 따라 움직이는 물리적 객체일 뿐입니다. 하지만 이 논문은 이들을 바라보는 다른 방식을 제안합니다.

저자들은 우리가 이 새들이 마치 수학을 하고 있는 것처럼 묘사할 수 있다고 주장합니다. 구체적으로, 우리는 새들이 끊임없이 자신이 어디에 있어야 하는지 추측하고, 그 추측이 현실과 일치하도록 자신의 비행을 조정하고 있다고 가정할 수 있습니다. 새들이 하늘에 앉아 미적분(calculus)을 하고 있는 것은 아닙니다. 그들은 그저 물리적인 객체일 뿐입니다. 하지만 그들이 '추측하고 있다'고 가정하며 묘사하는 것은 우리(과학자들)가 그들의 움직임을 이해하고 예측하는 데 훨씬 더 쉽습니다.

이 논문은 이를 **자유 에너지 원리(Free Energy Principle, FEP)**라고 부릅니다. 이는 복잡하고 무질서한 시스템(세포, 뇌, 심지어 날씨까지)을 마치 '놀라움(surprise)'을 최소화하려고 노력하는 것처럼 모델링할 수 있게 해주는 도구입니다.

핵심 개념: "마르코프 블랭킷(Markov Blanket)" (보이지 않는 벽)

이것이 어떻게 작동하는지 이해하기 위해, 아주 특별한 벽이 있는 집을 상상해 보세요.

• 집 안: "내부 상태" (그곳에 사는 가족).
• 집 밖: "외부 상태" (날씨, 이웃, 세상).
• 벽: "마르코프 블랭킷". 이것은 내부와 외부를 구분하는 경계(감각 기관이나 피부 같은 것)입니다.

이 벽에는 두 가지 유형의 창문이 있습니다:

1. 감각 창문: 밖을 볼 수는 있지만, 외부를 직접 만질 수는 없습니다.
2. 능동적 문: 외부를 밀 수 있지만(예: 공기를 들이기 위해 창문을 여는 것), 그 창문을 통해 밖을 볼 수는 없습니다.

논문은 만약 어떤 시스템이 이런 종류의 벽을 가지고 있다면, 그 시스템은 자연스럽게 감각 창문을 통해 들어오는 정보에 대해 "놀라지" 않는 상태를 유지하려는 경향이 있다고 주장합니다. 만약 물고기가 물속에 있다면, 물고기는 축축함을 느낄 것이라고 기대합니다. 만약 갑자기 건조함을 느낀다면(높은 놀라움), 그것은 위험한 상황입니다. 시스템은 자연스럽게 "축축한" 영역에 머물도록 움직입니다.

마법의 기술: "놀라움(Surprisal)"과 "자유 에너지(Free Energy)"

저자들은 두 가지 핵심 개념을 도입합니다.

1. 놀라움(Surprisal): 시스템이 현재 상황에 대해 얼마나 충격을 받았는지를 나타냅니다. 당신이 물고기이고 물속에 있다면, 당신의 놀라움은 낮습니다. 만약 육지에 있다면, 당신의 놀라움은 높습니다.
2. 변분 자유 에너지(Variational Free Energy): 이것은 놀라움에 대한 수학적인 "상한선(upper bound)"입니다. 이것을 하나의 성적표라고 생각하세요.
   • 시스템은 자신의 놀라움이 정확히 몇 점인지 알지 못합니다(세상 전체를 볼 수 없기 때문입니다).
   • 대신, 시스템은 '최선의 추측' 모델을 사용하여 '자유 에너지'라는 성적표를 계산합니다.
   • 논문은 물리적 시스템이 자연스럽게 이 성적표를 최소화하는 방향으로 움직인다고 주장합니다.

비유: 당신이 맵 전체를 볼 수 없는 비디오 게임을 하고 있다고 상상해 보세요. 당신은 캐릭터 주변의 작은 원형 영역만 볼 수 있습니다. 당신은 절벽 아래로 떨어지는 것을 피하고 싶습니다. 당신은 절벽이 정확히 어디에 있는지 모르지만, 절벽이 있을 법한 곳에 대한 "예감(hunch)"(생성 모델)을 가지고 있습니다. 당신은 그 예감을 바탕으로 절벽에서 떨어질 '위험'을 최소화하기 위해 움직입니다. 논문은 물리적 객체들이 생각해서가 아니라, 그렇게 만들어졌기 때문에 자동으로 이 작업을 수행한다고 말합니다.

"지도 vs 영토"의 구분

이것은 이 논문이 전달하는 가장 중요한 철학적 지점입니다.

• 영토(The Territory): 실제 세상 (실제 물고기, 실제 세포, 실제 물리 법칙).
• 지도(The Map): 과학자의 수학적 모델.

비평가들은 종-종 이렇게 말합니다: "잠깐! 당신은 물고기가 머릿속에 지도를 가지고 있다고 말하는 건가요? 그건 틀렸어요! 물고기는 그냥 물고기일 뿐입니다."

저자들은 이렇게 답합니다: "아니요, 저희는 그렇게 말하는 것이 아닙니다."

그들은 지도(우리의 수학)가 영토를 설명하기 위해 사용하는 도구일 뿐이라고 주장합니다.

• 우리는 "물고기는 마치 물속에 머물려고 노력하는 것처럼 행동한다"라고 적힌 지도를 만들 수 있습니다.
• 이것이 물고기가 실제로 "나는 반드시 젖어 있어야 해"라고 생각한다는 뜻은 아닙니다.
• 단지 우리가 이 "마치 ~인 것처럼"이라는 논리를 사용하여 물고기를 묘사하면, 그 수학적 모델이 완벽하게 작동한다는 뜻입니다.

이 논문은 이를 "수축적(deflationary)" 관점이라고 부릅니다. 우리는 물고기에게 뇌나 영혼을 부여하는 것이 아닙니다. 우리는 단지 그 움직임을 설명하기 위해 똑똑한 수학적 트릭(변분 추론)을 사용하는 것뿐입니다. "추론"은 물고기가 아니라 우리의 모델 속에서 일어납니다.

사례 연구: 실제 적용 방식

이 논문은 두 가지 컴퓨터 시뮬레이션을 통해 이 아이디어를 테스트합니다.

1. 세포 형태 형성 (신체 만들기):

   • 동일하고 미분되지 않은 세포들의 집단을 상상해 보세요.
   • 과학자들은 그들에게 "목표"(머리, 몸통, 꼬리가 어떻게 생겨야 하는지에 대한 지도)를 줍니다.
   • 세포들은 설계도를 가지고 있지 않습니다. 대신, 그들은 "자유 에너지" 규칙을 사용합니다. 그들은 자신이 있는 위치에 대한 "놀라움"을 최소화하기 위해 움직이고 화학적 신호를 변화시킵니다.
   • 결과: 세포들은 자신이 있는 위치에 대한 "놀라움"을 줄이려는 노력만으로도, 스스로 조직화되어 머리, 몸통, 꼬리를 형성합니다.

2. 주기적으로 발화하는 세포 (리듬):

   • 특정 리듬(심장 박동 같은)에 맞춰 발화해야 하는 세포 고리를 상상해 보세요.
   • 과학자들은 "목표 파동"(사인파)을 설정합니다.
   • 세포들은 자신이 느끼는 것과 "기대"하는 것 사이의 오차를 최소화하면서, 이 파동에 맞춰 발화 속도를 조절합니다.
   • 결과: 세포들은 완벽하고 안정적인 리듬에 고정되며, 마치 미래의 박자를 예측하는 것처럼 행동합니다.

결론: 지도의 지도

논문은 영리한 반전과 함께 결론을 맺습니다.

만약 "영토"가 실제 세상이고, "지도"가 우리의 과학적 모델이라면...

• 자유 에너지 원리는 **지도의 지도(Map of Maps)**입니다.

이것은 다음과 같이 말해주는 규칙입니다: "존재하고 유지되는 모든 물리적 시스템은, 관찰자의 관점에서 볼 때 마치 놀라움을 최소화하려고 노력하는 것처럼 보여야 한다."

그 시스템이 바위든, 세포든, 인간의 뇌든 상관없습니다. 만약 그 시스템이 경계(마르코프 블랭킷)를 가지고 있고 안정적으로 유지된다면, 우리는 이 "마치 ~인 것처럼"이라는 논리를 사용하여 그것을 설명할 수 있습니다. 이 논문은 바위가 의식을 가지고 있다고 주장하는 것이 아닙니다. 우리의 최선의 방법은 바위를 마치 자기 환경에 대한 모델인 것처럼 취급하여 그 바위를 이해하는 것이라고 주장하는 것입니다.

한 문장 요약

이 논문은 어떤 안정적인 물리적 시스템(세포나 기계 등)을, 그 시스템이 실제로 생각하기 때문이 아니라, 과학자가 세상을 모델링하는 가장 강력하고 정확한 방법이기 때문에, 마치 시스템이 자신의 상태를 끊임없이 추측하고 수정하며 "놀라움"을 피하려고 노력하는 것처럼 묘사할 수 있는 수학적 프레임워크를 제안합니다.

기술 요약

기술 요약: 비평형 통계 역학에서의 생성 모델링 활용을 위한 프레임워크

문제 제기
본 논문은 결합된 객체들(예: 입자, 세포 또는 개체군)로 구성된 개방형 비평형 시스템을 수학적으로 모델링하는 과제를 다룹니다. 전통적인 접근 방식은 종종 명시적인 확률 역학계를 정의하는 데 의존하는데, 이는 계산적으로 다루기 어렵고 결합된 시스템이 왜 특정한 방식으로 진화하는지에 대한 해석적 근거를 제시하기 어렵습니다. 저자들은 물리적 객체 자체가 반드시 문자 그대로의 추론을 수행할 필요 없이, 결합의 특성에 기반하여 상호작용하는 시스템의 역학에 대해 간결한 설명을 제공하는 프레임워크를 추구합니다. 본 논문에서 다루는 핵심적인 철학적 및 기술적 난제는 '지도-영역 오류(map-territory fallacy)'에 대한 비판, 즉 자유 에너지 원리(FEP) 모델링이 과학적 모델(지도)과 물리적 시스템 자체(영역)를 혼동하여 추론 과정을 객체의 실제적인 특징으로 오인한다는 주장입니다.

방법론
저자들은 결합된 시스템의 상태(또는 궤적) 사이의 의존 관계를 나타내기 위해 생성 모델을 활용하는 **변분 자유 에너지 원리(FEP)**에 기반한 프레임워크를 제안합니다. 이 방법론은 다음 단계로 진행됩니다:

1. 마르코프 블랭킷 분할: 시스템을 내부 상태($\mu$), 외부 상태($\eta$), 그리고 감각 상태와 능동 상태로 구성된 마르코프 블랭킷($b$)으로 분할합니다. 이 분할은 블랭킷이 주어졌을 때 내부 상태와 외부 상태 사이의 조건부 독립성을 확립합니다.
2. 생성 모델링: 결합된 시스템의 통계적 의존성을 인코딩하는 결합 확률 분포 $p(\eta, b, \mu)$를 생성 모델로 정의합니다.
3. 변분 추론으로서의 역학: 저자들은 시스템이 비평형 정상 상태(NESS) 밀도를 가지고 있다면, 그 역학이 변분 자유 에너지($F$)에 대한 경사 흐름(gradient flow)으로 표현될 수 있음을 입증합니다.
   • 저자들은 확률 미분 방정식(SDE)을 솔레노이드(skew-symmetric) 성분과 소산(positive semi-definite) 성분으로 분해하는 방식을 사용합니다.
   • 시스템이 평균적으로 놀람(surprisal)(음의 로그 확률)을 최소화한다는 가정과, 변분 밀도 $q$와 실제 사후 분포 사이의 쿨백-라이블러(KL) 발산이 0이 된다는 가정 하에, 내부 상태의 역학은 $F$에 대한 경사 흐름을 따름이 증명됩니다.
   • 결정적으로, $F$는 시스템 역학의 리야푸노프 함수(Lyapunov function) 역할을 하여, 안정성을 보장하고 놀람에 대한 다루기 쉬운 상한을 제공합니다.
4. 모델의 구분: 본 프레임키는 다음을 엄격히 구분합니다:
   • 생성 모델 (Generative Model): 관찰자에 의해 구축된 과학적 모델 (즉, "지도").
   • 변분 밀도 (Variational Density): 시스템의 내부 상태에 의해 매개변수화된 외부 상태에 대한 확률 분포.
   • 물리적 시스템 (Physical System): 실제 객체 (즉, "영역").

주요 기여 및 결과

• 형식적 계산 가능성: 본 논문은 시스템이 마르코프 블랭킷을 가지고 있으며, 역학이 솔레노이드 흐름과 소산 흐름으로 분해될 수 있는 경우(식 2.1.1에 따름), 그 행동을 변분 자유 에너지 최소화로 수학적으로 재구성할 수 있음을 확립합니다. 이를 통해 복잡한 비선형 결합 역학을 통계적 추론과 경사 흐름이라는 더 다루기 쉬운 수학으로 설명할 수 있습니다.
• 경험적 예시 (토이 모델): 저자들은 FEP의 건설적 적용을 보여주기 위해 두 가지 시뮬레이션을 제시합니다:
  1. 세포 형태 형성 (Cellular Morphogenesis): 여덟 개의 미분화된 세포가 이동하며 분화하여 표적 형태(머리, 몸통, 꼬리)를 형성하는 시뮬레이션입니다. 세포들에게 표적 위치와 신호 프로파일을 예측하는 생성 모델을 부여함으로써 시스템은 자기 조직화를 이룹니다. 세포들의 능동 상태(위치 및 신호 전달)는 자유 에너지를 최소화하며, 이는 효과적으로 앙상블 내에서의 고유한 정체성과 위치를 "추론"하는 과정이 됩니다.
  2. 주기적으로 발화하는 세포 (Periodically-Firing Cells): 갭 결합(gap-junction)으로 연결된 고리 형태의 흥분성 세포들이 주기적인 표적 파형을 인코딩하는 생성 모델을 가진 경우입니다. 내부 상태는 주기의 위상을 추론하고, 능동 상태(이온 채널 게이팅)는 예측 오차를 최소화합니다. 시스템은 고정점이 아닌 리미트 사이클(안정적인 순환 궤도)로 수렴하며, 이는 FEP 역학이 진동하는 자기 조직화를 설명할 수 있음을 보여줍니다.
• 지도-영역 오류의 해결: 본 논문은 FEP가 지도-영역 오류를 범하지 않는다고 주장합니다. 시스템이 "추론을 수행한다"는 주장은 관찰자의 생성 모델에 의해 제공되는 '마치 ~인 것처럼(as if)'의 묘사입니다. 시스템 자체는 반드시 기울기를 계산하거나 베이지안 업데이트를 수행할 필요가 없습니다. 다만, 시스템의 물리적 역학이 그러한 과정과 수학적으로 동등할 뿐입니다. "추론"은 물리적 객체의 실제 메커니즘이 아니라, 그 시스템에 대한 모델의 속성입니다.

의의 및 주장
저자들은 이 연구를 FEP의 기초 원칙으로 돌아가는 작업으로 규정하며, 이를 보편적인 경험 법칙이라기보다 건설적 프레임워크로서 강조합니다.

• 제한된 범위: 논문은 제시된 예시들이 FEP의 건설적 사용을 보여주기 위해 설계된 "작업 예시(worked examples)"이지, FEP의 보편성을 독립적으로 검증한 것이 아님을 명시합니다. 이 예시들은 필요한 분해(마르코프 블랭킷, 특정 $Q$ 및 $\Gamma$ 장)를 갖도록 설계되어, 요구되는 조건이 충족될 때 형식이 어떻게 작동하는지 보여주기 위해 만들어졌습니다.
• "지도의 지도 (A Map of Maps)": 중심적인 철학적 주장은 FEP가 "마치 지도처럼 행동하는 영역의 그 부분을 묘사하는 지도"를 제공한다는 것입니다. FEP는 물리적 과정의 모델이 갖추어야 할 궁극적인 설명적 제약 조건을 제공합니다. 생성 모델을 하위 시스템들이 서로를 어떻게 추적하는지 설명하는 과학적 도구로 취급함으로써, FFP는 알려진 관계를 존중하면서도 모델의 추론적 측면을 물리적 객체의 실제 특징으로 실체화하지 않고 중첩된 모델을 구축할 수 있게 합니다.
• 철학적 정렬: 이 프레임워크는 통계 역학과 모델링이 거시적 제약 조건 하에서 감각 스트림과 미시 상태를 이해하는 과정이라는 비트겐슈타인과 제인스의 견해와 궤를 같이합니다. FEP는 물리적 시스템과 그 시스템을 설명하기 위해 사용되는 모델 사이의 관계를 공식화하는 원칙적인 접근법으로 제시되며, "추론"이 물리적 시스템(영역)의 실제 메커니즘이 아니라 이를 설명하기 위해 사용되는 수학적 기술(지도)에 존재함을 명확히 합니다.

요약하자면, 본 논문은 생성 모델을 사용하여 하위 시스템 간의 관계를 표현하는 것이 상호작용하는 시스템의 역학을 변분 추론으로 읽어낼 수 있는 통계 이론으로 이어진다고 주장합니다. 이는 필요한 조건이 충족될 때, 생성 모델을 과학적 도구로 사용하여 상호작용하는 시스템의 비평형 현상을 모델링할 수 있는 강력하고 다루기 쉬운 도구를 제공하며, 이때 과학적 모델(생성 모델)과 그것이 설명하는 물리적 시스템 사이의 구분을 명확히 유지할 것을 강조합니다.