Quantifying information flow along a stochastic trajectory

본 논문은 시계열 데이터로부터 확률적 정보 흐름 (SIF) 을 추정하는 데 있어 계산적 장벽을 극복하기 위한 확장 가능한 딥러닝 방법을 제안하며, 이론적 모델과 경험적 생물학적 궤적 전반에 걸쳐 협력적 구조의 데이터 기반 지표로서의 유용성을 입증한다.

핵심

혼잡한 무도장을 보고 있다고 상상해 보세요. 과거에 무용수들의 상호작용을 이해하려던 과학자들은 방 뒤쪽에 서서 모든 사람의 움직임을 평균내곤 했습니다. 그들은 "이 두 사람이 서로에 대해 알고 있는 정도는 평균적으로 얼마나 될까?"라고 물었습니다. 이는 전체 방을 흐릿하고 정적인 사진으로 바라보는 것과 같습니다. 이는 전반적인 분위기를 알려주지만, 한 무용수가 이끌고 다른 무용수가 따르는 구체적이고 순간적인 순간들을 놓쳐버립니다.

이 논문은 무도장을 바라보는 새로운 방식을 소개합니다: 확률적 정보 흐름 (Stochastic Information Flow, SIF). 흐릿한 평균 대신, SIF 는 시간에 따라 단일 무용수의 특정 경로를 따라 흐르는 '정보'를 추적합니다. 이는 다음과 같은 질문에 답합니다: "지금 이 무용수는 파트너로부터 새로운 것을 배우고 있는가, 아니면 잊고 있는가?"

간단한 비유를 사용하여 이 논문의 핵심 아이디어를 살펴봅니다:

1. '평균' 사고의 문제점

전통적으로 과학자들은 두 사물이 얼마나 연결되어 있는지 측정하기 위해 '상호 정보 (Mutual Information)'라는 도구를 사용했습니다. 상호 정보를 누군가와 악수하는 대칭적인 악수라고 생각하세요. 누군가와 악수하면 그 악수는 양쪽 모두에게 동일합니다. 이는 누가 움직임을 시작했는지, 혹은 누가 춤을 이끌고 있는지 알려주지 않습니다.

실제 세계에서는 정보가 종종 한 방향으로 흐릅니다. 한 입자가 다른 입자를 '가르칠' 수도 있고, 한 세포가 다른 세포를 '따를' 수도 있습니다. 기존 도구들은 특히 두 사물이 동일할 때 (예: 두 개의 동일한 무용수) 이러한 방향성을 볼 수 없었습니다. 만약 그들이 동일하다면, 기존 도구들은 "아무 일도 일어나지 않는다"고 말했지만, 실제로는 그들이 리더와 추종자의 역할을 끊임없이 바꾸고 있었을 수도 있습니다.

2. 새로운 도구: '확률적' 경로 추적

저자들은 **확률적 정보 흐름 (SIF)**을 제안합니다. 모든 무용수의 손목에 작은 카메라를 부착했다고 상상해 보세요. 이 카메라는 그들이 어디에 있는지뿐만 아니라 그들의 움직임 '이야기'도 기록합니다.

• '배움'의 순간: 무용수 A 가 무용수 B 가 A 의 다음 행동을 예측하는 데 도움이 되는 방식으로 움직이면, 무용수 B 는 무언가를 '배운' 것입니다. SIF 는 이러한 이득을 측정합니다.
• '망각'의 순간: 무용수 A 가 무작위로 움직이면, 무용수 B 는 예측 능력을 상실합니다. SIF 는 이러한 손실을 측정합니다.

이는 매우 중요합니다. 동일한 입자들로 구성된 시스템에서는 '평균' 정보 흐름이 0 일 수 있기 때문입니다 (때로는 A 가 B 를 이끌고, 때로는 B 가 A 를 이끌기 때문). 하지만 SIF 는 **변동 (fluctuations)**을 볼 수 있습니다. SIF 는 "평균은 0 이지만, 바로 이 순간 A 는 B 를 위한 '맥스웰의 악마 (작고 보이지 않는 안내자)'처럼 행동하고 있다"고 말할 수 있습니다.

3. '두 입자' 춤

이 방법이 작동하는지 증명하기 위해, 저자들은 따뜻한 유체 (물 속의 꽃가루와 같은) 에서 튕겨 다니는 스프링으로 연결된 두 입자의 간단한 모델을 테스트했습니다.

• 관측: 그들은 입자들이 원을 그리며 서로를 쫓는 모습을 관찰했습니다. 때로는 한 입자가 멀어지고 다른 입자가 뒤따랐습니다.
• 결과: 입자들이 특정 '포식자 - 먹이' 원운동을 할 때 SIF 가 급증했습니다. 이는 한 입자가 다른 입자에 대한 정보를 적극적으로 '지우려' (도망치려) 하거나 '얻으려' (쫓아오려) 고 있음을 보여주었습니다. 기존 도구들은 단순히 "그들은 그냥 진동하고 있다"고 말했을 뿐이지만, SIF 는 숨겨진 정보의 춤을 드러냈습니다.

4. 'AI' 해결책: 신경망 탐정

큰 문제가 있었습니다: 복잡한 시스템에 대한 SIF 를 계산하는 것은 매우 어렵습니다. 마치 경기장 안의 모든 사람의 정확한 경로를 손으로 계산해 보려는 것과 같습니다. 시스템에 변수가 너무 많다면 (수천 명의 군중처럼), 수학적으로 불가능해집니다.

이를 해결하기 위해 저자들은 **확률적 정보 흐름 신경 추정기 (Neural Estimator of Stochastic Information Flow, NESIF)**를 구축했습니다.

• 비유: 수천 시간의 춤 영상을 지켜보는 초지능 탐정 (신경망) 을 상상해 보세요. 탐정은 수동으로 계산을 하는 대신 정보 흐름의 '패턴'을 인식하도록 학습합니다.
• 작동 원리: AI 는 데이터 (시간에 따른 입자들의 위치) 를 보고 '놀라움' 요소를 예측하는 법을 배웁니다. 만약 AI 가 입자 A 의 현재 움직임을 바탕으로 입자 B 의 다음 움직임을 예측할 수 있다면, 정보가 흐르고 있음을 알게 됩니다.
• 테스트: 그들은 이 AI 를 구슬로 만든 사슬 (목걸이와 같은) 에 테스트했고, 이전 방법들로는 불가능했던 매우 긴 사슬에서도 정보 흐름을 정확하게 측정할 수 있음을 발견했습니다.

5. 실제 적용: 세포의 춤

마지막으로, 그들은 이 AI 탐정을 실제 생물학적 데이터인 좁은 채널을 이동하는 인간 세포에 적용했습니다.

• 설정: 그들은 정상 세포와 암세포 두 가지 유형의 세포를 관찰했습니다. 이 세포들이 서로 부딪히면, 서로를 '미끄러지듯' 지나가거나 방향을 '반전'시켰습니다.
• 놀라운 점: 세포 간의 '평균' 연결을 보면 두 그룹 모두 동일해 보였습니다. 기존 도구들은 차이를 보지 못했습니다.
• SIF 발견: 그러나 AI 는 엄청난 차이를 보았습니다.
  • 암세포는 훨씬 더 많은 정보를 교환했습니다. 서로 미끄러지듯 지나갈 때조차 끊임없이 서로에게 '말'을 걸었습니다.
  • 정상 세포는 매우 적은 정보를 교환했습니다.
  • 구체적으로, 암세포가 방향을 반전할 때 엄청난 양의 정보를 공유한 반면, 정상 세포는 그렇지 않았습니다.

요약

이 논문은 단순히 새로운 수학 공식을 제공하는 것이 아니라, 새로운 안경을 제공합니다.

1. 옛 안경: 사물 간의 평균적이고 정적인 연결을 보여주었습니다 (흐릿한 사진과 같은).
2. 새 안경 (SIF + AI): 순간순간의 역동적인 정보 흐름을 보여줍니다 (고속 비디오와 같은).

이 새로운 방법을 사용하여 저자들은 평균적으로는 동일하고 균형 잡혀 보이는 시스템들조차 개체 수준에서는 숨겨진 혼란스러운 정보 교환의 춤이 일어나고 있음을 보여주었습니다. 그들은 암세포가 상호작용 중 정상 세포보다 훨씬 더 '수다스럽고' 정보에 풍부함을 증명했으며, 이는 이전 방법들로는 보이지 않았던 세부 사항이었습니다.

기술 요약

기술적 요약: 확률적 궤적을 따른 정보 흐름의 정량화

문제 제기
확률적 열역학은 열역학적 양을 궤적 수준의 함수로 재정의하여 작은 시스템을 설명하는 데 성공했습니다. 동시에 정보 이론은 맥스웰의 악마와 같은 역설을 해결하기 위해 이 프레임워크에 통합되었는데, 주로 상호 정보를 통해 이루어졌습니다. 그러나 상호 정보는 대칭적이며 시스템 역학에 대한 명시적 의존성이 부족하여 지향성 있는 정보 흐름을 측정하는 데는 부적합합니다. 반면, "정보 흐름 (IF)"은 방향성을 다루지만, 동일한 부분 시스템의 경우 정상 상태에서 평균화된 양으로 소멸합니다. 부분 시스템이 소스와 수신자 역할을 번갈아 수행할 때 특히 중요한, 변동성이 있는 궤적 단위의 정보 교환을 포착하기 위해 확률적 정보 흐름 (SIF) 개념이 도입되었습니다. 이론적 유용성에도 불구하고, SIF 의 실증적 적용은 계산적 어려움, 특히 계산을 위해 필요한 고차원 정상 상태 확률 분포를 추정하는 데서 발생하는 "차원의 저주"로 인해 방해받아 왔습니다.

방법론
저자들은 정상 상태 분포에 대한 해석적 해를 요구하지 않고 일반적인 시계열 데이터로부터 SIF 를 추정하기 위해 확장 가능한 딥러닝 방법인 확률적 정보 흐름 신경 추정기 (NESIF) 를 제안합니다.

1. 이론적 공식화:

   • $\dot{J}_{X_t}$로 표기되는 SIF 는 부분 시스템의 상태에 대한 확률적 상호 정보 (SMI) 의 시간 미분으로 정의됩니다. 연속 랑주뱅 시스템의 경우, $\dot{J}_X = \nabla_x \ln p_{Y_t|X_t}(x, Y_t)|_{x=X_t} \circ \dot{X}_t$로 표현되며, 여기서 $\circ$는 스트라토노비치 곱을 나타냅니다.
   • SIF 는 궤적 $X_t \to X_{t+dt}$로 인해 부분 시스템 $X$가 $Y$에 대해 갖는 정보의 순간적 변화를 정량화합니다. 양의 값은 $X$가 $Y$에 대해 "학습"함을 나타내고, 음의 값은 "망각"함을 나타냅니다.

2. 신경 추정 (NESIF):

   • 이 방법은 상호 정보 신경 추정기 (MINE) 를 활용합니다. MINE 은 상호 정보의 변분 표현을 이용하여 신경망을 훈련시켜 점별 상호 정보 (PMI), $i_{X,Y}(x,y) = \ln \frac{p_{X,Y}(x,y)}{p_X(x)p_Y(y)}$를 근사합니다.
   • SIF 는 학습된 PMI 의 시간 미분을 근사함으로써 추정됩니다: $\hat{\dot{J}}_{X_t} \approx \frac{i_{\theta^*}(X_{t+\Delta t}, Y_t) - i_{\theta^*}(X_t, Y_t)}{\Delta t}$.
   • 이 접근법은 추정 성능을 최적화하기 위해 $\alpha$-발산 일반화 (부록 C) 를 사용하여 검증되었습니다.

주요 결과
SIF 의 유용성과 NESIF 의 신뢰성은 세 가지 서로 다른 물리 시스템을 통해 입증되었습니다.

1. 정확히 풀 수 있는 두 입자 모델:

   • 열평형 상태에 있는 두 개의 결합된 과감쇠 브라운 입자 시스템에서, 평균화된 IF 는 0 입니다. 그러나 SIF 는 비자명한 궤적 구조를 드러냅니다.
   • 시간 적분된 SIF($J_X$) 는 비가역성의 척도인 확률적 면적 ($A_{XY}$) 과 반상관 관계에 있는 것으로 발견되었습니다.
   • 극단적인 SIF 값을 갖는 궤적은 "포식자 - 피식자"와 같은 추격이나 회피와 같은 특정 역학적 행동에 해당합니다. 이러한 경우, 시스템이 전역 평형 상태에 있음에도 불구하고 한 입자가 다른 입자를 위한 맥스웰의 악마 역할을 하여 확률적으로 정보를 획득하거나 소거합니다.

2. N-비드 조화 사슬:

   • NESIF 는 확장성을 테스트하기 위해 $N$개의 결합된 진동자로 구성된 사슬에 적용되었습니다.
   • 이 방법은 충분한 데이터셋 크기 ($M=10^7$) 가 주어졌을 때, $N=256$까지 SIF 의 스케일된 분산 ($D_{J_{X_1}}$) 을 높은 정확도 ($R^2 \approx 1$) 로 성공적으로 추정했습니다.
   • 이는 NESIF 가 전통적인 히스토그램 기반 방법이 실패하는 고차원 자유도를 처리할 수 있는 신뢰할 수 있고 확장 가능한 추정기임을 확인시켜 줍니다.

3. 쿠라모토 진동자:

   • 반대 방향으로 구동되는 진동자를 가진 노이즈가 있는 쿠라모토 모델에서, 평균 SIF 는 0 근처에 머뭅니다. 그러나 SIF 의 분산은 동기화 위상 전이의 민감한 지표로 작용합니다.
   • SIF 분산은 임계 온도 근처에서 정점을 이루며, 이는 평균 SIF 가 놓친 동기화 위상에서의 증가된 협력적 정보 교환을 반영합니다.

4. 실증적 세포 역학:

   • 이 방법은 상호작용하는 인간 유방 상피 세포 (암성 MDA-MB-231 대 비암성 MCF10A) 의 실증 궤적에 적용되었습니다.
   • 상호 정보는 두 세포 유형을 구별하는 데 실패했지만, SIF 분산은 유의미한 차이를 드러냈습니다. 암성 세포는 빈번한 "미끄러짐" 사건과 "역행" 사건 동안 격렬한 정보 교환에 기인하여 더 높은 SIF 분산을 보였습니다.
   • 이는 SIF 가 복잡하고 비평형적인 생물학적 데이터에서 협력적 구조를 밝혀낼 수 있음을 보여줍니다.

의의 및 주장
이 논문은 SIF 가 상호 정보나 표준 IF 와 같은 평균화된 측정치가 0 이 되거나 역학을 포착하지 못하는 시스템에서 특히, 정보 교환과 맥스웰의 악마 효과에 대한 원칙적이고 궤적 수준의 지표를 제공한다고 주장합니다. 주요 기여는 복잡하고 고차원인 시스템에서 SIF 계산의 계산적 장벽을 극복하는 데이터 기반 프레임워크인 NESIF 의 확립입니다.

저자들은 NESIF 가 혼돈 시스템, 신경망, 생화학 네트워크, 사회경제 시스템 등 다양한 시계열 데이터에 적용 가능한 다재다능한 도구라고 주장합니다. 그들은 SIF 가 평균화된 양으로는 보이지 않는 "새로운 정보 교환 구조"를 드러낼 수 있음을 강조합니다. 이 연구는 평균 수준을 넘어선 집단적 행동의 기반이 되는 협력적 구조를 이해하기 위한 한 걸음으로 제시되며, 현재 방법은 시스템이 정상 상태에 있다고 가정한다는 점에 유의해야 하며, 이는 미래 연구 방향으로서 과도기 상태 분석을 시사합니다.