ML-PWS: Estimating the Mutual Information Between Experimental Time Series Using Neural Networks

당신이 앨리스와 밥이라는 두 사람 사이에서 비밀 메시지가 얼마나 전달되고 있는지 알아내려 한다고 상상해 보세요. 그들은 매우 잡음이 심한 워키토키로 대화하고 있습니다. 과학의 세계에서는 이를 "정보 전송(information transmission)"이라고 부릅니다. 뇌 속의 뉴런이 신호를 보내는 것이든, 주식 시장이 뉴스에 반응하는 것이든, 혹은 세포가 환경을 감지하는 것이든, 과학자들은 알고 싶어 합니다: 이야기가 얼마나 빠르고 명확하게 전달되고 있는가? 이를 측정하는 표준적인 방법은 "정보율(information rate)"이라고 불립니다. 이것은 앨리스가 말하는 고유한 단어들을 초당 몇 개나 말할 수 있는지, 정적과 오해를 제외하고 밥이 실제로 이해할 수 있는 단어의 수를 세는 것과 같습니다.

문제는 현실 세계의 신호가 단순한 단어가 아니라는 점입니다. 그것들은 매 밀리초마다 변하는 복잡하고 뒤틀린 데이터의 경로입니다. 이러한 복잡하고 고차원적인 경로에 대한 정보율을 계산하려고 시도하는 것은 마치 허리케인이 몰아치는 해변에서 모래알 하나하나를 세려는 것과 같습니다. 전통적인 수학적 방법들은 데이터가 너무 복잡해지면 무너지기 일쑤이며, 너무 많이 추측하거나 노이즈 속에 갇혀버리곤 합니다. 과학자들은 게임의 정확한 규칙을 미리 알지 못하더라도, 데이터 자체로부터 이 "정보율"을 직접 측정할 수 있는 방법을 찾아왔습니다.

여기서 연구자 Manuel Reinhardt, Gašper Tkačik, Pieter Rein ten Wolde가 개발한 ML-PWS라는 새로운 방법이 등장합니다. 이들의 접근 방식은 영리한 2단계 마술 쇼라고 생각하면 됩니다. 먼저, 그들은 "생성 모델(generative model)"—즉, 아주 똑똑한 학생 역할을 하는 일종의 인공지능—을 사용하여 복잡한 데이터를 연구하고 시스템이 어떻게 작동하는지 학습합니다. 이는 학생이 앨리스와 밥의 대화를 몇 시간 동안 지켜본 뒤, 그들의 대화 스타일을 완벽하게 시뮬레이션하는 것과 같습니다. 하지만 반전이 있습니다. 시뮬레이션을 갖는 것만으로는 정밀한 숫자를 얻기에 충분하지 않습니다.

그 단계에서 **경로 가중치 샘플링(Path Weight Sampling, PWS)**이라 불리는 두 번째 단계가 무대에 등장합니다. AI 학생이 가능한 모든 대화의 지도를 만들었다고 상상해 보세요. PWS는 이 지도를 따라 엄격하게 걸으며, 대화가 취할 수 있었던 모든 가능한 경로를 확인하여 그 경로가 얼마나 일어날 법한지를 체크하는 정교한 수학적 기법입니다. AI가 학습한 "지도"와 이 세심한 수학적 탐색을 결합함으로써, 연구자들은 정보율에 대한 **엄격한 하한선(rigorous lower bound)**을 계산할 수 있습니다. 쉬운 말로 하면, 그들은 "정보는 적어도 이 정도의 속도로 흐르고 있다"라고 절대적인 확신을 가지고 말할 수 있게 됩니다. 그들은 이미 정답을 알고 있는 가짜 데이터를 통해 이 방법이 목표를 완벽하게 맞춘다는 것을 증명했습니다. 반면 다른 인기 있는 방법들은 너무 낮게 추측하거나 답을 틀리기도 했습니다. 심지어 그들은 이 방법이 실제 세포들이 얼마나 많은 정보를 공유하는지를 측정하여, 세포들이 함께 작동할 때 때때로 내용을 반복하며 이것이 전체 정보 속도를 낮춘다는 사실까지 밝혀냈습니다.

핵심 아이디어: 규칙을 배워 비밀을 세는 법

이 논문은 다음과 같은 까다로운 문제를 다룹니다: 시스템의 근저에 깔린 규칙을 모를 때, 시스템을 통해 얼마나 많은 정보가 흐르는지 어떻게 측정할 것인가? 보통 "정보율"을 계산하려면 가능한 모든 결과의 정확한 확률을 알아야 합니다. 만약 시스템에 대한 수학적 모델(예: 뉴런이 발화하는 방식을 설명하는 방정식 세트)이 있다면, 경로 가중치 샘플링(PWS) 기술을 사용하여 정확한 답을 얻을 수 있습니다. 이는 보드게임의 규칙서를 가지고 있는 것과 같습니다. 규칙서가 있다면 승리 확률을 완벽하게 계산할 수 있습니다.

하지만 현실 세계에서 우리는 규칙서를 갖는 경우가 거의 없습니다. 우리가 가진 것은 오직 "시계열 데이터(time-series data)"—즉, 일어난 일에 대한 기록뿐입니다. 우리는 입력(자극)과 출력(반응)을 보지만, 그 둘을 연결하는 숨겨 된 수학적 원리는 알지 못합니다. 이전의 방법들은 근사치(예: 모든 것이 단순한 종 모양 곡선이라고 가정하는 것)를 사용하여 규칙을 추측하거나, 종종 신뢰할 수 없는 결과를 내놓는 다른 머신러닝 기법들을 사용했습니다. 이들은 정보를 과소평가하거나 데이터가 너무 복잡해지면 완전히 실패하곤 했습니다.

그 해결책은 두 세계의 장점을 결합한 하이브리드 방법인 ML-PWS입니다.

1. 탐정 (머신 러닝): 먼저, 실험적인 시계열 데이터를 신경망에 입력합니다. 이 네트워크는 "생성 모델"이 되도록 훈련됩니다. 이 네트워크는 단순히 데이터를 암기하는 것이 아니라, *조건부 확률(conditional probability)*을 학습합니다. 우리의 워키토키 비유를 빌리자면, 네트워크는 "만약 앨리스가 이 특정 문구를 말한다면, 밥이 저 특정 문구를 들을 확률은 얼마인가?"를 학습합니다. 네트워크는 입력의 전체 이력과 이전의 출력들을 바탕으로 다음 출력을 예측하는 법을 배웁니다. 즉, AI가 대화의 "스타일"을 아주 잘 배워서 다음 단어를 높은 정확도로 예측할 수 있게 되는 것입니다.
2. 판사 (경로 가중치 샘플링): 일단 AI가 이 스타일을 학습하고 나면, 연구자들은 거기서 멈추지 않습니다. 그들은 AI의 예측을 PWS 기법을 위한 "규칙서"로 사용합니다. AI가 조건부 확률(입력이 주어졌을 때 출력이 나타날 가능성)을 학습했기 때문에, PWS 방법은 이제 입력을 대상으로 "한계화(marginalize)"할 수 있습니다. 이는 AI가 예측한 모든 가능성을 합산함으로써, 입력이 무엇이었든 상관없이 출력이 발생할 총 확률을 계산할 수 있다는 뜻입니다.

왜 중요한가: "하한선"의 보장

이 논문의 가장 흥미로운 부분은 보장에 있습니다. 정보를 측정하는 많은 머신러닝 방법은 "블랙박스"와 같습니다. 실행하면 숫자를 내놓지만, 그 숫자가 너무 높은지, 낮은지, 혹은 운 좋게 맞은 것인지 알 수 없습니다.

저자들은 자신들의 방법이 **엄격한 하한선(rigorous lower bound)**을 제공한다는 것을 수학적으로 증명했습니다. 이는 그들이 계산한 숫자가 항상 실제 정보율보다 작거나 같음을 의미합니다. 약간 보수적일 수는 있지만(진실보다 낮게 측정할 수 있음), 실제 존재하는 것보다 정보가 더 많다고 거짓말을 하지는 않습니다. 이는 과학자들에게 안전하고 신뢰할 수 있는 바닥을 제공하기 때문에 매우 중요합니다. 만약 그들이 "정보율은 적어도 초당 5비트이다"라고 말한다면, 그 정보가 0은 아니라는 사실을 확실히 알 수 있습니다.

그들은 이미 정답(ground truth)을 알고 있는 세 가지 합성 시스템(알려진 수학적 모델로 생성된 가짜 데이터)을 통해 테스트를 진행했습니다.

• 테스트: ML-PWS를 가우시안 근사(모든 것이 단순한 곡선이라고 가정함), DoE(차이 엔트로피), 그리고 MINE나 InfoNCE와 같은 변분 추정기(variational estimators)와 같은 다른 인기 있는 방법들과 비교했습니다.
• 결과: 거의 모든 경우에서 ML-PWS가 가장 정확했습니다. ML-PWS는 실제 정답에 놀라울 정도로 근접했습니다.
  • 가우시안 근사는 시스템이 비선형적일 때(입력과 출력의 관계가 직선이 아닐 때) 실패했습니다.
  • 변분 추정기(MINE, InfoNCE 등)는 "천장"에 부딪혔습니다. 데이터가 너무 복잡해지거나 궤적이 길어지면 수학적 한계에 부딪혀 높은 정보율을 측정하지 못했습니다. 그들은 실제로는 훨씬 높음에도 불구하고, "최대 이 정도다"라고 포기해 버리는 모습을 보였습니다.
  • DoE는 가끔 정보를 과대평가하여, 너무 높은 숫자를 내놓는 등 신뢰할 수 없는 결과를 보여주었습니다.

실제 적용: 뉴런의 소리를 듣다

이것이 단순한 장난감이 아님을 보여주기 위해, 저자들은 실제 생물학적 데이터인 도롱뇽의 망막 신경절 세포 50개의 기록에 ML-PWS를 적용했습니다. 이 세포들은 화면 위에서 움직이는 막대를 관찰하고 있었습니다.

• 설정: 연구자들은 움직이는 막대의 패턴을 바탕으로 이 뉴런들의 발화 패턴을 예측하도록 신경망을 훈련시켰습니다.
• 발견: 그들은 개별 뉴런의 정보율과 전체 집단이 함께 작동할 때의 정보율을 계산했습니다.
• 놀라운 사실: 집단 전체를 살펴보았을 때, 전체 정보율이 개별 뉴런들의 정보율 합보다 낮다는 것을 발견했습니다. 이는 뉴런들이 "중복적(redundant)"이었기 때문입니다. 즉, 그들은 모두 똑같은 말을 하고 있었습니다. 집단이 새로운 정보를 더하는 것이 아니라, 단지 반복하고 있었던 것입니다.
• 채널 용량: 또한 그들은 "어떤 종류의 움직이는 막대가 가장 많은 정보를 전달할 수 있을까?"라는 질문에 답하기 위해 모델을 최적화했습니다. 그 결과, 실험에서 사용된 방식보다 훨씬 더 많은 정보를 전달할 수 있는 특정 패턴을 찾아냈습니다. 이는 도롱뇽의 시각 체계가 세상이 다른 방식으로 움직여 준다면 훨씬 더 효율적일 수 있음을 시사합니다.

결론

이 논문은 단순히 추측하는 법을 제시하는 것이 아니라, 아는 법을 제시합니다. 기계에게 시스템의 규칙을 배우게 하고, 그 학습된 규칙을 바탕으로 엄격한 수학을 사용하여 정보를 세는 방식을 통해, 저자들은 강력하면서도 정직한 도구를 만들어냈습니다. 이 도구는 자신이 모든 것을 알지 못할 때는 (하한선을 제공함으로써) 솔직하게 인정하지만, 자신이 아는 것에 대해서는 확실함을 보장합니다. 뇌에서부터 주식 시장, 공학 장치에 이르기까지 복잡한 시스템을 통해 정보가 어떻게 흐르는지 이해하려는 모든 이들에게, 이 방법은 데이터의 바다 속에서 신뢰할 수 있는 나침반이 되어줄 것입니다.