Mutual information-entropy plane: a new quantifier space for time series analysis

복잡계 연구에서, 주식 시장의 요동부터 뇌 속 뉴런의 발화에 이르기까지, 과학자들은 종종 시스템이 얼마나 예측 불가능한지, 그리고 다른 시스템과 얼마나 많은 것을 공유하는지를 측정하는 방법을 찾습니다. 두 가지 강력한 도구가 오랫동안 연구자들이 이 영역을 탐색하는 데 도움을 주었습니다: 엔트로피와 상호 정보량입니다. 엔트로피는 무질서나 무작위성의 척도입니다. 완벽하게 예측 가능한 시계는 낮은 엔트로피를 가지며, 순수한 정적 잡음(static noise) 시스템은 높은 엔로피를 가집니다. 반면, 상호 정보량은 서로 다른 두 시스템이 서로에 대해 얼마나 많은 것을 알려주는지를 측정합니다. 만약 한 시스템의 상태를 아는 것이 다른 시스템의 상태를 높은 정확도로 추측할 수 있게 해준다면, 그들은 많은 상호 정보량을 공유하는 것입니다. 수십 년 동안 과학자들은 이 도구들을 개별적으로 사용하여, 질서 정연하고, 혼돈스러우며, 무작위적인 행동들을 구분하기 위해 지도 위에 그려왔습니다. 그러나 중대한 공백이 남아 있었습니다. 이 도구들이 단일 시스템의 혼돈이나 두 시스템 간의 연결을 설명할 수는 있었지만, 시스템의 내부 불확실성과 다른 시스템과의 연결성을 동시에 보여주지는 못했으며, 어떤 시스템이 다른 시스템을 주도하는지 쉽게 밝혀낼 수도 없었습니다.

아르헨티나의 연구팀은 이제 이러한 관계를 시각화하는 새로운 방법을 제안하여, 이 개념들을 하나의 직관적인 그림으로 결합한 2차원 지도를 만들어냈습니다. 연구진은 무질서의 표준 척도를 공유 정보의 척도와 짝을 지어, 모든 점이 상호 작용하는 한 쌍의 시계열에 대한 완전한 이야기를 담고 있는 평면을 구축했습니다. 이 새로운 접근 방식은 그들이 '상호 정보량-엔트로피 평면'이라 부르는 것으로, 과학자들이 시스템이 얼마나 혼돈스러운지 또는 파트너와 얼마나 밀접하게 연결되어 있는지뿐만 아니라, 영향력의 방향을 결정할 수 있게 해줍니다. 연구진은 이 방법을 세 가지 뚜렷한 유형의 행동, 즉 규칙적이고 예측 가능한 운동, 무작위해 보이지만 엄격한 규칙을 따르는 결정론적 혼돈 운동, 그리고 순수한 무작위 잡음에 대해 테스트했습니다. 그들은 이 새로운 지도가 동일한 양의 정보를 공유하더라도 이러한 서로 다른 행동들을 명확하게 분리할 수 있음을 발견했으며, 이는 기존의 방법들이 해결하지 못했던 문제를 해결한 것입니다.

이 새로운 방법의 핵심은 연구진이 데이터를 배치하는 방식에 있습니다. 그들은 시스템의 내부 무질서 척도를 한 축에 배치하고, 파트너와 공유하는 정보의 척도를 다른 축에 배치했습니다. 결과를 도식화했을 때, 명확한 기하학적 패턴이 나타났습니다. 연구진은 지도의 특정 대각선으로부터 데이터 점의 거리가 한 시스템이 다른 시스템으로부터 얼마나 독립적으로 남아 있는지를 드러내는 심오한 사실을 발견했습니다. 만약 점이 대각선 위에 직접 놓여 있다면, 두 시스템은 너무 긴밀하게 결합되어 있어 하나를 아는 것이 다른 하나를 완전히 설명하게 됩니다. 만약 점이 선 아래쪽에 멀리 떨어져 있다면, 이는 시스템들이 연결되어 있을지라도, 한 시스템의 행동 중 상당 부분이 다른 시스템을 관찰할 때 여전히 미스터리로 남는다는 것을 의미합니다. 이 수직 거리는 이전에 시각화하기 어려웠던 개념인 '정보적 독립성'의 직접적인 척도로 작용합니다.

이 발견이 특히 강력한 이유는 복잡한 계산 없이 방향성을 드러낼 수 있다는 점입니다. 많은 과학 분야에서, 시스템 A가 시스템 B의 변화를 일으키는지 아니면 그 반대인지를 결정하는 데는 무거운 계산 도구가 필요합니다. 연구진은 두 시스템을 동일한 지도 위에 배치함으로써, 기하학 자체가 영향력의 흐름을 드러낸다는 것을 보여주었습니다. 만약 시스템 A가 시스템 B를 주도한다면, A를 나타내는 점은 B를 나타내는 점보다 대각선에 더 가깝게 위치할 것입니다. 이러한 비대칭성은 단순한 시각적 화살표를 만들어내어, 드라이버(driver)로부터 드리븐(driven)으로 향하게 하며, 연구자들이 데이터의 단계를 직접 계산할 필요 없이 정보 흐름의 방향을 볼 수 있게 합니다. 이는 데이터의 스텝을 계산하지 않고도 누가 리드하고 누가 따르는지를 보는 방법입니다.

이 새로운 지도의 유용성을 증명하기 위해, 연구진은 세 가지 전형적인 시나리오를 시뮬레이션했습니다. 첫째, 진자의 흔들림과 같은 규칙적이고 예측 가능한 운동을 살펴보았습니다. 다음으로, 인구 성장을 모델링하는 데 사용되는 유명한 로지스틱 맵과 같이 결정론적이지만 무작위해 보이는 혼돈 시스템을 조사했습니다. 마지막으로, 완전히 무작위인 백색 잡음을 연구했습니다. 그런 다음, 각 경우에 대해 원래의 것과 무작위 잡음이 혼합된 두 번째 시스템을 결합 계수에 의해 제어하며 만들었습니다. 이 계수를 조정함에 따라, 그들은 점들이 새로운 지도 위에서 어떻게 움직이는지 관찰했습니다. 그들은 시스템이 더 많이 결합됨에 따라 공유되는 정보량이 꾸준히 증가하지만, 지도의 점 위치는 각 역학 유형에 대해 뚜렷하게 유지된다는 것을 발견했습니다. 규칙적, 혼돈적, 무작위 시스템은 평면의 서로 다른 영역을 차지하여 명확하게 구별될 수 있었습니다. 이는 이전의 방법들이 유사한 수준의 정보를 공유할 때 혼돈 시스템을 무작위 잡음과 구별하는 데 어려움을 겪었던 중요한 발견이었습니다.

연구진은 또한 방향이 중요한 실제 응용 분야에서도 이 방법이 작동함을 입증했습니다. 드라이빙 시스템의 엔트로피를 공유 정보에 대해 도식화하고, 결과 시스템의 엔트로피를 동일한 공유 정보에 대해 도식화함으로써, 그들은 명확한 분리를 볼 수 있었습니다. 드라이빙 시스템의 점은 완벽한 의존성의 선에 더 가깝게 머물렀고, 결과 시스템의 점은 선에서 더 멀리 떨어졌습니다. 이 시각적 간격은 정보가 드라이버에서 리시버(receiver)로 한 방향으로 흐르고 있음을 확인시켜 주었습니다. 연구진은 이 접근 방식이 더 오래되고 계산 비용이 많이 드는 기술들에 비해 이러한 관계를 이해하는 데 더 직접적이고 기하학적인 방법을 제공한다고 언급했습니다.

그러나 저자들은 새로운 도구의 한계에 대해서도 주의를 기울였습니다. 데이터가 준비되는 방식에 의존하는 모든 방법과 마찬가지로, 이 방법 또한 시계열이 어떻게 분해되는지, 분석에 사용되는 윈도우의 크기, 그리고 가용한 데이터의 양에 따라 민감하게 반응합니다. 매우 짧거나 노이즈가 많은 데이터 세트의 경우, 지도의 선명도가 떨어져 미세한 차이를 구별하기 어려워질 수 있습니다. 이러한 경우, 연구진은 결과를 정밀한 측정값보다는 일반적인 경향성으로 취급할 것을 권장합니다. 그럼에도 불구하고, 이 새로운 평면은 복잡한 역학을 비교하기 위한 견고한 프레임워크를 제공합니다. 이는 시스템의 내부 불확실성과 타 시스템과의 관계를 동시에 특징짓는 방법을 제공하며, 추상적인 수학적 개념을 연구자들이 명확하게 탐색할 수 있는 시각적 풍경으로 바꾸어 놓습니다.

이 연구는 복잡계 분석에 있어 통합된 뷰를 제공함으로써 중요한 진전을 나타냅니다. 무질서와 공유 정보의 척도를 단일 2차원 공간으로 결합함으로써, 연구진은 직관적이면서도 강력한 도구를 제공했습니다. 이를 통해 과학자들은 시스템이 얼마나 혼돈스럽거나 무작위적인지뿐만 아니라, 그것이 다른 것들과 어떻게 연관되어 있는지, 그리고 영향력이 어느 방향으로 흐르는지를 볼 수 있습니다. 금융 시장, 뇌 활동, 또는 물리적 시스템에 적용되든, 이 새로운 지도는 연구자들이 우리 복잡한 세계를 정의하는 원인과 결과의 복잡한 그물을 풀어내어, 보이지 않는 정보의 패턴을 명확한 시각적 이야기로 바꾸는 데 도움을 줄 것을 약속합니다.