Representation Transitions Reveal Predictive Structure in Complex Systems: A Trajectory-Level Reconstruction in a Critical System

복잡계 연구에서 과학자들은 종종 혼돈스러운 사건을 설명할 수 있는 가장 단순한 방법을 찾으려 노력한다. 지도 위를 소용돌이치며 지나가는 폭풍을 관찰한다고 상상해 보자. 이를 이해하기 위해 연구자들은 평균 풍속이나 총 강수량을 측정할 수도 있다. 이러한 단일 수치들, 즉 스칼라 통계량은 오랫동안 물리학의 핵심적인 도구였다. 시스템이 예측 가능하게 움직일 때, 이 방식은 방대한 데이터를 하나의 관리 가능한 수치로 요약해 내는 데 매우 효과적이다. 그 기저에 깔린 가정은, 가장 중요한 평균값을 포착한다면 시스템의 미래 행동에 대한 본질을 포착할 수 있다는 것이다. 그러나 이 접근법은 하나의 결정적인 희망에 의존하고 있다. 즉, 다음에 일어날 일을 예측하는 데 필요한 결정적인 세부 사항들이 하나의 숫자로 압축되는 과정 속에서도 살아남을 것이라는 희망 말이다. 만약 이 희망이 틀렸다면, 아무리 더 나은 데이터나 더 똑똑한 컴퓨터가 있어도 문제를 해결할 수 없다. 왜냐하면 분석이 시작되기도 전에 필요한 정보가 이미 버려졌기 때문이다.

이것이 바로 최근 한 복잡계 시스템에 대한 연구에서 독립 연구자 자키 판(Jiaqi Pan)이 다룬 정확한 퍼즐이다. 연구자는 동일한 조건 하에서 생성된 시뮬레이션 경로, 즉 궤적들의 거대한 집합체로 시작했다. 각 경로에는 과학자들이 예측하고자 하는 특정한 결과가 있었다. 그것은 해당 경로가 나중에 얼마나 크게 발산하거나 행동을 변화시킬 것인가 하는 점이었다. 목표는 명확하게 기술하기는 쉬웠으나 달성하기는 어려웠다. 즉, 어떤 경로가 급격하게 변할 운명인지, 그리고 어떤 경로가 안정적으로 유지될 것인지를 밝혀낼 수 있는 경로 묘사 방법을 찾는 것이었다. 이 연구는 새로운 물리 법칙이나 새로운 유형의 측정법을 제안한 것이 아니다. 대신, 데이터의 형태를 어떻게 선택하느냐가 그 안에 숨겨진 패턴을 볼 수 있는지 여부를 결정하는가라는 더 근본적인 질문을 던졌다.

조사는 가장 간단한 접근법으로 시작되었다. 연구자는 각 경로에 대해 시스템이 진정되는 데 걸린 시간이나 단계의 무작위성 등을 계산하는 여섯 가지의 서로 다른 단일 숫자 요약법을 테스트했다. 이 중 어떤 단일 숫자도 작동하지 않았다. 이 숫자들은 변화가 가장 큰 경로와 그렇지 않은 경로를 구분해 내는 데 실패했다. 이는 데이터에 노이즈가 많았거나 측정이 잘못되었기 때문이 아니었다. 목표가 되는 결과값은 실재했고 재현 가능했다. 문제는 경로의 전체 역사를 하나의 숫자로 압축하는 과정이 예측에 필요한 구조 자체를 버려버렸다는 점에 있었다.

포기하지 않고, 연구자는 더 복잡한 방법을 시도했다. 경로를 하나의 숫자로 설명하는 대신, 여러 가지 서로 다른 특징들의 작은 목록을 사용하여 각 경로를 기술함으로써, 이 숫자들의 조합이 숨겨진 그룹이나 유사한 행동의 클러스터를 드러낼 수 있기를 기대했다. 연구자는 순환 논리를 피하기 위해 정교하게 설계된 두 가지 서로 다른 특징 세트를 시험했다. 이러한 방법들은 몇몇 통계적 패턴을 찾아내기는 했지만, 가장 중요한 테스트에서는 여전히 실패했다. 나머지 경로들과 가장 다르게 될 운명이었던 두 경로, 즉 가장 극단적인 결과를 보이는 경로들은 결코 분리되지 않았다. 그들은 평범한 경로들 속에 섞여 군중 속에 길을 잃었다. 흥로도도, 실패한 시도 중 하나에 포함된 개별 특징이 최종 성공한 방법보다 결과값과 더 강한 상관관계를 보였다는 점이다. 이는 강한 상관관계가 있는 것만으로는 충분하지 않으며, 데이터가 조직되는 방식이 수치 자체의 강도보다 더 중요하다는 것을 증명했다.

돌파구는 연구자가 묘사의 근본적인 성격을 바꾸었을 때 찾아왔다. 경로를 별개의 숫자 목록으로 나누거나 뚜렷한 그룹으로 강제 분류하는 대신, 연구자는 각 경로를 연속적이고 흐르는 듯한 프로필로 취급했다. 연구자는 경로가 다양한 조작에 어떻게 반응하는지를 살펴봄으로써, 전반적인 민감도를 나타내는 매끄러운 곡선을 만들어냈다. 이 연속적인 프로필은 하나의 점수로 압축되었지만, 인구 집단을 불연속적인 범주로 나누지 않은 채 이루어졌다. 이 접근법은 즉각적으로 효과를 발휘했다. 새로운 점수는 극단적인 경로들을 나머지 경로들과 성공적으로 분리하여, 스펙트럼의 양 끝단에 배치했다.

이 방법이 특정 측정 방식에 의한 우연한 결과가 아님을 확인하기 위해, 연구자는 측정 척도의 서로 다른 부분을 제거하며 여덟 번의 테스트를 수행했다. 결과는 매번 일관적이었으며, 새로운 방법은 결과값을 예측하는 강력하고 신뢰할 수 있는 능력을 보여주었다. 연구는 이전 방법들의 실패가 데이터의 부족이나 약한 신호 때문이 아니라고 결론지었다. 신호는 줄곧 존재하고 있었다. 실패는 이전의 방법들이 예측에 필요한 특정한 유형의 구조를 담을 수 없는 형식으로 데이터를 강요했기 때문에 발생했다. 데이터를 이산적인 목록 형태에서 연속적이고 흐르는 듯한 관점으로 전환함으로써, 연구자는 다른 모든 접근법에서는 보이지 않았던 패턴을 열어젖혔다.

연구는 또한 마침내 분리된 두 극단적인 경로를 면밀히 살펴보았다. 가장 높은 결과값을 가진 경로의 경우, 연구자는 그 독특한 행동이 구성 요소들이 어떻게 배열되어 있는지와 그 구성 요소들이 무엇을 포함하고 있는지의 특정한 조합에 달려 있다는 것을 발견했다. 한 쪽을 바꾸더라도 다른 한 쪽을 바꾸지 않으면 동일한 효과가 나타나지 않았다. 가장 낮은 결과값을 가진 경로에 대해서는, 단계 간의 특정한 의존성이나 희귀한 통계적 변칙과 같은 몇 가지 잠재적 원인들을 테스트하고 배제했다. 이 연구가 모든 복합계에 적용되는 완전하고 보편적인 규칙을 밝혀낸 것은 아니지만, 적절한 관찰 방식을 찾기만 하면 개별 경로에 대한 구체적인 구조적 질문에 답할 수 있다는 것을 입증했다.

가장 중요한 시사점은 데이터를 표현하는 방식의 선택이 단순히 분석의 기술적인 단계가 아니라, 그 자체로 하나의 과학적 변수라는 점이다. 이 특정 시스템에서 경로를 숫자의 목록이 아닌 연속적인 프로필로 기술하기로 한 결정은, 아무것도 보지 못하는 것과 명확한 예측 구조를 보는 것 사이의 차이를 만들었다. 이 연구는 연속적인 방법이 항상 이산적인 방법보다 더 낫다고 주장하거나, 주성분 분석이 모든 문제에 대한 마법 같은 해결책이라고 제안하는 것이 아니다. 오히려, 근본적인 구조가 연속적인 경우 데이터를 이산적인 상자에 억지로 밀어 넣는 행위가 답을 숨길 수 있음을 보여준다. 이 연구는 과학자들이 모델이나 데이터 수집의 선택과 마찬가지로 표현 방식의 선택을 엄밀하게 다루어야 하며, 그 방식이 시스템을 이해하는 데 필요한 구조를 보존하는지 직접 테스트해야 한다고 제언한다. 그렇게 함으로써, 그들은 자신들이 찾고 있는 답이 사라진 것이 아니라, 단지 잘못된 렌즈 뒤에 숨겨져 있었을 뿐임을 발견할 수 있을 것이다.