Quantum probability for statisticians; some new ideas

지난 세기 대부분 동안 통계학은 우연과 불확실성을 이해하기 위해 단 하나의 경직된 틀에 의존해 왔습니다. 고전적 확률이라고 알려진 이 프레임워크는 세상을 모든 질문에 대해 발견되기를 기다리는 단 하나의 고정된 답이 존재하는 거대한 가능성의 도서관처럼 취급합니다. 이는 우리가 연구하는 매개변수들이 숨겨진 구조가 없는 집합 안의 숫자에 불과하다고 가정함으로써, 투표수를 세거나 날씨를 예측하거나 의료 시험을 분석하는 데 아주 훌륭하게 작동합니다. 그러나 별도의 과학 분야인 양자 물리학은 오랫동안 다른 규칙 체계 아래에서 운영되어 왔습니다. 양자 세계에서는 질문을 던지는 행위 자체가 답을 바꿀 수 있으며, 동일한 계에 대한 두 가지 서로 다른 질문은 서로 너무 깊게 연결되어 있어 한 질문에 대한 답을 아는 것이 다른 질문을 근본적으로 불확실하게 만들 수도 있습니다. 오랫동안 통계학자들은 이러한 양자 법칙을 원자와 입자의 미시 세계만을 위한 이색적인 도구로 간주하며, 인간의 데이터와 의사결정이라는 거시적 세계에는 적용될 수 없다고 믿어 왔습니다.

이러한 분리는 이해의 격차를 만들어냈습니다. 양자 물리학이 우주에 대한 우리의 관점을 혁신했음에도 불구하고, 그 수학적 언어는 통계학자들의 일상적인 작업으로부터 대체로 고립되어 있었습니다. 그러나 최근의 발전은 양자 입자의 기이한 행동이 단순히 아주 작은 세계의 특이한 현상이 아니라, 관찰자인 우리가 정보를 어떻게 수집하고 처리하는지에 대한 반영일 수 있음을 시사합니다. 만약 전자의 스핀을 지배하는 규칙이 실제로 우리가 알 수 있는 한계에 관한 규칙이라면, 그 동일한 규칙이 의학, 경제학 또는 인공지능 분야의 데이터를 분석하는 방식에도 적용될 수 있습니다. 문제는 이제 양자 역학이 실재하느냐가 아니라, 그 논리가 현대 세계를 정의하는 복잡하고 노이즈가 많은 데이터를 더 잘 이해하는 데 도움을 줄 수 있느냐 하는 것입니다.

새로운 논문에서 오슬로 대학교의 잉게 S. 헬란(Inge S. Helland)은 이 두 세계 사이의 대담한 가교를 제안합니다. 그는 양자 확률이 단지 원자를 위한 것이 아니라, 통계학자들을 위한 강력한 새로운 도구가 될 수 있다고 주장합니다. 헬란은 양자 이론에 대한 신선한 토대 위에 자신의 논거를 구축하는데, 이는 "스푸키(spooky)"한 물리학의 신비감을 제거하고 관찰자가 실제로 측정할 수 있는 것에 기반한 명확하고 논리적인 구조로 대체하는 것입니다. 그는 우주가 "이론적 변수", 즉 모델에는 존재하지만 우리에게 한꺼번에 모두 접근 가능하지는 않은 양들로 가득 차 있다고 제안합니다. 이 변수들 중 일부는 높은 정밀도로 측정할 수 있는 "접근 가능한" 변수인 반면, 다른 것들은 직접적인 관찰로부터 숨겨진 "접근 불가능한" 변수입니다. 그의 주장의 핵심은 우리가 깊게 연결된 두 가지 서로 다른 접근 가능한 변수를 측정하려고 할 때, 그것들이 고전 통계학으로는 설명할 수 없는 방식으로 작동하며 양자 확률은 이를 자연스럽게 처리한다는 것입니다.

이를 구체화하기 위해 헬란은 네 가지 치료법이 있는 발진에 대한 의료 시험을 포함한 사고 실험을 설명합니다. 환자가 등 왼쪽에는 한 가지 치료법을 받고, 오른쪽에는 나머지 세 가지 치료법의 혼합물을 받는 상황을 상상해 보십시오. 목표는 어느 쪽이 더 개선되는지를 보는 것입니다. 고전적인 관점에서 우리는 네 가지 치료법의 숨겨진 강도를 바탕으로 한쪽이 승리할 정확한 확률을 계산할 수 있다고 가정할 수 있습니다. 그러나 헬란은 만약 이 상황을 (우리가 던지는 질문인 '어느 쪽이 더 나은가'가 이전의 질문인 '치료법이 어떻게 혼합되었는가'에 의존하는) 양자 문제로 취급한다면, 답이 달라진다는 것을 보여줍니다. 그는 특정 대칭성 하에서 특정 결과의 확률이 약 43%라는 고전적 추정치에서 정확히 33%라는 양자 추정치로 변화함을 계산합니다. 이것은 단순한 수학적 기술이 아닙니다. 이는 우리의 데이터가 제한적이거나 매개변수가 복잡할 때, 양자적 접근 방식이 결과를 확인하기도 전에 우리의 초기 믿음, 즉 "사전 확률(priors)"을 설정하는 데 더 견고한 방법을 제공한다는 것을 시사합니다가.

이 논문은 더 나아가 이러한 아이디어가 어떻게 복잡한 데이터 문제를, 특히 머신러닝 분야에서 단순화할 수 있는지 보여줍니다. 현대 인공지능에서 컴퓨터는 수천 개의 변수에 직면했지만 데이터 포인트는 몇 개뿐인 상황, 즉 "차원의 저주"라고 불리는 상황에서 종종 어려움을 겪습니다. 헬란은 양자 물리학에서 이를 해결하기 위해 사용되는 수학적 기법, 구체적으로 "모델 축소(model reduction)"라는 방법이 통계 모델에 적용될 수 있음을 보여줍니다. 신경망의 은닉층을 양자 시스템처럼 취급함으로써, 그는 중요한 정보를 잃지 않으면서도 추적해야 할 변수의 수를 줄일 수 있음을 보여줍니다. 이 접근 방식은 부분 최소 제곱 회귀(partial least squares regression)라고 불리는 통계적 기법과 밀접하게 관련되어 있으며, 연구자들이 가장 많은 정보를 담고 있는 "최대(maximal)" 변수에 집중함으로써 데이터셋에서 가장 필수적인 패턴을 찾아내고 노이즈를 효과적으로 걸러낼 수 있게 해줍니다.

이 논문의 가장 중요한 발견 중 하나는 물리학자들이 양자 사건의 확률을 계산하기 위해 사용하는 유명한 공식인 "본 규칙(Born rule)"의 유도입니다. 보통 이 규칙은 자연의 근본적인 가설, 즉 그냥 작동하는 것으로 받아들여집니다. 그러나 헬란은 이를 관찰자가 무엇을 알 수 있는지에 대한 일련의 논리적 원칙으로부터 유도해 냅니다. 그는 만약 우리가 우리의 지식이 측정 가능한 것에 국한되며, 우리의 측정이 특정 대칭성에 종속된다는 점을 받아들인다면, 본 규칙은 확률을 할당하는 유일하게 논리적인 방법으로서 자연스럽게 도출된다고 주장합니다. 이는 양자 이론의 관점을 세상이 "어떠한가"에 대한 기술에서 우리가 세상에 대해 무엇을 "알 수 있는가"에 대한 기술로 전환시킵니다. 이 관점에서 양자 역학의 기이한 확률은 입자 자체의 속성이 아니라, 우리 탐구의 구조를 반영하는 것입니다.

통계학에 미치는 영향은 심오합니다. 헬란은 양자에서 영감을 얻은 이러한 방법들을 채택함으로써 통계학자들이 데이터가 부족하거나 변수들이 깊게 상호 연결되어 있어 전통적인 방법이 실패하는 상황을 다룰 수 있다고 제안합니다. 그는 머신러닝 알고리즘의 정확도 향상부터 임상 시험의 해석을 정교화하는 것에 이르기까지 잠재적인 응용 분야 목록을 제공합니다. 이 논문은 온 세상이 양자 컴퓨터라고 주장하거나 고전 통계학이 쓸모없어졌다고 주장하는 것이 아닙니다. 대신, 인간 지식의 한계를 인정하고 그 한계를 항해하기 위해 양자 이론의 수학적 도구를 사용하는, 데이터를 바라보는 새로운 렌즈를 제공합니다.

궁극적으로 이 연구는 우리가 데이터로부터 배우는 방식의 기초를 재고하도록 초대하는 것입니다. 과거에 새로운 수학적 구조의 도입이 물리학의 지평을 넓혔던 것처럼, 헬란은 양자 확률을 통계학에 도입하는 것이 통계학을 풍요롭게 하여 오랫동안 다루기 힘들었던 문제들에 대한 해결책을 제공할 수 있다고 주장합니다. 논문은 통계와 양자 물리학의 문화가 더 이상 분리된 것이 아니라, 우리가 주변 세계를 관찰하고 측정하며 이해하는 방식에 대한 통합된 이해의 일부가 되는 미래의 비전을 제시하며 끝을 맺습니다. 관찰자를 사실의 수동적인 기록자가 아니라, 질문이 답을 형성하는 능동적인 참여자로 취급함으로써, 우리는 우리 사회를 움직이는 복잡한 데이터를 이해하는 데 있어 더 정확하고 강력한 방법을 찾을 수 있을 것입니다.