🧬 biology

Discovering and decoding latent mean-field structure with variational autoencoders

이 논문은 성공적인 변분 오토인코더가 그 조건부 독립 디코더가 유한 크기 평균장 분해를 구조적으로 모방한다는 점을 입증함으로써 내재적으로 잠재 평균장 이론을 학습한다는 것을 확립하며, 이를 통해 풀 수 있는 모델과 실험적 신경 데이터 모두로부터 미시적 파라미터와 집단 변수를 직접 추출하는 것을 가능하게 한다.

원저자: Vincenzo Vitelli, Marco Biroli, Max Welling

게시일 2026-08-18

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Vincenzo Vitelli, Marco Biroli, Max Welling

원본 논문은 CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ⚕️ 이것은 동료 심사를 거치지 않은 프리프린트의 AI 생성 설명입니다. 의학적 조언이 아닙니다. 이 내용을 바탕으로 건강 관련 결정을 내리지 마세요. 전체 면책 조항 읽기

자석 속에서 소용돌이치는 원자부터 살아있는 뇌 속에서 발화하는 뉴런에 이르기까지, 복잡계는 개별 구성 요소들이 서로 어떻게 영향을 미치느냐에 의해 정의됩니다. 수십억 개의 작은 성분들이 상호작용할 때, 이들은 단순히 부분의 합보다 훨씬 더 정교한 패턴을 만들어냅니다. 수십 년 동안 과학자들은 모든 연결을 추적하기 위해 필요한 수학적 계산이 종종 불가능하기 때문에 이러한 행동을 예측하는 데 어려움을 겪어왔습니다. 이 혼돈을 이해하기 위해 연구자들은 오랫동안 '평균장 이론(mean-field theory)'이라 불리는 단순화 전략에 의존해 왔습니다. 이 접근 방식은 각 부분이 이웃과의 구체적인 모든 상호작용을 추적하는 대신, 전체 집단이 생성하는 단 하나의 평균적인 힘에만 반응한다고 가정합니다. 이 방식은 일부 물질에는 아름답게 작동하지만, 국소적이고 구체적인 연결이 무시하기에는 너무 중요한 다른 물질들에게는 실패합니다. 질문은 언제나 이것이었습니다: 어떤 복잡계가 실제로 이 단순한 규칙을 따르는지, 아니면 너무 얽혀 있어서 그런 지름길을 사용할 수 없는 것인지 어떻게 알 수 있을까요?

시카고 대학교와 암스테르담 대학교의 연구팀은 '변분 오토인코더(variational autoencoder)'라고 알려진 일종의 인공지능을 사용하여 이 질문에 답할 방법을 찾아냈습니다. 변분 오토인코더는 데이터를 더 작고 단순한 형태로 압축한 다음 이를 다시 재구성하려고 시도함으로써 데이터 뒤에 숨겨진 규칙을 학습하도록 설계된 컴퓨터 프로그램입니다. 연구진은 이 프로그램들이 데이터를 재구성하는 데 성공했을 때, 단순히 무작위적인 패턴을 찾는 것이 아니라 그 시스템이 평균장 구조를 따른다는 것을 수학적으로 증명하고 있다는 사실을 발견했습니다. 본질적으로, AI는 복잡한 상호작용의 그물이 몇 개의 집합적 변수로 축소될 수 있는지 여부를 밝혀내는 디코더 역할을 하며, 만약 가능하다면 AI는 그 변수들을 지배하는 정확한 물리 법칙을 읽어낼 수 있습니다.

연구진은 먼저 성공을 위한 명확한 테스트 기준을 세웠습니다. 그들은 AI가 복잡한 시스템을 완벽하게 재구축하기 위해서는, AI가 생성한 숨겨진 변수들이 부분들 사이의 모든 상관관계를 설명할 수 있는 충분한 정보를 포함해야 한다고 추론했습니다. 만약 시스템이 너무 무질서하여 몇 개의 평균값으로 요약될 수 없는 구체적이고 국소적인 연결들에 의존한다면, AI는 아무리 훈련하더라도 필연적으로 실패할 것입니다. 연구팀은 만약 AI가 성공한다면, 그 시스템은 잠재적인 평균장 구조를 가지고 있어야 함을, 즉 혼돈이 실제로는 몇 가지 근본적인 힘을 중심으로 조직되어 있음을 증명했습니다. 나아가, 그들은 AI가 데이터를 재구축하기 위해 학습한 특정 수치들이 단순한 추상적 가중치가 아니라, 자기력의 세기나 신경망에 저장된 패턴과 같이 시스템의 물리적 매개변수와 직접적으로 대응한다는 것을 보여주었습니다.

이를 검증하기 위해, 연구팀은 단순한 자석부터 복잡한 액정 결정에 이르기까지 알려진 모델의 계층 구조를 대상으로 이 방법을 테스트했습니다. 그들은 평균장 이론으로 정확하게 설명하기에는 너무 복잡하다고 알려진 고전적인 자기 표현 모델인 2차원 이징 모델(Ising model)로 시작했습니다. 예측대로, AI는 데이터를 재구성하는 데 실패했으며, 이는 시스템의 상관관계가 단순화하기에는 너무 복잡하다는 명확한 신호를 남겼습니다. 반면, 평균장 규칙을 따르도록 설계된 시스템인 퀴리-바이스 모델(Curie-Weiss model)에 동일한 방법을 적용했을 때, AI는 완벽하게 성공했습니다. AI는 모든 온도에서의 자기적 행동을 재구축했으며, 결정적으로 시스템의 평균장을 설명하는 정확한 수학적 기술을 회복했습니다. 연구진은 이후 기억 저장을 위한 호프필드 모델(Hopfield model)과 액정 결정을 위한 마이어-소프 모델(Maier-Saupe model)과 같은 벡터 및 텐서 순서 매개변수를 포함한 더 복합적인 시나리오로 나아갔습니다. 평균장 기술을 허용하는 모든 경우에 대해, AI는 데이터를 재현했을 뿐만 아니라 자신의 내부 설정으로부터 숨겨진 패턴과 물리적 상수를 직접 추출해 냈습니다.

이 발견의 가장 놀라운 응용은 실제 생물학적 데이터를 분석하는 데서 나타났습니다. 연구팀은 살라만더의 망막에서 자연스러운 영화 클립에 반응하는 40개 뉴런의 전기적 활동을 포착한 기록에 이 방법을 적용했습니다. 이전 연구들은 모든 뉴런 쌍 사이의 수천 개의 구체적인 연결을 사용하여 이 데이터를 모델링했는데, 이는 거대하고 다루기 힘든 방식이었습니다. 그러나 새로운 방법은 40개 뉴런 전체 집단이 단 두 개의 숨겨진 변수로 설명될 수 있음을 찾아냈습니다. AI는 오직 이 두 가지 집합적 요인만을 사용하여 뉴런의 발화 패턴을 성공적으로 재구성했습니다. 훈련된 AI의 가중치를 읽음으로써, 연구진은 뉴런 집단이 반응하고 있는 특정 '저장된 패턴'을 식와낼 수 있었으며, 이는 뇌의 코드를 역설계하는 것과 같았습니다. 그들은 뉴런 활동이 두 개의 지배적인 패턴을 중심으로 조직되어 있으며, 몇몇 뉴런이 침묵하는 억제제 역할을 하고 있다는 것을 발견했는데, 이는 무작위 연결을 가정한 표준 모델이라면 놓쳤을 구조였습니다.

이 연구는 복잡계를 이해하는 강력한 새로운 렌즈를 제공합니다. 이는 어떤 시스템이 몇 개의 집합적 변수를 통해 이해될 수 있는지, 아니면 모든 상호작용에 대한 상세한 지도가 필요한지를 판단하는 결정적인 테스트를 제공합니다. 이 테스트를 통과하면, AI는 단순히 시스템을 시뮬레이션하는 것에 그치지 않고, 그 시스템을 지배하는 근본적인 물리 이론과 구체적인 매개변수를 드러냅니다. 이는 자기 물질에서 신경 회로에 이르기까지, 과학자들이 이제 머신러닝을 단순한 예측을 위한 '블랙박스'가 아니라, 데이터 속에 숨겨진 자연의 근본 법칙을 발견하기 위한 도구로 사용할 수 있음을 의미합니다. 훈련된 네트워크로부터 미시적 매개변수를 직접 읽어낼 수 있는 능력은 인공지능과 물리 이론 사이의 간극이 생각보다 좁다는 것을 시사하며, 자연계의 집합적 행동을 해독할 수 있는 길을 열어줍니다.

기술 요약: 변이형 오토인코더(VAE)를 통한 잠재 평균장 구조의 발견 및 해독

문제 정의
생성 모델, 특히 변이형 오토인코더(VAE)는 물리학과 신경과학 전반에서 다체계(many-body systems)의 상관관계를 포착하기 위해 점점 더 많이 채택되고 있다. 그러나 이러한 모델이 학습한 표현은 물리적 해석 측면에서 여전히 불투명한 경우가 많다. 자연과학의 핵심 과제는 구성 요소들 사이의 복잡한 상관관계를 가진 시스템의 거동을 예측하는 것인데, 여기서 결합 확률 분포 $p(x)$ 는 비가법적(non-factorizable)이다. 머신러닝 도구들은 집단 변수(collective variables)를 식별하기 위한 강력한 휴리스틱을 제공하지만, 이러한 접근 방식이 언제, 왜 성공하거나 실패하는지를 결정하는 확립된 기준은 부족하다. 구체적으로, 저차원의 잠재 표현이 상관관계가 있는 시스템의 결합 분포를 언제 충실하게 재구성할 수 있는지에 대한 조건은 여전히 불분명하다.

방법론
저자들은 VAE를 통계 물리학의 유한 크기 평균장 이론(finite-size mean-field theory)과 연결하는 이론적 프레와임을 구축한다. 본 연구 방법론의 핵심은 다음과 같다:

구조적 등가성: 본 논문은 VAE 디코더의 조건부 독립 가정—즉, $p_\theta(x|z) = \prod_i p_\theta^{(i)}(x_i|z)$ —이 유한 크기 평균장 가법성과 구조적으로 동일함을 입증한다. 열역학적 극한( $N \to \infty$ )에서만 유효한 결정론적 질서 매개변수를 가정하는 표준 평균장 근사와 달리, VAE 정식화는 확률적 잠재 변수 $z$ 를 유지함으로써 유한 시스템에서도 비제로 상관관계 $\langle x_i x_j \rangle - \langle x_i \rangle \langle x_j \rangle \neq 0$ 를 기술할 수 있게 한다.
용량 기준: 저자들은 VAE가 시스템을 성공적으로 모델링하기 위한 필요 조건을 도출한다. 잠재 채널의 정보율( $R$ )을 데이터의 이분(bipartite) 상호 정보량( $I_{bip}(p)$ )과 비교함으로써, $R \gtrsim I_{bip}(p)$ 라는 경계를 설정한다. 만약 시스템의 상관관계가 잠재 공간이 인코딩할 수 있는 것보다 더 많은 정보를 요구한다면(예: 평균장 기술이 불가능한 시스템), 하이퍼파라미터 튜닝과 관계없이 VAE는 반드시 결합 분포 재구성에 실패하게 된다.
성공 지표: 재구성 충실도를 정량화하기 위해, 저자들은 조건부 총 상관관계(conditional total correlation) $TC|z = D_{KL}[p(x|z) || \prod p(x_i|z)]$ 를 도입한다. 성공적인 VAE는 $TC|z \approx 0$ 을 나타내야 하며, 이는 잠재 변수 $z$ 가 모든 관련 상관관계를 흡수했음을 의미한다.
매개변수 회복: 이 프레임워크는 VAE가 데이터를 성공적으로 재구성한다면, 기초가 되는 평균장 이론의 미시적 매개변수들을 훈련된 디코더로부터 직접 읽어낼 수 있다고 상정한다.

주요 결과
저자들은 일련의 풀 수 있는 모델들과 실험 데이터를 통해 이론을 검증하였다:

스칼라 질서 매개변수 (Curie-Weiss vs. 2D Ising):
- Curie-Weiss: 1차원 잠재 공간을 가진 VAE는 모든 온도 영역에서 자화, 감수율, Binder cumulant와 같은 관측량을 회복하며 결합 분포를 완벽하게 재구성한다. 이때 조건부 총 상관관계는 0과 구별할 수 없는 수준이다.
- 2D Ising: VAE는 2D Ising 모델(평균장 기술이 존재하지 않는 모델)의 재구성에 실패한다. 단일 지점 관측량은 근사될 수 있으나, 조건부 총 상관관계는 임계 온도 근처에서 크게 증가하며, 모델은 2점 상관 함수를 포착하지 못한다.
벡터 질서 매개변수 (Hopfield Model):
- 저장된 패턴의 수( $P=4$ )와 일치하는 잠재 차원을 가진 VAE는 평형 샘플만을 사용하여 Hopfield 모델을 성공적으로 재구성한다.
- 결정적으로, 저자들은 C3를 입증하였다: 디코더의 로짓(logit) 공간의 야코비안(Jacobian)을 분석함으로써, 사전 지식 없이도 결합(coupling)을 찾아내어 정확한 미시적 패턴 행렬 $\xi$ 를 100% 정확도로 회복하며, 효과적으로 역-Ising 문제를 해결한다.
텐서 질서 매개변수 (Maier-Saupe):
- 네마틱-등방성 상전이에 적용되었을 때, 네마틱 텐서의 자유도와 일치하는 5차원 잠재 공간을 가진 VAE는 1차 상전이와 질서 매개변수를 정확하게 재현한다. 잠재 변수는 물리적 네마틱 텐서로 직접 매핑됨이 확인되었다.
실험적 적용 (망막 기록 데이터):
- 살라만더 망막 기록( $N=40$ 신경절 세포)에 적용했을 때, 2-잠재 VAE는 독립 모델들이 포착하지 못하는 집단 통계(단어율 및 중첩 분포)를 재현한다.
- 훈련된 디코더는 두 개의 유효한 집단 변수(저장된 패턴)와 외부 장(external field)을 드러낸다. 결과적으로 도출된 모델은 일반화된 Hopfield 모델로서, 분포의 꼬리 부분에서 고차 상호작용을 포착하며, 이는 표준 이차(quadratic) Hopfield 모델을 초과하는 저장 용량을 시사한다.

의의 및 주장
본 논문은 VAE와 유한 크기 평균장 이론 사이의 등가성으로부터 도출된 세 가지 주요한 결과를 주장한다:

실패 모드 식별: 가법적 디코더를 가진 저차원 VAE는 평균장 기술이 불가능한 시스템(예: 2D Ising)에서 반드시 실패한다. 이는 데이터셋이 저차원 집단 변수 구조를 결여하고 있는지 판단할 수 있는 진단 도구를 제공한다.
잠재 구조의 증거: 성공적인 VAE 재구성은 해당 시스템이 잠재 평균장 이론을 수용하고 있다는 직접적인 증거가 된다. 모델의 성공은 상관관계를 조직하는 저차원 매니폴드가 존재함을 의미한다.
미시적 매개변수의 해독: 성공적인 재구성이 일어날 때, 평균장 이론의 미시적 매개변수(결합 패턴 또는 텐서 질서 매개변수 등)를 훈련된 디코더로부터 명시적으로 회복할 수 있다.

저자들은 이 연구가 생성적 머신러닝과 통계 물리학 사이의 간극을 메우며, VAE를 단순한 "블랙박스" 도구에서 복잡한 다체계를 지배하는 잠재 평균장 구조를 발견하고 정량화하는 해석 가능한 프레임워크로 변화시킨다고 결론짓는다.

기술 요약: 변이형 오토인코더(VAE)를 통한 잠재 평균장 구조의 발견 및 해독

유사한 논문