Expressibility of neural quantum states: a Walsh-complexity perspective

이 논문은 엔트로피나 텐서 네트워크와 같은 기존 지표와 구별되는 '왈시 복잡도 (Walsh complexity)'라는 새로운 척도를 도입하여, 얕은 적분형 신경망이 짧은 거리 얽힘을 가진 간단한 양자 상태조차 표현하기 위해서는 로그 스케일의 깊이가 필수적임을 이론적으로 증명하고 실험적으로 확인했습니다.

핵심

🎨 1. 핵심 주제: "인공지능의 그림 실력 한계"

양자 물리학에서는 아주 복잡한 입자들의 상태를 '파동함수'라는 수학적 그림으로 표현합니다. 최근에는 **신경망 (AI)**을 이용해 이 그림을 그리려고 합니다. 이를 '신경 양자 상태 (NQS)'라고 부릅니다.

하지만 문제는 **"어떤 복잡한 그림은 AI 가 아무리 노력해도 그릴 수 있을까?"**입니다.
기존에는 그림이 얼마나 '얽혀 있는지 (Entanglement)'가 중요하다고 생각했는데, 이 논문은 **"아니요, 얽힘만 중요한 게 아니라 그림이 얼마나 '고르게 퍼져 있는지'도 중요하다"**고 말합니다.

🔍 2. 새로운 도구: "왈시 복잡도 (Walsh Complexity)"

저자는 **'왈시 복잡도'**라는 새로운 자를 invented 했습니다.
이것을 이해하기 위해 요리 비유를 들어볼까요?

• 기존 생각 (얽힘): 요리를 할 때 재료가 얼마나 복잡하게 섞여 있는지 보는 거예요.
• 새로운 생각 (왈시 복잡도): 요리의 맛이 전체적으로 고르게 퍼져 있는지, 아니면 특정 부분에만 집중되어 있는지를 보는 거예요.

논문에 등장하는 **'다이머 상태 (Dimer state)'**라는 특별한 양자 상태는 다음과 같은 특징이 있습니다:

• 단순함: 재료는 아주 적고, 얽힘도 짧게만 일어납니다. (소박한 스프 같은 것)
• 하지만: 이 스프의 맛은 전체 그릇에 완벽하게 고르게 퍼져 있습니다. (어떤 숟가락을 넣어도 맛이 다릅니다.)

이런 상태는 AI 가 그릴 때 매우 까다롭습니다. 마치 완벽하게 균일한 회색 벽을 그리는 것처럼, AI 는 특정한 패턴을 찾아내지 못하고 무작위로 흩뿌려야 하기 때문입니다.

🏗️ 3. AI 의 한계: "얕은 층 vs 깊은 층"

이 논문은 AI(신경망) 가 이 '균일한 벽'을 그릴 때 어떤 일이 일어나는지 실험했습니다.

• 얕은 AI (층이 적음):

  • 비유: 1~2 층짜리 작은 집으로 거대한 균일한 벽을 그리려고 하는 상황입니다.
  • 결과: 실패합니다. AI 는 벽을 그릴 수 있는 '자질 (복잡도)'이 부족합니다. 아무리 파라미터 (재료) 를 늘려도 소용없습니다.
  • 이유: 얕은 층에서는 AI 가 '단순한 다항식 (Polynomial)'처럼 행동하기 때문입니다. 균일한 벽을 그리려면 훨씬 더 복잡한 계산이 필요합니다.

• 깊은 AI (층이 많음):

  • 비유: 100 층짜리 고층 빌딩을 짓는 상황입니다.
  • 결과: 성공합니다! 층이 로그 (Logarithmic) 스케일만큼 깊어지면 (예: 입자 수가 100 배 늘면 층은 2 배만 늘어도 됨), AI 는 갑자기 그 복잡한 벽을 완벽하게 그릴 수 있게 됩니다.

⚡ 4. 흥미로운 발견: "활성화 함수의 함정"

AI 는 '활성화 함수 (Activation Function)'라는 것을 통해 정보를 처리합니다. 여기서 두 가지 경우가 나뉩니다.

1. 다항식 활성화 (부드러운 곡선):
   • 층이 깊어질수록 점진적으로 능력이 향상됩니다. "깊이"가 핵심 자원입니다.
2. tanh 활성화 (포화되는 함수):
   • 이 함수는 입력이 너무 크면 값이 더 이상 커지지 않고 '포화'됩니다.
   • 비유: 스위치를 켜고 끄는 것처럼 딱딱하게 작동하기 시작합니다.
   • 결과: 층이 3 개만 되어도 갑자기 AI 가 "아! 이제 내가 이걸 그릴 수 있구나!"라고 깨닫고 완벽하게 그립니다. 마치 3 층짜리 집만으로도 거대한 벽을 뚫고 들어가는 비밀 통로가 열린 것처럼요.

💡 5. 결론: "왜 AI 는 가끔 마법처럼 보이는가?"

이 논문의 핵심 메시지는 다음과 같습니다.

"양자 상태를 표현할 때, 단순히 '얽힘'만 보면 안 됩니다. **'왈시 복잡도'**라는 새로운 자를 봐야 합니다.

얕은 AI 는 복잡한 균일한 상태를 그릴 수 없지만, 층을 깊게 하거나 (다항식), 포화 상태에 도달하면 (tanh), 갑자기 그 능력을 얻게 됩니다.

특히 포화 상태에 도달한 AI 는 마치 복잡한 논리 회로처럼 작동하여, 우리가 상상할 수 없을 정도로 표현력이 뛰어납니다. 하지만 그 반대로, 그 한계를 넘어서면 어떤 상태도 AI 가 그릴 수 없는지 증명하기가 매우 어려워집니다."

📝 한 줄 요약

"양자 상태를 그리는 AI 는, 얕은 층에서는 실패하지만, 층을 깊게 하거나 특정 지점 (포화) 에 도달하면 갑자기 마법처럼 복잡한 그림을 그릴 수 있게 됩니다. 이때 '얽힘'보다 '고르게 퍼진 패턴'을 분석하는 것이 더 중요합니다."

이 연구는 AI 가 양자 물리학을 풀 때, 어떤 구조의 신경망을 써야 하는지와 얼마나 깊은 층이 필요한지에 대한 명확한 지도를 제공해 줍니다.

기술 요약

1. 연구 배경 및 문제 제기 (Problem)

• 배경: 신경 양자 상태 (Neural Quantum States, NQS) 는 많은 입자 물리 (Many-body physics) 에서 변분 파동함수 (variational wavefunctions) 로 널리 사용되고 있습니다. 특히 가산적 (additive) 구조를 가진 현대적인 신경망 (예: 피드포워드 네트워크, 트랜스포머) 이 강력한 표현력을 가지는 것으로 알려져 있습니다.
• 문제: 그러나 어떤 다체 상태 (many-body states) 가 현대적인 가산적 아키텍처에 의해 효율적으로 (다항식 개수의 파라미터로) 표현될 수 있는지에 대한 정량적인 이론은 아직 불완전합니다.
• 기존 한계:
  • 기존 연구들은 주로 얽힘 (entanglement) 을 표현력의 지표로 사용했습니다. 그러나 얽힘이 적은 상태라도 가산적 NQS 로 표현하기 어려울 수 있으며, 얽힘이 많은 상태라도 표현 가능한 경우가 있어 얽힘은 가산적 모델의 표현력을 설명하는 데 부적합한 대리 변수 (proxy) 일 수 있습니다.
  • 기존 연구는 RBM(제한된 볼츠만 머신) 과 같은 곱셈적 (multiplicative) 모델의 한계는 잘 설명했으나, 가산적 모델의 한계를 명확히 규명하지 못했습니다.

2. 방법론 (Methodology)

이 논문은 왈시 복잡도 (Walsh Complexity) 라는 새로운 개념을 도입하여 가산적 NQS 의 표현력을 분석합니다.

• 왈시 복잡도 정의:

  • 파동함수 $\psi(\sigma)$ 를 계산 기저 (Z-basis) 에서 부울 큐브 $\{ \pm 1 \}^N$ 위의 함수 $f(\sigma) = 2^{N/2}\psi(\sigma)$ 로 재정의합니다.
  • 왈시 - 해다마드 (Walsh-Hadamard) 기저로 변환하여 스펙트럼을 분석합니다.
  • 왈시 복잡도 ($\|f\|_W$) 를 정의합니다:
    $$\|f\|_W \equiv \sum_{S \subseteq [N]} |\hat{f}(S)|$$
    여기서 $\hat{f}(S)$ 는 왈시 계수입니다. 이는 상태가 켤레 기저 (X-basis) 의 패리티 패턴 (parity patterns) 에 얼마나 넓게 퍼져 있는지를 측정합니다.
  • $\|f\|_W$ 는 X-basis 결과 분포의 Rényi-1/2 엔트로피와 관련이 있으며, 최대값은 $2^{N/2}$ 입니다.

• 근사 한계 유도:

  • 내적 부등식 $|\langle f, g \rangle| \le \|\hat{f}\|_\infty \|g\|_W$ 를 통해, 목표 상태 $f$ 가 매우 평평한 왈시 스펙트럼을 가지면 (즉, $\|\hat{f}\|_\infty$ 가 매우 작으면), 이를 근사하는 함수 $g$ 는 반드시 매우 큰 $\|g\|_W$ 를 가져야 함을 증명합니다.
  • 가산적 모델의 특성: 가산적 모델 (피드포워드 네트워크) 은 계수 (coefficient) 가 합으로 구성되므로, $\|fg\|_W \le \|f\|_W \|g\|_W$ 와 같은 곱셈적 모델의 복잡도 축적 특성이 없습니다.

• 테이러 주요항 (Tame-Majorant) 바운드:

  • 활성화 함수 $\eta$ 의 절대 테일러 주요항 (absolute Taylor majorant) $\tilde{\eta}(R)$ 을 사용하여 신경망의 출력 복잡도 상한을 유도합니다.
  • 정리: "온화한 (tame)" regime (예: 고정 차수의 다항식 활성화 함수, 파라미터가 $N$ 에 대해 지수적으로 증가하지 않는 경우) 에서 얕은 가산적 네트워크는 $\|g\|_W = \exp(o(N))$ 만 생성할 수 있음을 증명합니다.

3. 주요 기여 및 결과 (Key Contributions & Results)

가. 새로운 벤치마크: 이량자 상태 (Dimerized State)

• 구성: 단일 층의 분리된 제어 -Z (Controlled-Z) 게이트로 준비된 이량자 (dimer) 상태 $|\psi_{XZ}\rangle$ 를 제안합니다.
• 특징:
  • 얽힘: 짧은 범위의 이량자 얽힘만 존재하며, 텐서 네트워크 (MPS) 로 정확히 표현 가능 (결합 차수 2) 합니다.
  • 왈시 스펙트럼: 계수 패턴이 2 차 벤트 함수 (quadratic bent function, IP2) 로, 완전히 평평한 (flat) 왈시 스펙트럼을 가집니다. 즉, $\|f_{XZ}\|_W = 2^{N/2}$ 로 최대 왈시 복잡도를 가집니다.
• 의미: 얽힘이 적고 텐서 네트워크로 간단히 표현되지만, 가산적 NQS 에는 표현하기 매우 어려운 상태의 최소 예시를 제공합니다. 이는 얽힘이 가산적 NQS 의 표현력을 설명하는 데 실패함을 보여줍니다.

나. 표현력의 위계 (Expressibility Regimes)

1. 온화한 regime (Tame Regime):
   • 다항식 활성화 함수 (예: 2 차 다항식) 를 사용할 때, 네트워크 깊이가 $N$ 의 로그 스케일 ($D \approx \log N$) 에 도달하기 전까지는 성공적인 적합 (fitting) 이 불가능합니다.
   • 결과: $D < \log N$ 인 경우, 네트워크가 생성할 수 있는 왈시 복잡도가 목표 상태의 요구 사항에 미치지 못해 확률적 성공 (chance level) 수준에 머무릅니다.
2. 임계값 regime (Threshold Regime):
   • $\tanh$ 와 같은 유계 (bounded) 활성화 함수가 포화 (saturation) 상태에 도달하면, 네트워크는 임계값 게이트 (threshold gates) 를 근사하게 됩니다.
   • 결과: 이 경우 $D=3$ 만으로도 이량자 상태를 정확히 표현할 수 있습니다. 이는 $D=2$ 에서 $D=3$ 으로 깊이가 증가할 때 표현력이 급격히 향상되는 임계 현상을 보입니다. 이는 $TC_0$ (상수 깊이 임계 회로) 클래스의 복잡도 이론과 일치합니다.

다. 수치적 실험

• 시스템 크기 $N$ 과 깊이 $D$ 를 변화시키며 전체 부울 큐브 (full Boolean cube) 에 대한 적합 실험을 수행했습니다.
• 다항식 활성화: $D \approx \log N$ 선을 따라 정확도가 급격히 상승하며, 이는 이론적 바운드와 정확히 일치합니다.
• $\tanh$ 활성화: $D=3$ 에서 명확한 임계값 전이가 관찰되었으며, 이는 이론적으로 예측된 임계 회로 복잡도 상승과 일치합니다.

4. 의의 및 결론 (Significance)

• 얽힘의 대체 지표: 얽힘 엔트로피가 아닌 왈시 복잡도가 가산적 신경망의 표현력을 설명하는 핵심 척도임을 입증했습니다. 얽힘이 적어도 왈시 스펙트럼이 평평한 상태는 가산적 모델에겐 매우 어렵습니다.
• 가산적 vs 곱셈적 모델의 차이:
  • 곱셈적 모델 (RBM 등) 은 인자 (factor) 의 곱을 통해 복잡도를 축적할 수 있어 얽힘이 적은 상태도 쉽게 표현합니다.
  • 가산적 모델은 활성화 함수의 비선형성과 깊이를 통해 복잡도를 생성해야 하며, 이는 깊이 (Depth) 가 핵심 자원임을 보여줍니다.
• 이론적 한계와 실용적 표현력:
  • "온화한" regime 에서는 명확한 복잡도 상한 (Ceiling) 을 증명할 수 있습니다.
  • 그러나 활성화 함수가 포화되어 임계 회로 ($TC_0$) 영역으로 넘어가면, 명시적인 하한 증명 (lower bound) 이 매우 어려워집니다 (Natural proofs 장벽 등). 이는 실제 현대 NQS 가 매우 강력한 표현력을 보이는 이유를 설명합니다.
• 결론: 가산적 신경 양자 상태의 표현력은 얽힘이 아니라 왈시 스펙트럼의 분포와 네트워크 깊이에 의해 결정됩니다. 특히 얕은 네트워크는 복잡한 스펙트럼을 가진 상태를 표현하는 데 근본적인 한계가 있으며, 이를 극복하기 위해서는 로그 스케일의 깊이가 필요합니다.

이 연구는 신경 양자 상태의 이론적 기반을 다지고, 어떤 양자 상태를 어떤 아키텍처로 효율적으로 표현할 수 있을지에 대한 새로운 기준을 제시했다는 점에서 중요합니다.