What Neural Network Field Theory Can and Cannot Realise on a Computer

기술 요약: "신경망 장론이 컴퓨터 상에서 실현할 수 있는 것과 실현할 수 없는 것"

문제 정의
신경망 장론(Neural Network Field Theory, NN-FT)은 신경망 앙상블, 특히 무한 폭(infinite-width) 극한에서 양자 장론(QFT) 또는 유효 장론(EFT)을 정의하고 시뮬레이션하기 위한 계산 프레임워크 역할을 할 수 있다고 제안한다. 무한 폭 앙상블은 가우시안 프로세스(자유 장론)로 수렴하는 것으로 알려져 있으나, 핵심적인 계산적 과제는 다음과 같다: 유한 폭 앙상블(여기서 $1/N$ 보정이 상호작용을 도입함) 또는 그들의 무한 폭 극한이 컴퓨터 상에서 QFT의 공리나 통제 가능한 EFT를 충실하게 재현할 수 있는가?

본 논문은 신경망 앙상블이 오스테르발더-슈라이더 공리(특히 반사 양의성, reflection positivity)를 만족하여 일관된 유클리드 QFT를 정의하거나, 적어도 정량화 가능한 오차(대상 이론에 대한 사전 지식에 의존하지 않고 오직 앙상블과 그 샘플로부터 도출되는 오차)를 가진 유효한 EFT를 구성할 수 있는지 조사한다.

방법론
저자는 다음 요소들 사이의 상호작용에 초점을 맞추어 신경망 앙젤의 특성에 대한 엄밀한 수학적 분석을 수행한다:

1. 유한 분산(Finite Variance): 모든 점 $x$에서 네트워크 출력 $f(x)$가 유한한 분산을 갖는다는 가정(점별 앙상블).
2. 유클리드 불변성(Euclidean Invariance): 이점 함수(two-point function)가 평행 이동, 회전, 반사에 대해 불변이라는 가정.
3. 반사 양의성(Reflection Positivity): 유클리드 상관 함수로부터 물리적 힐베르트 공간을 재구성하는 데 필요한 오스테르발더-슈라이더 공리.

핵심 방법론은 $d \ge 2$ 차원에서 이러한 가정들 사이의 불호환성을 보여주는 "불가능 정리(no-go theorem)"(정리 2.1)를 증명하는 것이다. 이 증명은 모형의 이점 함수를 운동량 공간에서 표현하기 위해 보흐너 정리(Bochner's theorem)를 활용하며, 반사에 따른 상관 함수의 볼록성(convexity)을 분석한다. 이 분석은 $d=1$ 차원 및 특정 아키텍처(예: 코사인 네트워크)로 확장되어 장애물의 경계를 테스트한다.

주요 기여 및 결과

1. 장애물 정리 (정리 2.1)
본 논문은 $d \ge 2$에 대한 근본적인 불가능 정리를 확립한다:

• 전제: 함수 $f: \mathbb{R}^d \to \mathbb{R}$에 대한 확률 측도(probability measure)가 점별 앙상블(모든 점에서 유한한 분산)이며, 유클리드 불변이고, 평균 제곱 연속(mean-square continuous)이며, 초평면(hyperplane)에 대해 반사 양의성을 만족한다고 가정한다.
• 결과: 이점 함수 $S_2(x, y)$는 반드시 상수여야 한다. 결과적으로, 장(field)은 변동하지 않으며, 전파되는 자유도를 갖지 않으며, 이론은 자명(trivial)해진다.
• 함의: 임의의 비자명한(non-trivial) 유클리드 불변 점별 앙상블은 $d \ge 2$에서 반드시 반사 양의성을 위반해야 한다.

2. 네 가지 NN-FT 시나리오 분석
본 논문은 정의되는 대상(유한 $N$ vs. 무한 극한)과 대상 이론(QFT vs. EFT)을 기준으로 NN-FT를 $2 \times 2$ 격자로 분류한다:

• (QFT | 유한 $N$): 불가능. 유한한 분산과 유클리드 불변성을 가진 임의의 유한 폭 앙상블에서 반사 양의성은 실패한다. 근저에 반사 양의성을 가진 측도가 존재하지 않으므로, 힐베르트 공간이나 윅 회전(Wick-rotatable) 가능한 양자 이론이 존재할 수 없다.
• (QFT | 극한): 부분적으로 실현 가능하나 EFT와 구별 불가능. 만약 무한 폭 극한이 유한한 분산을 유지한다면, 이는 자명하다. 만약 극한이 분산을 발산하도록 허용한다면(점별 클래스를 벗어남), 비자명한 QFT를 정의할 수 있다. 그러나 계산적으로는 "스미어링된(smeared)" 상관 함수(유한한 분산 추정치를 가진 관측량)만이 제어된 오차와 함께 접근 가능하다. 연속적인 QFT를 구분 짓는 특이 합성 연산자(singular composite operators)는 앙상블만으로 오차를 제어하며 계산될 수 없으므로, 시뮬레이션은 유한한 정확도 내에서 EFT 계산과 구별할 수 없게 된다.
• (EFT | 유한 $N$): 미증명/가능성 낮음. 모든 유한 폭에서 반사 양의성이 실패하더라도, 위반 사항이 물리적 상호작용으로부터 파라메트릭하게 분리되어 있다면(예: $p/\Lambda$의 거듭제곱에 의해 억제됨) EFT 해석이 엄격히 배제되지는 않는다. 그러나 본 논문은 비섭동적 $1/N$ 효과와 위반에 대한 체계적인 척도의 부재로 인해, 이러한 분리를 설계하는 것이 어려우며 모든 유한 폭 인공물(artifact)을 EFT 컷오프 아래로 제어하는 것이 어렵다고 주장한다.
• (EFT | 극한): 실현 가능. 이것이 가장 실행 가능한 경로이다. 네트워크는 무한 폭에서 정의되고 규제된 EFT를 시뮬레이션할 수 있다. 유한 폭 앙상블은 극한의 절단(truncation) 역할을 한다. 만약 유한 폭 오차(비섭동적 $1/N$ 효과 포함)가 컷오프 $\Lambda$에 의해 부과된 체계적 오차보다 낮게 밀려난다면, 시뮬레이션은 유효하다.

3. 1차원 사례 ($d=1$)
$d=1$에서는 운동량 적분이 수렴하므로 장애물 정리가 적용되지 않으며, 비자명한 반사 양의 극한을 허용한다. 그러나 본 논문은 코사인 네트워크(자유 장을 구현하는 표준 아키텍처)의 경우, 유한한 질량 개수에 대해 모든 유한 폭 $N$에서 반사 양의성이 여전히 실패함을 증명한다(정리 4.1). 결함은 고차 상관 함수(특히 3차 단항식과 관련된 경우)의 유한 폭 보정에서 발생하며, 이는 $1/N$ 또는 $1/N^2$의 척도로 나타난다.

4. 제안된 탈출구 (Proposed Escapes)
본 논문은 불가능 정리를 피할 수 있는 두 가지 방법을 식별하며, 각각 상당한 계산적 트레이드오프를 동반한다:

• 탈출구 1: 한 점에서의 유한 분산을 포기한다. (점에서의 공존 분산이 발산하도록 허용함, 예: 리우빌 이론). 이를 통해 비자명한 상호작용 극한을 허용할 수 있다. 그러나 이는 점에서의 장 값을 직접 샘플링하는 것을 방지한다. 오직 스미어링된 관측량만이 제어된 오차와 함께 계산 가능하다. 특이 합성 연산자는 외부 UV 규제가 필요하며, 앙상블으로부터 유도된 오차만으로는 계산될 수 없다.
• 탈출구 2: 정확한 회전 불변성을 포기한다. 이를 통해 유한 분산을 유지할 수 있다. 격자(lattice)가 이 탈출의 전형적인 예이다. 그러나 전통적인 NN-FT 아키텍처는 대칭성 깨짐을 체계적으로 제어하고 연속 극한에서 이방성(anisotropy)을 제거할 독립적인 차원적 매개변수(예: 격자 간격 $a$)가 부족하다.

의의 및 주장
본 논문은 QFT를 위한 계산 도구로서 NN-FT의 한계를 결정적으로 규정한다고 주장한다.

• QFT에 대한 No-Go: 본 논문은 유한한 분산을 가진 표준 유한 폭 신경망 앙상블이 $d \ge 2$에서 반사 양의성의 실패로 인해 정확하고 비자명한 유클리드 QFT를 구현할 수 없음을 확립한다.
• 계산적 구별: 무한 폭 극한이 QFT를 정의할 수는 있지만, 그러한 이론의 계산적 실현은 스미어링된 관측량으로 제한되며, 이는 실질적으로 외부 지식 없이는 EFT 시뮬레이션과 구별할 수 없음을 명확히 한다.
• 제한적 범위: 본 논문은 이러한 문제들을 해결하기 위한 새로운 아키텍처를 제안하는 것이 아니라, 무엇이 가능한지의 경계를 획정하는 데 목적이 있다. 본 논문은 제어된 수치 계산을 위해, NN-FT가 정확한 QFT로 가는 직접적인 경로라기보다는 유한 폭 절단 오차가 물리적 컷오프보다 미미한 유효 장론(EFT)을 시뮬레이션하는 데 가장 적합하다고 시사한다.

이 연구는 신경망을 사용하여 장 이론을 정의하거나 시뮬레이션하려는 연구자들에게 주의를 주는 프레임워크 역할을 하며, 표준 네트워크 출력에 내재된 "유한 분산" 특성이 $d \ge 2$에서 유클리드 불변성 및 반사 양의성과 결합될 때 연속적인 장의 분포적 성질과 근본적으로 양립할 수 없음을 강조한다.