Neural Network Field Theory at Finite Width

기술적 요약: 유한 폭에서의 신경망 장론 (Neural Network Field Theory at Finite Width)

문제 정의
본 논문은 유한한 수의 파라미터($N < \infty$)를 가진 신경망(NN)을 사용하여 양자 역학(QM) 및 양자 장론(QFT)을 표현하는 데 따르는 한계를 조사한다. 기존 연구들은 비음수 측도(non-negative measure)를 가진 임의의 QM 또는 QFT가 무작위 파라미터의 가산 무한(countably infinite) 개수를 통해 신경망으로 정확하게 표현될 수 있음을 입증했으나, 이러한 표현이 유한한 폭으로 절단(truncation)되었을 때의 성질은 여전히 불분명하다. 핵심 질문은 다음과 같다: 전통적인 유클리드 QFT의 근본적인 성질들(반사 양의성, 클러스터 분해, 그리고 필드 구성의 특정한 성질 등) 중 어떤 것이 유한한 $N$에서 정확하게 보존될 수 있고, 어떤 것이 반드시 위배되어야 하는가?

보렐 동형 정리(Borel isomorphism theorem)를 통해 단일 무작위 파라미터가 형식적으로 무한한 정보를 인코딩할 수 있다는 미묘한 점이 존재하므로, 저자들은 "유한함"을 파라미터 계수(parameter-counting)의 관점과 계산적 또는 구조적(architectural) 관점으로 구분한다. 분석은 고정된 특징(features)이나 무작위 입력 가중치를 가진 단일 레이어 네트워크와 같이, 유한한 파라미터 세트 안에 무한한 계산을 숨길 수 없는 자연스러운 유한 폭 아키텍처에 집중한다.

방법론
저자들은 유한 폭 신경망 앙상블을 분석하기 위해 함수 해석학, 스펙트럼 이론, 그리고 구성적 QFT 기법을 결합하여 사용한다. 방법론은 두 가지 주요 단계로 진행된다:

1. 양자 역학 (1D): 저자들은 양자 궤적을 나타내는 확률 과정 $x(t)$를 분석한다. 이들은 확률 과정의 공분산 연산자의 고유함수에 기반하여 확률 과정의 최적 직교 분해를 제공하는 코삼비-카르후넨-뢰베(Kosambi-Karhunen-Loève, KKL) 전개를 활용한다. 이들은 표준 QM(Osterwalder-Schrader 공리로부터 유도됨)의 무한 계수(infinite-rank) 성격과 유한 폭 신경망의 유한 계수 성격 간의 차이를 비교한다.
2. 양자 장론 (d $\ge$ 2): 분석은 일반화된 무작위 장(Schwartz 분포)으로 전환된다. 저자들은 세 가지 구체적인 장애물을 조사한다:
   • 공액점 극한 (Coincident-Point Limits): 두 점이 일치할 때($x \to y$) 두 점 함수(two-point functions)의 거동을 분석한다. 이는 일반적으로 UV 특이점(singularities)으로 인해 QFT에서 발산한다.
   • 운동량 공간 분석: 필드 구성의 푸리에 변환의 지지 집합(support)을 조사하며, 필드 드로우(field draws)의 운동량 함량을 결정하기 위해 클러스터 분해(cluster decomposition) 성질(mixing)을 활용한다.
   • 분포적 뉴런 (Distributional Neurons): 뉴런 자체를 (일반 함수가 아닌) Schwartz 분포로 허용하는 것이 유한한 네트워크와 QFT 필드 구성 사이의 불일치를 해결할 수 있는지 테스트한다.

주요 기여 및 결과

1. 양자 역학에서의 장애물 (유한 N)
본 논문은 유한 폭 신경망이 전통적인 양자 역학 시스템의 상관 함수를 정확하게 재현할 수 없음을 증명한다.

• 차원 계수 논증: 표준 QM 경로 적분은 연속적이고 곳곳에서 미분 불가능한 경로(예: 브라운 운동)에 의해 지지된다. 미분 가능한 함수들의 유한 합(표준 뉴런)은 거의 모든 곳에서 미분 가능한 경로를 생성하므로, 실제 측도의 미분 불가능한 성격을 포착하지 못한다.
• KKL 최적성 논증: 비자명한 QM 시스템의 공분산 커널은 무수히 많은 양의 고윳값(infinite rank)을 갖는다. 유한 폭 신경망은 유한 차원 부분 공간으로의 투영에 해당한다. KKL 전개의 최적성에 의해, 임의의 유한 절단은 비제로 평균 제곱 오차를 발생시킨다. 구체적으로, 저자들은 임의의 유한 특징 공간에 대해 네트워크가 제로 분산을 갖는 함수 공간의 방향이 존재하며, 실제 QM 과정은 모든 비제로 방향에서 양의 분산을 가짐을 보여준다 (Lemma 2).

2. 양자 장론에서의 장애물 (유한 N)
$d \ge 2$인 경우, 저자들은 유한 폭 네트워크가 일반적으로 OS 공리 중 적어도 하나를 위배함을 확인한다.

• 공액점 발산: 비자명한 Källén-Lehmann 표현을 갖는 전통적인 QFT는 공액점에서 발산하는 두 점 함수(logarithmic in $d=2$, power-law in $d>2$)를 갖는다.
  • 결과: 뉴런 출력이 유계된 점별 분산(bounded pointwise variance)을 갖는 임의의 유한 폭 아키텍처(ReLU나 유한 모멘트 파라미터를 가진 유계 함수가 충족하는 조건)는 유한한 스미어링된 분산(smeared variance)을 생성한다. 결과적으로, 이러한 네트워크는 비자명한 QFT의 요구되는 UV 발산을 재현할 수 없다.
  • 예외: 만약 유한 분산 조건을 완화한다면(예: 헤비 테일 파라미터 분포나 특이 진폭 사용), 유한 폭(심지어 폭이 1인 경우에도) 네트워크가 올바른 두 점 함수와 반사 양의성을 재현할 수 있음을 보여준다. 그러나 이는 실질적인 몬테카를로 샘플링을 위한 "비물리적인" 파라미터 통계치를 요구한다.
• 운동량 공간 장애물 (클러스터 분해):
  • 결과: 클러스터 분해(mixing) 가정 하에, QFT의 전형적인 필드 드로우는 $\mathbb{R}^d$ 전체의 운동량 공간에 걸쳐 푸리에 지지 집합을 가져야 한다.
  • 장애물: 단일 레이어 신경망 $\phi_\theta(x) = \sum_{i=1}^N w_i \sigma_i(a_i \cdot x + b_i)$의 푸리에 변환은 오직 $N$개의 선(입력 가중치 $a_i$에 비례)의 합집합에만 지지된다. $d \ge 2$인 경우 유한한 선의 합집합은 $\mathbb{R}^d$의 측도 영(measure-zero) 집합이므로, 이 네트워크는 클러스터링된 QFT가 요구하는 전체 운동량 지지 집합을 재현할 수 없다. 이는 고차 함수(higher-point functions)에서 클러스터 분해 또는 반사 양의성의 위배로 이어진다.
• 분포적 뉴런: 뉴런을 Schwartz 분포로 일반화하더라도(네트워크 출력을 함수가 아닌 분포로 허용하더라도), 유한 계수 장애물은 지속된다. 분포들의 유한 합은 여전히 필드가 결정론적인 무한 차원 커널을 남기며, 이는 모든 방향에서 변동을 요구하는 비자명한 Källén-Lehmann 공분산과 모순된다.

의의 및 주장
본 논문은 유한 폭 신경망을 통한 전통적인 QFT의 표현이 OS 공리 전체와 근본적으로 양립할 수 없다고 결론짓는다.

• 정확한 실현: 전통적인 QFT를 신경망을 통해 정확하게 구현하려면, 무한 폭 극한($N \to \infty$)을 취하거나, 표준적인 물리적 가정을 명시적으로 위반하는 아키텍처/파라미터 밀도를 사용해야 한다.
• 유한-N 이론의 본질: 유한-$N$ 신경망으로 정의된 이론들은 단순히 표준 QFT의 "근사치"가 아니라, 유클리드 공변성, 반사 양의성 또는 클러스터 분해와 같은 성질이 결여된 구별되는 "이색적인(exotic)" 이론들이다.
• 실질적 함의: 유한 폭 네트워크가 표준 QFT를 정확히 재현할 수는 없지만, 저자들은 절단된 근사치가 수치적 연구(예: 리우빌 이론, 맥스웰 이론)에서 여전히 사용되고 있음을 언급한다. 그러나 이러한 근사치의 통계적 성질이 대상 이론과 일치한다는 보장은 없으며, 그 오류는 단순한 수치적 오류가 아니라 구조적 오류이다.

이 연구는 새로운 실험적 응용을 제안하기보다는, 연속적인 양자 시스템의 표현으로서 유한 폭 신경망의 한계를 엄밀하게 이론적으로 규명하는 데 목적이 있다. 이는 향후 연구가 $N$에 따른 OS 공리 위반의 정도를 정량화하고, 유한 폭에서 어떤 공리 조합이 보존될 수 있는지 분류하는 데 집중해야 함을 시사한다.