기술 요약: PDF 피팅 및 그 불확실성에 대한 정량적 이해

문제 정의

부분자 분포 함수(Parton Distribution Functions, PDFs)는 강입자 충돌기에서의 실험 데이터를 기술하고 핵자의 구조를 이해하는 데 필수적이다. 대형 강입자 충돌기(LHC)가 고정밀 측정 시대로 진입함에 따라, 신뢰할 수 있는 불확실성 정량화를 갖춘 견고한 PDF 결정에 대한 요구가 매우 중요해졌다. PDF 추출은 유한한 데이터 포인트로부터 연속 함수를 추론하는 일-부정 문제가 포함된 역문제(inverse problem)이다. 이 과정은 본질적으로 유일한 해를 갖지 않으며, 문제를 정규화하기 위해 가정과 사전 지식에 의존한다.

최첨단 결정 방식들은 종종 특정 함수 형태를 가진 파라미터 접근법을 사용하지만, NNPDF 협력단은 PDF를 유연한 비파라미터 방식으로 매개변수화하기 위해 머신러닝(ML), 특히 신경망(NN)의 사용을 개척했다. 그러나 이러한 네트워크의 훈련 역학, 특히 데이터에서 피팅된 함수로 불확실성이 어떻게 전파되는지, 그리고 네트워크 아키텍처가 학습 과정에 어떻게 영향을 미치는지에 대한 엄밀한 이론적 이해는 여전히 미지의 영역으로 남아 있다. 기존 문헌은 분석적 프레임워크보다는 경험적 검증(예: 폐쇄 테스트)에 주로 의존하여 이러한 피팅 방법론의 견고성을 진단한다.

방법론

본 연구는 PDF 피트를 사용하는 신경망의 훈련 역학을 분석하기 위해 **신경 탄젠트 커널(Neural Tangent Kernel, NTK)**에 기반한 이론적 프레임십을 개발한다. 저자들은 분석적 다루기 쉬움을 보장하기 위해 다음과 같이 단순화된 설정을 채택한다:

• 데이터: 심층 불멸 산란(DIS) 데이터를 사용하는 단일 PDF 맛 조합($T_3$)이며, 여기서 이론적 예측은 PDF에 선형적으로 의존한다.
• 최적화: 연속 흐름 근사(continuous flow approximation)를 적용한 바닐라 경사 하강법(Gradient Descent, GD).
• 아키텍처: Glorot normal 분포로 초기화된 표준 NNPDF 아키텍처 (2-25-20-8 레이어, tanh 활성화 함수).
• 접근 방식: 학습 과정을 파라미터 공간이 아닌 **함수 공간(functional space)**에서 재구성한다. 네트워크 출력의 진화는 네트워크 아키텍처와 파라미터에 대한 의존성을 인코딩하는 NTK에 의해 지배된다.

본 연구는 합성 데이터(Level-0, Level-1, Level-2)를 이용한 "폐쇄 테스트"를 활용하여 훈련 중 NTK 스펙트럼과 고유벡터의 진화를 추적한다. 분석은 두 가지 레짐(regime)을 구분한다: NTK가 유의미하게 진화하는 초기 "풍부한(rich)" 훈련 단계와, NTK가 안정화되는 후속 "게으른(lazy)" 훈련 단계이다.

주요 기여

1. 훈련 역학의 분석적 기술

저자들은 게으른 훈련 레짐(NTK $\Theta_t$가 거의 일정해지는 구간) 동안의 네트워크 출력 $f_t$에 대한 분석적 해를 도출한다. 이 해는 다음과 같이 표현된다:
$$f_t = U(t)f_0 + V(t)Y$$
여기서 $f_0$는 초기 네트워크 출력이고, $Y$는 훈련 데이터이며, $U(t)$와 $V(t)$는 NTK와 데이터 공분산으로부터 명시적으로 유도된 시간 의존 행렬이다. 이 식은 최종 결과를 초기 조건(사전 정보)의 기여와 데이터(실험 측정값)의 기여로 분해하여, 사전 확률(prior)과 데이터의 역할을 명시적으로 드러낸다.

2. NTK의 스펙트럼 분석

저자들은 NTK에 대한 상세한 스펙트럼 분석을 제공한다:

• 초기화: NTK 스펙트럼은 매우 계층적이며, 0과 유의미하게 다른 큰 고유값은 몇 개뿐이다. 이는 초기에 네트워크가 방대한 함수 공간 중 작은 부분 공간을 탐색함을 의미한다.
• 훈련 진화: "풍ful한" 단계 동안, 부차적인 고유값들이 1~2 자릿수만큼 성장한다. 이는 네트워크가 동적으로 새로운 특징을 발견하고 학습 가능한 함수의 부분 공간을 확장함을 나타낸다.
• 정렬(Alignment): 본 연구는 NTK의 고유벡터(모델 의존적)와 행렬 $M$(데이터 의존적)의 고유벡터 사이의 정렬을 입증한다. 훈련이 진행됨에 따라, 네트워크의 학습 가능한 방향은 관측량(손실 함수)에 가장 많이 기여하는 방향과 정렬된다.

3. 정량적 불확실성 전파

네트워크 출력의 분석적 진화를 유도함으로써, 저자들은 실험 데이터로부터 피팅된 PDF로 불확실성이 어떻게 전파되는지에 대한 정량적 설명을 제공한다. 이 프레임워크는 NN 출의 공분산을 계산할 수 있게 하여, NNPDF의 파라미터 회귀와 역문제를 해결하는 다른 방법론 사이의 간극을 메운다.

4. 정규화 메커니즘

본 논문은 파라미터화(신경망)가 어떻게 일-부정 역문제를 정규화하는지 밝힌다. 함수 공간에서 데이터 행렬 $M$은 데이터에 민감하지 않은 커널(kernel)을 가진 특이 행렬(singular matrix)이다. 신경망 파라미터화는 해를 NTK의 상(image)으로 제한한다. 게으른 레짐에서 NTK의 커널에 속하는 해의 성분은 초기값에 고정되는데, 이는 제약되지 않은 이러한 방향에서의 불확실성이 데이터가 아닌 전적으로 사전 분포(초기화)에 의해 결정됨을 의미한다.

결과

• 표준 게으른 훈련으로부터의 편차: ML 문헌에서 흔히 논의되는 "게으른 훈련" 모델(NTK가 처음부터 일정한 경우)과 달리, NNPDF 훈련은 뚜렷한 "풍부한" 단계를 보인다. 이 초기 단계(약 첫 20,000 에포크) 동안 NTK는 상당한 변화를 겪으며 부차적인 고유값들이 성장하여 네트워크가 새로운 특징을 학습할 수 있게 한다.
• 게으른 레짐의 안정성: 초기 과도기 이후 NTK는 안정화되며 훈련은 게으른 레짐에 진입한다. 이 레짐에서는 분석적 해가 유효하며 손실 함수가 매끄럽게 감소한다.
• 재구성 능력: 본 연구는 NTK의 커널과 직교하는 고유벡터들의 부분 집합이, 풍부한 단계에서 발견된 모드(modes)들을 포함할 경우 입력 함수를 효과적으로 재구성할 수 있음을 보여준다.
• 아키텍처 독립성: NTK 스펙트럼의 계층적 구조와 훈련 역학의 질적 동작은 네트워크 너비(width)와는 크게 무관하지만, 네트워크 크기가 커질수록 NTK의 분산은 감소한다.

의의 및 주장

저자들은 이 연구를 표준 PDF 피팅을 대체하기 위한 것이 아니라, 현재의 피팅 방법론의 견고성을 평가하기 위한 강력한 진단 도구로 위치시킨다.

• 통합된 프레임워크: 이 방법론은 각자의 NTK와 훈련 역학을 분석함으로써 서로 다른 PDF 결정 방식(예: 특정 함수 형태 기반 vs NN 기반)을 비교할 수 있는 통합된 프레임워크를 제공한다.
• 투명성: 분석적 접근 방식은 신경망 아키텍처의 역할과 실험 데이터의 영향을 투명하게 밝힘으로써, 훈련 과정의 "블랙박스" 성격을 해소한다.
• ML 이론의 테스트베드: 본 논문은 PDF 결정 분석이 고에너지 물리학에 적용하기 위해 ML 커뮤니티에서 개발된 학습 과정에 관한 이론적 아이디어들을 적용하는 테스트베드 역할을 한다고 주장한다.
• 제한된 범위: 저자들은 자신들의 결과가 단순화된 설정(단일 맛, 선형 의존성, 바닐라 GD)에서 도출되었으며, 기초적인 이론적 문제를 탐구하기 위한 것임을 명시한다. 현대의 복잡한 글로벌 PDF 피트(다중 맛, 비선형 의존성, 고급 최적화 도구 등)로의 확장은 향후 과제로 남겨둔다.

요약하자면, 본 논문은 NNPDF의 훈련 역학이 NTK의 관점을 통해 분석적으로 이해될 수 있음을 입증하며, 네트워크의 새로운 특징 학습 능력과 데이터를 통한 해의 제약 능력 사이의 동적인 상호작작용을 밝혀낸다. 이는 궁극적으로 ML 기반 PDF 피트의 불확실성 정량화에 대한 엄밀한 근거를 제공한다.