Learning Scattering Amplitudes with Transformer Reinforcement Learning

기술 요약: 트랜스포머 강화 학습을 이용한 산란 진폭(Scattering Amplitudes) 학습

문제 정의
본 논문은 평면 $\mathcal{N}=4$ 초양-밀스(SYM) 이론에서 고차 루프 수준의 산란 진폭을 결정하는 데 따르는 계산적 난제를 다룬다. 파인만 다이어그램에 기반한 전통적인 섭동론적 방법은 루프 차수와 입자 수에 따라 계수(factorial)로 증가하므로, 높은 차수에서는 계산이 불가능해진다. 최근 트랜스포머를 사용하여 이러한 진폭의 기호적 구조를 시퀀스 모델링 문제로 프레임화하는 연구가 있었으나, 기존의 "트랜스포머 전용" 접근 방식은 두 가지 결정적인 한계를 가진다:

1. 데이터 의존성: 모델을 학습시키기 위해 최종 답안의 대다수(예: $L=6$의 경우 계수의 97%)를 사전에 알고 있어야 한다.
2. 일관성: 확률 분포에 대한 탐욕적 샘플링(Greedy sampling)은 모델이 전역적 제약 조건을 강제하지 않고 계수를 독립적으로 예측하기 때문에, 알려진 물리적 관계 및 대칭성을 위반하는 출력을 생성할 수 있다.

본 연구의 목표는 알려진 계수의 수를 현저히 줄이면서도 모든 물리적 제약 조건이 충족됨을 보장하며, 3-글루온 폼 팩터(specifically the $3g \to H$ amplitude)의 심볼 알파벳에 대한 정수 값 계수를 재구성하는 것이다.

방법론
저자들은 정확한 선형 관계와 대칭성을 탐색 과정에 직접 통합하는 트랜스포머 강화 학습(RL) 알고리즘을 제안한다. 이 접근 방식은 재구성을 세 가지 별도의 구성 요소를 포함하는 순차적 탐색 문제로 취급한다:

1. 기호 표현 및 제약 조건:

   • 진폭은 $\{a, b, c, d, e, f\}$의 6개 글자 알파벳에서 추출된 길이 $2L$의 단어(words)에 대한 정수 계수 $C$로 구성된 심볼 $S[F^{(L)}]$로 표현된다.
   • 솔루션 공간은 인접 제약 조건(금지된 글자 쌍 및 교대 구조)과 선형 관계(적분 가능성 조건, 인과성, 그리고 전 루프 관계)에 의해 제약된다. 이러한 관계들을 통해 부분적인 할당으로부터 많은 계수를 결정론적으로 추론할 수 있다.

2. 상태 압축 (최소 접미사 표현):

   • 상태 공간의 계수적 성장을 처리하기 위해, 저자들은 "최소 접미사 표현(minimal suffix representation)"을 사용한다. 단어의 끝부분에 작용하는 관계를 분석함으로써, 이들은 압축된 독립 변수 기저를 구축한다.
   • 이는 더 큰 토큰 알파벳을 사용하는 대신 훨씬 짧은 시퀀스 길이($2L - K + 1$)를 갖도록 하여 상태 크기를 줄인다.

3. 알고리즘 아키텍처:

   • 사전 학습(Pretraining): 두 개의 헤드를 가진 트랜스포머가 알려진 계수의 하위 집합에 대해 사전 학습된다. **정책 헤드(Policy head)**는 계수를 예측하는 법($P(\text{coefficient}|\text{word})$)을 배우고, **가치 헤드(Value head)**는 탐색을 가이드하기 위해 남은 경로 길이(평균 제곱 오차를 통해)를 추정하는 법을 배운다.
   • 강화 학습 루프 (MCTS): 알고리즘은 다음 과정을 반복하는 루프로 작동한다:
     1. 선택(Selection): 미할당 계수를 가지고 있으며, 오직 두 개의 미지수만을 포함하는 관계에 가장 많이 참여하는 단어를 식별한다.
     2. 제안(Proposal): 사전 학습된 트랜스포머가 후보 계수의 분포를 제안한다.
     3. 전파(Propagation): 계수 할당의 결과를 결정론적으로 전파하기 위해 정확한 선형 관계를 사용한다. 이 단계는 많은 다른 계수들을 자동으로 해결한다.
     4. 탐색(Search): 전파가 해결되지 않은 계수들과 함께 고정점(fixed point)에 도달하면, **몬테카를로 트리 탐색(MCTS)**이 대안적인 할당을 탐색한다.
     5. 제약 조건 강제(Constraint Enforcement): 알려진 관계를 위반하는 모든 할당은 "게임 오버"로 처리되어 탐색 트리의 해당 브랜치를 가지치기한다. 이를 통해 생성된 모든 출력은 물리적으로 일관됨을 보장한다.

주요 기여

• 대칭성의 통합: 기존의 트랜스포머 전용 방식과 달리, 이 알고리즘은 통계적 학습에만 의존하는 것이 아니라 유도된 대칭성과 선형 관계를 학습 루프 내의 하드 제약 조건으로 통합한다.
• 하이브리드 탐색 메커니즘: 트랜스포머 기반의 계수 제안, 결정론적 전파, 그리고 MCTS의 결합은 시스템이 상태 공간의 조합 폭발을 헤쳐 나갈 수 있게 한다.
• 데이터 효율성: 이 방법은 사전 학습을 위한 레이블링된 데이터로서 필요한 솔루션의 비율을 획기적으로 줄인다.
• 보장된 일관성: 위반 사항을 MCTS의 종료 상태로 처리함으로써, 알고-리즘은 모든 출력이 부과된 전체 관계를 만족하도록 보장한다. 이는 표준 시퀀스 모델링에는 없는 특징이다.

결과
알고리즘은 12,543개의 단어를 포함하는 3-글루온 폼 팩터의 $L=5$ 심볼에 대해 테스트되었다.

• 성능: 모델은 알려진 입력으로서 단 **5%**의 계수만을 사용하여 완전한 $L=5$ 심볼을 성공적으로 재구성했다.
• 비교: 이는 $L=6$의 경우 훈련을 위해 97%의 심볼이 필요했던 트랜스포머 전용 방식과 극명하게 대조된다.
• 효效率: MCTS 개입이 필요하기 전까지 전파(propagation)만으로 약 70%의 단어 할당이 이루어졌다. 나머지 작업은 트랜스포머의 학습된 사전 확률(priors)에 의해 처리되었다.
• 검증: 생성된 모든 솔루션은 (순환 변환을 제외하고) 이전에 유도된 결과와 일치했으며, 부과된 모든 관계를 만족했다.

의의 및 주장
본 논문은 이 접근 방식이 머신러닝의 고차 루프 차수로의 일반화에 있어 매우 중요하다고 주장한다. 정확한 관계와 MCTS의 통합 없이는, 계수적으로 증가하는 상태 크기로 인해 다른 방법들로 유도된 결과와 비교하는 것이 불가능할 것이다. 저자들은 이 방법이 훨씬 작은 사전 학습 세트를 사용하면서도 물리적 일관성을 보장하며 고차 루프 결과를 도출할 수 있게 해준다고 단언한다.

저자들은 한 가지 완만한 한계를 언급했다. 본 방식은 최근의 결과(구체적으로 제출 직후 발표된 Anthropic의 $L=9$ 결과 참조)보다 계산 능력을 적게 사용하지만, 아직 $L=9$에 대해서는 입증되지 않았다. 그들은 이 방법을 $L=9$로 확장하는 것이 후속 연구의 주제가 될 것이라고 밝혔다.