An interpretable closed form for entanglement entropy from bitstrings, guided by a graph neural network

기술 요약: 비트스트링으로부터의 해석 가능한 엔트로피 폐쇄형 공식: 그래프 신경망을 통한 유도

문제 정의
리드베리 원자 배열 양자 시뮬레이션에서 경험적인 비트스트링 분포(점유 기저에서의 측정 결과)는 가장 접근하기 쉬운 관측량이다. 그러나 이분법적 본 네만 엔트로피($S_{vN}$)는 양자 다체 물질의 핵심 진단 도구임에도 불구하고 이를 얻는 데 훨씬 더 많은 비용이 든다. 전체 상태 토모그래피는 시스템 크기 $N$에 따라 지수적으로 확장되며, 토모그래피가 필요 없는 프로토콜조차도 많은 수의 복사본, 게이트 또는 후처리 과정을 요구한다. 비트스트링 분포는 $S_{vN}$를 유일하게 결정하지는 못하지만(서로 다른 상태가 동일한 대각 성분 분포를 가질 수 있으나 엔트로피는 다를 수 있음), 이를 매우 강력하게 제약한다. 기존의 추정치들은 트레이드오프에 직면해 있다: 고전적 상호 정보량($I$)에 기반한 해석적 경계값은 해석 가능하지만 거칠며($S_{vN}$을 약 0.10 nats 과소평가함), 정확한 그래프 신경망(GNN) 대리 모델은 새로운 체제(상, 기하학적 구조, 또는 해밀토니안)마다 재학습이 필요한 블랙박스이다. 목표는 학습된 모델의 정확성과 해석적 형태의 해석 가능성 및 휴대성을 결합한 추정치를 찾는 것이다.

방법론
저자들은 "GNN 유도형" 접근 방식을 사용하여 폐쇄형 추정식을 도출한다:

1. GNN의 메커니즘 탐사: 저자들은 단순히 손으로 선택한 관측량에 적합(fitting)시키는 대신, 사전 학습된 GNN([5] 참조)을 탐사하여 어떤 입력값이 $S_{vN}$ 예측을 주도하는지 식별한다. 인과적 개입(어텐션 라우팅, 활성화 패칭, 에지 제거)을 통해, 저자들은 GNN의 예측이 구체적으로 이분법 경계 에지($E_b = A \times B$)를 통해 라우팅됨을 입증한다. 네트워크는 에지가 컷(cut)을 가로지르는지 여부에 따라 어텐션을 재라우팅하며, 경계 에지를 제거하면 성능이 크게 저하된다.
2. 특징 제한 및 탐색: 경계 상관관계(boundary correlators)에 대한 GNN의 집중을 가이드 삼아, 저자들은 비트스트링 분포로부터 유도된 25개의 큐레이션된 물리적 스칼라 목록(특히 경계 집합 $E_b$ 상에서 계산된 것들)으로 엄격한 탐색 범위를 제한한다.
3. 전수 심볼릭 탐색: 일반 최소 제곱법(OLS)을 사용하여 모든 $\binom{25}{6} = 177,100$개의 6개 특징 조합에 대한 전수 탐색을 수행한다. 그 결과로 6개 항의 선형 폐쇄형(식 1)이 도출된다.
4. 검증 및 스케일링: 이 형태는 $N \le 20$인 경우의 정확 대각화(Exact Diagonalization)와 $N$이 최대 100인 경우의 밀도 행렬 재정규화 그룹(DMRG)을 통해 검증된다. 저자들은 계수의 스케일링 동작을 분석하고, 다양한 해밀토니안 패밀리 및 기하학적 변화에 대한 전이 가능성을 테스트한다.

주요 기여

1. 6개 항의 폐쇄형 (식 1): 저자들은 인간이 읽을 수 있고 하이퍼파라미터가 없는 선형 추정치를 제시한다:
   $$\hat{S}_{vN} = b_1 \log(I+1) + b_2 \sum_{E_b} \sqrt{|c|} + b_3 \sum_{E_b} \tanh |c| + b_4 (\max_{E_b} |c|)^2 + b_5 \min_{E_b} c + b_6 \min(H_A, H_B) I$$
   여기서 $c$는 2점 상관관계, $I$는 상호 정보량, $H$는 단일 사이트 엔트로피를 나타낸다.
2. GNN 유도형 특징 추출: 이 연구는 신경망의 인과적 탐사가 특정 예측 작업에 대한 관련 물리적 부공간(경계 상관관계)을 효과적으로 식별할 수 있음을 보여주며, 이를 통해 수동적인 특징 공학(feature engineering)의 필요성을 우회함을 입증한다.
3. 스케일링 법칙 및 교정 규칙: 논문은 폐쇄형의 계수가 스케일 불변적이지 않음(고정된 계수는 큰 $N$에서 실패함)을 밝히면서도, 형태 자체는 $N=100$까지 유지됨을 보여준다. 두 개의 계수는 깨끗한 $1/N$ 법칙을 따르며, 앵커 계수는 하향 곡선을 그리며 증가한다. 이를 통해 타겟 크기에서 미세 조정된 앙상블과 일치하도록 형태를 재교정할 수 있는 "레이블 예산 규칙(label-budget rule)"을 제공한다.

결과

• 정확도: 폐쇄형은 인-디스트리뷰션(in-distribution) 테스트 세트에서 0.0244 nats의 평균 절대 오차(MAE)를 달합니다. 이는 베이스 GNN(0.0038 nats)보다는 6.4배 높지만, 고전적 상호 정보량 베이스라인(0.1002 nats)보다는 현저히 낮습니다.
• 휴대성 (Out-of-Distribution): 변경 없이 그대로 적용했을 때(한 번 피팅 후), 6개의 OOD 풀(시스템 크기 변화, 구조적 변화, 무작위 2D 위치 포함)에 대해 폐쇄형은 6개 중 5개에서 베이스 GNN보다 우수한 성능을 보였으며 나머지 하나는 동등한 성능을 보였습니다. 이는 해당 형태가 기하학적 비매개변수적 특성을 갖기 때문입니다. GNN과 달리 이 모델은 명시적인 원자 좌표를 입력받지 않습니다.
• 교차 해밀토니안 전이: 해밀토니안 패밀리별로 재피팅했을 때, 6개 특징을 가진 이 형태는 테스트된 모든 해밀토니안 패밀리(TFIM, XXZ, J1-J2, Rydberg, random-sign)에서 분석적 베이스라인($I$ 및 필터링된 $I$)보다 우수한 성능을 보였습니다. 동일한 특징을 사용하는 XGBoost가 더 정확하긴 하지만, 해석 가능성이 부족합니다.
• $N=100$으로의 확장: 독립적인 DMRG 데이터를 사용하여, 저자들은 고정된 계수를 사용한 글로벌 피팅이 큰 규모에서 실패함(MAE가 1 nat 이상으로 증가)을 보여줍니다. 그러나 크기별로 계수를 재피팅하면 25–50 mnat의 MAE를 유지할 수 있습니다. 피팅된 계수의 스케일링 법칙을 사용하면 레이블 없이도 약 40–80 mnat 수준에서 배포가 가능합니다.
• 강건성: 이 형태는 샷 노이즈(shot noise)에 강하며, 약 160회의 측정 샷만으로도 상호 정보량 베이스라인보다 뛰어난 성능을 보입니다.

의의 및 주장
본 논문은 식 1이 정확도-해석 가능성 트레이드오프에서 독특한 틈새를 점유한다고 주장합니다. 이는 GNN을 단순히 재구성하는 의미의 "증류(distillation)"가 아닙니다. 오히려 GNN이 활용하는 것과 동일한 물리적 양에 대한 독립적이고 저차원적인 그라운드 트루스 피팅입니다. GNN은 이러한 양들을 중복적이고 고차원적인 코드로 인코딩하는 반면, 식 1은 이를 읽을 수 있는 투영(projection)으로 제공합니다.

이 연구의 의의는 투명하고, 전이 가능하며, 튜닝 가능한 추정치를 제공한다는 데 있습니다. 이를 통해 실험자는 엔트로피 추정을 구동하는 물리학을 검사할 수 있고, 재학습 없이 다양한 기하학적 구조와 상(phase)에 모델을 적용할 수 있으며, 최소한의 레이블로 모델을 교정할 수 있습니다. 저자들은 비선형 모델(XGBoost 또는 GNN)이 대규모 레이블 데이터셋이 주어졌을 때 더 높은 원시 정확도를 제공할 수 있지만, 폐쇄형은 더 우수한 투명성과 특성화된 스케일링 동작을 제공하여 대규모 양자 시뮬레이션을 위한 "레이블 예산 규칙"을 확립한다고 결론짓습니다.