Bound on entanglement in neural quantum states

Probleemstelling

In de kwantumveeldeeltjesfysica vormt het representeren en manipuleren van toestanden in de exponentieel grote Hilbertruimte een fundamentele uitdaging. Variatiestaten worden vaak gebruikt om dit probleem te omzeilen, maar er bestaat een afweging tussen efficiëntie en expressiviteit:

• Tensornetwerken (zoals Matrix Product States - MPS): Ze zijn zeer efficiënt, maar hun expressieve kracht is beperkt door de "area law" voor verstrengeling. Ze kunnen kritieke toestanden of toestanden met "volume law" verstrengeling (waarbij de entropie lineair schaalt met het systeemvolume) niet efficiënt weergeven.
• Neurale Kwantumtoestanden (NQS): Deze, gebaseerd op neurale netwerken, worden breed beschouwd als een alternatief dat de beperkingen van MPS kan overwinnen. Echter, ondanks empirisch succes, ontbreekt er een fundamenteel theoretisch inzicht in de beperkingen van NQS. Het is onduidelijk of NQS met een beperkt aantal parameters in staat zijn om toestanden met volume law verstrengeling te genereren.

Het doel van dit werk is om een strikte bovengrens af te leiden voor de verstrengeling in feed-forward neurale kwantumtoestanden, afhankelijk van het aantal niet-lineariteiten in het netwerk.

Methodologie

De auteur analyseert de structuur van feed-forward neurale kwantumtoestanden die werken op $n$ spins (of fermionische bezettingsgetallen). De golfkfunctie $\Psi(s)$ wordt berekend via een gerichte acyclische graaf (DAG) met $k$ scalaire niet-lineaire operaties (neuronen).

De kern van de methode bestaat uit drie stappen:

1. Feature Reduction (Karakteristieke Reductie):
   De auteur bewijst dat de amplitude van een feed-forward NQS met $k$ niet-lineariteiten niet afhankelijk is van alle $n$ individuele spins, maar slechts van een klein aantal "collectieve variabelen" of affiene combinaties.

   • Formeel: $\Psi(s) = G(t_1(s), \dots, t_\mu(s))$, waarbij $t_i(s) = w_i^T s + c_i$ affiene functies zijn en $\mu \leq k + 1$.
   • Dit betekent dat de complexiteit van de golfkfunctie wordt beperkt door het aantal niet-lineariteiten $k$, niet door de systeemgrootte $n$.

2. Analyticiteit en Polynoombenadering:
   Er wordt een technische aanname gemaakt dat de functie $G$ analytisch en begrensd is in een complex omgeving van haar reële argumenten (een redelijke aanname voor veel standaard activatiefuncties zoals tanh of softplus).

   • Onder deze aanname kan $G$ uniform worden benaderd door een multivariabele polynoom $P_d$ met een graad $d$ in elke variabele.
   • De benaderingsfout daalt exponentieel met de graad $d$.

3. Rank Bound en Entropie:
   Door de golfkfunctie te benaderen met een polynoom, kan de golffunctie worden geschreven als een som van een beperkt aantal termen.

   • De auteur construeert een hulpstaat $|\tilde{\Psi}\rangle$ gebaseerd op deze polynoombenadering.
   • De Schmidt-rang (de rang van de matrix die de verstrengeling beschrijft) van deze hulpstaat wordt begrensd door het aantal termen in de polynoomontwikkeling. Voor een polynoom van graad $d$ in $\mu$ variabelen is de rang begrensd door $\mathcal{O}(d^\mu)$.
   • Aangezien de entropie $S$ begrensd is door $\log(\text{Schmidt-rang})$, volgt hieruit dat $S \sim \mu \log d$.
   • Door de graad $d$ te kiezen als $\Theta(n)$ om de benaderingsfout verwaarloosbaar te maken, wordt de entropie begrensd door $\mathcal{O}(\mu \log n)$.

Belangrijkste Bijdragen en Resultaten

1. De Hoofdstelling (Entanglement Bound):
   Voor een feed-forward NQS op $n$ spins met $k$ scalaire niet-lineariteiten, en onder de aanname van analyticiteit en begrensdheid, geldt voor de von Neumann-verstrengeling $S_A$ van een subregio $A$:
   $$S_A = \mathcal{O}(k \log n)$$
   Dit impliceert dat voor een vast aantal niet-lineariteiten ($k = \mathcal{O}(1)$), de verstrengeling slechts logaritmisch schaalt met de systeemgrootte.

2. Uitsluiting van Volume Law:
   Een direct gevolg is dat NQS met een constant aantal niet-lineariteiten ($k \sim \mathcal{O}(1)$) geen volume law verstrengeling kunnen bereiken (waarbij $S \sim \mathcal{O}(n)$). Om volume law verstrengeling te bereiken, moet het aantal niet-lineariteiten $k$ minimaal schalen als $\mathcal{O}(n / \log n)$.

3. Scherpte van de Bound:
   De auteur toont aan dat deze bound scherp is. Er wordt een analytisch voorbeeld gegeven (de Dicke-toestand, een superpositie van toestanden met totale spin 0) die exact kan worden weergegeven met slechts één niet-lineariteit ($k=1$). Voor deze toestand geldt dat de verstrengeling inderdaad schaalt als $\frac{1}{2} \log n$. Dit bewijst dat de logaritmische schaling niet alleen een bovengrens is, maar ook bereikbaar is.

4. Numerieke Validatie:
   Numerieke experimenten worden uitgevoerd voor verschillende architecturen:

   • Single-Nonlinearity NQS (SN-NQS)
   • Multilayer Perceptron NQS (MLP-NQS)
   • Transformer NQS (T-NQS)
     De resultaten tonen consistent aan dat voor $k \sim \mathcal{O}(1)$ de verstrengeling logaritmisch schaalt met $n$, wat de theoretische voorspelling bevestigt.

5. Vergelijking met MPS:
   Waar MPS in 1D systemen een area law volgen (constante verstrengeling voor een subregio), kunnen NQS met slechts een paar niet-lineariteiten al logaritmische verstrengeling bereiken. Dit onderstreept de superieure expressiviteit van NQS ten opzichte van MPS, zelfs met zeer beperkte middelen.

Significantie en Conclusie

Dit werk legt een fundamentele beperking bloot op de expressieve kracht van neurale kwantumtoestanden. Het toont aan dat het aantal niet-lineariteiten $k$ fungeert als een "flesnek" voor verstrengeling.

• Theoretisch Inzicht: Het biedt een NQS-analoog van de area law voor MPS, maar dan in termen van het aantal parameters (niet-lineariteiten) in plaats van de bond-dimensie.
• Praktische Implicaties: Het verklaart waarom bepaalde NQS-architecturen wel of geen volume law toestanden kunnen leren. Als een systeem volume law verstrengeling vereist (zoals in het quantum Sherrington-Kirkpatrick model), moet het netwerk noodzakelijkerwijs een aantal neuronen hebben dat lineair (of bijna lineair) schaalt met het systeem ($k \sim n$).
• Efficiëntie: Het resultaat suggereert dat NQS met een klein aantal niet-lineariteiten ($k \sim \mathcal{O}(1)$) zeer efficiënt kunnen zijn voor het modelleren van kritieke toestanden of dynamica tot tijden $t \sim \log n$, zonder de rekenkosten van een volledig volume law netwerk.

Samenvattend stelt dit artikel een rigoureuze wiskundige grens vast die de relatie tussen de architectuur van een neurale netwerk (aantal niet-lineariteiten) en de fysieke eigenschappen van de kwantumtoestand (verstrengeling) kwantificeert.