Learning Scattering Amplitudes with Transformer Reinforcement Learning

Technische Samenvatting: Het leren van verstrooiingsamplituden met Transformer Reinforcement Learning

Probleemstelling
Het artikel behandelt de computationele uitdaging van het bepalen van hoog-loop-niveau verstrooiingsamplituden in de planaire $\mathcal{N}=4$ Super Yang-Mills (SYM) theorie. Traditionele perturbatieve methoden gebaseerd op Feynman-diagrammen schalen factorial met de loop-orde en het aantal deeltjes, wat ze onhandelbaar maakt voor hoge ordes. Hoewel recent werk de symbolische structuur van deze amplitudes heeft geframed als een sequentiemodelleringsprobleem dat oplosbaar is door Transformers, lijden bestaande "Transformer-only" benaderingen aan twee kritieke beperkingen:

1. Data-afhankelijkheid: Ze vereisen dat een groot deel van het uiteindelijke antwoord (bijv. 97% van de coëfficiënten voor $L=6$) vooraf bekend is om als trainingsdata te dienen.
2. Consistentie: Greedy sampling van de waarschijnlijkheidsverdeling produceert vaak outputs die bekende fysieke relaties en symmetrieën schenden, aangezien het model coëfficiënten onafhankelijk voorspelt zonder globale beperkingen af te dwingen.

Het doel is om de integer-waardige coëfficiënten van het symboolalfabet van de drie-gluon vormfactor (specifiek de $3g \to H$ amplitude) te reconstrueren met aanzienlijk minder bekende coëfficiënten, terwijl gegarandeerd wordt dat alle fysieke beperkingen worden voldaan.

Methodologie
De auteurs stellen een Transformer Reinforcement Learning (RL) algoritme voor dat exacte lineaire relaties en symmetrieën direct integreert in het zoekproces. De benadering behandelt de reconstructie als een sequentieel zoekprobleem bestaande uit drie onderscheidende componenten:

1. Symbolische Representatie en Beperkingen:

   • De amplitude wordt gerepresenteerd als een symbool $S[F^{(L)}]$ bestaande uit integer coëfficiënten $C$ over sequenties ("woorden") van lengte $2L$ getrokken uit een zes-letter alfabet $\{a, b, c, d, e, f\}$.
   • De oplossingsruimte wordt beperkt door adjacency constraints (verboden letterparen en alternerende structuren) en lineaire relaties (integrabiliteitscondities, causaliteit en all-loop relaties). Deze relaties maken de deterministische inferentie van veel coëfficiënten mogelijk vanuit een gedeeltelijke toewijzing.

2. Toestandscompressie (Minimale Suffix Representatie):

   • Om de factorial groei van de toestandsruimte te beheersen, gebruiken de auteurs een "minimale suffix representatie". Door relaties te analyseren die werken op het einde van woorden, construeren zij een compacte basis van onafhankelijke variabelen.
   • Dit reduceert de grootte van de toestand door suffixes te vervangen door representatieve tokens, waarbij een groter token-alfabet wordt geruild voor een aanzienlijk kortere sequentielengte ($2L - K + 1$).

3. Algoritme Architectuur:

   • Pretraining: Een twee-koppige Transformer wordt voorgetraind op een subset van bekende coëfficiënten. De policy head leert coëfficiënten te voorspellen ($P(\text{coëfficiënt}|\text{woord})$), terwijl de value head leert de resterende padlengte te schatten (via Mean Squared Error) om de zoektocht te sturen.
   • Reinforcement Learning Loop (MCTS): Het algoritme werkt in een loop:
     1. Selectie: Identificeer een woord met een niet-toegewezen coëfficiënt dat participeert in de meeste relaties met slechts twee onbekenden.
     2. Voorstel: De voorgetrainde Transformer stelt een distributie van kandidaat-coëfficiënten voor.
     3. Propagatie: Exacte lineaire relaties worden gebruikt om de consequenties van het toewijzen van een coëfficiënt deterministisch te propageren. Deze stap lost veel andere coëfficiënten automatisch op.
     4. Zoektocht: Wanneer propagatie een vast punt bereikt met onopgeloste coëfficiënten, verkent Monte-Carlo Tree Search (MCTS) alternatieve toewijzingen.
     5. Handhaving van Beperkingen: Elke toewijzing die een bekende relatie schendt, wordt behandeld als een "game over", waardoor die tak van de zoekboom wordt afgesneden. Dit garandeert dat elke voltooide output fysiek consistent is.

Belangrijkste Bijdragen

• Integratie van Symmetrieën: In tegenstelling tot eerdere Transformer-only methoden, integreert dit algoritme afgeleide symmetrieën en lineaire relaties als harde beperkingen binnen de leerloop, in plaats van enkel te vertrouwen op statistisch leren.
• Hybride Zoekmechanisme: De combinatie van Transformer-gebaseerde coëfficiëntvoorstellen, deterministische propagatie en MCTS stelt het systeem in staat om door de combinatorische explosie van de toestandsruimte te navigeren.
• Data-efficiëntie: De methode vermindert het deel van de oplossing dat nodig is als gelabelde pretraining data drastisch.
• Gegarandeerde Consistentie: Door schendingen te behandelen als terminale staten in de MCTS, garandeert het algoritme dat elke output voldoet aan de volledige set opgelegde relaties, een kenmerk dat niet aanwezig is bij standaard sequentiemodellering.

Resultaten
Het algoritme werd getest op het $L=5$ symbool voor de drie-gluon vormfactor, die 12.543 woorden bevat.

• Prestaties: Het model slaagde erin het volledige $L=5$ symbool te reconstrueren met slechts 5% van de coëfficiënten als bekende input.
• Vergelijking: Dit contrasteert scherp met de Transformer-only benadering, die 97% van de symbolen voor training vereiste in het $L=6$ geval.
• Efficiëntie: Propagatie alleen was verantwoordelijk voor ongeveer 70% van de woordtoewijzingen voordat MCTS-interventie noodzakelijk was. Het resterende werk werd afgehandeld door de geleerde priors van de Transformer.
• Verificatie: Alle gegenereerde oplossingen kwamen overeen met eerder afgeleide resultaten (tot cyclische transformatie) en voldeden aan elke opgelegde relatie.

Betekenis en Claims
De auteurs stellen dat deze benadering cruciaal is voor de generalisatie van machine learning naar hogere loop-ordes. Zonder de integratie van exacte relaties en MCTS zou de factorial schalende toestandsgrootte het onmogelijk maken om resultaten te vergelijken met die afgeleid via andere methoden. De auteurs beweren dat hun methode de afleiding van high-loop resultaten (specifiek $L=5$) mogelijk maakt met een drastisch kleinere pretraining set, terwijl fysieke consistentie wordt gewaarborgd.

De auteurs merken een bescheiden beperking op: hoewel hun methode aanzienlijk minder rekenkracht gebruikt dan recente resultaten (specifiek verwijzend naar Anthropic's $L=9$ resultaten die kort na hun indiening werden gepubliceerd), is hun benadering nog niet gedemonstreerd op loop 9. Zij stellen dat het uitbreiden van de methode naar $L=9$ het onderwerp zal zijn van vervolgwerk.