Learning Scattering Amplitudes with Transformer Reinforcement Learning

Résumé technique : Apprentissage des amplitudes de diffusion par apprentissage par renforcement avec Transformer

Énoncé du problème
Le papier traite du défi computationnel lié à la détermination des amplitudes de diffusion à haut niveau de boucles dans la théorie de la super-Yang-Mills (SYM) planaire $\mathcal{N}=4$. Les méthodes perturbatives traditionnelles basées sur les diagrammes de Feynman croissent de manière factorielle avec l'ordre de la boucle et le nombre de particules, ce qui les rend intraitables pour des ordres élevés. Bien que des travaux récents aient formulé la structure symbolique de ces amplitudes comme un problème de modélisation de séquences soluble par des Transformers, les approches existantes de type « uniquement Transformer » souffrent de deux limitations critiques :

1. Dépendance aux données : Elles nécessitent qu'une vaste majorité de la réponse finale (par exemple, 97 % des coefficients pour $L=6$) soit connue a priori pour servir de données d'entraînement.
2. Cohérence : L'échantillonnage glouton de la distribution de probabilité produit souvent des sorties qui violent les relations physiques et les symétries connues, car le modèle prédit les coefficients de manière indépendante sans imposer de contraintes globales.

L'objectif est de reconstruire les coefficients entiers de l'alphabet du symbole pour le facteur de forme à trois gluons (spécifiquement l'amplitude $3g \to H$) avec beaucoup moins de coefficients connus tout en garantissant que toutes les contraintes physiques sont satisfaites.

Méthodologie
Les auteurs proposent un algorithme d'apprentissage par renforcement (RL) avec Transformer qui intègre directement les relations linéaires exactes et les symétries dans le processus de recherche. L'approche traite la reconstruction comme un problème de recherche séquentielle impliquant trois composantes distinctes :

1. Représentation symbolique et contraintes :

   • L'amplitude est représentée par un symbole $S[F^{(L)}]$ composé de coefficients entiers $C$ sur des séquences (« mots ») de longueur $2L$ tirés d'un alphabet de six lettres $\{a, b, c, d, e, f\}$.
   • L'espace de solution est contraint par des contraintes d'adjacence (paires de lettres interdites et structures alternées) et des relations linéaires (conditions d'intégrabilité, causalité et relations de toutes les boucles). Ces relations permettent l'inférence déterministe de nombreux coefficients à partir d'une assignation partielle.

2. Compression d'état (Représentation de suffixe minimal) :

   • Pour gérer la croissance factorielle de l'espace d'états, les auteurs utilisent une « représentation de suffixe minimal ». En analysant les relations qui agissent sur les terminaisons de mots, ils construisent une base compacte de variables indépendantes.
   • Cela réduit la taille de l'état en remplaçant les suffixes par des jetons (tokens) représentatifs, échangeant un alphabet de jetons plus large contre une longueur de séquence nettement plus courte ($2L - K + 1$).

3. Architecture de l'algorithme :

   • Pré-entraînement : Un Transformer à deux têtes est pré-entraîné sur un sous-ensemble de coefficients connus. La tête de politique (policy head) apprend à prédire les coefficients ($P(\text{coefficient}|\text{mot})$), tandis que la tête de valeur (value head) apprend à estimer la longueur du chemin restant (via l'erreur quadratique moyenne) pour guider la recherche.
   • Boucle d'apprentissage par renforcement (MCTS) : L'algorithme fonctionne en boucle :
     1. Sélection : Identifier un mot possédant un coefficient non assigné qui participe au plus grand nombre de relations avec seulement deux inconnues.
     2. Proposition : Le Transformer pré-entraîné propose une distribution de coefficients candidats.
     3. Propagation : Les relations linéaires exactes sont utilisées pour propager déterministement les conséquences de l'assignation d'un coefficient. Cette étape résout automatiquement de nombreux autres coefficients.
     4. Recherche : Lorsque la propagation atteint un point fixe avec des coefficients non résolus, une recherche arborescente Monte-Carlo (MCTS) explore des assignations alternatives.
     5. Application des contraintes : Toute assignation violant une relation connue est traitée comme une « fin de partie » (game over), élaguant ainsi cette branche de l'arbre de recherche. Cela garantit que chaque sortie produite est physiquement cohérente.

Contributions clés

• Intégration des symétries : Contrairement aux méthodes précédentes uniquement basées sur les Transformers, cet algorithme incorpore les symétries dérivées et les relations linéaires comme des contraintes strictes au sein de la boucle d'apprentissage, plutôt que de s'appuyer uniquement sur l'apprentissage statistique.
• Mécanisme de recherche hybride : La combinaison de la proposition de coefficients par Transformer, de la propagation déterministe et du MCTS permet au système de naviguer dans l'explosion combinatoire de l'espace d'états.
• Efficacité des données : Cette méthode réduit considérablement la fraction de la solution requise comme données d'entraînement pour le pré-entraînement.
• Cohérence garantie : En traitant les violations comme des états terminaux dans le MCTS, l'algorithme garantit que chaque sortie satisfait l'ensemble des relations imposées, une caractéristique absente des modèles de séquences standards.

Résultats
L'algorithme a été testé sur le symbole $L=5$ du facteur de forme à trois gluons, qui contient 12 543 mots.

• Performance : Le modèle a réussi à reconstruire le symbole $L=5$ complet en utilisant seulement 5 % des coefficients comme entrées connues.
• Comparaison : Cela contraste fortement avec l'approche uniquement basée sur le Transformer, qui nécessitait 97 % des symboles pour l'entraînement dans le cas $L=6$.
• Efficacité : La propagation seule a permis d'assigner environ 70 % des mots avant que l'intervention du MCTS ne soit nécessaire. Le travail restant a été géré par les priors appris du Transformer.
• Vérification : Toutes les solutions générées étaient en accord avec les résultats précédemment dérivés (à la transformation cyclique près) et satisfaisaient chaque relation imposée.

Signification et affirmations
Les auteurs affirment que cette approche est cruciale pour la généralisation de l'apprentissage automatique aux ordres de boucles supérieurs. Sans l'intégration des relations exactes et du MCTS, les tailles d'états croissant de manière factorielle rendraient impossible la comparaison des résultats avec ceux dérivés via d'autres méthodes. Les auteurs soutiennent que leur méthode permet de dériver des résultats de haute boucle (spécifiquement $L=5$) avec un ensemble de pré-entraînement considérablement plus petit tout en garantissant la cohérence physique.

Les auteurs notent une limite modeste : bien que leur méthode utilise nettement moins de puissance de calcul que les résultats récents (faisant spécifiquement référence aux résultats $L=9$ d'Anthropic publiés peu après leur soumission), leur approche n'a pas encore été démontrée sur la boucle 9. Ils déclarent que l'extension de la méthode à $L=9$ fera l'objet de travaux ultérieurs.