Learning Scattering Amplitudes with Transformer Reinforcement Learning

तकनीकी सारांश: ट्रांसफॉर्मर सुदृढीकरण शिक्षण (Transformer Reinforcement Learning) के साथ स्कैटरिंग एम्प्लीट्यूड सीखना

समस्या विवरण
यह शोध पत्र प्लेनर $\mathcal{N}=4$ सुपर यांग-मिल्स (SYM) थ्योरी में उच्च लूप-स्तर के स्कैटरिंग एम्प्लीट्यूड (scattering amplitudes) निर्धारित करने की कम्प्यूटेशनल चुनौती को संबोधित करता है। फेनमैन आरेख (Feynman diagrams) पर आधारित पारंपरिक क्रमबद्ध विधियाँ लूप ऑर्डर और कणों की संख्या के साथ फैक्टोरियल रूप से बढ़ती हैं, जो उच्च स्तरों के लिए इन्हें अव्यवहार्य बना देती हैं। जबकि हाल के कार्यों ने इन एम्प्लीट्यूड की प्रतीकात्मक संरचना को एक 'सीक्वेंस मॉडलिंग' समस्या के रूप में प्रस्तुत किया है जिसे ट्रांसफॉर्मर द्वारा हल किया जा सकता है, मौजूदा "केवल-ट्रांसफॉर्मर" दृष्टिकोण दो महत्वपूर्ण सीमाओं से ग्रस्त हैं:

1. डेटा निर्भरता: उन्हें प्रशिक्षण डेटा के रूप में अंतिम उत्तर का एक बहुत बड़ा हिस्सा (उदाहरण के लिए, $L=6$ के लिए 97% गुणांक) पूर्व-निर्धारित रूप से ज्ञात होना आवश्यक है।
2. संगति (Consistency): संभाव्यता वितरण (probability distribution) का 'ग्रीडी सैंपलिंग' अक्सर ऐसे आउटपुट उत्पन्न करता है जो ज्ञात भौतिक संबंधों और समरूपताओं (symmetries) का उल्लंघन करते हैं, क्योंकि मॉडल वैश्विक बाधाओं को लागू किए बिना स्वतंत्र रूप से गुणांकों की भविष्यवाणी करता है।

लक्ष्य तीन-ग्लूऑन फॉर्म फैक्टर (विशेष रूप से $3g \to H$ एम्प्लीट्यूड) के सिंबल अल्फाबेट के पूर्णांक-मान वाले गुणांकों को बहुत कम ज्ञात गुणांकों के साथ पुनर्गठित करना है, जबकि यह सुनिश्चित करना है कि सभी भौतिक बाधाएं संतुष्ट हों।

कार्यप्रणाली (Methodology)
लेखक एक ट्रांसफॉर्मर सुदृढीकरण शिक्षण (RL) एल्गोरिदम प्रस्तावित करते हैं जो सटीक रैखिक संबंधों और समरूपताओं को सीधे खोज प्रक्रिया में एकीकृत करता है। यह दृष्टिकोण पुनर्निर्माण को एक क्रमिक खोज समस्या के रूप में मानता है जिसमें तीन अलग-अलग घटक शामिल हैं:

1. प्रतीकात्मक प्रतिनिधित्व और बाधाएं (Symbolic Representation and Constraints):

   • एम्प्लीट्यूड को एक सिंबल $S[F^{(L)}]$ के रूप में दर्शाया जाता है, जो छह-अक्षर वाले अल्फाबेट $\{a, b, c, d, e, f\}$ से बनी $2L$ लंबाई के अनुक्रमों ("वर्ड्स") पर पूर्णांक गुणांक $C$ का एक समूह है।
   • समाधान स्थान को समीपवर्ती बाधाओं (वर्जित अक्षर युग्म और वैकल्पिक संरचनाएं) और रैखिक संबंधों (इंटीग्रैबिलिटी स्थितियां, कार्य-कारणता, और ऑल-लूप संबंध) द्वारा सीमित किया गया है। ये संबंध एक आंशिक असाइनमेंट से कई गुणांकों के नियत निष्कर्ष (deterministic inference) की अनुमति देते हैं।

2. स्टेट कंप्रेशन (न्यूनतम सफिक्स प्रतिनिधित्व):

   • स्टेट स्पेस के फैक्टोरियल विकास को संभालने के लिए, लेखक "न्यूनतम सफिक्स प्रतिनिधित्व" का उपयोग करते हैं। वर्ड एंडिंग्स (शब्दों के अंत) पर कार्य करने वाले संबंधों का विश्लेषण करके, वे एक संक्षिप्त आधार (compact basis) का निर्माण करते हैं।
   • यह विधि एक बड़े टोकन अल्फाबेट के बदले एक बहुत छोटे अनुक्रम की लंबाई ($2L - K + 1$) का उपयोग करके स्टेट साइज को कम करती है।

3. एल्गोरिदम आर्किटेक्चर:

   • प्रीट्रेनिंग (Pretraining): एक टू-हेडेड (two-headed) ट्रांसफॉर्मर को ज्ञात गुणांकों के एक उपसमुच्चय पर प्री-ट्रेन किया जाता है। पॉलिसी हेड गुणांकों की भविष्यवाणी करना सीखता है ($P(\text{coefficient}|\text{word})$), जबकि वैल्यू हेड शेष पथ की लंबाई का अनुमान लगाना सीखता है (MSE के माध्यम से), ताकि खोज को निर्देशित किया जा सके।
   • सुदृढीकरण शिक्षण लूप (MCTS): एल्गोरिदम एक लूप में कार्य करता है:
     1. चयन (Selection): उस शब्द की पहचान करना जिसका गुणांक अनअसाइंड है और जो केवल दो अज्ञातों के साथ सबसे अधिक संबंधों में भाग लेता है।
     2. प्रस्ताव (Proposal): प्री-ट्रेंड ट्रांसफॉर्मर उम्मीदवार गुणांकों का एक वितरण प्रस्तावित करता है।
     3. प्रसार (Propagation): गुणांक असाइन करने के परिणामों को नियत रूप से प्रसारित करने के लिए सटीक रैखिक संबंधों का उपयोग किया जाता है। यह चरण स्वचालित रूप से कई अन्य गुणांकों को हल कर देता है।
     4. खोज (Search): जब प्रसार एक फिक्स्ड पॉइंट तक पहुँचता है जहाँ गुणांक अनसुलझे रह जाते हैं, तब मोंटे-कार्लो ट्री सर्च (MCTS) वैकल्पिक असाइनमेंट की खोज करता है।
     5. बाधा प्रवर्तन (Constraint Enforcement): कोई भी असाइनमेंट जो ज्ञात संबंध का उल्लंघन करता है, उसे "गेम ओवर" माना जाता है, जिससे खोज वृक्ष (search tree) की उस शाखा को काट दिया जाता है। यह सुनिश्चित करता है कि प्रत्येक पूर्ण आउटपुट भौतिक रूप से सुसंगत हो।

प्रमुख योगदान

• समरूपताओं का एकीकरण: पिछले केवल-ट्रांसफॉर्मर विधियों के विपरीत, यह एल्गोरिदम सांख्यिकीय शिक्षण पर निर्भर रहने के बजाय सटीक संबंधों और रैखिक संबंधों को लर्निंग लूप के भीतर हार्ड कंस्ट्रेंट्स के रूप में शामिल करता है।
• हाइब्रिड सर्च मैकेनिज्म: ट्रांसफॉर्मर-आधारित गुणांक प्रस्ताव, नियत प्रसार और MCTS का संयोजन सिस्टम को स्टेट स्पेस के कॉम्बिनेटोरियल विस्फोट (combinatorial explosion) के माध्यम से नेविगेट करने की अनुमति देता है।
• डेटा दक्षता: यह विधि लेबल किए गए प्रीट्रेनिंग डेटा के रूप में आवश्यक ज्ञात समाधान के अंश को नाटकीय रूप से कम करती है।
• गारंटीकृत संगति: MCTS में उल्लंघनों को टर्मिनल स्टेट के रूप में मानकर, यह एल्गोरिदम गारंटी देता है कि प्रत्येक आउटपुट लागू किए गए सभी संबंधों को संतुष्ट करता है, जो मानक सीक्वेंस मॉडलिंग में मौजूद नहीं है।

परिणाम
एल्गोरिदम का परीक्षण तीन-ग्लूऑन फॉर्म फैक्टर के लिए $L=5$ सिंबल पर किया गया, जिसमें 12,543 वर्ड्स हैं।

• प्रदर्शन: मॉडल ने ज्ञात इनपुट के रूप में केवल 5% गुणांकों का उपयोग करके पूर्ण $L=5$ सिंबल को सफलतापूर्वक पुनर्गठित किया।
• तुलना: यह ट्रांसफॉर्मर-ओनली दृष्टिकोण के विपरीत है, जिसे $L=6$ के मामले में प्रशिक्षण के लिए 97% सिम्बल्स की आवश्यकता थी।
• दक्षता: MCTS हस्तक्षेप की आवश्यकता से पहले अकेले प्रसार (propagation) ने लगभग 70% वर्ड असाइनमेंट को पूरा कर लिया। शेष कार्य ट्रांसफॉर्मर के सीखे हुए प्रायर्स (learned priors) द्वारा संभाला गया।
• सत्यापन: सभी जनित समाधान पहले से प्राप्त परिणामों (चक्रीय रूपांतरण तक) के साथ सहमत थे और प्रत्येक लागू संबंध को संतुष्ट करते थे।

महत्व और दावे
लेखक दावा करते हैं कि यह दृष्टिकोण उच्च लूप ऑर्डर्स के लिए मशीन लर्निंग के सामान्यीकरण (generalization) के लिए महत्वपूर्ण है। सटीक संबंधों और MCTS के एकीकरण के बिना, फैक्टोरियल रूप से बढ़ते स्टेट साइज इसे अन्य विधियों द्वारा प्राप्त परिणामों के साथ तुलना करना असंभव बना देंगे। लेखक कहते हैं कि उनकी विधि एक बहुत छोटे प्रीट्रेनिंग सेट के साथ उच्च-लूप परिणाम (विशेष रूप से $L=5$) प्राप्त करने की अनुमति देती है और भौतिक संगति सुनिश्चित करती है।

लेखक एक मामूली सीमा नोट करते हैं: हालांकि उनकी विधि हाल ही में आए एंथ्रोपिक (Anthropic) के $L=9$ के परिणामों की तुलना में काफी कम कंप्यूटिंग शक्ति का उपयोग करती है, लेकिन उनका दृष्टिकोण अभी तक लूप 9 पर प्रदर्शित नहीं किया गया है। वे कहते हैं कि इस पद्धति को $L=9$ तक विस्तारित करना आगामी शोध का विषय होगा।