🤖 machine learning

Learning the symmetric group: large from small

यह लेख एक स्केलेबल मशीन लर्निंग पद्धति प्रस्तावित करता है जिसमें विशिष्ट ट्रांसपोज़िशन रणनीतियों का उपयोग करके छोटे सममित समूहों (जैसे कि $S_{10}$ ) में क्रमपरिवर्तन (permutations) की भविष्यवाणी करने के लिए प्रशिक्षित ट्रांसफॉर्मर मॉडल, डेटा जनरेशन और व्याख्यात्मकता की चुनौतियों को संबोधित करने के लिए आइडेंटिटी ऑग्मेंटेशन और पार्टीशन विंडो जैसी तकनीकों का उपयोग करते हुए, काफी बड़े समूहों (जैसे कि $S_{25}$ ) में लगभग पूर्ण सटीकता के साथ सामान्यीकरण करते हैं।

मूल लेखक: Max Petschack, Alexandr Garbali, Jan de Gier

प्रकाशित 2026-05-08

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Max Petschack, Alexandr Garbali, Jan de Gier

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

मुख्य विचार: एक छात्र को छोटे अभ्यास सेटों के माध्यम से विशाल पहेलियाँ हल करना सिखाना

कल्पना कीजिए कि आप एक छात्र को 25 टुकड़ों (या यहाँ तक कि 100 टुकड़ों) वाली एक विशाल, जटिल पहेली को हल करना सिखाना चाहते हैं। सामान्य रूप से, आप उन्हें ठीक उसी आकार की अभ्यास पहेलियाँ देंगे। लेकिन क्या होगा यदि आप उन्हें केवल 10 टुकड़ों वाली अभ्यास पहेलियाँ दें?

यह शोध पत्र पूछता है: क्या एक कंप्यूटर (विशेष रूप से एक "ट्रांसफॉर्मर" नामक AI) केवल इसके छोटे संस्करणों पर अभ्यास करके एक विशाल पहेली के नियमों को सीख सकता है, और फिर बिना कभी उसे देखे, सफलतापूर्वक उस विशाल संस्करण को हल कर सकता है?

इस अध्ययन के अनुसार, उत्तर है हाँ। AI ने एक बहुत छोटे हिस्से पर प्रशिक्षण लेकर एक विशाल गणितीय प्रणाली के तर्क को सीखा, और फिर उस ज्ञान को बहुत बड़ी, अधिक जटिल प्रणालियों को संभालने के लिए स्थानांतरित किया, और लगभग पूर्ण सटीकता प्राप्त की।

हमारी कहानी के पात्र

सिमेट्रिक ग्रुप ( $S_n$ ): इसे ताश की गड्डी को "शफल (shuffle) करने के खेल" के रूप में कल्पना करें।
- यदि आपके पास $n$ कार्डों की एक गड्डी है (1 से $n$ तक संख्या वाले), तो एक "परम्यूटेशन" (permutation) इन कार्डों का एक विशिष्ट क्रम है।
- "सिमेट्रिक ग्रुप" उन सभी संभावित तरीकों का संग्रह है जिनसे आप इस गड्डी को शफल कर सकते हैं।
- लक्ष्य निर्देशों की एक सूची (एक "शब्द") को देखना है जो आपको बताता है कि कार्डों को कैसे शफल करना है और फिर कार्डों के अंतिम क्रम की भविष्यवाणी करना है।
निर्देश (ट्रांसपोजीशन - Transpositions):
- सामान्य ट्रांसपोजीशन (General Transpositions): कल्पना करें कि आप गड्डी में किन्हीं भी दो कार्डों को चुन सकते हैं और उन्हें आपस में बदल सकते हैं। यह एक "जादुई छड़ी" की तरह है जो किसी भी दो वस्तुओं को तुरंत बदल सकती है।
- समीपवर्ती ट्रांसपोजीशन (Adjacent Transpositions): कल्पना करें कि आप केवल उन कार्डों को बदल सकते हैं जो एक-दूसरे के ठीक बगल में हैं। यह बहुत कठिन है। कार्ड #1 और कार्ड #10 को बदलने के लिए, आपको उन्हें एक-एक करके एक-दूसरे के ऊपर से गुजारना होगा। यह निर्देशों की एक बहुत लंबी, अधिक जटिल सूची बनाता है।
AI (ट्रांसफॉर्मर): यह एक प्रकार का मशीन लर्निंग मॉडल है जो टेक्स्ट को पढ़ने और पैटर्न समझने के लिए जाना जाता है। यहाँ, वाक्यों के बजाय, यह गणितीय निर्देशों की सूचियों को पढ़ता है।

प्रयोग: दो अलग-अलग चुनौतियाँ

शोधकर्ताओं ने यह देखने के लिए दो मुख्य प्रयोग किए कि क्या AI "छोटे से बड़े" (small to large) की ओर बढ़ सकता है।

चुनौती 1: "जादुई छड़ी" (सामान्य ट्रांसपोजीशन)

प्रशिक्षण: AI को केवल 10 कार्डों वाली डेक को शफल करने के लिए प्रशिक्षित किया गया था। इसने 10-कार्ड की डेक में किसी भी दो कार्डों को बदलने के निर्देशों का पालन करना सीखा।
परीक्षण: फिर, उन्होंने AI को 25 कार्डों वाली डेक के शफलिंग समस्याओं को हल करने के लिए कहा।
परिणाम: AI लगभग 100% समय सही था। इसने केवल 10 कार्डों के नियमों को याद नहीं किया; इसने "बदलने" (swapping) के अंतर्निहित तर्क को पहचाना और इसे एक बहुत बड़ी डेक पर लागू किया जिसे इसने पहले कभी नहीं देखा था।

चुनौती 2: "पड़ोसी बदलाव" (समीपवर्ती ट्रांसपोजीशन)

प्रशिक्ण: यह कठिन था। AI को एक 10-कार्ड की डेक पर प्रशिक्षित किया गया था जहाँ उसे केवल पड़ोसियों को बदलने की अनुमति थी।
समस्या: यदि आप केवल पड़ोसियों को बदल सकते हैं, तो निर्देश बहुत लंबे हो जाते हैं। पहले और आखिरी कार्ड के बीच एक साधारण बदलाव के लिए कई चरणों की आवश्यकता होती है।
ट्रिक (विभाजित विंडो - Partitioned Windows): शोधकर्ताओं ने पाया कि AI "आलसी" हो रहा था। यह उस विशिष्ट "विंडो" (खिड़की) को याद कर रहा था जिसे वह देख रहा था। इसे ठीक करने के लिए, उन्होंने "विभाजित विंडो" के साथ एक विधि का उपयोग किया। कल्पना कीजिए कि आप निर्देशों की लंबी सूची को खंडों में तोड़ते हैं और इन खंडों को इधर-उधर घुमाते हैं ताकि AI स्थिति (position) पर निर्भर न रह सके। इसे स्वैप के वास्तविक तर्क को सीखना पड़ा।
परीक्षण: उन्होंने इसे 16 कार्डों वाली डेक पर परीक्षण किया।
परिणाम: फिर से, AI ने लगभग 100% सटीकता प्राप्त की।

यह कैसे काम कर पाया? (गुप्त रेसिपी)

शोधकर्ताओं ने "आइडेंटिटी ऑग्मेंटेशन" (Identity Augmentation) नामक एक चतुर तकनीक का उपयोग किया।

कल्पना कीजिए कि आप एक रेसिपी लिख रहे हैं, लेकिन रेसिपी बुक की आवश्यकता है कि हर रेसिपी ठीक 50 चरणों की हो। कुछ रेसिपी स्वाभाविक रूप से छोटी (केवल 5 चरण) होती हैं। किताब में फिट होने के लिए, आपको "कुछ न करने" (जैसे "5 सेकंड के लिए स्थिर खड़े रहें") जैसे "डमी स्टेप्स" जोड़ने होंगे जब तक कि आप 50 चरणों तक न पहुँच जाएँ।

AI को यह सीखना था कि ये "कुछ न करने" वाले चरण परिणाम को नहीं बदलते हैं। इन "आइडेंटिटी" चरणों के साथ संक्षिप्त निर्देशों को भरकर, AI ने शोर (noise) को अनदेखा करना और वास्तविक गणित पर ध्यान केंद्रित करना सीखा।

AI ने वास्तव में क्या सीखा?

शोधकर्ताओं ने AI के "मस्तिष्क" (इसके आंतरिक डेटा प्रतिनिधित्व) में झाँका कि यह क्या कर रहा था।

इसने संबंध सीखे: AI ने पहचान लिया कि कार्ड A को कार्ड B के साथ बदलना, B को A के साथ बदलने के समान है।
इसने संरचना सीखी: इसने पहचान लिया कि स्वैप का क्रम मायने रखता है, लेकिन यह भी सीखा कि कब क्रम महत्वपूर्ण नहीं होता।
इसने धोखाधड़ी नहीं की: AI ने केवल उत्तरों को याद नहीं किया। इसे शफलिंग के "एल्गोरिदम" को सीखना पड़ा क्योंकि परीक्षण प्रश्न प्रशिक्षण प्रश्नों से भिन्न थे।

निष्कर्ष

यह शोध पत्र सिद्ध करता है कि AI मॉडल छोटे उदाहरणों से जटिल गणितीय नियम सीख सकते हैं और उन्हें उसी समस्या के बहुत बड़े और अधिक जटिल संस्करणों पर लागू कर सकते हैं।

उपमा: यह एक बच्चे को जूते के फीते बांधना सिखाने जैसा है, जिसमें पहले एक छोटे अभ्यास बोर्ड का उपयोग किया जाता है, और फिर उसे विशाल बूट्स का जोड़ा दिया जाता है। बच्चा, गांठ के तर्क को सीख जाने के कारण, विशाल बूट्स को भी पूरी तरह से बांध सकता है।
सीमा: लेखक नोट करते हैं कि हालांकि यह "सिमेट्रिक ग्रुप" (ताश के पत्तों को शफल करना) के लिए उत्कृष्ट रूप से काम करता है, अन्य गणितीय समूह अधिक जटिल और सीखने में कठिन हो सकते हैं। फिर भी, यह सफलता बताती है कि AI अंततः अन्य कठिन गणितीय समस्याओं को हल करने में मदद कर सकता है, जैसे कि "अननॉट प्रॉब्लम" (गांठों को सुलझाना), जो वर्तमान में कंप्यूटरों के लिए बहुत कठिन है।

संक्षेप में: AI ने एक छोटी डेक पर अभ्यास करके एक मास्टर शफ़लर बनना सीखा, जिससे यह सिद्ध हुआ कि सही प्रशिक्षण के साथ मशीनें शुद्ध गणित में छोटे से बड़े स्तर पर सामान्यीकरण (generalize) कर सकती हैं।

तकनीकी निष्कर्ष: सममित समूह को सीखना: छोटे से बड़ा

समस्या विवरण
यह लेख इस बात की जांच करता है कि क्या ट्रांसफॉर्मर-आधारित न्यूरल नेटवर्क केवल छोटे उपसमूहों $S_m$ (जहाँ $m < n$ ) पर प्रशिक्षण प्राप्त करके सममित समूह $S_n$ की संरचना सीख सकते हैं और बाद में बड़े समूहों में क्रमपरिवर्तन (permutations) की भविष्यवाणी करने के लिए सामान्यीकरण (generalize) कर सकते हैं, बिना समूह संबंधों को हार्ड-कोड किए। विशिष्ट कार्य एक शब्द $w \in S_n$ को लेना है, जो ट्रांसपोज़िशन (transpositions) के उत्पाद के रूप में व्यक्त किया गया है, और समुच्चय $\{1, \dots, n\}$ के परिणामी क्रमपरिवर्तन की भविष्यवाणी करना है। लेखक इस समस्या के दो अलग-अलग स्वरूपों को संबोधित करते हैं:

सामान्य ट्रांसपोज़िशन (General Transpositions): शब्दों को मनमाने ट्रांसपोज़िशन $s_{i,j}$ का उपयोग करके गुणनखंडित किया जाता है।
समीपवर्ती ट्रांसपोज़िशन (Adjacent Transpositions): शब्दों को विशेष रूप से प्रारंभिक समीपवर्ती ट्रांसपोज़िशन $s_i = s_{i,i+1}$ का उपयोग करके गुणनखंडित किया जाता है।

एक केंद्रीय चुनौती परिवर्तनशील शब्द लंबाई (variable word lengths) को संभालना है। लेखक नोट करते हैं कि न्यूनीकरण वाले शब्दों (reduced words) की लंबाई $0$ (तत्समक/identity) से लेकर $n-1$ (सामान्य मामला) या $n(n-1)/2$ (समीपवर्ती मामला) तक भिन्न होती है। इसे संबोधित करने के लिए, मॉडल को निश्चित-लंबाई वाले, गैर-न्यूनीकृत शब्दों पर प्रशिक्षित किया जाता है जिन्हें तत्समक (identity) ट्रांसपोज़िशन के साथ पैड (pad) किया जाता है।

कार्यप्रणाली
लेखक एक ऑटोरिग्रेसिव (autoregressive) ट्रांसफॉर्मर आर्किटेक्चर (चित्र 1) का उपयोग करते हैं जो क्रमपरिवर्तन टोकन को क्रमिक रूप से भविष्यवाणी करता है। इनपुट में एक "संदर्भ विंडो" (context window) शामिल है जिसमें ट्रांसपोज़िशन अनुक्रम और आंशिक रूप से अनुमानित क्रमपरिवर्तन होता है।

डेटा जनरेशन और ऑग्मेंटेशन:
- तत्समक पैडिंग (Identity Padding): परिवर्तनशील लंबाई को संभालने के लिए, शब्दों को अधिकतम लंबाई $N$ तक पैड किया जाता है, जिसमें ऐसे ट्रांसपोज़िशन होते हैं जो समूह संबंधों के तहत तत्समक के रूप में कार्य करते हैं। मॉडल को इन संबंधों को अनदेखा करने के लिए इन्हें अंतर्निहित रूप से सीखना होगा।
- उपसमूहों पर प्रशिक्षण: मॉडल को $S_m$ (विशेष रूप से $m=10$ ) से उत्पन्न डेटा पर प्रशिक्षित किया जाता है लेकिन $S_n$ ( $n=25$ सामान्य मामले के लिए, $n=16$ समीपवर्ती मामले के लिए) पर परीक्षण किया जाता है।
- पुनर्नामकरण रणनीति (Renaming Strategy): $S_n$ $S_{n}$ के लिए प्रशिक्षण डेटा उत्पन्न करने के लिए जिसमें केवल $S_m$ $S_{m}$ शामिल है, लेखक $S_m$ $S_{m}$ के शब्दों को एक यादृच्छिक क्रमपरिवर्तन $\sigma \in S_n$ $σ \in S_{n}$ के माध्यम से $S_n$ $S_{n}$ में मैप करते हैं।
  - सामान्य ट्रांसपोज़िशन के लिए, सूचकांकों $\{1, \dots, m\}$ का एक सरल यादृच्छिक पुनर्नामकरण $\{1, \dots, n\}$ के यादृच्छिक उपसमुच्चय में किया जाता है।
  - समीपवर्ती ट्रांसपोज़िशन के लिए, एक साधारण "विंडो" विधि (पुनर्नामकरण $s_1, \dots, s_{m-1}$ को एक निरंतर ब्लॉक $s_{k+1}, \dots$ में करना) विफल रही, क्योंकि मॉडल ने समूह संरचना के बजाय विंडो स्थिति को पहचानना सीख लिया था। इससे निपटने के लिए, लेखकों ने एक विभाजित विंडो (partitioned window) पद्धति पेश की। इसमें $m$ को एक संयोजन (composition) (जैसे, $12 = 3+6+3$ ) में तोड़ना शामिल है, जिससे $S_n$ के भीतर विभिन्न लंबाई वाली कई गैर-निरंतर विंडो बनाई जाती हैं, और इन विंडो में इनपुट टोकन को यादृच्छिक शिफ्ट के साथ मैप किया जाता है। यह मॉडल को वैश्विक स्थिति संकेतकों के बजाय स्थानीय समूह संबंधों को सीखने के लिए मजबूर करता है।
आर्किटेक्चर विवरण:
- टोकेनाइजेशन (Tokenization): सामान्य ट्रांसपोज़िशन को पूर्णांक $x_k = i_k - 1 + n(j_k - 1)$ में मैप किया जाता है। समीपवर्ती ट्रांसपोज़िशन को सीधे इंडेक्स $x_k = i_k$ में मैप किया जाता है।
- एम्बेडिंग्स (Embeddings): मॉडल सीखे गए टोकन एम्बेडिंग और पोजीशनल एम्बेडिंग का उपयोग करता है। इनपुट को एक लीनियर लेयर और सॉफ्टमैक्स आउटपुट संभावनाओं के बाद मानक ट्रांसफॉर्मर परतों (मल्टी-हेड अटेंशन, फीड-फॉरवर्ड, नॉर्मलाइजेशन) के माध्यम से संसाधित किया जाता है।

मुख्य परिणाम
प्रयोगों से पता चलता है कि मॉडल आउट-ऑफ-डिस्ट्रीब्यूशन (OOD) टेस्ट सेट्स पर लगभग 100% सटीकता प्राप्त करते हैं:

सामान्य ट्रांसपोज़िशन: $S_{10}$ पर प्रशिक्षित मॉडल $S_{25}$ तक सामान्यीकरण कर सका, जिसमें शून्य प्रशिक्षण हानि (training loss) और लगभग पूर्ण परीक्षण प्रदर्शन देखा गया (चित्र 2)।
समीपवर्ती ट्रांसप डेरिवेशन: $S_{10}$ पर प्रशिक्षित मॉडल $S_{16}$ तक समान उच्च प्रदर्शन के साथ सामान्यीकरण कर सका (चित्र 3)। लेखक नोट करते हैं कि समीपवर्ती मामला लंबे शब्द लंबाई और सख्त स्थानीयता बाधाओं के कारण सैद्धांतिक रूप से अधिक जटिल है; फिर भी, विभाजित विंडो पद्धति ने सफलतापूर्वक सामान्यीकरण को सक्षम किया।

व्याख्यात्मकता पर अवलोकन (Observations on Interpretability)
लेखकों ने सीखे गए एम्बेडिंग्स के स्व-समानता हीटमैप्स (self-similarity heatmaps) का विश्लेषण किया:

सामान्य ट्रांसपोज़िशन: टोकन एम्बेडिंग मैट्रिक्स ने एक नियमित ग्रिड संरचना प्रकट की, जो सुझाव देती है कि मॉडल ने जनरेटरों के बीच उच्च-स्तरीय संबंधों को सीखा है (जैसे, $s_{i,j}$ का $s_{i,k}$ और $s_{j,i}$ के साथ गहरा संबंध है)। पोजीशनल एम्बेडिंग ने सामान्य ट्रांसपोज़िशन के तहत कोई अंतर्निहित क्रम नहीं दिखाया।
समीपवर्ती ट्रांसपोज़िशन: समीपवर्ती ट्रांसपोज़िशन के लिए पोजीशनल एम्बेडिंग ने पहले $n(n-1)/2$ पंक्तियों के भीतर एक आश्चर्यजनक ब्लॉक उपसंरचना दिखाई, हालांकि लेखक नोट करते हैं कि यह सभी समूह आकारों में सुसंगत नहीं था और इसका महत्व स्पष्ट नहीं है।

महत्व और दावे
लेख यह दावा करता है कि ट्रांसफॉर्मर छोटे प्रशिक्षण डेटासेट से समूह गुणन (group multiplication) की अंतर्निहित एल्गोरिदम संरचना को सीख सकते हैं और काफी बड़े समूहों तक सामान्यीकरण कर सकते हैं, भले ही इनपुट प्रतिनिधित्व (पुनर्नामकरण और विभाजन के माध्यम से) बदल जाए।

स्केलेबिलिटी (Scalability): कार्य एक स्केलेबल पद्धति प्रस्तावित करता है जहाँ सरल संरचनाओं ( $S_m$ ) पर प्रशिक्षित मॉडल बड़े, अधिक जटिल समूहों ( $S_n$ ) के कार्यों को हल कर सकते हैं।
आउट-ऑफ-डिस्ट्रीब्यूशन लर्निंग: यह गणित में OOD लर्निंग का एक विशिष्ट उदाहरण है, जो दिखाता है कि छोटे उपसमूहों पर सीखी गई विशेषताएं बड़े समूहों पर लागू होने के लिए पर्याप्त सार्वभौमिक हो सकती हैं।
भविष्य की दिशाएं: लेखक सुझाव देते हैं कि यह दृष्टिकोण तुलनात्मक जीनोमिक्स में NP-हार्ड समस्याओं के लिए प्रासंगिक होने के कारण, ब्रेडेड ग्रुप (braid group) को भविष्य के कार्य के रूप में लक्षित करते हुए, परिमित रूप से जनरेट किए गए समूहों (finitely generated groups) के लिए 'वर्ड प्रॉब्लम' को समझने में अंतर्दृष्टि प्रदान कर सकता है। वे विशेष रूप से उल्लेख करते हैं कि सममित समूह "सौम्य" (tame) है, जबकि अधिक विलक्षण समूह बड़ी चुनौतियाँ पेश करेंगे।

लेखक अपने आंतरिक तंत्रों के संबंध में विनम्र बने हुए हैं, यह नोट करते हुए कि यह एक "खुला प्रश्न" है कि क्या मॉडलों ने एक सामान्य एल्गोरिदम की खोज की या विशिष्ट प्रतिनिधित्व सीखे, और वे भविष्य के कार्य में एक यांत्रिक व्याख्यात्मकता (mechanistic interpretability) विश्लेषण करने की योजना बना रहे हैं।