🔬 condensed matter

Learning Pseudorandom Numbers with Transformers: Permuted Congruential Generators, Curricula, and Interpretability

यह शोध पत्र प्रदर्शित करता है कि ट्रांसफॉर्मर मॉडल करिकुलम लर्निंग और बिटवाइज़ रोटेशनली-इनवेरिएंट (bitwise rotationally-invariant) निरूपणों की खोज के माध्यम से जटिल परम्यूटेड कॉन्ग्रुएंशियल जनरेटर्स (PCGs) से अनुक्रमों को सफलतापूर्वक सीख सकते हैं और उनका पूर्वानुमान लगा सकते हैं, जो एक ऐसे स्केलिंग लॉ (scaling law) को प्रकट करता है जहाँ आवश्यक संदर्भ लंबाई (context length) मॉडुलस के वर्गमूल के रूप में बढ़ती है।

मूल लेखक: Tao Tao, Maissam Barkeshli

प्रकाशित 2026-07-17

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Tao Tao, Maissam Barkeshli

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को जादू के खेल में अगले नंबर का अनुमान लगाना सिखाने की कोशिश कर रहे हैं। आप उसे 3, 7, 15, 31 जैसा एक क्रम दिखाते हैं और उसे अगला नंबर गेस करना होता है। वास्तविक दुनिया में, कंप्यूटर 'स्यूडो-रैंडम नंबर जनरेटर्स' (PRNGs) नामक विशेष रेसिपी का उपयोग करते हैं ताकि वे ऐसे नंबर बना सकें जो हमारे लिए पूरी तरह से रैंडम लगें, जैसे ताश की गड्डी को फेंटना या पुराने टीवी पर दिखने वाला स्टैटिक। लेकिन कंप्यूटर के लिए, ये नंबर बिल्कुल रैंडम नहीं होते; वे एक सख्त, छिपे हुए गणितीय नियम का पालन करते हैं। यदि आप नियम और शुरुआती नंबर जानते हैं, तो आप पूरे क्रम का भविष्य पूरी तरह से सटीक रूप से अनुमान लगा सकते हैं।

लंबे समय से, वैज्ञानिक सोच रहे हैं: क्या आधुनिक AI, विशेष रूप से "ट्रांसफॉर्मर" (Transformer) नामक एक प्रकार का मॉडल (वही जो कई चैटबॉट्स और इमेज जनरेटर के पीछे का दिमाग है), केवल उदाहरणों को देखकर इन छिपे हुए नियमों को समझ सकता है? यह पूछने जैसा है कि क्या एक छात्र किसी ताले को खोलने की गुप्त प्रक्रिया को केवल कुछ बार किसी को ताला खोलते हुए देखकर सीख सकता है, बिना यह जाने कि वह ताला कैसे काम करता है। यह एक बड़ी बात है क्योंकि ये नंबर जनरेटर कंप्यूटर सुरक्षा की रीढ़ हैं। यदि AI इन्हें बहुत आसानी से क्रैक कर सकता है, तो इसका मतलब यह हो सकता है कि हमारे डिजिटल लॉक उतने सुरक्षित नहीं हैं जितना हम सोचते हैं। लेकिन अगर AI इन्हें क्रैक नहीं कर पाता है, तो यह हमें बताता है कि ये मॉडल पैटर्न कैसे सीखते हैं और उनकी सीमाएं कहाँ हैं।

पेपर की कहानी: एक ट्विस्ट के साथ कोड को तोड़ना

इस पेपर में, लेखकों ने ट्रांसफॉर्मर्स के लिए एक चुनौती तैयार की है, जिसमें "परम्यूटेड कॉन्ग्रुएनशियल जनरेटर्स" (PCGs) नामक एक विशिष्ट, कठिन परिवार के नंबर जनरेटर्स का उपयोग किया गया है। एक मानक नंबर जनरेटर को एक सरल मशीन के रूप में सोचें जो अगले नंबर को प्राप्त करने के लिए नंबरों को जोड़ता है और गुणा करता है। एक PCG उसी मशीन की तरह है, लेकिन एक ट्विस्ट के साथ: परिणाम दिखाने से पहले, यह बिट्स (नंबरों को बनाने वाले छोटे 0s और 1s) को शिफ्ट, फ्लिप और रोटेशन की एक श्रृंखला का उपयोग करके स्कैम्बल (बिखेर) देता है। यह एक गुप्त संदेश लेने, उसे लिखने और फिर अक्षरों को इधर-उधर करने जैसा है ताकि वह निरर्थक लगे, भले ही मूल संदेश पूरी तरह से तार्किक रहा हो।

शोधकर्ताओं ने पाया कि ट्रांसफॉर्मर्स इसमें आश्चर्यजनक रूप से अच्छे हैं। यहाँ तक कि जब कंप्यूटर केवल आउटपुट का एक छोटा सा, बिखरा हुआ हिस्सा देखता है—कभी-कभी केवल एक सिंगल बिट, जैसे कि एक साधारण "हाँ" या "ना"—तब भी मॉडल अगले नंबर का उच्च सटीकता के साथ अनुमान लगा सकता है। यह ऐसा है जैसे रोबोट एक बिखरी हुई छवि के एक सिंगल पिक्सेल को देख रहा है और किसी तरह जानता है कि पूरी तस्वीर कैसी दिखती है। मॉडलों ने बिना यह बताए कि नियम क्या हैं, इसे करना सीख लिया; उन्होंने बस दिए गए उदाहरणों से पैटर्न को समझ लिया।

हालाँकि, एक पेच है। पहेली जितनी कठिन होगी, रोबलेट को उतनी ही अधिक मदद की आवश्यकता होगी। लेखकों ने एक "स्केलिंग लॉ" (scaling law) की खोज की: जैसे-जैसे नंबर बड़े होते जाते हैं (विशेष रूप से, मॉड्यूलस, या नंबर पूल का आकार बढ़ता है), मॉडल को पहेली सुलझाने के लिए लगातार अधिक उदाहरण देखने की आवश्यकता होती है। यदि नंबर छोटे हैं, तो मॉडल को लगभग 128 उदाहरण देखने की आवश्यकता होती है। यदि नंबर बहुत बड़े हैं (जैसे $2^{22}$ ), तो मॉडल को लगभग $\sqrt{m}$ उदाहरणों की आवश्यकता होती है, जिसका अर्थ है कि कॉन्टेक्स्ट लेंथ (context length) को काफी बढ़ाना पड़ता है। यह एक जिग्सॉ पहेली सुलझाने जैसा है: यदि टुकड़े बहुत छोटे हैं, तो आपको पूरी तस्वीर देखने के लिए उन्हें अपने हाथ में बहुत सारे टुकड़ों के रूप में रखना होगा।

सबसे रोमांचक खोज यह थी कि मॉडल कैसे सीखता है। जब शोधकर्ताओं ने मॉडल को सीधे सबसे कठिन, सबसे बड़े पहेलियों पर प्रशिक्षित करने की कोशिश की, तो वह फंस गया। मॉडल डेटा को लंबे समय तक घूरता रहा, बिना किसी प्रगति के, जैसे कोई छात्र उस गणित की समस्या को घूर रहा हो जिसे वह समझ नहीं पा रहा है। लेकिन जब उन्होंने एक "करिकुलम" (curriculum) का उपयोग किया—एक शिक्षण रणनीति जहाँ उन्होंने मॉडल को छोटे, आसान पहेलियों से शुरू किया और धीरे-धीरे कठिन पहेलियों को पेश किया—तो मॉडल अचानक इसे समझ गया। यह ऐसा था जैसे मॉडल को दौड़ने से पहले चलना सीखने की आवश्यकता थी। छोटे स्तर से शुरू करके, मॉडल ने नंबर जनरेशन के बुनियादी "व्याकरण" को सीखा, और फिर वह उन विशाल, जटिल पकीलियों को लागू कर सका।

लेखकों ने मॉडल के "दिमाग" (इसके आंतरिक डेटा रिप्रेजेंटेशन) के अंदर भी झाँका और कुछ बहुत ही दिलचस्प पाया। मॉडल ने केवल नंबरों को याद नहीं किया; इसने उन्हें उनके बाइनरी स्ट्रक्चर (binary structure) के आधार पर व्यवस्थित किया। इसने उन नंबरों को समूहबद्ध किया जिनके 0 और 1 के पैटर्न समान थे, भले ही वे नंबर सतह पर पूरी तरह से अलग दिखते हों। ऐसा लगता है कि मॉडल ने यह जान लिया कि जनरेटर्स द्वारा उपयोग किए जाने वाले "स्कैम्बलिंग" नियम बिट्स के कुछ पैटर्न को एक समान मानते हैं, और इसने उन नियमों का सम्मान करना सीख लिया। इससे पता चलता है कि मॉडल केवल अनुमान नहीं लगा रहा है; यह छिपी हुई गणितीय समरूपताओं (symmetries) का एक मानसिक मानचित्र बना रहा है।

संक्षेप में, यह पेपर दिखाता है कि ट्रांसफॉर्मर्स जटिल, बिखरे हुए नंबर अनुक्रमों की भविष्यवाणी करना सीख सकते हैं, भले ही जानकारी को बहुत अधिक कम कर दिया गया हो। लेकिन उन्हें सही प्रशिक्षण पथ की आवश्यकता होती है: छोटे से शुरू करना और ऊपर की ओर बढ़ना। हालांकि वे कुछ पुराने-स्कूल के हैकिंग तरीकों से बेहतर प्रदर्शन कर सकते हैं, फिर भी वे एक दीवार से टकरा जाते हैं जब नंबर बहुत बड़े हो जाते हैं और उनके पास वह सहायक करिकुलम नहीं होता। यह बताता है कि हालांकि AI छिपे हुए पैटर्न खोजने में बेहतर हो रहा है, फिर भी यह सीखने के एक संरचित तरीके पर निर्भर करता है, बिल्कुल एक मानव छात्र की तरह, जो सबसे कठिन गणितीय रहस्यों से निपटने के लिए आवश्यक है।

तकनीकी सारांश: ट्रांसफॉर्मर्स के साथ छद्म यादृच्छिक संख्याओं (Pseudorandom Numbers) को सीखना

समस्या विवरण

यह शोध पत्र ट्रांसफॉर्मर मॉडल्स की परम्यूटेड कॉन्ग्रुएंशियल जनरेटर्स (PCGs), जो कि छद्म यादृच्छिक संख्या जनरेटर (PRNGs) का एक व्यापक रूप से उपयोग किया जाने वाला परिवार है, द्वारा उत्पन्न अनुक्रमों (sequences) को सीखने और भविष्यवाणी करने की क्षमता की जांच करता है। जबकि ट्रांसफॉर्मर्स ने विभिन्न एल्गोरिदम संबंधी कार्यों के लिए इन-कॉन्टेक्स्ट लर्निंग (ICL) में सफलता प्रदर्शित की है, मौलिक प्रश्न यह बना हुआ है कि क्या उनमें सांख्यिकीय यादृच्छिकता परीक्षणों को पास करने के लिए डिज़ाइन किए गए डेटा के भीतर छिपे हुए नियतात्मक पैटर्न (deterministic patterns) को खोजने की क्षमता है।

PCGs, लीनियर कॉन्ग्रुएंशियल जनरेटर्स (LCGs) की तुलना में एक काफी कठिन चुनौती पेश करते हैं। जबकि LCGs एक सरल रैखिक पुनरावृत्ति ( $s_i = (a s_{i-1} + c) \mod m$ ) का पालन करते हैं, PCGs आउटपुट $x_i$ के लिए छिपी हुई अवस्था (hidden state) $s_i$ पर एक जटिल फलन $f$ लागू करते हैं। इस फलन में बिटवाइज़ शिफ्ट्स, XORs, रोटेशन और ट्रंकेशन (truncations) शामिल हैं। ये ऑपरेशन अंतर्नि층 रैखिक संरचना को छिपाने के लिए डिज़ाइन किए गए हैं, जिससे PCGs उन शास्त्रीय बीजगणितीय हमलों (algebraic attacks) के प्रति प्रतिरोधी बन जाते हैं जो मॉड्यूलस और मल्टीप्लायर के ज्ञान को मानकर चलते हैं। लेखक यह निर्धारित करने का लक्ष्य रखते हैं कि क्या ट्रांसफॉर्मर्स बिना जनरेटर मापदंडों के स्पष्ट ज्ञान के इन छिपे हुए पुनरावृत्ति संबंधों और परम्यूटेशन संरचनाओं की खोज कर सकते हैं, और ऐसे सीखने के तंत्र और सीमाओं को समझ सकते हैं।

कार्यप्रणाली

प्रयोगात्मक सेटअप

अध्ययन कई PCG वेरिएंट्स (XSLRR, XSHRR, XSHRS) और एक ट्रंकेटेड LCG (TLCG) का उपयोग करके एक नियंत्रित बेंचमार्क का उपयोग करता है।

जनरेटर्स: आंतरिक अवस्था $s_i$ एक LCG के माध्यम से विकसित होती है, और आउटपुट $x_i = f(s_i)$ विशिष्ट परम्यूटेशन के माध्यम से प्राप्त किया जाता है। लेखक मॉड्यूलस $m$ (से $2^{14}$ से $2^{22}$ तक) और आउटपुट आकार (जैसे, 16-बिट अवस्थाओं से 8-बिट आउटपुट) को बदलते हैं।
डेटासेट्स: दो सेटिंग्स का उपयोग किया गया है:
1. सेपरेट (Separate): एक ही जनरेटर प्रकार पर प्रशिक्षण और परीक्षण।
2. कंबाइंड (Combined): सभी जनरेटर प्रकारों के मिश्रण पर प्रशिक्षण और परीक्षण, जिसके लिए मॉडल को विभिन्न परम्यूटेशन नियमों के बीच अंतर करने की आवश्यकता होती है।
- डेटासेट्स अनदेखे मल्टीप्लायर्स ( $a$ ) और इंक्रीमेंट्स ( $c$ ) के साथ उत्पन्न अनुक्रमों से बने हैं ताकि सामान्यीकरण (generalization) का परीक्षण किया जा सके।
मॉडल आर्किटेक्चर: रोटरी पोजीशनल एम्बेडिंग्स (RoPE) के साथ GPT-शैली के डिकोडर-ओनली ट्रांसफॉर्मर्स। प्रयोग मॉडल की गहराई (1–6 लेयर्स), चौड़ाई (अटेंशन हेड्स), और वोकैबुलरी साइज (आउटपुट बिट-विड्थ के आधार पर) को स्केल करते हैं।
प्रशिक्षण: मॉडल्स को क्रॉस-एन्ट्रॉपी लॉस का उपयोग करके अगले टोकन की भविष्यवाणी करने के लिए ऑटोरिग्रेसिव रूप से प्रशिक्षित किया जाता है। प्रशिक्षण में 512 के बैच साइज के साथ 100k स्टेप्स तक का प्रशिक्षण शामिल है।

प्रमुख तकनीकें

करिकुलम लर्निंग (Curriculum Learning): बड़े मॉड्यूली ( $m \ge 2^{20}$ ) के लिए, सीधा प्रशिक्षण अक्सर विफल हो जाता है, जिससे लंबा ठहराव (stagnation) होता है। लेखक एक करिकुलम रणनीति पेश करते हैं जहाँ छोटे मॉड्यूली के प्रशिक्षण डेटा को बड़े मॉड्यूली डेटासेट में मिलाया जाता है। मिश्रण अनुपात $\alpha$ प्रशिक्षण चरणों के दौरान तेजी से घटता है।
प्रीट्रेन्ड इनिशियलाइजेशन (Pretrained Initialization): छोटे मॉड्यूली पर प्रशिक्षित मॉडल्स का उपयोग बड़े मॉड्यूली कार्यों के लिए वेट्स (weights) को इनिशियलाइज़ करने के लिए किया जाता है, जिससे सीखे गए एम्बेडिंग स्ट्रक्चर को ट्रांसफर किया जाता है।
इंटरप्रिटेबिलिटी विश्लेषण (Interpretability Analysis): लेखक टोकन एम्बेडिंग्स पर प्रिंसिपल कंपोनेंट एनालिसिस (PCA) का उपयोग करते हैं और इनपुट डेटा को मॉडल कैसे दर्शाता है, यह समझने के लिए अटेंशन पैटर्न का विश्लेषण करते हैं।

प्रमुख योगदान और परिणाम

1. सफल इन-कॉन्टेक्स्ट प्रेडिक्शन

ट्रांसफॉर्मर्स कई वेरिएंट्स के PCG अनुक्रमों पर सफल इन-कॉन्टेक्स्ट प्रेडिक्शन कर सकते हैं, जो अनदेखे मापदंडों ( $a, c$ ) पर भी सामान्यीकरण करते हैं।

प्रदर्शन: मॉडल लगभग 512 इन-कॉन्टेक्स्ट तत्वों को देखने के बाद विविध PCG वेरिएंट्स पर >90% सटीकता प्राप्त करते हैं।
मजबूती (Robustness): भविष्यवाणी तब भी मजबूत रहती है जब आउटपुट को भारी रूप से ट्रंकेट किया जाता है (उदाहरण के लिए, अवस्था के केवल एकल उच्चतम बिट को बनाए रखना), जहाँ मॉडल रैंडम गेसिंग से काफी बेहतर प्रदर्शन करता है।
सामान्यीकरण: यह क्षमता प्रकाशित शास्त्रीय हमलों से अधिक है, जिन्हें आमतौर पर मॉड्यूलस और मल्टीप्लायर के पूर्व ज्ञान की आवश्यकता होती है।

2. स्केलिंग लॉज़ (Scaling Laws)

पेपर सफल भविष्यवाणी के लिए आवश्यक कॉन्टेक्स्ट लेंथ के संबंध में एक विशिष्ट स्केलिंग लॉ की पहचान करता है:

कॉन्टेक्स्ट लेंथ बनाम मॉड्यूलस: 90% सटीकता से अधिक होने के लिए आवश्यक इन-कॉन्टेक्स्ट अनुक्रम तत्वों की संख्या $\sqrt{m}$ के रूप में स्केल करती है। यह LCGs के लिए देखे गए $m^{0.25}$ स्केलिंग से अधिक तीव्र है, जो PCG परम्यूटेशन द्वारा पेश किए गए सूचना अस्पष्टीकरण (information obscuration) को दर्शाता है।
मॉडल का आकार: बड़े मॉडल्स (बढ़ी हुई गहराई और चौड़ाई) को समान सटीकता तक पहुँचने के लिए कम देखे गए तत्वों की आवश्यकता होती है, जो यह सुझाव देता है कि स्केल अधिक कुशल रणनीति विकास की अनुमति देता है।

3. करिकुलम लर्निंग की आवश्यकता

बड़े मॉड्यूली ( $m \ge 2^{20}$ ) के लिए, निश्चित कंप्यूट बजट के भीतर सीधा प्रशिक्षण न्यूनतम लॉस रिडक्शन के साथ लंबे ठहराव चरणों की ओर ले जाता है।

करिकुलम प्रभावकारिता: छोटे मॉड्यूली से डेटा को शामिल करना (जैसे, $m=2^{18}$ प्रशिक्षण में $m=2^{16}$ डेटा मिलाना) ठहराव चरण को समाप्त करता है, स्थिर लर्निंग रेट की सीमा को बढ़ाता है, और काफी मजबूत अंतिम प्रदर्शन प्रदान करता है।
प्रीट्रेनिंग: एक छोटे मॉड्यूली मॉडल से वेट्स को इनिशियलाइज़ करना करिकुलम का एक विविक्त (discrete) रूप के रूप में कार्य करता है, जिससे मॉडल ठहराव चरण को छोड़ सकता है और तेजी से अभिसरण (converge) कर सकता है।

4. इंटरप्रिटेबिलिटी और रिप्रेजेंटेशन

सीखे गए रिप्रेजेंटेशन का विश्लेषण नवीन संरचनात्मक अंतर्दृष्टि प्रकट करता है:

बिटवाइज़ क्लस्टरिंग: एम्बेडिंग मैट्रिक्स का PCA दिखाता है कि टोकन स्वतः ही बिटवाइज़ रोटेशनली-इनवेरिएंट स्ट्रक्चर्स के आधार पर क्लस्टर होते हैं, विशेष रूप से निरंतर ज़ीरो रन (contiguous zero runs) की संख्या और व्यवस्था (जैसे, $Z(1), Z(2,1)$ )।
ट्रांसफेरेबिलिटी: यह क्लस्टरिंग संरचना विभिन्न मॉड्यूली में बनी रहती है, जो यह समझाती है कि प्रीट्रेन्ड इनिशियलाइजेशन प्रभावी क्यों है; मॉडल जनरेटर की अंतर्निहित इनवेरियन्स (invariances) को आत्मसात कर लेता है।
जनरेटर सेपरेशन: कंबाइंड ट्रेनिंग सेटिंग्स में, मॉडल के इंटरमीडिएट एक्टिवेशन (विशेष रूप से तीसरी लेयर के MLP में) स्पष्ट रूप से अलग-अलग PRNG वेरिएंट्स के बीच अंतर करते हैं, भले ही जनरेटर की पहचान पर कोई स्पष्ट सुपरविजन न हो।

महत्व और दावे

पेपर दावा करता है कि ट्रांसफॉर्मर्स के पास ऐसे डेटा में छिपे हुए नियतात्मक पैटर्न को खोजने की उल्लेखनीय क्षमता है जिसे यादृच्छिक दिखने के लिए डिज़ाइन किया गया है, जो उन शास्त्रीय बीजगणितीय हमलों की क्षमताओं से भी आगे है जो जनरेटर मापदंडों के स्पष्ट ज्ञान पर निर्भर करते हैं।

यह कार्य इस बात पर प्रकाश डालता है कि जबकि ट्रांसफॉर्मर्स जटिल PRNG स्ट्रक्चर्स को सीख सकते हैं, वे विशिष्ट स्केलिंग बाधाओं का सामना करते हैं। कॉन्टेक्स्ट लेंथ के लिए $\sqrt{m}$ के रूप में बढ़ने की आवश्यकता और बड़े मॉड्यूली के लिए करिकुलम लर्निंग की आवश्यकता यह सुझाव देती है कि जबकि ये मॉडल्स अनदेखे रेजीम्स (unseen regimes) में सामान्यीकरण कर सकते हैं, वे अभी तक विशिष्ट प्रशिक्षण रणनीतियों के बिना मनमाने ढंग से बड़े या जटिल जनरेटर्स को "क्रैक" करने में सक्षम नहीं हैं।

एम्बेडिंग स्पेस में रोटेशनली-इनवेरिएंट क्लस्टरिंग की पहचान यह यांत्रिक स्पष्टीकरण प्रदान करती है कि ये मॉडल्स कैसे सामान्यीकरण करते हैं: वे विशिष्ट अनुक्रमों को याद करने के बजाय एल्गोरिदम की समरूपताओं (symmetries) के आधार पर इनपुट का प्रतिनिधित्व करना सीखते हैं। यह एल्गोरिदम तर्क और सांख्यिकीय पैटर्न पहचान के बीच के अंतर को पाटते हुए, न्यूरल नेटवर्क द्वारा मॉड्यूलर अरिथमेटिक और परम्यूटेशन-आधारित कार्यों को कैसे प्रोसेस किया जाता है, इस पर एक नया दृष्टिकोण प्रदान करता है।

लेखक निष्कर्ष निकालते हैं कि जबकि ट्रांसफॉर्मर्स गैर-क्रिप्टोग्राफिक PRNG के प्रभावी ढंग से अनुमान लगाने के करीब पहुँच सकते हैं, समाधान का पूर्ण यांत्रिक विवरण और क्रिप्टोग्राफिक रूप से सुरक्षित जनरेटर्स पर हमला करने की उनकी क्षमता का अन्वेषण भविष्य के कार्य के लिए महत्वपूर्ण दिशाएँ बनी हुई हैं।