कल्पना कीजिए कि आप एक जासूस हैं जो अपराध की फिल्म देखकर एक रहस्य को सुलझाने की कोशिश कर रहे हैं। आप संदिग्ध के भागने के कुछ सेकंड देखते हैं, और आपका काम यह अनुमान लगाना है कि वह एक घंटे में ठीक कहाँ होगा, या उस छोटी सी क्लिप के आधार पर उसके पूरे जीवन का पैटर्न क्या होगा। यह डायनामिकल सिस्टम रिकंस्ट्रक्शन (Dynamical Systems Reconstruction) की चुनौती है। वास्तविक दुनिया में, लगभग सब कुछ समय के साथ बदलता है: मौसम, शेयर बाजार, दिल की धड़कन, या एक आकाशगंगा का घूमना। वैज्ञानिक इन प्रणालियों को "डायनामिकल सिस्टम्स" कहते हैं। लंबे समय तक, इन प्रणालियों के भविष्य की भविष्यवाणी करने के लिए, शोधकर्ताओं को प्रत्येक विशिष्ट समस्या के लिए विशाल, जटिल कंप्यूटर मॉडल बनाने पड़ते थे, जैसे कि हर प्रकार के नृत्य को सीखने के लिए एक नया, कस्टम-मेड रोबोट बनाना।

हाल ही में, "फाउंडेशन मॉडल्स" (सोचिए इन्हें सुपर-स्मार्ट, सर्वज्ञ AI छात्र समझें) की एक नई लहर आई है। इन मॉडल्स को लाखों अलग-अलग समय-यात्रा की कहानियों पर प्रशिक्षित किया गया है। जब आप उन्हें एक नए, अज्ञात सिस्टम का एक छोटा सा अंश दिखाते हैं, तो वे उस विशिष्ट सिस्टम को बिना पहले सीखे, भविष्य का अनुमान लगा सकते हैं। इसे जीरो-शॉट लर्निंग (zero-shot learning) कहा जाता है। यह एक छात्र को बिल्ली और कुत्ते की तस्वीर दिखाने जैसा है, और फिर उन्हें एक बाघ की तस्वीर देकर यह अनुमान लगाने के लिए कहना कि बाघ कैसे चलता है, वह भी बिना किसी जीव विज्ञान कक्षा के। लेकिन यहाँ एक पेंच है: ये AI मॉडल 'ब्लैक बॉक्स' की तरह हैं। वे बेहतरीन उत्तर देते हैं, लेकिन कोई नहीं जानता कि वे यह कैसे करते हैं। वे इतने विशाल और जटिल हैं कि हम उनके अंदर के चलते हुए गियरों को देख नहीं सकते। यदि हम तंत्र (mechanism) को नहीं समझते हैं, तो हम आश्वस्त नहीं हो सकते कि वे केवल अनुमान लगा रहे हैं या याद कर रहे हैं, और हम उन्हें सरल या अधिक विश्वसनीय नहीं बना सकते।

यह शोध पत्र एक साहसिक प्रश्न पूछता है: क्या हमें एक अराजक प्रणाली (chaotic system) की भविष्यवाणी करने के लिए वास्तव में एक विशाल, जटिल AI की आवश्यकता है? या क्या उस विशाल मॉडल के भीतर एक छोटा, सरल나 ट्रिक छिपा है जो वही काम करता है? लेखक एक शक्तिशाली, अत्याधुनिक AI जिसे DynaMix कहा जाता है, को लेते हैं और उसे प्याज की तरह परत-दर-परत छीलना शुरू करते हैं। वे "न्यूनतम आवश्यक" सामग्री को खोजने की कोशिश कर रहे हैं जो एक भविष्यवाणी करने के लिए जरूरी है। वे केवल एक छोटा मॉडल बनाने की कोशिश नहीं कर रहे हैं; वे इस बात को समझने की कोशिश कर रहे हैं कि इन प्रणालियों के काम करने का मौलिक तर्क क्या है। यदि वे एक सरल नियम खोज सकते हैं जो जटिल व्यवहार की व्याख्या करता है, तो यह वैज्ञानिकों को चिकित्सा और जलवायु विज्ञान जैसे महत्वपूर्ण क्षेत्रों में AI भविष्यवाणियों पर भरोसा करने में मदद कर सकता है, जहाँ यह समझना कि भविष्यवाणी क्यों की गई, स्वयं भविष्यवाणी जितनी ही महत्वपूर्ण है।

महान अनपिलिंग: विशाल AI से दो-संख्या वाले नियम तक

लेखकों ने शुरुआत DynaMix से की, जो एक परिष्कृत AI है जो जटिल प्रणालियों के भविष्य की भविष्यवाणी करने के लिए "मिश्रण विशेषज्ञों" (mixture of experts) का उपयोग करता है। यह 10,000 छोटे विशेषज्ञों की एक टीम की तरह है, जिनमें से प्रत्येक डेटा को एक अलग कोण से देखता है, अगले कदम पर वोट देता है, और अंतिम उत्तर तय करने के लिए एक जटिल मतदान प्रणाली का उपयोग करता है। यह अविश्वसनीय रूप से अच्छा काम करता है, लेकिन यह भारी और समझने में कठिन है।

टीम ने "पुनरावृत्ति न्यूनीकरण" (iterative reduction) की प्रक्रिया शुरू की। उन्होंने पूछा, "क्या होगा यदि हम इस हिस्से को हटा दें? क्या होगा यदि हम उसे सरल बना दें?" उन्होंने जटिल न्यूरल नेटवर्क, फैंसी अटेंशन मैकेनिज्म और डीप लर्निंग लेयर्स को हटा दिया। आश्चर्यजनक रूप से, मॉडल टूटा नहीं। वास्तव में, यह सरल हो गया और अपने काम में उतना ही अच्छा रहा।

अंततः वे एक मॉडल पर पहुँचे जिसे वे DynaBase कहते हैं। यह "शुद्ध सार" है। यह इतना सरल है कि इसे केवल दो संख्याओं (पैरामीटर्स) के साथ एक नैपकिन पर लिखा जा सकता है, जिन्हें वे $\alpha$ और $\beta$ कहते हैं।

यहाँ बताया गया है कि DynaBase कैसे काम करता है, एक सरल उपमा का उपयोग करते हुए:
कल्पना कीजिए कि आप यह अनुमान लगाने की कोशिश कर रहे हैं कि एक गेंद आगे कहाँ लुढ़केगी। आपके पास एक मानचित्र है कि गेंद पहले कहाँ रही है (यह आपका "कॉन्टेक्स्ट" है)।

1. जुड़वां की तलाश करें: मॉडल देखता है कि गेंद अभी कहाँ है और आपके मानचित्र पर वह स्थान ढूंढता है जो इसके सबसे अधिक समान दिखता है ("निकटतम पड़ोसी")।
2. देखें कि आगे क्या हुआ: यह देखता है कि उस जुड़वां स्थान के तुरंत बाद मानचित्र पर क्या हुआ था।
3. जादुई मिश्रण: मॉडल तीन चीजों को मिलाकर अगले कदम की भविष्यवाणी करता है:
   • गेंद अभी कहाँ है।
   • "जुड़वां" स्थान कहाँ था।
   • "जुड़वां का अगला कदम" कहाँ था।

दो संख्याएँ, $\alpha$ और $\beta$, इस रेसिपी (नुस्खे) को नियंत्रित करती हैं। वे तय करती हैं कि इतिहास बनाम वर्तमान स्थिति को कितना महत्व दिया जाए। यदि आप रेसिपी सही रखते हैं, तो मॉडल अराजक प्रणालियों (जैसे मौसम) या चक्रीय प्रणालियों (जैसे दिल की धड़कन) के भविष्य की भविष्यवाणी अद्भुत सटीकता के साथ कर सकता है।

बड़ी खोज: यह सब "रेसिपी" के बारे में है

सबसे आश्चर्यजनक खोज यह है कि यह छोटा, दो-संख्या वाला मॉडल विशाल, जटिल AI मॉडलों जितना ही अच्छा प्रदर्शन करता है, और कुछ मामलों में उनसे बेहतर भी है। लेकिन असली जादू उन संख्याओं के अर्थ में है।

लेखकों ने पाया कि ये दो संख्याएँ सिस्टम के व्यवहार के पूरे व्यक्तित्व को नियंत्रित करती हैं। उन्होंने संभावनाओं का एक "स्पेक्ट्रम" पाया:

• "पैरोटिंग" मोड ($\alpha = 0$): यदि आप रेसिपी को शून्य पर सेट करते हैं, तो मॉडल बस अतीत की नकल करता है। यह मानचित्र को देखता है, एक मिलान ढूंढता है, और कहता है, "ठीक है, अगला कदम बिल्कुल वही है जो उस मिलान के बाद पहले हुआ था।" इसे कॉन्टेक्स्ट पैरोटिंग (context parroting) कहा जाता है। यह सरल, दोहराव वाले लूप के लिए बहुत अच्छा काम करता है, लेकिन अराजक प्रणालियों के लिए बुरी तरह विफल हो जाता है क्योंकि यह नए, जटिल पैटर्न बनाने के बजाय केवल अतीत को दोहराता है।
• "फ्लो" मोड ($\alpha = 1$): यदि आप रेसिपी को एक पर सेट करते हैं, तो मॉडल सिस्टम के प्रवाह की पूरी तरह से नकल करता है, जैसे नदी में बहता हुआ पत्ता। यह चिकने, दोहराव वाले चक्रों को पकड़ लेता है।
• "केओस" (अराजकता) मोड ($\alpha > 1$): यह बड़ी घोषणा है। जब लेखकों ने रेसिपी को एक से थोड़ा अधिक (विशेष रूप से 1.01 के आसपास) ट्यून किया, तो मॉडल अचानक अराजक व्यवहार करने लगा। इसने केवल अतीत की नकल नहीं की; इसने नए, अप्रत्याशित, फिर भी सीमित पैटर्न उत्पन्न किए जो बिल्कुल उन्हीं अराजक प्रणालियों की तरह दिखे जिन्हें वे भविष्यवाणी करने की कोशिश कर रहे थे।

पेपर सुझाव देता है कि विशाल AI की सफलता का रहस्य उसका विशाल आकार नहीं था, बल्कि यह था कि उसने अनजाने में इस विशिष्ट "केओस रेसिपी" ($\alpha \approx 1.01$) का उपयोग करना सीख लिया था। विशाल मॉडल इस सरल नियम को खोजने का एक जटिल तरीका मात्र था।

प्रशिक्षण मायने रखता है: आप जो मांगते हैं, वही आपको मिलता है

पेपर ने यह भी पाया कि आप मॉडल को कैसे सिखाते हैं, इससे बदल जाता है कि वह क्या सीखता है।

• यदि आप मॉडल को अगले ही कदम की सटीक भविष्यवाणी करने के लिए प्रशिक्षित करते हैं (लघु अवधि की भविष्यवाणी), तो यह एक "पैरट" (तोता) बन जाता है। यह सुरक्षित खेलता है, ज्ञात पथ पर टिका रहता है, और वास्तविक सिस्टम की जंगली, अराजक प्रकृति को पकड़ने में विफल रहता है।
• यदि आप मॉडल को सिस्टम के लंबे समय के आकार को सही करने के लिए प्रशिक्षित करते हैं (केवल अगले कदम को नहीं, बल्कि पूरे नृत्य का पुनर्निर्माण करना), तो यह स्वाभाविक रूप से "केओस रेसिपी" ($\alpha > 1$) को खोज लेता है और वास्तविक, जटिल व्यवहार उत्पन्न करना सीख जाता है।

यह समझाता है कि कुछ AI मॉडल लंबी अवधि की भविष्यवाणियों में क्यों विफल होते हैं: उन्हें अगले सेकंड के लिए सटीक होने के लिए प्रशिक्षित किया जाता है, इसलिए समय के साथ वे उबाऊ और दोहराव वाले हो जाते हैं। अराजक दुनिया के भविष्य की भविष्यवाणी करने के लिए, आपको मॉडल को केवल अगले कदम को नहीं, बल्कि लंबे समय के नृत्य को समझने के लिए प्रशिक्षित करना होगा।

निष्कर्ष

लेखक दिखाते हैं कि जटिल प्रणालियों के भविष्य की भविष्यवाणी करने के लिए आपको मिलियन-डॉलर के सुपरकंप्यूटर की आवश्यकता नहीं है। आपको बस एक सरल नियम की आवश्यकता है जो अतीत को देखता है, एक समान क्षण ढूंढता है, और इसे थोड़े से "डाइवर्जेंस" (मार्ग को हर बार थोड़ा अलग बनाना) के साथ मिलाता है।

उन्होंने सिद्ध किया कि यह सरल दो-पैरामीटर वाला मॉडल, DynaBase, क्या कर सकता है:

1. विशाल, जटिल AI मॉडलों के प्रदर्शन की बराबरी कर सकता है या उनसे बेहतर हो सकता है।
2. अराजक व्यवहार उत्पन्न कर सकता है जो वास्तविक दिखता है, न कि केवल कॉपी किया हुआ।
3. साधारण गणित का उपयोग करके एक सेकंड के भीतर प्रशिक्षित किया जा सकता है, न कि कंप्यूटिंग पावर के दिनों के बजाय।

पेपर का निष्कर्ष है कि इन फाउंडेशन मॉडल्स का "जादू" वास्तव में जादू नहीं है। यह एक सरल, सुरुचिपूर्ण गणितीय ट्रिक है जो सामने ही छिपी हुई थी। मॉडल को उसके सबसे सरल रूप में कम करके, लेखकों ने न केवल एक छोटा AI बनाया; उन्होंने हमें एक स्पष्ट खिड़की दी कि यह कैसे काम करता है, जिससे एक ब्लैक बॉक्स एक पारदर्शी, समझने योग्य उपकरण में बदल गया। यह सुझाव देता है कि कई वैज्ञानिक समस्याओं के लिए, सबसे शक्तिशाली समाधान सबसे बड़ा वाला नहीं, बल्कि सबसे सरल वाला हो सकता है जो रेसिपी को सही ढंग से पकड़ता है।