तकनीकी सारांश: भौतिक अनुक्रम मॉडलिंग में मिसजनरलाइजेशन (Misgeneralization) के तंत्र

1. समस्या की परिभाषा: भौतिक मिसजनरलाइजेशन (Physical Misgeneralization)

जेनरेटिव अनुक्रम मॉडल (Generative sequence models) का उपयोग भौतिक डोमेन, जैसे कि रोबोटिक्स, स्वायत्त ड्राइविंग और आणविक गतिशीलता (molecular dynamics) में गति की योजना बनाने के लिए तेजी से किया जा रहा है। इंजीनियर अक्सर वांछित भौतिक मात्राओं (जैसे यात्रा की दूरी, यांत्रिक ऊर्जा) पर वांछित वितरण निर्दिष्ट करने के लिए प्रदर्शन प्रक्षेपवक्रों (demonstration trajectories) का चयन करके डेटासेट तैयार करते हैं। अपेक्षा यह होती है कि इन प्रक्षेपवक्रों पर प्रशिक्षित एक मॉडल जनरेशन के दौरान इन भौतिक मात्राओं के इच्छित वितरण को पुनरुत्पादित करेगा।

हालाँकि, लेखक एक विफलता मोड की पहचान करते हैं जिसे भौतिक मिसजनरलाइजेशन (physical misgeneralization) कहा जाता है। इस परिदृश्य में, एक मॉडल व्यक्तिगत रूप से प्रशंसनीय प्रक्षेपवक्र (जैसे कि भूलभुलैया (maze) को हल करना) सफलतापूर्वक उत्पन्न करता है, लेकिन वह रुचि की भौतिक मात्रा के कुल वितरण को बनाए रखने में विफल रहता है। उदाहरण के लिए, यात्रा की दूरियों के समान वितरण वाले भूलभुलैया नेविगेशन डेटा पर प्रशिक्षित एक डिफ्यूजन प्लानर (diffusion planner) ऐसे पथ उत्पन्न कर सकता है जो व्यवस्थित रूप से प्रशिक्षण डेटा की तुलना में लंबे होते हैं, जिससे संभाव्यता द्रव्यमान (probability mass) उच्च दूरियों की ओर स्थानांतरित हो जाता है। यह तब भी होता है जब मॉडल गति की स्थानीय संरचना को सीख लेता है, जो यह सुझाव देता है कि प्रक्षेपवक्र हानि (trajectory loss) को कम करने का आंशिक उद्देश्य उन स्थानीय विचलन की अनुमति देता है जो, जब एक भौतिक माप के माध्यम से एकत्रित किए जाते हैं, तो एक विकृत वैश्विक वितरण का परिणाम देते हैं।

2. कार्यप्रणाली और यांत्रिक व्याख्या (Methodology and Mechanistic Interpretation)

औपचारिकीकरण (Formalization)

लेखक प्रक्षेपवक्र $x$ से स्केलर भौतिक मात्रा $r$ को अलग करके इस समस्या को औपचारिक रूप देते हैं। डेटा एक संयुक्त वितरण $\rho(r, z)$ से उत्पन्न होता है, जहाँ $z$ शेष भिन्नता (remaining variation) का प्रतिनिधित्व करता है। मॉडल को प्रक्षेपवक्रों पर मार्जिनली $q(x) = \int p(x|r,z)\rho(r,z)drdz$ पर प्रशिक्षित किया जाता है। लक्ष्य यह है कि मॉडल का प्रेरित मार्जिनल $\bar{\pi}_{model}$, लक्षित प्रायोर $\pi(r)$ से मेल खाए। विफलता को मात्रा विचलन (quantity drift) के रूप में मापा जाता है, जिसे $\bar{\pi}_{model}$ और $\pi$ के बीच की दूरी (जैसे, टोटल वेरिएशन) द्वारा मापा जाता है।

डेटा विचलन कर्नेल (The Data Deviation Kernel)

इस विचलन की व्याख्या और भविष्यवाणी करने के लिए, लेखक स्थानीय मॉडल त्रुटियों पर आधारित एक यांत्रिक व्याख्या प्रस्तावित करते हैं। उनका तर्क है कि मानक जेनरेटिव मॉडल (विशेष रूप से डिफ्यूजन मॉडल) प्रक्षेपवक्य स्थान में छोटे, स्थानीय विचलन (जैसे, मोड इंटरपोलेशन, सिग्नल लीकेज, स्थानीय पुनर्संयोजन) पेश करते हैं। जबकि ये विचलन प्रक्षेपवक्य स्थान में छोटे होते हैं, उन्हें भौतिक माप फलन $m(r|x)$ के माध्यम से मैप करने पर बढ़ाया या स्थानांतरित किया जा सकता है।

इसे संचालित करने के लिए, वे डेटा विचलन कर्नेल ($D_{arch}^\sigma$) पेश करते हैं:

• परिभाषा: एक डेटा प्रक्षेपवक्य $x$ के आसपास विचलन $\delta$ पर एक सशर्त वितरण, जो यह सारांश देता है कि एक विशिष्ट आर्किटेक्चर परिवार संभाव्यता द्रव्यमान को कैसे बिखेरता है।
• निर्माण: डिफ्यूजन मॉडल के लिए, इस कर्नेल को अन्य प्रशिक्षण डेटा से समान अंशों (गाऊसीय दूरी द्वारा भारित) के साथ एक प्रक्षेपवक्य के छोटे अंशों को बदलकर और अनस्पष्ट भिन्नता को समझाने के लिए गाऊसीय शोर जोड़कर स्थापित किया जाता है।
• भविष्यवाणी: कर्नेल का उपयोग मात्रा-परिवहन कर्नेल $K_{dev}(r'|r)$ की गणना करने के लिए किया जाता है, जो यह दर्शाता है कि विचलन के बाद मात्रा $r$ से जुड़े प्रक्षेपवक्य के $r'$ के रूप में प्राप्त होने की क्या संभावना है। अनुमानित वितरण फिर $\bar{\pi}_{dev}(r') = \int K_{dev}(r'|r)\pi(r)dr$ है।

महत्वपूर्ण रूप से, यह भविष्यवाणी तंत्र के लिए प्रशिक्षित मॉडल की आवश्यकता नहीं है; यह केवल डेटा वितरण, आर्किटेक्चर के ज्ञात त्रुटि रुझानों और माप नियम पर निर्भर करता है।

3. प्रयोगात्मक सत्यापन (Experimental Validation)

लेखक अपने तंत्र को नियंत्रित सिंथेटिक कार्यों और लागू भौतिक प्रणालियों दोनों का उपयोग करके मान्य करते हैं।

सिंथेटिक कार्य

उन्होंने $r$ नामक स्केलर पैरामीटर द्वारा नियंत्रित तीन प्रकार के 1D प्रक्षेपवक्यों का निर्माण किया:

1. साइनुसोइड (Sinusoid): $x_t = \frac{1}{2}(\sin(2\pi t/r + \phi_0) + 1)$। यह शून्य लयाप्टुनव एक्सपोनेंट (Lyapunov exponent) वाले आधार रेखा के रूप में कार्य करता है (कोई त्रुटि प्रवर्धन नहीं)।
2. टेंट मैप (Tent Map): $x_{t+1} = r \min\{x_t, 1-x_t\}$। एक पीसवाइज लीनियर मैप जहाँ संवेदनशीलता $r$ के साथ बढ़ती है।
3. लॉजिस्टिक मैप (Logistic Map): $x_{t+1} = r x_t(1-x_t)$। जटिल गतिकी वाला एक नॉन-लीनियर मैप।

इन कार्यों में, उन्होंने अनकंडीशनल 1D U-Net डिफ्यूजन मॉडल को प्रशिक्षित किया। परिणामों ने दिखाया कि कर्नेल-आधारित भविष्यवाणियों ने प्रशिक्षित मॉडलों में देखे गए वितरण बदलाव (ड्रिफ्ट) के दिशा और परिमाण का सटीक पूर्वानुमान लगाया। उदाहरण के लिए, टेंट मैप में मॉडल ने मध्यवर्ती $r$ मानों का अधिक प्रतिनिधित्व किया और उच्च $r$ मानों का कम प्रतिनिधित्व किया, जो कर्नेल की भविष्यवाणी से मेल खाता है।

लागू कार्य (Applied Tasks)

तंत्र का परीक्षण किया गया:

• डबल-पेंडुलम सिमुलेशन: यांत्रिक ऊर्जा को पुनः प्राप्त करने के लिए कोण प्रक्षेपवक्रों पर प्रशिक्षण। मॉडल ने ऊर्जा वितरण को ऊपर की ओर स्थानांतरित कर दिया, एक प्रवृत्ति जिसे कर्रल द्वारा सटीक रूप से अनुमानित किया गया था।
• Maze2D नेविगेशन: पथ लंबाई को पुनः प्राप्त करने के लिए D4RL डेटा पर प्रशिक्षण। मॉडल ने व्यवस्थित रूप से लंबे पथों का उत्पादन किया, जो दाईं ओर शिफ्ट हुए, टाइटened वितरण की कर्नेल की भविष्यवाणी से फिर से मेल खाता है।

4. शमन रणनीतियाँ (Mitigation Strategies)

यह शोध पत्र भौतिक मिसजनरलाइजेशन को कम करने के लिए तीन श्रेणियों के हस्तक्षेपों का मूल्यांकन करता है:

1. डेटासेट संशोधन (रीवेटिंग - Reweighting): कम प्रतिनिधित्व वाली मात्राओं को ओवरसैंपल करके प्रशिक्षण डेटा को पुनर्संतुलित करने का प्रयास। लेखकों ने पाया कि यह अप्रभावी और कभी-कभी प्रतिकूल होता है। क्योंकि जेनरेटर प्रक्षेपवक्यों पर मार्जिनली प्रशिक्षित होता है, रीवेटिंग यह रोकने में विफल रहता है कि स्थानीय प्रक्षेपवक्य त्रुटियां मात्रा मानों के बीच संभाव्यता द्रव्यमान को स्थानांतरित कर दें।
2. जेनरेटिव इंटरफेस संशोधन (कंडीशनल मॉडलिंग): वांछित मात्रा $r$ पर मॉडल को कंडीशन करना। हालांकि यह सरल सिंथेटिक कार्यों के लिए अच्छा काम करता था, यह जटिल भौतिक प्रणालियों (डबल-पेंडुलम, Maze2D) में ड्रिफ्ट को पूरी तरह से ठीक करने में विफल रहा। ऐसा इसलिए है क्योंकि कंडीशनिंग स्थानीय प्रक्षेपवक्य-स्थान त्रुटियों की भरपाई नहीं करती है और आवश्यक भौतिक संरचना (जैसे, भूलभुलैया ज्यामिति) के साथ अनुरोधित मात्रा के बीच संयुक्त वितरण को निर्दिष्ट करने में विफल रहती है।
3. डेटा प्रतिनिधित्व रूपांतरण (Data Representation Transformation): इनपुट डेटा के लिए एक नया समन्वय तंत्र (एक "कोड स्पेस") बनाने के लिए कर्नेल का उपयोग करना। कोड बिंदुओं को प्रशिक्षण प्रक्षेपवक्यों के साथ इस तरह जोड़ने से कि स्थानीय डिकोडिंग पड़ोस मात्रा मानों का एक संतुलित मिश्रण को पुनः प्राप्त करें, लेखकों ने इन कोडों पर एक अनकंडीशनल मॉडल को प्रशिक्षित किया। यह दृष्टिकोण सभी सिंथेटिक और लागू कार्यों में ड्रिफ्ट को लगातार कम करने में सफल रहा, जबकि नमूना गुणवत्ता और विविधता को बनाए रखा।

5. मुख्य योगदान और महत्व

यह शोध पत्र निम्नलिखित योगदान देता है:

• पहचान और औपचारिकीकरण: यह "भौतिक मिसजनरलाइजेशन" को एक विशिष्ट विफलता मोड के रूप में परिभाषित करता है जहाँ मार्जिनल प्रशिक्षण उद्देश्य गलत कुल वितरणों की ओर ले जाते हैं।
• यांत्रिक व्याख्या: यह प्रस्तावित करता है कि स्थानीय मॉडल-प्रेरित विचलन, भौतिक माप नियमों के माध्यम से प्रसारित होकर, वितरण विचलन का मूल कारण हैं।
• भविdtकी उपकरण: यह डेटा विचलन कर्नेल विकसित करता है, जो आर्किटेक्चरल त्रुटियों का अनुकरण करके, मॉडल को प्रशिक्षित किए बिना वितरण बदलावों की भविष्यवाणी करने की एक विधि है।
• प्रायोगिक सत्यापन: यह प्रदर्शित करता है कि यह तंत्र सिंथेटिक डायनेमिकल सिस्टम और भूलभुलैया नेविगेशन और पेंडुलम सिमुलेशन जैसे वास्तविक अनुप्रयोगों में ड्रिफ्ट की सटीक भविष्यवाणी करता है।
• प्रतिनिधित्व के माध्यम से शमन: यह एक कर्नेल-सूचित डेटा प्रतिनिधित्व रूपांतरण का प्रस्ताव करता है और उसे मान्य करता है, जो डेटा रीवेटिंग और कंडीशनल मॉडलिंग से बेहतर प्रदर्शन करता है।

महत्व

लेखक तर्क देते हैं कि भौतिक मिसजनरलाइजेशन स्थानीय मॉडल त्रुटियों और भौतिक मापों की ज्यामिति के बीच परस्पर क्रिया का एक पूर्वानुमेय परिणाम है। यह कार्य व्यक्तिगत नमूना गुणवत्ता (likelihood, FID) से हटकर उत्पन्न नमूनों के समग्र वितरण गुणों पर ध्यान केंद्रित करता है। एक यांत्रिक विवरण और एक भविष्य कहनेवाला उपकरण प्रदान करके, यह शोध पत्र सुरक्षित और अधिक पारदर्शी भौतिक AI सिस्टम डिजाइन करने का मार्ग प्रशस्त करता है, यह सुनिश्चित करता है कि उत्पन्न व्यवहार न केवल स्थानीय रूप से प्रशंसनीय हों बल्कि वैश्विक भौतिक बाधाओं और इच्छित वितरणों का भी पालन करें।

शोध पत्र यह भी नोट करता है कि हालांकि वर्तमान ढांचा डिफ्यूजन मॉडल के लिए अनुकूलित है, अंतर्निहित सिद्धांत—कि एक जेनरेटिव प्रक्रिया में स्थानीय त्रुटियां समग्र भौतिक मात्राओं को विकृत कर सकती हैं—अन्य आर्किटेक्चर (जैसे, ट्रांसफॉर्मर, VAEs) और डोमेन (जैसे, स्पीच-टू-टेक्स्ट, जहाँ बोलने की दर में बदलाव देखा गया) पर भी लागू हो सकता है, जो मल्टी-स्टेज पाइपलाइनों के लिए कंपोज्ड कर्नेल के व्यापक दायरे का सुझाव देता है।