🤖 machine learning

DreamSAC: Learning Hamiltonian World Models via Symmetry Exploration

DreamSAC एक ऐसा फ्रेमवर्क है जो एक अनसुपरवाइज्ड सिमिट्री एक्सप्लोरेशन स्ट्रैटेजी को जोड़कर भौतिक सिमुलेशन में एक्सट्रपलेटिव जनरलाइजेशन को बढ़ाता है, जो हैमिल्टोनियन-आधारित क्यूरियोसिटी बोनस के माध्यम से संरक्षण नियमों (कन्ज़र्वेशन लॉज़) की सक्रिय रूप से जांच करता है, और एक हैमिल्टोनियन-आधारित वर्ल्ड मॉडल के साथ मिलकर काम करता है जो एक नवीन कॉन्ट्रास्टिव ऑब्जेक्टिव के माध्यम से कच्चे अवलोकनों से इनवेरिएंट फिजिकल स्टेट्स को सीखता है।

मूल लेखक: Jinzhou Tang, Fan Feng, Minghao Fu, Wenjun Lin, Biwei Huang, Keze Wang

प्रकाशित 2026-03-10

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Jinzhou Tang, Fan Feng, Minghao Fu, Wenjun Lin, Biwei Huang, Keze Wang

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को पूल (pool) खेलना सिखाने की कोशिश कर रहे हैं।

पुराना तरीका (पैसिव लर्निंग - Passive Learning):
वर्तमान में अधिकांश AI रोबोट हजारों घंटों के पूल वीडियो देखकर सीखते हैं। वे एक ऐसे छात्र की तरह हैं जिसने देखे गए हर एक शॉट को रट लिया है। यदि रोबोट देखता है कि एक लाल गेंद नीली गेंद से टकराती है, तो वह जानता है कि क्या होगा क्योंकि उसने उस विशिष्ट दृश्य को लाखों बार देखा है।

लेकिन समस्या यह है: यदि आप टेबल पर एक भारी नीली गेंद रख देते हैं, या टेबल के कपड़े (felt) का घर्षण (friction) बदल देते हैं, या कैमरे को किसी अजीब कोण (angle) पर घुमा देते हैं, तो रोबट भ्रमित हो जाता है। वह असफल हो जाता है। क्यों? क्योंकि उसने भौतिकी के नियमों (जैसे संवेग या गुरुत्वाकर्षण) को नहीं सीखा; उसने केवल पिक्सेल के पैटर्न को पहचानना सीखा है। यह गणित समझे बिना उत्तर कुंजी (answer key) को रटने जैसा है।

नया तरीका (DreamSAC):
यह पेपर DreamSAC को पेश करता है, जो केवल देखता नहीं है, बल्कि खेलता है। यह दुनिया को एक खेल के मैदान की तरह मानता है और भौतिकी के नियमों को समझने के लिए एक विशेष "जिज्ञासा" (curiosity) का उपयोग करता है।

यह कैसे काम करता है, इसे तीन सरल चरणों में विभाजित किया गया है:

1. "फिजिक्स डिटेक्टिव" (सिमेट्री एक्सप्लोरेशन - Symmetry Exploration)

डेटा का इंतजार करने के बजाय, रोबोट चीजों को सक्रिय रूप से तोड़ने की कोशिश करता है।

उपमा (Analogy): एक अंधेरे कमरे में एक बच्चे की कल्पना करें। एक पैसिव लर्नर स्थिर बैठा रहता है और रोशनी जलने का इंतजार करता है। एक DreamSAC रोबोट उस बच्चे की तरह है जो दीवारों पर गेंदों को फेंकना, फर्नीचर पर कूदना और बर्तनों को टकराना शुरू कर देता है।
क्यों? रोबोट के पास एक विशेष "क्यूरियोसिटी बोनस" होता है। उसे उन चीजों के लिए इनाम मिलता है जिनसे ऊर्जा में बड़ा बदलाव आता है। वह यह जानने के लिए उत्सुक रहता है: "अगर मैं एक भारी बॉक्स को धकेलता हूँ, तो मुझे हल्के बॉक्स की तुलना में कितनी अधिक जोर से धक्का देना पड़ेगा?"
परिणाम: सक्रिय रूप से "सिमेट्री तोड़ने" (ऐसी चीजें करना जिससे सिस्टम में बदलाव आए) के माध्यम से, यह उस सटीक प्रकार का डेटा एकत्र करता है जो सतही दिखावट के बजाय अंतर्निहित नियमों को समझने के लिए आवश्यक है।

2. "अदृश्य बैकपैक" (हैमिल्टोनियन वर्ल्ड मॉडल - Hamiltonian World Model)

एक बार जब रोबोट यह डेटा एकत्र कर लेता है, तो वह दुनिया का एक मानसिक मॉडल बनाता है। लेकिन यह कोई सामान्य मॉडल नहीं है; यह हैमिल्टोनियन भौतिकी (Hamiltonian Physics) पर आधारित है।

उपमा: एक सामान्य AI मॉडल को एक वीडियो गेम के चरित्र की तरह सोचें जो केवल मैप को याद रखता है। DreamSAC का मॉडल एक ऐसे चरित्र की तरह है जो भौतिकी के नियमों (ऊर्जा संरक्षण, संवेग, आदि) से भरा एक अदृश्य बैकपैक लेकर चलता है।
जादू: भले ही रोबोट पूल टेबल को एक अजीब कोण से देख रहा हो (एक नया कैमरा व्यू), उसका "बैकपैक" उसे बताता है, "हे, इस गेंद का द्रव्यमान (mass) अभी भी है, और गुरुत्वाकर्षण नीचे की ओर खींच रहा है।" यह विजुअल नॉइज़ (क्या कैमरा झुका हुआ है? क्या धूप है?) को भौतिक सत्य (गेंद कितनी भारी है?) से अलग कर देता है।
कॉन्ट्रास्टिव ट्रिक (Contrastive Trick): यह सुनिश्चित करने के लिए कि रोबोट कैमरा एंगल को अनदेखा करे, शोधकर्ता "अंतर पहचानो" (spot the difference) वाला खेल इस्तेमाल करते हैं। वे रोबोट को एक ही दृश्य की दो अलग-अलग कोणों से ली गई तस्वीरें दिखाते हैं और कहते हैं, "कोण को अनदेखा करें; मुझे बताएं कि भौतिकी के बारे में क्या समान है।" यह रोबोट को इनवेरिएंट (अपरिवर्तनीय) नियमों को सीखने के लिए मजबूर करता है।

3. "सपनों का चरण" (इमेजिनेशन - Dreaming Phase)

रोबोट केवल वास्तविक जीवन से नहीं सीखता; वह सपने भी देखता है।

उपमा: वास्तविक दुनिया में खेलने के बाद, रोबोट सो जाता है और अपने दिमाग में सिमुलेशन चलाता है। वह कल्पना करता है, "क्या होगा अगर मैं गेंद को दोगुनी ताकत से मारूँ?" या "क्या होगा अगर गुरुत्वाकर्षण 50% अधिक मजबूत हो जाए?"
लाभ: क्योंकि उसके "बैकपैक" में वास्तविक भौतिकी के नियम हैं, इसलिए ये सपने सटीक होते हैं। वह उस दुनिया की भविष्यवाणी कर सकता है जहाँ वह कभी गया ही नहीं।

यह क्यों महत्वपूर्ण है

यह पेपर दिखाता है कि DreamSAC भौतिकी का एक गिरगिट (chameleon) है।

यदि आप गुरुत्वाकर्षण बदलते हैं, तो यह तुरंत ढल जाता है।
यदि आप कैमरा एंगल बदलते हैं, तो यह भ्रमित नहीं होता।
यदि आप कोई नई वस्तु जोड़ते हैं, तो यह जानता है कि उसके साथ कैसे इंटरैक्ट करना है।

संक्षेप में:
पुराना AI एक तोते की तरह है जो जो सुनता है उसे दोहराता है। DreamSAC एक जिज्ञासु वैज्ञानिक की तरह है जो चीजों को छूता है, उन्हें कुरेदता है और प्रयोग करता है जब तक कि वह यह न जान ले कि चीजें क्यों होती हैं। यह केवल दुनिया को रटता नहीं है; यह उस कोड को सीखता है जो ब्रह्मांड को चलाता है, जिससे यह उन स्थितियों को संभालने में सक्षम होता है जो इसने पहले कभी नहीं देखीं।

यहाँ शोध पत्र "DreamSAC: Learning Hamiltonian World Models via Symmetry Exploration" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

वर्तमान अत्याधुनिक वर्ल्ड मॉडल्स (जैसे DreamerV3) इंटरपोलेटिव जनरलाइजेशन (interpolative generalization) में उत्कृष्ट हैं—अर्थात, वे प्रशिक्षण डेटा के समान परिदृश्यों के लिए परिणामों की भविष्यवाणी करने में सक्षम हैं क्योंकि वे पिक्सेल अनुक्रमों में सांख्यिकीय सहसंबंधों (statistical correlations) को सीख लेते हैं। हालाँकि, वे एक्सट्रपलेटिव जनरलाइजेशन (extrapolative generalization) में विफल रहते हैं, जहाँ एजेंटों को नवीन भौतिक मापदंडों (जैसे अलग गुरुत्वाकर्षण, घर्षण, द्रव्यमान अनुपात) या अनदेखे दृष्टिकोणों (viewpoints) का सामना करना पड़ता है।

मुख्य सीमा यह है कि ये मॉडल अंतर्निहित जनरेटिव नियमों (भौतिक नियमों) को समझने के बजाय भ्रामक सांख्यिकीय सहसंबंधों (spurious statistical correlations) को सीखते हैं। वे बल (force), संवेग (momentum), या ऊर्जा संरक्षण (energy conservation) जैसी अवधारणाओं को समझे बिना पिक्सेल को स्थिर पैटर्न के रूप में देखते हैं। फलस्वरूप, वे आउट-ऑफ-डिस्ट्रीब्यूशन (OOD) भौतिक स्थितियों के प्रति मजबूती से अनुकूलित नहीं हो पाते हैं।

2. कार्यप्रणाली: DreamSAC फ्रेमवर्क (Methodology: DreamSAC Framework)

लेखक DreamSAC (Dream with Symmetry-Aware Curiosity) प्रस्तावित करते हैं, जो एक ऐसा फ्रेमवर्क है जो लर्निंग को निष्क्रिय सांख्यिकीय फिटिंग (passive statistical fitting) से सक्रिय भौतिक खोज (active physical discovery) की ओर स्थानांतरित करता है। इसमें दो घनिष्ठ रूप से जुड़े घटक शामिल हैं:

A. हैमिल्टोनियन वर्ल्ड मॉडल ( $H_\phi$ )

एक मानक ब्लैक-बॉक्स डायनेमिक्स प्रेडिक्टर (जैसे RSSM) के बजाय, DreamSAC नियंत्रित हैमिल्टोनियन डायनेमिक्स (Controlled Hamiltonian Dynamics) पर आधारित भौतिकी-आधारित मॉडल का उपयोग करता है।

लैटेंट रिप्रेजेंटेशन (Latent Representation): मॉडल कच्चे पिक्सेल को लैटेंट ऑब्जेक्ट स्लॉट्स $Z_t = \{z_t^i\}$ में मैप करने के लिए एक ऑब्जेक्ट-सेंट्रिक एनकोडर (SAVi पर आधारित) का उपयोग करता है। प्रत्येक स्लॉट को सामान्यीकृत निर्देशांक (generalized coordinates) ( $q_t$ ) और कैनोनिकल मोमेंटा (canonical momenta) ( $p_t$ ) में संरचनात्मक रूप से विभाजित किया गया है।
सिमेट्री कंस्ट्रेंट्स (Symmetry Constraints): आंतरिक डायनेमिक्स एक हैमिल्टोनियन फंक्शन $H_\phi(Z_t)$ द्वारा संचालित होते हैं, जिसे प्रासंगिक भौतिक सिमेट्री ग्रुप (जैसे 3D रिजिड बॉडीज़ के लिए $SE(3)$) के तहत इनवेरिएंट (invariant) रहने के लिए बाध्य किया गया है। यह सुनिश्चित करता है कि सीखा गया ऊर्जा फंक्शन केवल भौतिक अवस्था पर निर्भर करता है, न कि कैमरा व्यूपॉइंट पर।
व्यूपॉइंट रोबस्टनेस (Viewpoint Robustness): पुनर्निर्माण (जिसके लिए व्यूपॉइंट विवरणों की आवश्यकता होती है) और भौतिक इनवेरिएंस (जिसके लिए व्यूपॉइंट को हटाना आवश्यक है) के बीच संघर्ष को हल करने के लिए, DreamSAC एक व्यूपॉइंट-रोबस्टनेस लॉस ( $L_{vr}$ ) पेश करता है। यह एक स्व-पर्यवेक्षित कंट्रास्टिव लॉस है जो एनकोडर को एक ही भौतिक अवस्था के विभिन्न ऑगमेंटेड व्यूज़ के लिए समान लैटेंट रिप्रेजेंटेशन उत्पन्न करने के लिए मजबूर करता है, जिससे लैटेंट स्पेस को 'न्युसेंस वेरिएबल्स' (nuisance variables) से मुक्त किया जाता है।
डायनेमिक्स इंटीग्रेशन (Dynamics Integration): मॉडल दीर्घकालिक ऊर्जा संरक्षण सुनिश्चित करने के लिए इन्फरेंस के दौरान एक सिम्प्लेक्टिक इंटीग्रेटर (Symplectic Integrator - Leapfrog) का उपयोग करता है, जबकि ग्रेडिएंट स्थिरता के लिए प्रशिक्षण के दौरान मानक यूलर इंटीग्रेटर का उपयोग करता है।

B. सिमेट्री एक्सप्लोरेशन पॉलिसी (Symmetry Exploration Policy)

हैमिल्टोनियन $H_\phi$ को प्रभावी ढंग से सीखने के लिए, एजेंट केवल निष्क्रिय रूप से देख नहीं सकता; उसे सिस्टम की सिमेट्रीज़ को सक्रिय रूप से प्रोब (probe) करना चाहिए।

इंट्रिन्सिक रिवॉर्ड (Symmetry-Aware Curiosity): एजेंट एक रिवॉर्ड $r_{sym} \approx |\Delta H_\phi| = |H_\phi(Z_{t+1}) - H_\phi(Z_t)|$ $r_{sy m} \approx ∣Δ H_{ϕ} ∣ = ∣ H_{ϕ} (Z_{t + 1}) - H_{ϕ} (Z_{t}) ∣$ द्वारा प्रेरित होता है।
- सैद्धांतिक आधार: नोएदर के प्रमेय (Noether's theorem) के अनुसार, सिमेट्रीज़ संरक्षण नियमों (conservation laws) का संकेत देती हैं। एक बंद सिस्टम में, $\Delta H \approx 0$ होता है। $H$ की संरचना को सीखने के लिए, एजेंट को ऐसे कार्य करने चाहिए जो सिस्टम पर कार्य (work) करें, जिससे संरक्षण अस्थायी रूप से टूट जाए और सिस्टम की प्रतिक्रिया (कठोरता, द्रव्यमान, संभावित बाधाएं) प्रकट हो सके।
- एनीलिंग रणनीति (Annealing Strategy): चूंकि $H_\phi$ शुरुआत में अपरिपक्व होता है, इसलिए $r_{sym}$ शोर युक्त (noisy) होता है। लेखक एक लीनियर एनीलिंग शेड्यूल का उपयोग करते हैं, जो एक्सप्लोरेशन को बूटस्ट्रैप करने के लिए मानक नॉवेल्टी बोनस (RND) से शुरू होता है, और फिर मॉडल में सुधार होने के साथ धीरे-धीरे भौतिकी-आधारित $r_{sym}$ की ओर स्थानांतरित होता है।
प्रक्रिया: एजेंट इस क्यूरियोसिटी रिवॉर्ड को अधिकतम करने के लिए पूरी तरह से "कल्पना" (वर्ल्ड मॉडल का उपयोग करके) में प्रशिक्षित होता है, और फिर भौतिक रूप से सूचनात्मक डेटा एकत्र करने के लिए वास्तविक वातावरण में पॉलिसी को निष्पादित करता है, जो वर्ल्ड मॉडल को और अधिक परिष्कृत करता है।

3. मुख्य योगदान (Key Contributions)

सिमेट्री एक्सप्लोरेशन (Symmetry Exploration): एक नवीन अनसुपरवाइज्ड एक्सप्लोरेशन रणनीति जो हैमिल्टोनियन-आधारित क्यूरियोसिटी सिग्नल का उपयोग करती है ताकि उन इंटरैक्शन को सक्रिय रूप से खोजा जा सके जो कार्य (energy change) को अधिकतम करते हैं, जिससे विशेष रूप से भौतिक इनवेरिएंस को प्रकट करने के लिए डिज़ाइन किया गया डेटा एकत्र किया जा सके।
कंट्रास्टिव लर्निंग के साथ हैमिल्टोनियन वर्ल्ड मॉडल: एक वर्ल्ड मॉडल जो Lie Transformer आर्किटेक्चर के माध्यम से भौतिक सिमेट्रीज़ को लागू करता है और व्यूपॉइंट-निर्भर विजुअल फीचर्स को व्यूपॉइंट-स्वतंत्र भौतिक अवस्थाओं से अलग करने के लिए स्व-पर्यवेक्षित कंट्रास्टिव लर्निंग का उपयोग करता है।
डिफरेंशिएटेड फाइन-ट्यूनिंग (Differentiated Fine-Tuning): एक तीव्र अनुकूलन तंत्र जहाँ नए कार्यों के लिए, व्यूपॉइंट-रोबस्ट एनकोडर को फ्रीज कर दिया जाता है, और केवल हैमिल्टोनियन मापदंडों को फाइन-ट्यून किया जाता है। यह भौतिक मापदंडों (जैसे घर्षण, गुरुत्वाकर्षण) के लिए नए सिस्टम आइडेंटिफिकेशन को तेजी से सक्षम बनाता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

फ्रेमवर्क का मूल्यांकन 3D फिजिक्स बेंचमार्क (DeepMind Control Suite और GymFetch) पर DreamerV3 और RND जैसे मजबूत बेसलाइन्स के विरुद्ध किया गया।

अनुमानित सटीकता (Predictive Accuracy): विभिन्न रोलआउट हॉरिज़न्स में बेसलाइन्स की तुलना में DreamSAC ने इमेज प्रेडिक्शन में काफी कम मीन स्क्वेर्ड एरर (MSE) प्राप्त किया, जो एक अधिक सटीक आंतरिक डायनेमिक्स मॉडल को प्रदर्शित करता है।
एक्सट्रपलेटिव जनरलाइजेशन (OOD):
- स्ट्रक्चरल OOD: अनदेखे व्यूपॉइंट्स, ऑब्जेक्ट काउंट्स और गोल पोजीशन वाले कार्यों पर DreamSAC ने बेसलाइन्स को पीछे छोड़ दिया।
- पैरामीट्रिक OOD: मॉडल ने अनदेखे भौतिक मापदंडों (जैसे 1.5x गुरुत्वाकर्षण, 2.0x घर्षण) के प्रति बेहतर अनुकूलन दिखाया। "अनसीन डिस्ट्रीब्यूशन" कार्यों में, DreamSAC ने डोमेन-रैंडमाइज्ड बेसलाइन्स की तुलना में काफी बेहतर प्रदर्शन किया, जो सिद्ध करता है कि इसने केवल ट्रेनिंग डिस्ट्रीब्यूशन को याद करने के बजाय डायनेमिक्स के फंक्शनल फॉर्म को सीखा है।
एब्लेशन स्टडीज (Ablation Studies): व्यूपॉइंट-रोबस्टनेस लॉस ( $L_{vr}$ ) या हैमिल्टोनियन प्रायर ( $H_\phi$ ) को हटाने से प्रदर्शन में भारी गिरावट आई, जिससे पुष्टि हुई कि दोनों घटक मजबूत एक्सट्रपलेशन के लिए आवश्यक हैं।
गुणात्मक विश्लेषण (Qualitative Analysis): विज़ुअलाइज़ेशन ने पुष्टि की कि ज़ीरो-एक्शन रोलआउट के दौरान सीखा गया हैमिल्टोनियन स्थिर रहता है (ऊर्जा संरक्षण को मान्य करता है) और नए भौतिक मापदंडों के लिए लैटेंट स्टेट्स ट्रेनिंग डेटा से अलग स्पष्ट क्लस्टर बनाते हैं।

5. महत्व (Significance)

DreamSAC निष्क्रिय सांख्यिकीय लर्निंग से सक्रिय भौतिक खोज की ओर एक प्रतिमान परिवर्तन (paradigm shift) का प्रतिनिधित्व करता है।

मजबूती (Robustness): यह क्यूरियोसिटी-आधारित RL की महत्वपूर्ण "नॉइजी टीवी" (noisy TV) समस्या को संबोधित करता है, जो केवल सांख्यिकीय अप्रत्याशितता के बजाय भौतिक रूप से सूचनात्मक नवीनता (ऊर्जा परिवर्तन) पर ध्यान केंद्रित करता है।
सैंपल दक्षता (Sample Efficiency): अंतर्निहित जनरेटिव नियमों (सिमेट्रीज़) को सीखने के कारण, एजेंट को उन मॉडल्स की तुलना में नए भौतिक वातावरणों के अनुकूल होने के लिए कम इंटरैक्शन की आवश्यकता होती है जिन्हें शून्य से सहसंबंधों को फिर से सीखना पड़ता है।
जनरलाइजेशन (Generalization): यह प्रदर्शित करता है कि भौतिक पूर्वग्रहों (हैमिल्टोनियन मैकेनिक्स) को एम्बेड करना और कंट्रास्टिव लर्निंग के माध्यम से इनवेरिएंस को लागू करना एजेंटों को उन परिदृश्यों में सामान्यीकरण करने में सक्षम बनाता है जिन्हें उन्होंने कभी नहीं देखा है, जो अनिश्चित वास्तविक दुनिया में RL एजेंटों को तैनात करने की दिशा में एक महत्वपूर्ण कदम है।

संक्षेप में, DreamSAC सिद्ध करता है कि भौतिक इनवेरिएंस को स्पष्ट रूप से मॉडल करना और उन इनवेरिएंस को चुनौती देने के लिए सक्रिय रूप से अन्वेषण करना ऐसे वर्ल्ड मॉडल्स की ओर ले जाता है जो केवल वर्णनात्मक नहीं हैं, बल्कि भौतिक वास्तविकता में निहित (grounded in physical reality) हैं, जो मजबूत एक्सट्रपलेशन को सक्षम करते हैं।