🤖 machine learning

Learning Abstract World Models with a Group-Structured Latent Space

यह शोधपत्र ज्यामितीय पूर्वधारणाओं (geometric priors) और समूह-संरचित लेटेंट स्पेस (group-structured latent spaces) को शामिल करके अमूर्त विश्व मॉडल (abstract world models) सीखने के लिए एक रूपरेखा प्रस्तावित करता है ताकि पर्यावरणीय समरूपताओं (environmental symmetries) को एनकोड किया जा सके, जिसके परिणामस्वरूप विभिन्न 3D वातावरणों में बेहतर भविष्यवाणी सटीकता, बेहतर डाउनस्ट्रीम सुदृढीकरण शिक्षण (reinforcement learning) प्रदर्शन और अधिक विसंयोजित प्रतिनिधित्व (disentangled representations) प्राप्त होते हैं।

मूल लेखक: Thomas Delliaux, Nguyen-Khanh Vu, Vincent François-Lavet, Elise van der Pol, Emmanuel Rachelson

प्रकाशित 2026-05-20

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Thomas Delliaux, Nguyen-Khanh Vu, Vincent François-Lavet, Elise van der Pol, Emmanuel Rachelson

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को एक नए शहर में रास्ता खोजना सिखाने की कोशिश कर रहे हैं। यदि आप उसे केवल हर सड़क के कोने की लाखों तस्वीरें दिखा देते हैं, तो वह अंततः सीख तो जाएगा, लेकिन इसमें बहुत समय लगेगा और यह बहुत अधिक मेमोरी का उपयोग करेगा। यह एक पुस्तकालय को समझने के बजाय, बिना कहानी समझे उसकी हर किताब के कवर को बार-बार पढ़ने जैसा है।

यह पेपर इस रोबोट को सिखाने का एक स्मार्ट तरीका प्रस्तावित करता है: इसे एक ऐसा नक्शा दें जो शहर के नियमों का सम्मान करता हो।

यहाँ उनके विचार का सरल उपमाओं (analogies) का उपयोग करके विवरण दिया गया है:

1. समस्या: "पिक्सेल" का जाल (The "Pixel" Trap)

अधिकांश AI रोबोट कच्चे डेटा से सीखते हैं, जैसे कि हाई-डेफिनिशन वीडियो फ्रेम (पिक्सेल)। दुनिया को समझने के लिए, वे इन लाखों पिक्सेल को एक छोटे "अमूर्त" (abstract) सारांश में संकुचित करने की कोशिश करते हैं।

समस्या: मार्गदर्शन के बिना, रोबट हर सूक्ष्म बदलाव को अद्वितीय मानता है। यदि आप 1 डिग्री बाईं ओर मुड़ते हैं, तो वह एक पूरी तरह से नई दुनिया देखता है। यदि आप 359 डिग्री बाईं ओर मुड़ते हैं (लगभग एक पूरा चक्कर), तो वह फिर से एक पूरी तरह से अलग दुनिया देखता है। उसे यह समझ नहीं आता कि 360 डिग्री घूमने पर आप वापस वहीं पहुँच जाते हैं जहाँ से शुरू किया था। उसे हर बार इस "लूप" को फिर से सीखना पड़ता है।

2. समाधान: "समूहीकृत" नक्शा (The "Grouped" Map)

लेखक रोबोट के आंतरिक मानचित्र (जिसे लेटेंट स्पेस/Latent Space कहा जाता है) को अंतर्निहित ज्यामितीय नियमों, या प्रायर्स (priors) के साथ बनाने का सुझाव देते हैं।

उपमा: कल्पना कीजिए कि एक वीडियो गेम का पात्र एक सपाट ग्रिड पर चल रहा है। यदि वह दाईं ओर के किनारे से बाहर निकलता है, तो वह तुरंत बाईं ओर से दिखाई देने लगता है। यह एक "रैप-अराउंड" (wrap-around) दुनिया है (जैसे क्लासिक गेम Asteroids)।
पुराना तरीका: रोबोट यह याद करने की कोशिश करता है कि "दायां किनारा" और "बायां किनारा" एक ही स्थान हैं, इसे लाखों बार देखकर।
नया तरीका: लेखक रोबोट को बताते हैं, "हे, तुम्हारा नक्शा वास्तव में एक डोनट (torus) है।" एक डोनट पर, यदि आप दाईं ओर से बाहर निकलते हैं, तो आप स्वाभाविक रूप से बाईं ओर से वापस आ जाते हैं। रोबोट को इस जुड़ाव को याद करने की आवश्यकता नहीं है; नक्शे का आकार ही इसे मजबूर करता है कि वह समझ सके कि दुनिया जुड़ी हुई है।

3. यह कैसे काम करता है: "सिमेट्री" टूल (The "Symmetry" Tool)

यह पेपर इन आकृतियों का वर्णन करने के लिए ग्रुप थ्योरी (Group Theory) नामक गणितीय अवधारणाओं का उपयोग करता है।

सिमेट्री (Symmetry): एक घूमते हुए लट्टू (spinning top) के बारे में सोचें। यदि आप इसे घुमाते हैं, तो यह अलग-अलग कोणों से एक जैसा दिखता है। यह पेपर रोबोट को सिखाता है कि "घूमना" एक विशिष्ट प्रकार की गति है जो एक अनुमानित पैटर्न का पालन करती है।
"ग्रुप एक्शन" (The "Group Action"): यह केवल एक तकनीकी शब्द है जिसका अर्थ है एक नियम पुस्तिका। रोबोट को एक नियम पुस्तिका दी जाती है जो कहती है, "यदि आप एक्शन A (दाएं मुड़ना) लागू करते हैं, तो आप अपने नक्शे पर इस विशिष्ट वक्र (curve) के साथ आगे बढ़ेंगे।"
अव्यवस्थित और व्यवस्थित का मिश्रण: वास्तविक जीवन केवल पूर्ण वृत्तों जैसा नहीं है। कभी-कभी आप घूमते हैं (सिमेट्री), और कभी-कभी आप किसी अद्वितीय इमारत के पास से गुजरते हैं (असंरचित/unstructured)। लेखकों का तरीका चतुर है क्योंकि यह एक ऐसा नक्शा बनाता है जिसमें दो लेन होती हैं:
1. एक सिमेट्री लेन (जैसे मुड़ने के लिए एक गोलाकार ट्रैक) जहाँ नियम सख्त और अनुमानित होते हैं।
2. एक फ्री लेन (जैसे एक सीधी सड़क) उन अव्यवस्थित, अद्वितीय विवरणों के लिए जो किसी पैटर्न का पालन नहीं करते हैं।
  यह रोबोट के मस्तिष्क को व्यवस्थित रखता है, "दुनिया के नियमों" को "रैंडम चीजों" से अलग करता है।

4. परिणाम: तेजी से सीखना और दूर तक देखना

शोधकर्ताओं ने तीन स्तरों पर इसका परीक्षण किया:

सरल ग्रिड: एक वर्गाकार बोर्ड पर घूमता हुआ रोबोट जो चारों ओर से जुड़ा हुआ है।
3D डोनट्स: एक टॉरस (डोनट) के आकार की सतह पर घूमता हुआ रोबोट।
फर्स्ट-पर्सन गेम्स (VizDoom): एक रोबोट जो वीडियो गेम खेल रहा है जहाँ वह कैमरे के माध्यम से दुनिया को देखता है (अत्यधिक जटिल, वास्तविक जीवन की तरह)।

क्या हुआ?

बेहतर सामान्यीकरण (Better Generalization): जब रोबोट को केवल कुछ उदाहरणों पर प्रशिक्षित किया गया, तो वह उन स्थितियों में क्या होगा, इसका अनुमान लगा सका जो उसने पहले कभी नहीं देखी थीं। उदाहरण के लिए, यदि उसने थोड़ा दाएं मुड़ने का सीखा, तो वह अनुमान लगा सका कि बहुत अधिक दाएं मुड़ने पर क्या होगा, क्योंकि "डोनट मैप" ने उसे बताया कि रास्ता निरंतर (continuous) है।
कम डेटा की आवश्यकता: इसने बिना इस विशेष मानचित्र वाले रोबोटों की तुलना में बहुत कम प्रशिक्षण उदाहरणों के साथ समान कौशल सीखे।
स्पष्ट सोच: रोबोट के आंतरिक "विचार" (representations) बहुत सरल हो गए। वह भ्रमित नहीं हुआ; उसने स्पष्ट रूप से "मैं घूम रहा हूँ" को "मैं आगे बढ़ रहा हूँ" से अलग किया।

निष्कर्ष (The Bottom Line)

रोबोट को सड़क के कोने की हर तस्वीर याद करने के लिए मजबूर करने के बजाय, यह पेपर रोबोट को एक कंकाल मानचित्र (skeleton map) देता है जो पहले से जानता है कि दुनिया कैसे घूमती है और दोहराती है। रोबोट की सीखने की प्रक्रिया को इस पूर्व-मौजूद आकार में फिट करके, यह तेजी से सीखता है, कम गलतियाँ करता है, और "बड़ी तस्वीर" को समझता है कि दुनिया कैसे चलती है, भले ही वह जटिल 3D वीडियो गेम देख रहा हो।

नोट: यह पेपर विशेष रूप से इस बात पर केंद्रित है कि रोबोट अपने वातावरण की भविष्यवाणी कैसे करते हैं और सिमुलेशन (जैसे ग्रिड वर्ल्ड और वीडियो गेम) में कार्य कैसे करते हैं। यह चिकित्सा निदान, वास्तविक दुनिया में सेल्फ-ड्राइविंग कारों या अन्य विशिष्ट वास्तविक दुनिया के उद्योगों में इसके अनुप्रयोग के बारे में चर्चा नहीं करता है।

तकनीकी सारांश: एक समूह-संरचित लेटेंट स्पेस के साथ अमूर्त विश्व मॉडल सीखना

समस्या विवरण

मार्कोव डिसीजन प्रोसेस (MDPs) के अर्थपूर्ण अमूर्त मॉडल सीखना, सुदृढीकरण शिक्षण (Reinforcement Learning - RL) में सीमित डेटा से सामान्यीकरण (generalization) में सुधार करने के लिए आवश्यक है। जबकि मौजूदा वर्ल्ड मॉडल लर्निंग विधियाँ उच्च-आयामी डेटा को निम्न-आयामी अमूर्त स्थानों में एम्बेड करने में सफल रहती हैं ताकि सैंपल दक्षता (sample efficiency) में सुधार किया जा सके, अत्याधुनिक दृष्टिकोणों को उत्कृष्ट प्रदर्शन प्राप्त करने के लिए अक्सर बड़े प्रशिक्षण डेटासेट की आवश्यकता होती है। एक प्रमुख सीमा वातावरण की गतिशीलता (dynamics) में निहित ज्ञात ज्यामितीय संरचनाओं (सममिति/symmetries) का एकीकरण न कर पाना है। ऐसे प्रायर (priors) के बिना, एजेंट अनदेखे परिदृश्यों में सामान्यीकरण करने में संघर्ष कर सकते हैं या सरल सममिति, जैसे कि घूर्णन (rotational) या स्थानान्तरण (translational) अपरिवर्तनीयता (invariance) को सीखने के लिए अत्यधिक डेटा की आवश्यकता हो सकती है।

कार्यप्रणाली

लेखक एक ऐसा ढांचा प्रस्तावित करते हैं जो सीखे गए ट्रांजिशन मॉडल के निम्न-आयामी प्रतिनिधित्व मैनिफोल्ड (representation manifold) पर ज्यामितीय प्रायर लागू करता है। मुख्य कार्यप्रणाली में शामिल है:

समूह-संरचित लेटेंट स्पेस (Group-Structured Latent Space): एक मानक यूक्लिडियन वेक्टर स्पेस के रूप में $Z$ को मानने के बजाय, लेखक इसे एक कोटिएंट स्पेस (जैसे, $\mathbb{R}/k\mathbb{Z}$ ) या ऐसे स्थानों के उत्पाद (product) के रूप में मॉडल करते हैं। यह विकल्प वातावरण की अंतर्निहित सममिति समूहों (जैसे, रोटेशन के लिए चक्रीय समूह) को दर्शाता है।
ग्रुप एक्शन के रूप में ट्रांजिशन डायनेमिक्स: ट्रांजिशन मॉडल $\tau: Z \times A \to Z$ को एक ग्रुप एक्शन के माध्यम से संचालित होने के लिए बाध्य किया जाता है। विशेष रूप से, अगला लेटेंट स्टेट वर्तमान स्टेट को एक सीखे गए ट्रांजिशन वेक्टर के साथ एक ग्रुप ऑपरेशन $\oplus$ के माध्यम से संयोजित करके अनुमानित किया जाता है:
$\hat{z}_{t+1} = z_t \oplus \Delta(z_t, a; \theta_{trans})$
$\mathbb{R}/k\mathbb{Z}$ जैसे कोटिएंट स्पेस के लिए, इस ऑपरेशन को मॉड्यूलर अंकगणित (modular arithmetic) के माध्यम से लागू किया जाता है, जो स्वाभाविक रूप से आवधिक सीमा स्थितियों (periodic boundary conditions) को एनकोड करता है।
विघटित प्रतिनिधित्व (Disentangled Representations): उन वातावरणों को संभालने के लिए जिनमें सममित (संरचित) और गैर-सममित (असंरचित) दोनों विशेषताएं शामिल हैं, यह ढांचा विघटन (disentanglement) को बढ़ावा देता है। ट्रांजिशन वेक्टर $\Delta$ पर एक स्पर्सिटी रेगुलराइजेशन (sparsity regularization) लागू किया जाता है, जो उन विशेषताओं को शून्य रखने के लिए मजबूर करता है जिन्हें एक विशिष्ट एक्शन के तहत अपरिवर्तनीय रहना चाहिए। यह एक मैपिंग $\sigma(a)$ के आधार पर ट्रांजिशन वेक्टर के विशिष्ट निर्देशांकों (coordinates) को मास्क करके प्राप्त किया जाता है, जो यह परिभाषित करता है कि एक्शन $a$ किन लेटेंट आयामों को प्रभावित करता है।
लर्निंग ऑब्जेक्टिव: मॉडल को ग्राउंड ट्रुथ के साथ अनुमानित ट्रांजिशन को संरेखित करने के लिए एक स्व-पर्यवेक्षित कंट्रास्टिव लर्निंग ऑब्जेक्टिव (InfoNCE लॉस) का उपयोग करके प्रशिक्षित किया जाता है, जिसे रिवॉर्ड प्रेडिक्शन लॉस और एक वॉल्यूम रेगुलराइजेशन लॉस के साथ जोड़ा जाता है ताकि एब्स्ट्रैक्ट स्पेस को संक्षिप्त और व्याख्या योग्य रखा जा सके। पिछले दृष्टिकोणों के विपरीत, जो वेट-टाइड न्यूरल नेटवर्क आर्किटेक्चर के माध्यम से इक्विवेरिएंस (equivariance) लागू करते हैं (जो कम्प्यूटेशनल रूप से महंगा हो सकता है), यह विधि सीधे लेटेंट स्पेस ज्योमेट्री के भीतर संरचना लागू करती है।

मुख्य योगदान

लेटेंट स्पेस में ज्यामितीय प्रायर: यह पेपर प्रदर्शित करता है कि कैसे न्यूरल नेटवर्क आर्किटेक्चर को संशोधित करने के बजाय उपयुक्त लेटेंट स्पेस (कोटिएंट स्पेस) और संबंधित ग्रुप एक्शन का चयन करके ज्ञात सममित संरचनाओं (जैसे, रोटेशनल और ट्रांसलेशनल सिमेट्री) को शामिल किया जा सकता है।
मिश्रित सममिति को संभालना: ढांचा उन प्रतिनिधित्वों को सफलतापूर्वक सीखता है जो संरचित (सममित) और असंरचित (गैर-सममित) विशेषताओं को मिलाते हैं, जिससे यह फर्स्ट-पर्सन 3D व्यू जैसे जटिल वातावरणों के लिए स्केलेबल हो जाता है जहाँ सभी डायनेमिक्स सममित नहीं होते हैं।
बेहतर सामान्यीकरण: यह दृष्टिकोण सरल, अधिक विघटित प्रतिनिधित्व बनाने में मदद करता है जो अनदेखे ट्रांजिशन के प्रति बेहतर सामान्यीकरण करते हैं और पूरी तरह से असंरचित बेसलाइन की तुलना में कम प्रशिक्षण नमूनों की आवश्यकता होती है।
डाउनस्ट्रीम RL प्रदर्शन: सीखे गए अमूर्त मॉडल डाउनस्ट्रीम RL कार्यों के लिए प्रभावी प्रायर के रूप में कार्य करते हैं, जिससे कम-डेटा वाले परिदृश्यों में सैंपल दक्षता में महत्वपूर्ण सुधार होता है।

प्रयोगात्मक परिणाम

लेखकों ने कई वातावरणों पर अपने दृष्टिकोण का मूल्यांकन किया:

टॉय MDPs (Passage & Torus): एक सरल चक्रीय ग्रिड वर्ल्ड और एक टोरस MDP (दो चक्रीय समूहों का उत्पाद) में, समूह-संरचित मॉडल ने उन अनदेखे ट्रांजिशन की सटीक भविष्यवाणी की जहाँ असंरचित बेसलाइन विफल रहे। मॉडल ने केवल 2 लेटेंट आयामों का उपयोग करके सही टोपोलॉजी (जैसे, $\mathbb{R}^3$ में टोरस के रूप में लेटेंट स्पेस को मैप करना) को रिकवर किया।
MiniGrid (Top-Down View): विधि ने ओरिएंटेशन (चक्रीय समूह के रूप में मॉडल किया गया) को पोजीशन (यूक्लिडियन स्पेस के रूप में मॉडल किया गया) से सफलतापूर्वक अलग किया, जिसके परिणामस्वरूप एक उत्पाद स्थान $\mathbb{R}/2\pi\mathbb{Z} \times \mathbb{R}^2$ प्राप्त हुआ।
VizDoom (First-Person 3D View): RGB इनपुट के साथ एक उच्च-आयामी वातावरण में, मॉडल ने जटिल विजुअल डेटा को 3-आयामी लेटेंट स्पेस में मैप किया। इसने रोटेशन की चक्रीय प्रकृति और मूवमेंट की ट्रांसलेशनल प्रकृति को सही ढंग से कैप्चर किया, और सामान्यीकरण मेट्रिक्स (Hits@k, Mean Reciprocal Rank) तथा डाउनस्ट्रीम RL कार्यों में बेसलाइन से बेहतर प्रदर्शन किया।
मात्रात्मक मेट्रिक्स: सभी वातावरणों में, "AWM + Geometric Priors" मॉडल ने अनदेखे ट्रांजिशन के सामान्यीकरण में, विशेष रूप से कम-डेटा वाले परिदृश्यों में, असंरचित बेसलाइन (बिना प्रायर के AWM) और अन्य विधियों (PRAE, Rotation Matrix) को काफी पीछे छोड़ दिया। डाउनस्ट्रीम RL कार्यों (Torus, MiniGrid, VizDoom) में, ज्यामितीय प्रायर का उपयोग करने वाले एजेंटों ने कम प्रशिक्षण चरणों के साथ उच्च संचयी पुरस्कार (cumulative rewards) प्राप्त किए।

महत्व और दावे

यह पेपर दावा करता है कि लेटेंट स्पेस के चुनाव और ग्रुप एक्शन के माध्यम से ज्यामितीय प्रायर का लाभ उठाकर, इक्विवेरिएंट न्यूरल नेटवर्क के कम्प्यूटेशनल ओवरहेड के बिना अधिक सैंपल-एफिशिएंट और सामान्यीकरण योग्य वर्ल्ड मॉडल सीखा जा सकता है। लेखक इस बात पर जोर देते हैं कि उनकी विधि सममित और गैर-सममित विशेषताओं के लचीले संयोजन की अनुमति देती है, जिससे यह 3D फर्स्ट-पर्सन गेम्स जैसे जटिल, वास्तविक दुनिया के परिदृश्यों के लिए उपयुक्त हो जाती है। यह कार्य सुझाव देता है कि अमूर्त प्रतिनिधित्व में वातावरण की अंतर्निहित सममिति का सम्मान करने से "सरल और अधिक विघटित प्रतिनिधित्व" प्राप्त होता है, जो बेहतर भविष्यवाणी और योजना (planning) को सुगम बनाता है। लेखक पुनरुत्पादकता (reproducibility) सुनिश्चित करने के लिए पूर्ण कोड प्रदान करते हैं।