💻 computer science

GigaBrain-0.5M*: a VLA That Learns From World Model-Based Reinforcement Learning

यह शोधपत्र GigaBrain-0.5M* को प्रस्तुत करता है, जो एक विजन-लैंग्वेज-एक्शन मॉडल है जो दृश्य समझ और भविष्य के पूर्वानुमान की सीमाओं को दूर करने के लिए RAMP फ्रेमवर्क के माध्यम से वर्ल्ड मॉडल-आधारित सुदृढीकरण लर्निंग (reinforcement learning) का लाभ उठाता है, जिससे जटिल रोबोटिक मैनिपुलेशन कार्यों पर महत्वपूर्ण प्रदर्शन लाभ और विश्वसनीय लॉन्ग-होरिज़न निष्पादन प्राप्त होता है।

मूल लेखक: GigaBrain Team, Boyuan Wang, Bohan Li, Chaojun Ni, Guan Huang, Guosheng Zhao, Hao Li, Jie Li, Jindi Lv, Jingyu Liu, Lv Feng, Mingming Yu, Peng Li, Qiuping Deng, Tianze Liu, Xinyu Zhou, Xinze Chen, Xia

प्रकाशित 2026-02-27

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: GigaBrain Team, Boyuan Wang, Bohan Li, Chaojun Ni, Guan Huang, Guosheng Zhao, Hao Li, Jie Li, Jindi Lv, Jingyu Liu, Lv Feng, Mingming Yu, Peng Li, Qiuping Deng, Tianze Liu, Xinyu Zhou, Xinze Chen, Xiaofeng Wang, Yang Wang, Yifan Li, Yifei Nie, Yilong Li, Yukun Zhou, Yun Ye, Zhichao Liu, Zheng Zhu

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को कॉफी बनाना सिखा रहे हैं।

पुराना तरीका (पारंपरिक रोबोट):
आज के अधिकांश रोबोट उस छात्र की तरह हैं जो केवल अपने सामने की चीज़ों को देखता है। वे कॉफी बीन्स देखते हैं, तो उन्हें पीस देते हैं। फिर वे पानी देखते हैं, तो उसे डालते हैं। लेकिन उन्हें वास्तव में यह नहीं पता होता कि कॉफी का अंतिम कप कैसा दिखेगा। यदि वे थोड़ा सा पानी गिरा देते हैं, तो वे घबरा सकते हैं क्योंकि वे भविष्य की कल्पना नहीं कर सकते। वे प्रतिक्रियाशील (reactive) हैं, सक्रिय (proactive) नहीं। वे बिना मंजिल के नक्शे के, एक बार में एक कदम उठाते हैं।

नया तरीका (GigaBrain-0.5M):*
यह पेपर GigaBrain-0.5M* को पेश करता है, जो एक ऐसा रोबोटिक दिमाग है जो केवल वर्तमान को नहीं देखता; उसके पास एक क्रिस्टल बॉल (भविष्य देखने वाला गोला) है।

यह कैसे काम करता है, इसे सरल अवधारणाओं में विभाजित किया गया है:

1. "क्रिस्टल बॉल" (वर्ल्ड मॉडल - World Model)

रोबोट के हिलने-डुलने से पहले ही, उसके सिर के अंदर एक विशेष "वर्ल्ड मॉडल" होता है। इसे एक सुपर-स्मार्ट सिम्युलेटर के रूप में समझें।

यह क्या करता है: जब आप रोबोट को "कॉफी बनाओ" जैसा निर्देश देते हैं, तो यह मॉडल तुरंत उसके दिमाग में एक मानसिक फिल्म चलाता है। यह भविष्यवाणी करता है: "यदि मैं बीन्स को पकड़ता हूँ, फिर उन्हें पीसता हूँ, फिर पानी डालता हूँ, तो अंतिम स्थिति एक गर्म कॉफी का कप होगी।"
यह क्यों महत्वपूर्ण है: यह जानता है कि होने से पहले सफलता कैसी दिखेगी। यह यह भी अनुमान लगा सकता है, "ओह नहीं, अगर मैं कप को बहुत ज़ोर से पकड़ूँगा, तो यह टूट जाएगा," और कप को छूने से पहले ही रुक जाता है।

2. "कोच" (रीइन्फोर्समेंट लर्निंग - Reinforcement Learning)

रोबोट एक प्रक्रिया के माध्यम से सीखता है जिसे RAMP कहा जाता है। कल्पना कीजिए कि एक कोच रोबोट के बगल में खड़ा है।

पुराना कोच: पहले कोच केवल यह कहता था कि पूरा काम खत्म होने के बाद "अच्छा काम किया" या "बुरा काम किया"। यह धीमा और भ्रमित करने वाला था।
नया कोच (RAMP): यह कोच "क्रिस्टल बॉल" का उपयोग करता है। जब रोबोट काम कर रहा होता है, तो कोच कहता है, "हे, अपनी मानसिक फिल्म को देखो। यदि तुम अभी बाईं ओर मुड़ते हो, तो तुम कॉफी गिरा दोगे। यदि तुम दाईं ओर मुड़ते हो, तो तुम्हें एक बेहतरीन कप मिलेगा।"
रोबोट उस रास्ते का अनुसरण करना सीखता है जो क्रिस्टल बॉल द्वारा अनुमानित "परफेक्ट कप" की ओर ले जाता है।

3. "ह्यूमन-इन-द-लूप" (सुरक्षा जाल - Human-in-the-Loop)

क्रिस्टल बॉल होने के बावजूद, रोबोट कभी-कभी गलतियाँ करते हैं।

प्रक्रिया: रोबोट एक कार्य (जैसे कपड़े तह करना) करने की कोशिश करता है। यदि वह फंस जाता है या गड़बड़ी करने लगता है, तो एक इंसान उसे ठीक करने के लिए हस्तक्षेप करता है।
जादू: रोबिम केवल गलती को भूलता नहीं है। वह पूरे क्रम को रिकॉर्ड करता है: प्रयास, गलती, मानव सुधार, और सफल समापन। फिर वह अगली बार के लिए अपने क्रिस्टल बॉल और अपनी रणनीति को अपडेट करने के लिए इस "सुधार डेटा" का उपयोग करता है। यह एक छात्र की तरह है जो अगली बार के लिए अध्ययन करने के लिए उस परीक्षा की समीक्षा करता है जिसमें उसने गलतियाँ की थीं।

4. परिणाम: "अनाड़ी" से "मास्टर शेफ" तक

इस पेपर ने बहुत कठिन कार्यों पर इसका परीक्षण किया:

कपड़े तह करना: रोबोट आमतौर पर नरम और ढीले कपड़ों के साथ संघर्ष करते हैं। GigaBrain ने यह कल्पना करना सीखा कि कपड़ा कैसे गिरेगा और उसे पूरी तरह से तह करेगा।
एस्प्रेसो बनाना: इसके लिए चरणों के एक क्रम की आवश्यकता होती है (पीसना, दबाना, ब्रू करना, डालना)। रोबोट ने केवल एक-एक करके ये काम नहीं किए; उसने पूरे क्रम की योजना अपने दिमाग में बनाई ताकि यह सुनिश्चित हो सके कि कॉफी ओवरफ्लो न हो।
बक्से पैक करना: इसने वस्तुओं को कुशलतापूर्वक फिट करने का तरीका निकाला ताकि वे गिरें नहीं।

बड़ी तस्वीर का रूपक (Analogy)

पुराने रोबोटों को एक पर्यटक के रूप में सोचें जो बिना नक्शे के शहर में घूम रहा है, और हर मोड़ पर रास्ता पूछ रहा है। वे अंततः वहां पहुँच जाते हैं, लेकिन अक्सर रास्ता भटक जाते हैं या गलत मोड़ ले लेते हैं।

GigaBrain-0.5M* एक स्थानीय गाइड की तरह है जिसने वर्षों तक उस शहर में जीवन बिताया है। वे जानते हैं कि शॉर्टकट कहाँ हैं, वे जानते हैं कि निर्माण कार्य कहाँ चल रहा है, और वे घर से निकलने से पहले ही मंजिल की कल्पना कर सकते हैं। वे केवल सड़क के संकेतों पर प्रतिक्रिया नहीं देते; वे यात्रा का पूर्वानुमान लगाते हैं।

संक्षेप में: यह पेपर रोबोट को कार्य करने से पहले भविष्य की कल्पना करना सिखाता है, जिससे वे तेज़ी से सीख पाते हैं, कम गलतियाँ करते हैं, और उन जटिल, बहु-चरणीय कार्यों को संभाल पाते हैं जो पहले मशीनों के लिए असंभव थे।

यहाँ शोध पत्र "GigaBrain-0.5M: a VLA That Learns From World Model-Based Reinforcement Learning"* का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

वर्तमान विजन-लैंग्वेज-एक्शन (VLA) मॉडल एक मौलिक आर्किटेक्चरल सीमा का सामना कर रहे हैं: वे दीर्घ-क्षितिज (long-horizon) एक्शन प्लानिंग के लिए अल्पदृष्टि वाले अवलोकनों (myopic observations) पर निर्भर हैं। मुख्य रूप से तत्काल संवेदी इनपुट पर एक्शन को कंडिशन करने के कारण, इन मॉडलों में भावी नियोजन (prospective planning) और भविष्य के पूर्वानुमान (future anticipation) की कमी होती है, जिससे जटिल, बहु-चरणीय हेरफेर (manipulation) कार्यों में त्रुटियाँ बढ़ जाती हैं। हालाँकि वेब-स्केल वीडियो कॉर्पोरा पर प्रशिक्षित फाउंडेशन वर्ल्ड मॉडल स्थानिक-कालिक तर्क (spatiotemporal reasoning) और भविष्य की स्थिति के पूर्वानुमान में उत्कृष्ट हैं, लेकिन उन्हें एक्शन जनरेशन को निर्देशित करने के लिए VLA नीतियों में प्रभावी ढंग से एकीकृत किया जाना दुर्लभ है। VLAs के लिए मौजूदा सुदृढीकरण शिक्षण (reinforcement learning - RL) दृष्टिकोण (जैसे, RECAP) अक्सर स्पार्स बाइनरी एडवांटेज सिग्नल्स पर निर्भर करते हैं, जो सीमित सूचना लाभ प्रदान करते हैं और वर्ल्ड मॉडल में निहित समृद्ध ज्यामितीय और गतिशील पूर्वग्रहों (priors) का लाभ उठाने में विफल रहते हैं।

2. कार्यप्रणाली (Methodology)

लेखक GigaBrain-0.5M* का प्रस्ताव करते हैं, जो RAMP (Reinforcement leArning via world Model-conditioned Policy) द्वारा उन्नत एक VLA मॉडल है। RAMP एक चार-चरणीय पुनरावृत्ति प्रशिक्षण ढांचा (iterative training framework) है जो स्व-सुधार को सक्षम करने के लिए पॉलिसी लर्निंग लूप में एक वर्ल्ड मॉडल को एकीकृत करता है।

A. बेस मॉडल: GigaBrain-0.5

आर्किटेक्चर: यह Mixture-of-Transformers बैकबोन का उपयोग करने वाला एक एंड-टू-एंड VLA है। यह मल्टीमॉडल एनकोडिंग के लिए एक प्री-ट्रेंड PaliGemma-2 VLM और एक्शन चंक्स (action chunks) की भविष्यवाणी करने के लिए फ्लो मैचिंग के साथ एक डिफ्यूजन ट्रांसफार्मर (DiT) का उपयोग करता है।
क्षमताएं: यह एक "एम्बोडीड चेन-ऑफ-थॉट" (Embodied CoT) उत्पन्न करता है जिसमें सबगोल लैंग्वेज, डिस्क्रीट एक्शन टोकन और 2D मैनिपुलेशन ट्राजेक्टरीज शामिल हैं।
प्री-ट्रेनिंग: इसे 10,000 घंटों से अधिक विविध डेटा (रोबोटिक मैनिपुलेशन, वेब वीडियो और मल्टीमॉडल डेटा) पर प्रशिक्षित किया गया है।

B. RAMP फ्रेमवर्क

RAMP चार पुनरावृत्ति चरणों के माध्यम से कार्य करता है:

वर्ल्ड मॉडल प्री-ट्रेनिंग:
- एक वर्ल्ड मॉडल ( $\mathcal{W}_\phi$ ) को बड़े पैमाने पर रोबोटिक मैनिपुलेशन डेटा (4K घंटे) पर भविष्य की विजुअल स्टेट्स और वैल्यू एस्टीमेट्स को संयुक्त रूप से भविष्यवाणी करने के लिए प्रशिक्षित किया जाता है।
- यह एक डिफ्यूजन ट्रांसफार्मर (Wan2.2) बैकबोन का उपयोग करता है।
- इनपुट: वर्तमान विजुअल लेटेंट्स, प्रोप्रियोसेप्टिव स्टेट्स और वैल्यू सिग्नल्स को एक एकीकृत लेटेंट स्टेट में संयोजित किया जाता है।
- उद्देश्य: भविष्य के लेटेंट स्टेट्स और वैल्यू फंक्शन्स की भविष्यवाणी करने के लिए फ्लो मैचिंग, जो प्रभावी रूप से वातावरण की गतिशीलता और कार्य की प्रगति को सीखता है।
वर्ल्ड मॉडल कंडीशनिंग के साथ पॉलिसी ट्रेनिंग:
- GigaBrain-0.5 पॉलिसी को वर्ल्ड मॉडल के भविष्यवाणियों: फ्यूचर स्टेट टोकन्स ( $z$ ) और वैल्यू एस्टीमेट्स ( $v$ ) पर एक्शन सिलेक्शन को कंडिशन करके फाइन-ट्यून किया जाता है।
- एडवांटेज एस्टीमेशन: वैल्यू एस्टीमेट्स को $n$ -स्टेप टेम्पोरल डिफरेंस एडवांटेज में परिवर्तित किया जाता है। इन्हें एक बाइनरी इम्प्रूवमेंट इंडिकेटर ( $I$ ) में डिस्क्रीट किया जाता है।
- लॉस फंक्शन: पॉलिसी एक वेटेड नेगेटिव लॉग-लाइक्लीहुड को मिनिमाइज करती है जो अनकंडीशनल एक्शन डिस्ट्रीब्यूशन और कंडीशनल डिस्ट्रीब्यूशन (जो $I$ और $z$ द्वारा दिया गया है) दोनों को फिट करती है।
- रोबस्टनेस: प्रशिक्षण के दौरान स्टोकेस्टिक अटेंशन मास्किंग (20% संभावना) लागू की जाती है ताकि यह सुनिश्चित हो सके कि इन्फरेंस के दौरान वर्ल्ड मॉडल इनपुट गायब होने पर भी पॉलिसी रोबस्ट बनी रहे।
ह्यूमन-इन-द-लूप रोलआउट (HILR) डेटा कलेक्शन:
- पॉलिसी को वास्तविक दुनिया के वातावरण में तैनात किया जाता है।
- मैकेनिज्म: स्वायत्त रोलआउट किए जाते हैं, और मानव विशेषज्ञ केवल विफलता होने पर ही हस्तक्षेप करते हैं।
- डेटा प्रोसेसिंग: एक कस्टम सॉफ्टवेयर पाइपलाइन हस्तक्षेप सीमाओं (intervention boundaries) पर ट्रांजिशनल आर्टिफ़ेक्ट्स का पता लगाती है और उन्हें हटा देती है, जिससे सफल ट्राजेक्टरीज और सुधारात्मक सिग्नल्स का एक स्वच्छ, निरंतर डेटासेट बनता है।
निरंतर प्रशिक्षण (Continual Training):
- क्यूरेटेड HILR डेटासेट का उपयोग करके वर्ल्ड मॉडल और पॉलिसी दोनों को संयुक्त रूप से परिष्कृत किया जाता है।
- यह एक स्व-सुधार वाला क्लोज्ड लूप (self-improving closed loop) बनाता है: बेहतर पॉलिसियाँ उच्च गुणवत्ता वाले रोलआउट उत्पन्न करती हैं, जो बदले में अगले इटरेशन के लिए बेहतर प्रशिक्षण डेटा प्रदान करती हैं।

C. सैद्धांतिक योगदान (Theoretical Contribution)

शोध पत्र सैद्धांतिक रूप से प्रदर्शित करता है कि RECAP (एक पूर्व एडवांटेज-कंडिश्न्ड विधि) RAMP का एक डिजेनरेट स्पेशल केस है।

RECAP: केवल एक स्पार्स बाइनरी सिग्नल ( $I$ ) पर कंडिशन करता है, जो प्रभावी रूप से सभी संभावित भविष्य के ऊपर एक औसत पॉलिसी सीखता है।
RAMP: लेटेंट फ्यूचर स्टेट ( $z$ ) और सिग्नल ( $I$ ) दोनों पर कंडिशन करता है। यह एक्शन जनरेशन की कंडीशनल एंट्रॉपी ( $H(a|o, z, I) \leq H(a|o, I)$ ) को कम करता है क्योंकि यह घने ज्यामितीय और भौतिक पूर्वग्रह (priors) प्रदान करता है, जिससे समस्या "भविष्य का अनुमान लगाने" से बदलकर एक विशिष्ट अनुमानित स्थिति के लिए "योजना बनाने" में बदल जाती है।

3. मुख्य परिणाम (Key Results)

A. फाउंडेशन मॉडल प्रदर्शन (GigaBrain-0.5)

इंटरनल बेंचमार्क्स: 8 जटिल कार्यों (जैसे, लॉन्ड्री फोल्डिंग, एस्प्रेसो प्रिपरेशन) पर अपने पूर्ववर्तियों ( $\pi_0, \pi_{0.5}, \text{GigaBrain-0}$ $π_{0}, π_{0.5}, GigaBrain-0$ ) को पछाड़ता है।
- उदाहरण: जूस प्रिपरेशन में 100% सफलता प्राप्त की जबकि बेसलाइन का 90% था।
- उदाहरण: $\pi_{0.5}$ की तुलना में बॉक्स पैकिंग और एस्प्रेसो प्रिपरेशन पर सफलता दर में 10-20% का सुधार हुआ।
RoboChallenge बेंचमार्क: एक इंटरमीडिएट वर्जन ने 51.67% औसत सफलता दर के साथ पब्लिक लीडरबोर्ड पर प्रथम स्थान प्राप्त किया ( $\pi_{0.5}$ की तुलना में 9% सुधार)।

B. RAMP प्रदर्शन

RL बेसलाइन्स के साथ तुलना: RAMP चुनौतीपूर्ण कार्यों पर AWR (ऑफलाइन RL) और RECAP (एडवांटेज-कंडिश्न्ड) की तुलना में काफी बेहतर प्रदर्शन करता है।
- Box Packing और Espresso Preparation: RAMP ने RECAP बेसलाइन की तुलना में ~30% अधिक सफलता दर हासिल की।
- लॉन्ग-हॉराइजन टास्क: बिना किसी विफलता के जटिल अनुक्रमों (जैसे, कपड़े मोड़ना, बॉक्स पैक करना) के विश्वसनीय निष्पादन का प्रदर्शन किया।
वैल्यू प्रेडिक्शन: स्टेट और वैल्यू के संयुक्त पूर्वानुमान (वर्ल्ड मॉडल-आधारित) ने VLM-आधारित वैल्यू प्रेडिक्टर्स की तुलना में बेहतर सटीकता (Kendall's $\tau = 0.8018$ ) और कम लेटेंसी प्राप्त की।
जनरलाइजेशन: वर्ल्ड मॉडल कंडीशनिंग ने मल्टी-टास्क जनरलाइजेशन को महत्वपूर्ण रूप से बढ़ाया, जिससे प्रशिक्षण चरणों के बढ़ने के साथ बेसलाइन्स के खिलाफ प्रदर्शन का अंतर बढ़ गया।

4. महत्व और योगदान (Significance and Contributions)

वर्ल्ड मॉडल्स और VLAs को जोड़ना: सफलतापूर्वक वर्ल्ड मॉडल-आधारित सुदृढीकरण शिक्षण को VLA आर्किटेक्चर में एकीकृत किया, जो प्रोस्पेक्टिव प्लानिंग को सक्षम करके वर्तमान मॉडलों की "मायोपिक" सीमा को हल करता है।
RAMP फ्रेमवर्क: एक नया, स्केलेबल प्रशिक्षण प्रतिमान पेश करता है जो स्पार्स रिवार्ड्स के बजाय घने फ्यूचर स्टेट प्रेडिक्शंस का लाभ उठाता है, और सैद्धांतिक रूप से बाइनरी एडवांटेज सिग्नल्स की तुलना में लेटेंट फ्यूचर स्टेट्स पर कंडिशन करने की श्रेष्ठता को सिद्ध करता है।
स्व-सुधार लूप (Self-Improving Loop): एक मजबूत ह्यूमन-इन-द-लूप (HIL) पाइपलाइन स्थापित करता है जो मॉडल को स्वायत्त रूप से उच्च-गुणवत्ता वाला प्रशिक्षण डेटा उत्पन्न करने की अनुमति देता है, जिससे भारी नए मानव प्रदर्शनों की आवश्यकता के बिना इसकी पॉलिसी और वर्ल्ड मॉडल को लगातार परिष्कृत किया जा सकता है।
स्टेट-ऑफ-द-आर्ट प्रदर्शन: एम्बोडीड AI में नए बेंचमार्क स्थापित करता है, RoboChallenge लीडरबोर्ड पर शीर्ष रैंकिंग प्राप्त करता है और वास्तविक दुनिया के परिदृश्यों में जटिल, लॉन्ग-हॉराइजन मैनिपुलेशन कार्यों के विश्वसनीय निष्पादन को प्रदर्शित करता है।

निष्कर्ष (Conclusion)

GigaBrain-0.5M* रिएक्टिव कंट्रोल से आगे बढ़कर प्रेडिक्टिव, मॉडल-आधारित प्लानिंग की ओर बढ़कर एम्बोडीड AI में एक महत्वपूर्ण छलांग का प्रतिनिधित्व करता है। वर्ल्ड मॉडल प्रेडिक्शंस को VLA पॉलिसी लर्निंग के साथ एकीकृत करके, सिस्टम जटिल रोबोटिक कार्यों में अभूतपूर्व मजबूती और सामान्यीकरण प्राप्त करता है, जो क्लोज्ड-लूप इंटरेक्शन के माध्यम से स्व-विकास करने में सक्षम एजेंटों के लिए मार्ग प्रशस्त करता है।