🤖 मशीन लर्निंग

Sigma: The Key for Vision-Language-Action Models toward Telepathic Alignment

यह शोध पत्र सिग्मा (Sigma) को प्रस्तुत करता है, जो pi0.5_base बैकबोन पर निर्मित और LoRA फाइन-ट्यूनिंग का उपयोग करके svla_so101_pickplace डेटासेट पर प्रशिक्षित एक विजन-लैंग्वेज-एक्शन मॉडल है, जो एक समय-अपडेट करने योग्य मध्यस्थ विचार स्थान (time-updatable mediating thought space) को पेश करके धारणा और क्रिया के बीच टेलीपैथिक-शैली के संरेखण को सफलतापूर्वक प्राप्त करता है जो सेमेंटिक स्थिरता को बनाए रखते हुए नियंत्रण त्रुटि को कम करता है।

मूल लेखक: Libo Wang

प्रकाशित 2026-01-23

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Libo Wang

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को कप उठाने और उसे मेज पर रखने के लिए सिखाने की कोशिश कर रहे हैं। वर्तमान में अधिकांश रोबोट बहुत ही बुद्धिमान लेकिन शाब्दिक अर्थ निकालने वाले छात्रों की तरह हैं: वे कप देखते हैं, निर्देश "कप उठाओ" पढ़ते हैं, और तुरंत अपने हाथ हिलाना शुरू कर देते हैं। वे वास्तव में इस बारे में "सोचते" नहीं हैं कि आप कप क्यों चाहते हैं या स्थिति की सूक्ष्म बारीकियां क्या हैं। यदि आप कुछ अस्पष्ट कहते हैं जैसे "सावधानी बरतें," तो वे भ्रमित हो सकते हैं क्योंकि उनके पास हिलने-डुलने से पहले उस बारीकी को समझने के लिए कोई "सोचने की जगह" नहीं होती है।

यह पेपर Sigma नामक एक नया रोबोट मस्तिष्क पेश करता है। लेखक दावा करते हैं कि Sigma एक विशिष्ट समस्या का समाधान करता है: कुछ देखने और कुछ करने के बीच की गायब "सोचने की जगह।" वे इस स्थान को "Telepathy" (टेलीपैथी) कहते हैं।

यहाँ बताया गया है कि Sigma कैसे काम करता है, सरल उपमाओं का उपयोग करके:

1. समस्या: "टेलीपैथी गैप" (The Telepathy Gap)

वर्तमान रोबोट (जैसे कि बेसलाइन मॉडल जिसका उन्होंने परीक्षण किया, जिसे $\pi0.5$ कहा जाता है) एक कैमरे और एक मोटर को सीधे जोड़ने वाले तार की तरह हैं। जब कैमरा कप देखता है, तो मोटर चलती है। यहाँ कोई ठहराव नहीं है कि रोबोट यह कह सके, "रुको, इंसान थका हुआ लग रहा है, शायद मुझे धीरे से हिलना चाहिए," या "कप में पानी भरा है, मुझे स्थिर रहने की जरूरत है।"

पेपर का तर्क है कि इस आंतरिक "सोचने की जगह" के बिना, रोबोट जटिल निर्देशों के साथ संघर्ष करते हैं, जिससे या तो अनाड़ी हरकतें होती हैं या "इरादे का भटकाव" (intention drift) होता है (जहाँ रोबोट भूल जाता है कि उसे क्या करना था)।

2. समाधान: "टेparency" लेयर (The Telepathy Layer)

Sigma, जो रोबोट क्या देखता है और क्या करता है, उसके बीच एक विशेष "टेलीपैथिक" सोचने वाली लेयर जोड़ता है। इसे एक मानसिक अनुवादक (mental translator) के रूप में सोचें।

विज़न मॉड्यूल (आंखें): केवल कच्चे चित्र (raw images) मस्तिष्क को भेजने के बजाय, Sigma एक "मॉड्यूलेटर" का उपयोग करता है। कल्पना कीजिए कि रोबोट की आंखों ने स्मार्ट चश्मा पहना है जो रोबोट के वर्तमान "मूड" या "विचार" के आधार पर दुनिया का रंग बदल सकता है। यदि रोबोट "सावधानी बरतें" के बारे में सोच रहा है, तो चश्मा रोबोट को कप को एक नाजुक वस्तु के रूप में दिखाएगा।
लैंग्वेज मॉड्यूल (मन): यहीं पर "टेलीपैथी" होती है। रोबोट आपके कमांड को पढ़ता है और दृश्य को देखता है, फिर एक टेलीपैथी फैक्टर (मान लीजिए कि इसे $\tau$ $τ$ कहते हैं) बनाता है।
- उपमा: कल्पना कीजिए कि आप एक अभिनेता हैं। स्क्रिप्ट कहती है "कप उठाओ।" लेकिन आपका आंतरिक संवाद (टेलीपैथी) कहता है, "अभिनेता घबराया हुआ है, इसलिए मुझे इसे धीरे और कोमलता से उठाना चाहिए।" वह आंतरिक संवाद ही टेलीपैथी फैक्टर है। यह शब्दों के पीछे के इरादे को पकड़ता है।
एक्शन मॉड्यूल (हाथ): रोबोट के पास एक "बेसलाइन" योजना होती है (कि वह कैसे हिलेगा यदि उसके पास कोई विशेष विचार न हों)। Sigma फिर एक रेसिडुअल (Residual) (एक छोटा सा समायोजन) की गणना करता है।
- उपमा: बेसलाइन योजना ऑटोपायलट पर कार चलाना है। टेलीपैथी फैक्टर आप हैं, ड्राइवर, जो गड्ढे से बचने के लिए धीरे से स्टीयरिंग घुमा रहे हैं। Sigma पूरे कार के सिस्टम को दोबारा नहीं लिखता; यह बस ऑटोपायलट की योजना में उस कोमल, बुद्धिमान धक्का (nudge) को जोड़ देता है।

3. इसे कैसे प्रशिक्षित किया गया (द "स्कूल")

शोधकर्ताओं ने शून्य से रोबोट नहीं बनाया। उन्होंने एक मौजूदा, ओपन-सोर्स रोबोट मस्तिष्क ( $\pi0.5$ ) लिया और उसे LoRA (जो एक भारी पाठ्यपुस्तक को फिर से लिखने के बजाय उसमें एक हल्की नोटबुक जोड़ने जैसा है) का उपयोग करके एक विशेष "ट्यूटर" दिया।

पाठ्यक्रम (Curriculum): उन्होंने रोबोट को लोगों द्वारा वस्तुओं को उठाने और रखने के डेटासेट का उपयोग करके सिखाया।
"हार्ड मोड" प्रशिक्षण: रोबोट को विशेष रूप से सबसे कठिन उदाहरणों पर ध्यान केंद्रित करने के लिए प्रशिक्षित किया गया था। यदि रोबोट ने गलती की, तो सिस्टम कहता, "आइए उस विशिष्ट कठिन स्थिति को फिर से आजमाएं जब तक कि आप इसे सही ढंग से न कर लें।"
एडॉप्टर (Adapter): अंतिम परीक्षणों के दौरान, उन्होंने एक सुरक्षा स्विच जोड़ा। यदि रोबोट के "टेलीपैथिक विचार" बहुत अधिक अनियंत्रित या खतरनाक होने लगे, तो यह स्विच रोबोट को धीरे से उसके सुरक्षित, मानक व्यवहार की ओर वापस खींच लेगा।

4. परिणाम: क्या यह काम कर गया?

उन्होंने Sigma का परीक्षण मूल रोबोट ( $\pi0.5$ ) के विरुद्ध बिल्कुल उसी वीडियो क्लिप और निर्देशों का उपयोग करके किया।

स्कोरकार्ड: उन्होंने यह मापने के लिए कि रोबोट की हरकतें आदर्श मूवमेंट से कितनी दूर थीं (एक गणितीय स्कोर जिसे MSE कहा जाता है), उनका परीक्षण किया।
परिणाम: Sigma लगातार बेहतर था।
- इसने एकल चरणों (वेक्टर स्तर) में कम गलतियाँ कीं।
- यह छोटे अंतराल (फ्रैगमेंट स्तर) में अधिक सुचारू रूप से चला।
- इसने पूरे कार्य के लिए बेहतर योजना बनाई (ट्रैजेक्टरी स्तर)।
प्रमाण: महत्वपूर्ण रूप से, "टेलीपैथी फैक्टर" (विचार की शक्ति) स्वयं दोनों समूहों के बीच नहीं बदला। एकमात्र अंतर यह था कि Sigma ने उन विचारों का उपयोग अपनी गतिविधियों को समायोजित करने के लिए किया, जबकि मूल रोबोट ने उन्हें अनदेखा कर दिया। यह साबित करता है कि सुधार केवल बेहतर हार्डवेयर से नहीं, बल्कि "सोचने" वाली लेयर से आया है।

सारांश

पेपर का दावा है कि एक "टेलीपैथी" लेयर जोड़कर—एक ऐसा स्थान जहाँ रोबोट किसी कमांड के इरादे और संदर्भ को शारीरिक रूप से हिलने से पहले आंतरिक रूप से संसाधित कर सकता है—यह कार्यों को अधिक सटीक और सुरक्षित रूप से कर सकता है।

मुख्य बात: Sigma एक ऐसे रोबोट को लेने जैसा है जो केवल आदेशों का पालन करता है और उसे "अंतर्ज्ञान" (gut feeling) या एक आंतरिक संवाद देना है। यह इसे मानव के वास्तविक इरादे के साथ अपनी भौतिक क्रियाओं को संरेखित करने की अनुमति देता है, जिसके परिणामस्वरूप सुचारू, अधिक सटीक हरकतें होती हैं, और यह सब एक मानक गेमिंग कंप्यूटर (RTX 4090) पर चलता है।

नोट: यह पेपर सख्ती से एक विशिष्ट "पिक-एंड-प्लेस" कार्य (वस्तुओं को हिलाना) के लिए एक सिम्युलेटेड वातावरण में परीक्षण करता है। यह दावा नहीं करता है कि यह जटिल वास्तविक दुनिया की बातचीत, चिकित्सा कार्यों या सामान्य मानवीय संवाद के लिए अभी काम करता है।

तकनीकी सारांश: सिग्मा (Sigma) – विजन-लैंग्वेज-एक्शन मॉडल्स के लिए 'टेलीपैथिक एलाइनमेंट' की कुंजी

1. समस्या विवरण (Problem Statement)

वर्तमान विजन-लैंग्वेज-एक्शन (VLA) आर्किटेक्चर, जैसे कि RT-2 और OpenVLA, एक मौलिक सीमा का सामना करते हैं: उच्च-स्तरीय भाषाई अर्थों (linguistic semantics) और निरंतर निम्न-स्तरीय नियंत्रण (low-level control) के बीच एक समय-अपडेट करने योग्य मध्यस्थ विचार स्थान (time-updatable mediating thought space) का अभाव। जबकि मौजूदा मॉडल डिस्क्रीट लेटेंट टोकन बनाने के लिए चेन-ऑफ-थॉट (CoT) तर्क का उपयोग करते हैं, वे निहित संदर्भ (implicit context) को आत्मसात करने या मानवीय इरादे का अनुमान लगाने में एक स्थिर, व्याख्या योग्य मानसिक अवस्था बनाए रखने में अक्सर विफल रहते हैं। यह कमी ह्युमनॉइड रोबोटों में, विशेष रूप से उन कार्यों में जिनमें स्तरित अर्थ (layered semantics) या मानवोन्मुख निर्भरता (anthropomorphic dependencies) शामिल होती है, खंडित रणनीतियों, इरादे के विचलन (intention drift) और अर्थ संबंधी मिसअलाइनमेंट का कारण बनती है। न तो शुद्ध रूप से अर्थ-संचालित पाइपलाइनें और न ही हार्डवेयर-जुड़े नियंत्रण दृष्टिकोण वर्तमान में एक ऐसा एब्स्ट्रैक्शन लेयर प्रदान करते हैं जो उच्च-स्तरीय संदर्भ को वहन करने में सक्षम हो और साथ ही व्यवहारिक अवशेषों (behavioral residuals) को सटीक रूप से संरेखित कर सके।

2. कार्यप्रणाली (Methodology)

यह शोध पत्र सिग्मा (Sigma) को पेश करता है, जो एक "टेलीपैथिक" संज्ञानात्मक स्थान को आंतरिक रूप से आत्मसात करके इस अंतर को पाटने के लिए डिज़ाइन किया गया एक VLA मॉडल है। सिग्मा को ओपन-सोर्स $\pi0.5\_base$ बैकबोन पर बनाया गया है और इसे एक एकल NVIDIA RTX 4090 का उपयोग करके svla_so101_pickplace डेटासेट पर प्रशिक्षित किया गया है। यह आर्किटेक्चर तीन प्राथमिक मॉड्यूल के माध्यम से गहन अर्थ संबंधी समझ और साहचर्य तर्क (associative reasoning) को एकीकृत करता है:

A. मुख्य आर्किटेक्चर (Core Architecture)

टेलीपैथी फैक्टर ( $\tau$ ): एक अस्थायी रूप से साझा किया गया लेटेंट कॉग्निटिव वेक्टर, जिसे गहरे अर्थ संबंधी सामग्री और साहचर्य संरचनाओं को एक निरंतर आंतरिक विचार अवस्था में संकुचित करने के लिए तैयार किया गया है।
विज़न मॉड्यूलेशन (Vision Modulation): मल्टीमॉडल एनकोडर विज़ुअल बेसिस टोकन उत्पन्न करते हैं, जिन्हें ट्रांसफार्मर के भीतर FiLM-शैली के गेटिंग के माध्यम से $\tau$ द्वारा मॉड्यूलेट किया जाता है। यह दृश्य प्रतिनिधित्व को वर्तमान अर्थ संबंधी और साहचर्य संदर्भ तक सीमित करता है।
लैंग्वेज इंटेंट वर्कस्पेस (Language Intent Workspace): एक मल्टीमॉडल लार्ज लैंग्वेज मॉडल (MLLM) बैकबोन संरचित अर्थ संबंधी कारकों को निकालता है। इन्हें एक गेटेड रिकर्सिव अपडेट के माध्यम से सिमेंटिक मेमोरी ( $m_t$ ) में एकीकृत किया जाता है। एक इंटेंट हेड इनपुट में स्पष्ट रूप से न दिए गए गुप्त इरादों ( $z_{intent}$ ) का अनुमान लगाता है।
एक्शन ट्राजेक्टरी वर्कस्पेस (Action Trajectory Workspace): मॉडल एक सुरक्षित बेसलाइन व्यवहार ( $\tau=0$ ) की गणना करता है और एक टेलीपैथी रेसिडुअल हेड के माध्यम से स्पष्ट अवशेष ( $\Delta a$ ) उत्पन्न करता है। इन अवशेषों को बेसलाइन के साथ जोड़ा जाता है ताकि मोटर कमांड उत्पन्न किए जा सकें, जिससे व्यवहार का ऐसा मॉड्यूलेशन संभव होता है जो भौतिक स्थिरता बनाए रखते हुए "माइंड-रेडी" मानवीय इरादे के करीब पहुँचता है।

B. प्रशिक्षण पाइपलाइन (Training Pipeline)

प्रशिक्षण प्रक्रिया एक एकल GPU पर एक पारदर्शी पाइपलाइन का उपयोग करती है:

डेटा प्रीप्रोसेसिंग: स्वचालित स्क्रिप्ट्स svla_so101_pickplace डेटासेट को प्रोसेस करती हैं, जिसमें ट्रैजेक्टरीज को सेगमेंट करने के लिए स्लाइडिंग विंडो (होरिज़न $T=16$ ) का उपयोग किया जाता है। प्रभावी ऑपरेशन्स को बनाए रखने के लिए लगभग-स्थिर (near-static) विंडोज़ को फ़िल्टर कर दिया जाता है।
LoRA फाइन-ट्यूनिंग: $\pi0.5\_base$ बैकबोन को विशिष्ट परतों (q, k, v, आउटपुट प्रोजेक्शन) पर मिक्स्ड प्रिसिजन और ग्रेडिएंट एक्यूमुलेशन के साथ लो-रैंक एडेप्टेशन (LoRA, $r=16$ ) का उपयोग करके फाइन-ट्यून किया जाता है।
टेलीपैथिक रेसिडुअल एक्शन फोकसिंग (TRAF): यह एल्गोरिदम केवल $\pi0.5$ बेसलाइन के सापेक्ष टेलीपैथिक अवशेषों को सीखता है। यह एक डिफिकल्टी-वेटिंग मैकेनिज्म का उपयोग करता है जो कठिन सेगमेंट को अधिक महत्व देता है ताकि सीखने की प्रक्रिया को कठिन एलाइनमेंट मामलों पर केंद्रित किया जा सके।
टेलीपैथिक सिमेंटिक एलाइनमेंट करिकुलम (TSAC): एक चरणबद्ध प्रशिक्षण शेड्यूल जो शुरू में कंट्रोल को स्थिर करने के लिए एक्शन रिग्रेशन पर जोर देता है, और फिर अर्थ संबंधी निरंतरता और दिशात्मक नियमितता के भार को रैखिक रूप से बढ़ाता है। यह मॉडल को अपने आंतरिक विचार ढांचे को स्पष्ट एक्शन ट्रैजेक्टरीज के साथ संरेखित करने के लिए निर्देशित करता है।
इन्फरेंस एडैप्टर (Inference Adapter): एक सहायक तंत्र इन्फरेंस के दौरान एक हुक-एंड-लूप स्कीम के माध्यम से हस्तक्षेप करता है। यह रेसिडुअल-टू-बेसलाइन नॉर्म रेशियो और टेलीपैथी फैक्टर एलाइनमेंट के आधार पर एक रिस्क स्कोर की गणना करता है, जो मूल मॉडल के वेट्स को बदले बिना स्थिरता सुनिश्चित करने के लिए टेलीपैथिक अवशेषों को गतिशील रूप से स्केल करता है।

3. प्रमुख योगदान (Key Contributions)

टेलीपैथिक एलाइनमेंट मैकेनिज्म: एक समय-अपडेट करने योग्य मध्यस्थ विचार स्थान ( $\tau$ ) का परिचय, जो भाषाई अर्थों को निरंतर नियंत्रण से जोड़ता है, जिससे धारणा और क्रिया के बीच "टेलीपैथिक-शैली" का एलाइनमेंट संभव होता है।
रेसिडुअल-आधारित मॉड्यूलेशन: एक नवीन आर्किटेक्चर जहाँ उच्च-स्तरीय अर्थ एक स्थिर बेसलाइन पॉलिसी को सीखे गए अवशेषों ( $\Delta a$ ) के माध्यम से मॉड्यूलेट करते हैं, जिससे भौतिक स्थिरता बनी रहती है और गहरा अर्थ संबंधी सुधार संभव होता है।
करिकुलम और फोकसिंग एल्गोरिदम: कठिनता-जागरूक सीखने के लिए TRAF और प्रगतिशील अर्थ संबंधी एलाइनमेंट के लिए TSK का विकास, जो मॉडल को बेस मॉडल को पुन: प्रशिक्षित किए बिना साझा मानसिक समन्वय प्रणाली की ओर अभिसरित (converge) होने की अनुमति देता है।
कुशल परिनियोजन (Efficient Deployment): यह प्रदर्शन कि LoRA और एक इन्फरेंस एडैप्टर का उपयोग करके एक एकल उपभोक्ता-ग्रेड GPU (RTX 4090) पर ये क्षमताएं प्राप्त की जा सकती हैं, जो अर्थ संबंधी एलाइनमेंट के लिए एक पुनरुत्पादक (reproducible) मार्ग प्रदान करता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

प्रयोगों को समान डेटासेट्स पर ऑफलाइन क्लोज्ड-लूप रिप्ले का उपयोग करके किया गया, जिसमें सिग्मा की तुलना अन-ट्यून्ड $\pi0.5\_base$ से की गई।

नियंत्रण सटीकता (Control Precision): सिग्मा ने तीन पैमानों पर MSE में निरंतर कमी प्रदर्शित की:
- वेक्टर-लेवल ( $\text{mse\_vec}$ ): ~98.83 ( $\pi0.5$ ) से घटकर ~79.03 (सिग्मा) हो गया, यानी ~20% का सुधार।
- फ्रेगमेंट-लेवल ( $\text{mse\_chk}$ ): ~~228.97 से घटकर ~203.05 (~~10% सुधार)।
- ट्रैजेक्टरी-लेवल ( $\text{mse\_trj}$ ): ~~191.03 से घटकर ~174.71 (~~10% सुधार)।
प्रतिनिधित्व की स्थिरता (Stability of Representations): टेलीपैथी फैक्टर नॉर्म ( $\text{tau\_l2}$ ) और सिमेंटिक-टेक्स्ट एलाइनमेंट ( $\text{sem\_align}$ ) के मेट्रिक्स एक्सपेरिमेंटल और कंट्रोल ग्रुप के बीच सुसंगत रहे। यह पुष्टि करता है कि प्रदर्शन में सुधार इन संकेतों के स्वयं में बदलाव के कारण नहीं, बल्कि नियंत्रण निर्णयों में इनके प्रभावी उपयोग के कारण है।
जोखिम नियंत्रण (Risk Control): इन्फरेंस एडैप्टर ने नियंत्रण स्थिरता बनाए रखी, जिससे ग्रेडिएंट एक्सप्लोजन या मोड कोलैप्स को रोका गया, जबकि सूक्ष्म अर्थ संबंधी हस्तक्षेप की अनुमति भी मिली।

5. महत्व और दावे (Significance and Claims)

यह शोध पत्र दावा करता है कि सिग्मा एक मात्रात्मक प्रदर्शन प्रदान करता है कि बेस मॉडल को पुन: प्रशिक्षित किए बिना अर्थ संबंधी और साहचर्य आर्किटेक्चरल घटकों के एकीकरण के माध्यम से 'माइंड-रिस्पॉन्सिव' एलाइनमेंट कंट्रोल प्राप्त किया जा सकता है।

अंतराल को पाटना: यह कार्य एक मध्यस्थ संज्ञानात्मक स्थान पेश करके "विचार-क्रिया" के अंतराल को संबोधित करता है, जो ह्युमनॉइड रोबोटों को वर्तमान पाइपलाइनों की तुलना में निहित संदर्भ और स्तरित अर्थों को अधिक प्रभावी ढंग से संभालने की अनुमति देता है।
पुनरुत्पादन क्षमता (Reproducibility): LoRA और एक एकल GPU का उपयोग करके, यह अध्ययन मौजूदा VLA मॉडल्स को इरादा-संचालित सिस्टम में बदलने के लिए एक पुनरुत्पादक मार्ग प्रदान करता है।
सीमित दायरा: लेखक अपनी सीमाओं को स्वीकार करते हुए स्पष्ट रूप से कहते हैं कि वर्तमान सत्यापन svla_so101_pickplace डेटासेट और एक एकल कार्य तक सीमित है। वे कहते हैं कि क्रॉस-टास्क और क्रॉस-मशीन सामान्यीकरण के संबंध में निष्कर्ष रूढ़िवादी हैं, और धारणात्मक शोर (perceptual noise) और सुरक्षा बाधाओं के तहत भौतिक रोबोटों पर मजबूती को मान्य करने के लिए भविष्य के कार्य की आवश्यकता है।

संक्षेप में, सिग्मा "टेलीपैथिक" मानव-रोबोट संपर्क की दिशा में एक कदम है, जहाँ गहन अर्थ संबंधी समझ और साहचर्य तर्क को सटीक, स्थिर और इरादा-संरेखित भौतिक क्रियाओं में अनुवादित किया जाता है।