🤖 AI

Thinking in Text and Images: Interleaved Vision--Language Reasoning Traces for Long-Horizon Robot Manipulation

यह शोधपत्र इंटरलीव्ड विजन-लैंग्वेज रीजनिंग (IVLR) प्रस्तुत करता है, जो एक ऐसा पॉलिसी फ्रेमवर्क है जो तार्किक सुसंगतता को ज्यामितीय ग्राउंडिंग के साथ जोड़कर मजबूत, लॉन्ग-होरिज़न रोबोट मैनिपुलेशन को सक्षम करने के लिए टेक्स्टुअल सबगोल्स और विजुअल कीफ्रेम्स के बीच बारी-बारी से स्पष्ट ट्रेसेस जेनरेट करता है, जिससे चुनौतीपूर्ण बेंचमार्क पर स्टेट-ऑफ-द-आर्ट सफलता दर प्राप्त होती है।

मूल लेखक: Jinkun Liu, Haohan Chi, Lingfeng Zhang, Yifan Xie, YuAn Wang, Long Chen, Hangjun Ye, Xiaoshuai Hao, Wenbo Ding

प्रकाशित 2026-05-04

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Jinkun Liu, Haohan Chi, Lingfeng Zhang, Yifan Xie, YuAn Wang, Long Chen, Hangjun Ye, Xiaoshuai Hao, Wenbo Ding

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को एक बिखरी हुई रसोई साफ करना सिखा रहे हैं। कार्य केवल "चम्मच उठाना" नहीं है। यह एक लंबी कहानी है: "पहले, गंदी प्लेट को सिंक में ले जाएं, फिर स्पंज उठाएं, काउंटर को रगड़ें, और अंत में स्पंज को वापस रख दें।"

वर्तमान रोबोट के दिमाग (जिन्हें विजन-लैंग्वेज-एक्शन पॉलिसी कहा जाता है) उन अभिनेताओं की तरह हैं जो अगली पंक्ति बोलने में तो माहिर हैं लेकिन पूरी पटकथा याद रखने में बहुत खराब हैं। वे सिंक को देखते हैं, एक प्लेट देखते हैं, और उसे उठा लेते हैं। लेकिन अगर कार्य के लिए प्लेट उठाने से पहले कप उठाना आवश्यक हो, तो वे भ्रमित हो सकते हैं, गलत चीज़ उठा सकते हैं, या वे यह भी भूल सकते हैं कि वे वहां क्यों हैं। वे "मायोपिक" (निकटदर्शी) हैं—वे केवल अगले तत्काल कदम को देखते हैं।

यह पेपर रोबोट के सोचने का एक नया तरीका पेश करता है, जिसे IVLR (इंटरलीव्ड विजन-लैंग्वेज रीजनिंग) कहा जाता है। यह कैसे काम करता है, इसके लिए सरल उपमाओं का उपयोग किया गया है:

1. समस्या: "भुलक्कड़ अभिनेता" (The Amnesiac Actor)

एक मानक रोबोट के बारे में सोचें जिसे एक पटकथा दी गई है लेकिन उसे प्रदर्शन करते समय इसे एक-एक पंक्ति करके याद करना होता है। यदि नाटक छोटा है, तो वे ठीक हैं। लेकिन यदि नाटक लंबा है ("लॉन्ग-हॉरिजन" कार्य), तो वे कथानक भूल जाते हैं।

केवल टेक्स्ट-आधारित योजनाएं (Text-only plans): ये एक ऐसी पटकथा की तरह हैं जो कहती है "कप उठाओ।" यह रोबोट को बताता है कि क्या करना है, लेकिन यह नहीं कि कहाँ और दृश्य कैसा दिखना चाहिए। यह बिना चित्रों वाली रेसिपी की तरह है।
केवल विजुअल-आधारित योजनाएं (Visual-only plans): ये भविष्य की एक मूवी रील की तरह हैं। यह रोबोट को दिखाता है कि दृश्य कैसा दिखेगा, लेकिन शब्दों के बिना, रोबोट शायद यह नहीं समझ पाएगा कि कप वहां क्यों है या चीजें किस क्रम में हुईं।

2. समाधान: "स्टोरीबोर्ड डायरेक्टर" (The Storyboard Director)

लेखक रोबोट को एक स्टोरीबोर्ड देते हैं। रोबोट द्वारा अपनी मांसपेशियां हिलाने से पहले ही, वह पूरे कार्य का एक पूर्ण "मूवी" अपने दिमाग में बनाता है। इस ट्रेस को IVLR-Trace कहा जाता है।

यह ट्रेस विशेष है क्योंकि यह दो चीजों को मिलाता है, कॉमिक बुक की तरह बारी-बारी से चलता है:

टेक्स्ट पैनल (Text Panels): "सफेद मग उठाएं।" (तर्क/कारण का क्रम)।
इमेज पैनल (Image Panels): एक तस्वीर जिसमें सफेद मग ठीक वहीं रखा है जहाँ उसे होना चाहिए। (दृश्य लक्ष्य)।

रोबोट इस पूरे स्टोरीबोर्ड को बिल्कुल शुरुआत में एक ही बार में तैयार करता है। यह एक निर्देशक की तरह है जो कहता है, "ठीक है, यहाँ पूरी फिल्म है। सीन 1: मग उठाएं। सीन 2: प्लेट पर रखें। सीन 3: पीला मग उठाएं..."

3. रोबोट इसका उपयोग कैसे करता है: "मैप के साथ जीपीएस" (The GPS with a Map)

एक बार स्टोरीबोर्ड बन जाने के बाद, रोबोट केवल छवियों का आँख मूंदकर पालन नहीं करता है। इसके बजाय, वह काम करते समय स्टोरीबोर्ड को "कैश" (अपनी अल्पकालिक स्मृति में सुरक्षित) रखता है।

लूप (The Loop): हर क्षण में, रोबोट वास्तविक दुनिया (जो वह अभी देख रहा है) को देखता है और उसकी तुलना स्टोरीबोर्ड (जो उसने योजना बनाई थी) से करता है।
उपमा: कल्पना कीजिए कि आप एक पार्टी में जा रहे हैं। आपके पास एक मैप (स्टोरीबोर्ड) है जो मार्ग और गंतव्य दिखाता है। लेकिन आपके पास आंखें (लाइव कैमरा) भी हैं। यदि आप गलत मोड़ ले लेते हैं, तो आपकी आंखें बताती हैं, "हे, यह तो मैप पर मौजूद सड़क नहीं है!" तब आप अपना स्टीयरिंग सुधारते हैं।
रोबोट यह लगातार करता है। वह घटनाओं के क्रम को याद रखने के लिए और दृश्य लक्ष्य को समझने के लिए स्टोरीबोर्ड का उपयोग करता है, लेकिन वह अपनी लाइव आंखों का उपयोग यह सुनिश्चित करने के लिए करता है कि वह उस कुर्सी से न टकरा जाए जो योजना बनाते समय वहां नहीं थी।

4. उन्होंने रोबोट को कैसे सिखाया (द "स्यूडो-सुपरविजन")

असली रोबोटों के साथ स्टोरीबोर्ड नहीं आते; वे बस लोगों द्वारा किए गए कार्यों के वीडियो के साथ आते हैं। लेखकों को रोबोट को अपने स्वयं के स्टोरीबोर्ड बनाना सिखाना था।

उन्होंने रोबतों द्वारा किए गए कार्यों के वीडियो लिए और एक स्मार्ट AI का उपयोग करके वीडियो को "सीन" (चरणों) में विभाजित किया।
फिर, उन्होंने एक अन्य AI का उपयोग प्रत्येक सीन के लिए कैप्शन लिखने (जैसे, "ग्रिपर मग की ओर बढ़ता है") और एक "कीफ्रेम" (उस क्षण की एक प्रतिनिधि फोटो) चुनने के लिए किया।
उन्होंने इन बनाए गए स्टोरीबोर्ड्स को रोबोट को ट्रेनिंग डेटा के रूप में दिया। यह एक छात्र को उत्तरों के साथ भरी हुई पाठ्यपुस्तक देने जैसा है, ताकि वे बाद में खुद समस्याओं को हल करना सीख सकें।

5. परिणाम: यह क्यों मायने रखता है

इस पेपर का परीक्षण कंप्यूटर सिमुलेशन पर किया गया जहाँ रोबोटों को लंबे, बहु-चरणीय कार्य (जैसे ब्लॉक स्टैक करना या मग हिलाना) करने थे।

स्टोरीबोर्ड के बिना: रोबोट अक्सर विफल हो गया, विशेष रूप से लंबे कार्यों पर (केवल लगभग 37% सफलता)। वह कहानी के बीच में ही खो जाता था।
केवल टेक्स्ट या केवल इमेज के साथ: इसने बेहतर प्रदर्शन किया, लेकिन बहुत अच्छा नहीं (लगभग 60-68%)।
पूर्ण "स्टोरीबोर्ड" (टेक्स्ट + इमेज) के साथ: रोबोट सबसे कठिन कार्यों पर 92.4% बार सफल रहा।

मुख्य निष्कर्ष यह है कि आपको दोनों की आवश्यकता है। आपको क्रम (कार्य-कारण) को याद रखने के लिए टेक्स्ट की आवश्यकता है और स्थान (ज्यामिति) को याद रखने के लिए छवियों की आवश्यकता है। एक के बिना दूसरा पर्याप्त नहीं है।

6. कमी (सीमाएं)

पेपर इसकी कमियों के बारे में ईमानदार है:

सोचने का समय (Thinking Time): रोबोट को स्टोरीबोर्ड बनाने के लिए शुरू करने से पहले लगभग 10 सेकंड तक "सोचना" पड़ता है। यह एक धीमे, सावधानीपूर्वक कार्य के लिए ठीक है, लेकिन यह उस रोबोट के लिए बहुत धीमा है जिसे तेजी से चलती गेंद से बचना हो।
पुराने प्लान (Stale Plans): यदि रोबोट द्वारा योजना बनाने के बाद दुनिया बदल जाती है (जैसे, रोबोट के सोचते समय कोई कप को हटा देता है), तो स्टोरीबोर्ड गलत हो जाता है। रोबोट ऐसी दुनिया का पालन करने की कोशिश कर सकता है जो अब अस्तित्व में नहीं है।
केवल सिमुलेशन: उन्होंने इसे एक कंप्यूटर सिमुलेशन में टेस्ट किया है, वास्तविक रसोई में वास्तविक रोबोट पर नहीं।

सारांश

यह पेपर प्रस्तावित करता है कि रोबोट को केवल वर्तमान में जो वह देख रहा है उसके आधार पर अगला कदम अनुमान लगाने के लिए मजबूर करने के बजाय, हमें उसे पहले पूरे कार्य का एक "कॉमिक बुक" लिखने देना चाहिए। शब्दों (योजना) और चित्रों (लक्ष्य) को एक एकल "ट्रेस" में मिलाकर, रोबोट बड़े चित्र को याद रख सकता है और साथ ही तत्काल दुनिया के प्रति प्रतिक्रिया भी दे सकता है। यह "प्रतिक्रिया देने" से "योजना बनाने और प्रतिक्रिया देने" की ओर एक बदलाव है।

यहाँ शोध पत्र "Thinking in Text and Images: Interleaved Vision–Language Reasoning Traces for Long-Horizon Robot Manipulation" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

लंबे समय तक चलने वाले (long-horizon) रोबोटिक हेरफेर के लिए ऐसी नीतियों की आवश्यकता होती है जो दो परस्पर विरोधी आवश्यकताओं को पूरा करती हों: कारण संबंधी सुसंगतता (causal coherence) (उप-लक्ष्यों के तार्किक क्रम को बनाए रखना) और ज्यामितीय ग्राउंडिंग (geometric grounding) (सटीक स्थानिक स्थिति)।

वर्तमान विधियों की सीमाएँ:
- मानक VLA (Vision-Language-Action) नीतियां: आमतौर पर योजना को लेटेंट स्टेट्स (latent states) में छिपा देती हैं। वे अक्सर "टेम्पोरल मायोपिया" (temporal myopia) से ग्रस्त होती हैं, जिससे वे लंबी अनुक्रमों (sequences) में अवस्था बनाए रखने में विफल रहती हैं या चरणों को गलत क्रम में निष्पादित करती हैं।
- केवल टेक्स्ट-आधारित चेन-ऑफ-थॉट (CoT): यह कारण संबंधी क्रम को अच्छी तरह से एनकोड करता है लेकिन इसमें कम-स्तरीय नियंत्रण के लिए आवश्यक विशिष्ट स्थानिक पोज़ (spatial pose), संपर्क ज्यामिति (contact geometry) और लक्ष्य प्लेसमेंट विवरणों का अभाव होता है।
- विजुअल प्रेडिक्शन/वर्ल्ड मॉडल: ज्यामितीय संकेत प्रदान करते हैं लेकिन अक्सर स्थानीय होते हैं और अर्थ संबंधी रूप से कम नियंत्रित होते हैं, जिससे संभावित लेकिन कार्य-त्रुटिपूर्ण विजुअल भविष्य उत्पन्न होते हैं।
अंतराल (The Gap): एक ऐसे स्पष्ट मध्यवर्ती प्रतिनिधित्व (intermediate representation) की कमी है जो पूरे कार्य क्षितिज (task horizon) में सामर्थ्य संबंधी तर्क (semantic logic - text) और ज्यामितीय अवस्था (geometric state - vision) को एक साथ कैप्चर कर सके।

2. कार्यप्रणाली: इंटरलीव्ड विजन-लैंग्वेज रीजनिंग (IVLR)

लेखक IVLR का प्रस्ताव करते हैं, जो IVLR-Trace पर केंद्रित एक ढांचा है, जो एक स्पष्ट मध्यवर्ती प्रतिनिधित्व है जो टेक्स्टुअल उप-लक्ष्यों को विजुअल कीफ्रेम्स (visual keyframes) के साथ बारी-बारी से जोड़ता है।

A. मुख्य प्रतिनिधित्व: IVLR-Trace

ट्रेस चरणों का एक अनुक्रम $z = [(c^{(1)}, k^{(1)}), \dots, (c^{(N)}, k^{(N)})]$ है, जहाँ:

$c^{(i)}$ : एक टेक्स्टुअल उप-लक्ष्य (कैप्शन) जो चरण की कारण संबंधी भूमिका का वर्णन करता है।
$k^{(i)}$ : एक विजुअल कीफ्रेम (RGB इमेज) जो उस चरण के लिए इच्छित स्थानिक अवस्था को एंकर (anchor) करता है।
यह एक "फुल-होरिज़न स्टोरीबोर्ड" बनाता है जो रोबोट के तर्क को दृश्यमान और परिवर्तनीय (ablatable) बनाता है।

B. आर्किटेक्चर (Architecture)

यह प्रणाली एक सिंगल नेटिव मल्टीमॉडल ट्रांसफार्मर (Show-o2 1.5B से इनिशियलाइज्ड) का उपयोग करती है जिसमें दो अलग-अलग चरण हैं:

रीजनिंग चरण (t=0):
- इनपुट: प्रारंभिक अवलोकन ( $o_0$ ) और कार्य निर्देश ( $I$ )।
- प्रक्रिया: मॉडल संपूर्ण IVLR-Trace जनरेट करता है।
- तंत्र: टेक्स्ट को लैंग्वेज हेड के माध्यम से ऑटोरेग्रेसिव रूप से डिकोड किया जाता है; विजुअल कीफ्रेम्स को एक फ्लो-मैचिंग हेड (शोर को लक्ष्य लेटेंट्स तक ले जाने के लिए वेक्टर फील्ड्स की भविष्यवाणी करना) के माध्यम से जनरेट किया जाता है।
एक्जीक्यूशन चरण (t>0):
- इनपुट: वर्तमान अवलोकन ( $o_t$ ), मूल निर्देश ( $I$ ), और कैश्ड ट्रेस ( $z$ )।
- प्रक्रिया: एक क्लोज्ड-लूप एक्शन डिकोडर निरंतर क्रियाएं ( $a_t$ ) की भविष्यवाणी करता है।
- तंत्र: एक्शन टोकन पूरे कैश्ड ट्रेस और लाइव अवलोकन पर ध्यान (attend) देता है, जिससे मॉडल को बिना किसी हार्ड-कोडेड स्टेज पॉइंटर के, वर्तमान अवस्था के आधार पर योजना के प्रासंगिक हिस्सों को गतिशील रूप से चुनने की अनुमति मिलती है।

C. स्यूडो-सुपरविजन पाइपलाइन (Pseudo-Supervision Pipeline)

चूंकि मानक रोबोट डेटासेट में इंटरलीव्ड ट्रेसेस की कमी होती है, इसलिए लेखकों ने प्रशिक्षण के लिए स्यूडो-ट्रेस बनाने के लिए एक पाइपलाइन बनाई है:

सेगमेंटेशन (Segmentation): विजुअल एम्बेडिंग्स में मॉनोटोनिसिटी ब्रेक के आधार पर प्रदर्शन पथों (demonstration trajectories) को चरणों में विभाजित करने के लिए यूनिवर्सल विजुअल डीकंपोजर (UVD) का उपयोग करें।
कीफ्रेम चयन (Keyframe Selection): प्रत्येक सेगमेंट का अंतिम फ्रेम विजुअल कीफ्रेम ( $k^{(i)}$ ) बन जाता है।
कैप्शनिंग (Captioning): एक विजन-लैंग्वेज मॉडल (Qwen3-VL) प्रत्येक चरण के लिए ग्रिपर-ऑब्जेक्ट इंटरेक्शन और स्थानिक संबंधों का वर्णन करने वाला एक स्ट्रक्चर्ड टेक्स्ट कैप्शन ( $c^{(i)}$ ) जनरेट करता है।

D. प्रशिक्षण उद्देश्य (Training Objective)

कुल लॉस (loss) तीन घटकों को जोड़ता है:

$L_{text}$ : कैपशन्स के लिए नेक्स्ट-टोकन क्रॉस-एंट्रॉपी।
$L_{flow}$ : विजुअल कीफ्रेम्स के लिए फ्लो-मैचिंग लॉस।
$L_{action}$ : निरंतर एक्शन प्रेडिक्शन के लिए L1 लॉस।
मजबूती (Robustness): अत्यधिक निर्भरता को रोकने के लिए प्रशिक्षण के दौरान रैंडम ट्रेस नॉइज़ और डायनेमिक कॉन्टेक्स्ट मास्किंग लागू की जाती है।

3. मुख्य योगदान (Key Contributions)

स्पष्ट IVLR-Trace: टेक्स्ट और RGB कीफ्रेम्स का एक पूर्ण-क्षितिज, इंटरलीव्ड अनुक्रम जो VLA नियंत्रण के लिए एक सिमेंटिक-जियोमेट्रिक इंटरफेस के रूप में कार्य करता है।
एकीकृत आर्किटेक्चर: एक सिंगल नेटिव मल्टीमॉडल ट्रांसफार्मर में कार्यान्वयन जो एक बार योजना जनरेट करता है और क्लोज्ड-लूप निष्पादन को कैश्ड ट्रेस पर कंडिशन करता है।
स्केलेबल स्यूडो-ट्रेस निर्माण: अनस्ट्रक्चर्ड रोबोट प्रदर्शनों को स्टेज्ड मल्टीमॉडल सुपरविजन के साथ जोड़ने के लिए UVD और VLMs का उपयोग करने वाली एक पाइपलाइन।
अनुभवजन्य सत्यापन: यह प्रदर्शन करना कि इंटरलीव्ड ट्रेसेस लॉन्ग-होरिज़न कार्यों में यूनिमोडल बेसलाइन्स से काफी बेहतर प्रदर्शन करते हैं और मध्यम निष्पादन ड्रिफ्ट (execution drift) तथा ट्रेस भ्रष्टाचार (trace corruption) के प्रति मजबूत होते हैं।

4. प्रयोगात्मक परिणाम (Experimental Results)

इस पद्धति का मूल्यांकन LIBERO (सिम्युलेटेड मैनिपुलेशन) और SimplerEnv-WidowX (विजुअल डिस्ट्रीब्यूशन शिफ्ट) पर किया गया।

मुख्य प्रदर्शन (LIBERO):
- IVLR: 95.5% औसत सफलता प्राप्त की।
- LIBERO-Long (Long-horizon): 92.4% प्राप्त किया, जो CoT-VLA (69.0%) और VLA-0 (87.6%) से काफी बेहतर है।
- SimplerEnv-WidowX: 59.4% कुल सफलता प्राप्त की, जो SpatialVLA (42.7%) से बेहतर है।
एब्लेशन स्टडीज (इंटरलीविंग की आवश्यकता):
- No Trace (कोई ट्रेस नहीं): LIBERO-Long पर सफलता घटकर 37.7% रह गई।
- Text-Only Trace (केवल टेक्स्ट ट्रेस): 62.0% (क्रम के लिए अच्छा, लेकिन स्थानिक एंकरों की कमी)।
- Vision-Only Trace (केवल विजन ट्रेस): 68.4% (ज्यामिति के लिए अच्छा, लेकिन सिमेंटिक अनुक्रम की कमी)।
- Full IVLR: 92.4% (सिद्ध करता है कि टेक्स्ट और विजन पूरक हैं, न कि एक-दूसरे के विकल्प)।
रोबस्टनेस स्ट्रेस टेस्ट (Robustness Stress Tests):
- एक्जीक्यूशन परटर्बेशन (Execution Perturbation): 2 सेमी एंड-इफेक्टर डिस्प्लेसमेंट के साथ, सफलता केवल मामूली रूप से गिरी (95.5% $\to$ 92.1%), जो दिखाता है कि क्लोज्ड-लूप प्रकृति छोटे स्लिप से उबर सकती है।
- ट्रेस करप्शन (Trace Corruption): 30% टेक्स्ट या विजुअल टोकन को मास्क करने से मामूली गिरावट आई (~90-92% तक), जो दर्शाता है कि सिस्टम स्थानीय गुम सामग्री को सहन कर सकता है।

5. महत्व और सीमाएँ (Significance and Limitations)

महत्व:

स्पष्ट तर्क (Explicit Reasoning): यह प्रतिमान को इम्पलिसिट लेटेंट प्लानिंग से स्पष्ट, निरीक्षण योग्य और नियंत्रणीय मल्टीमॉडल रीजनिंग की ओर ले जाता है।
स्केलेबिलिटी: यह प्रदर्शित करता है कि स्यूडो-सुपरवाइज्ड ट्रेसेस जटिल, बहु-चरणीय कार्यों के लिए बिना मानव-लेबल वाले सिम्बोलिक प्लान के, प्रभावी ढंग से पॉलिसी को प्रशिक्षित कर सकते हैं।
पूरकता (Complementarity): यह प्रमाणित करता है कि लॉन्ग-होरिज़न सफलता के लिए सिमेंटिक लॉजिक (टेक्स्ट) को ज्यामितीय ग्राउंडिंग (विजन) के साथ जोड़ना महत्वपूर्ण है।

सीमाएँ:

विलंबता (Latency): निष्पादन शुरू होने से पहले पूरा ट्रेस जनरेट करने में ~10 सेकंड (H20 GPU पर) लगते हैं, जो एक बाधा है।
स्थिर धारणा (Static Assumption): यह विधि मानती है कि $t=0$ पर पूरी तरह से ऑब्जर्व की गई, स्थिर वर्कस्पेस मौजूद है। यदि योजना के बाद दृश्य में भारी बदलाव होता है (जैसे ऑब्जेक्ट हटाना, ऑक्लूजन), तो कैश्ड ट्रेस पुराना (stale) हो जाता है।
केवल सिमुलेशन: परिणाम वर्तमान में सिम्युलेटेड बेंचमार्क तक सीमित हैं; वास्तविक-रोबोट पर तैनाती के लिए और अधिक सत्यापन की आवश्यकता है।

भविष्य की दिशाएँ:
लेखक डायनेमिक सीन परिवर्तनों को संभालने के लिए एसिंक्रोनस प्लान-व्हाइल-एक्टिंग (वर्तमान को निष्पादित करते समय भविष्य के ट्रेस चरणों को जनरेट करना) और सेल्फ-ट्रिगर्ड रीप्लानिंग (स्व-ट्रिगर पुन: योजना) की खोज करने का सुझाव देते हैं।