🤖 AI

Beyond Needle(s) in the Embodied Haystack: Environment, Architecture, and Training Considerations for Long Context Reasoning

यह शोध पत्र $\infty$ -THOR प्रस्तुत करता है, जो एक व्यापक ढांचा है जिसमें एक स्केलेबल लॉन्ग-होराइजन ट्राजेक्टरी जनरेटर, एक नवीन "Needle(s) in the Embodied Haystack" बेंचमार्क, और एम्बोडीड एआई एजेंटों में लॉन्ग-कॉन्टेक्स्ट रीजनिंग और प्लानिंग को आगे बढ़ाने के लिए कॉन्टेक्स्ट पैरेललिज्म जैसे आर्किटेक्चरल अनुकूलन शामिल हैं।

मूल लेखक: Bosung Kim, Prithviraj Ammanabrolu

प्रकाशित 2026-02-20

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Bosung Kim, Prithviraj Ammanabrolu

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट बटलर (नौकर) को घर की सफाई करना सिखाने की कोशिश कर रहे हैं। लेकिन यह सिर्फ एक मोजा उठाने के बारे में नहीं है; यह एक जटिल, कई दिनों के मिशन के बारे में है।

समस्या: "घास के ढेर में सुई" (Needle in a Haystack) बहुत बड़ी है
आमतौर पर, जब हम AI का परीक्षण करते हैं, तो हम उससे सरल प्रश्न पूछते हैं जैसे, "लाल कप कहाँ है?" AI कमरे को देखता है और उत्तर देता है। लेकिन वास्तविक दुनिया में, एक कार्य ऐसा हो सकता है:

सुबह 9:00 बजे, आपने काउंटर पर एक टमाटर देखा।
सुबह 10:00 बजे, आपने एक कुर्सी हटाई।
सुबह 11:00 बजे, आपने फ्रिज खोला।
दोपहर 2:00 बजे, बॉस कहते हैं, "उस टमाटर को काउंटर पर रख दो।"

इसे करने के लिए, रोबोट को सुबह 9:00 बजे देखे गए टमाटर और 11:00 बजे के काउंटर को याद रखना होगा, भले ही इस बीच उसने सैकड़ों अन्य काम किए हों। वर्तमान AI मॉडल बहुत कम ध्यान देने वाले छात्रों की तरह हैं; वे भूल जाते हैं कि 5 मिनट पहले क्या हुआ था, 5 घंटे पहले क्या हुआ था, यह तो दूर की बात है। वे समय के "घास के ढेर" (haystack) में खो जाते हैं।

समाधान: ∞-THOR (अनंत टाइम मशीन)
इस शोध पत्र के लेखकों ने एक नया प्रशिक्षण मैदान बनाया है जिसे ∞-THOR कहा जाता है। इसे एक वीडियो गेम सिम्युलेटर के रूप में सोचें जो रोबots को अभ्यास करने के लिए अंतहीन, अत्यंत लंबी कहानियाँ बना सकता है।

यहाँ उन्होंने इसे कैसे विभाजित किया है:

1. प्रशिक्षण का मैदान (The Environment)

उन्होंने एक डिजिटल दुनिया बनाई जहाँ रोबोट बिना थके सैकड़ों चरणों (steps) तक अभ्यास कर सकते हैं।

उपमा: एक वीडियो गेम लेवल की कल्पना करें जो समाप्त नहीं होता। आप घूम सकते हैं, चीजें उठा सकते हैं, और फर्नीचर हिला सकते हैं।
ट्विस्ट: दिन के अंत में, गेम उन्हें एक अंतिम मिशन देता है जो केवल तभी समझ में आता है जब वे उस चीज़ को याद रखें जो उन्होंने दिन की शुरुआत में देखी थी। यह रोबोट को लंबे समय तक यादों को संजोकर रखने के लिए मजबूर करता है।

2. परीक्षण: "एम्बोडीड हेस्टैक में सुइयाँ" (Needles in the Embodied Haystack)

उन्होंने एक नया परीक्षण बनाया जिसे NiEH कहा जाता है।

पुराना तरीका: "यहाँ एक किताब है। बिल्ली के बारे में वाक्य ढूँढें।" (यह केवल पढ़ना है)।
नया तरीका (NiEH): "यहाँ एक वीडियो है जिसमें मैं 10 घंटे तक एक घर में घूम रहा हूँ। मैंने एक फूलदान हटाया, एक दराज खोली और एक चम्मच गिराया। अब, मुझे बताएं: फूलदान को दराज में रखने से पहले वह कहाँ था, और मैंने चम्मच को कितनी बार हिलाया?"
यह कठिन क्यों है: रोबोट को समय के साथ बिखरे हुए विशिष्ट सुरागों (सुइयों) को खोजने के लिए हजारों विजुअल फ्रेम्स (घास के ढेर) के माध्यम से छानना होगा। यह रेगिस्तान में रेत के एक विशिष्ट कण को खोजने जैसा है, लेकिन आपको वह कण याद रखना होगा जिसे आपने तीन दिन पहले देखा था।

3. मस्तिष्क का अपग्रेड (Architecture)

उन्होंने रोबोट के मस्तिष्क को इस विशाल मात्रा में जानकारी संभालने में मदद करने के लिए दो अलग-अलग तरीके आजमाए:

विधि A: "पूरी फिल्म" वाला दृष्टिकोण (Interleaved): वे रोबोट को शुरू से अंत तक क्या हुआ, उसका पूरा इतिहास फ्रेम-दर-फ्रेम दिखाते हैं, जैसे पूरी फिल्म देखना।
- लाभ: यह सब कुछ देख पाता है।
- हानि: रोबोट का मस्तिष्क (कंप्यूटर) भारी हो जाता है और मेमोरी खत्म हो जाती है क्योंकि फिल्म बहुत लंबी होती है।
विधि B: "फ्लैशकार्ड" वाला दृष्टिकोण (Memory-Augmented): पूरी फिल्म दिखाने के बजाय, रोबोट महत्वपूर्ण क्षणों का सारांश या कुछ प्रमुख तस्वीरें रखता है।
- लाभ: यह मेमोरी के मामले में हल्का है।
- हानि: यदि सारांश सटीक नहीं है, तो यह विवरण चूक सकता है।
विजेता: आश्चर्यजनक रूप से, "पूरी फिल्म" वाला दृष्टिकोण बेहतर काम कर गया यदि उन्होंने रोबोट को इसे संभालने के लिए एक बड़ा मस्तिष्क (अधिक मेमोरी) दिया।

4. जादुई ट्रिक्स (Training Techniques)

रोबोट के मस्तिष्क को इस पूरे डेटा में फिट करने के लिए, उन्होंने कुछ चतुर इंजीनियरिंग ट्रिक्स का उपयोग किया:

कॉन्टेक्स्ट एक्सटेंशन (Context Extension): कल्पना कीजिए कि एक स्केल है जो आमतौर पर 12 इंच तक मापता है। उन्होंने उस स्केल को इतना खींच दिया कि वह 100 इंच तक माप सके, जिससे रोबोट को और आगे तक गिनना सिखाया गया।
कॉन्टेक्स्ट पैरेललिज्म (Context Parallelism): एक व्यक्ति द्वारा 1,000 पन्नों की किताब पढ़ने के बजाय, उन्होंने किताब को 16 लोगों में विभाजित किया, मिलकर पढ़ा, और फिर अपने नोट्स को मिला दिया। यह कंप्यूटर को क्रैश हुए बिना भारी मात्रा में डेटा प्रोसेस करने में मदद करता है।

5. वास्तविक दुनिया का परीक्षण (Sim-to-Real)

सबसे रोमांचक हिस्सा? उन्होंने वीडियो गेम (सिमुलेशन) में रोबोट को प्रशिक्षित किया और फिर वास्तविक दुनिया की छवियों (जैसे वास्तविक कमरों की तस्वीरें) पर इसका परीक्षण किया।

परिणाम: अपनी लंबी, नकली कहानियों पर अभ्यास करके, रोबोट वास्तविक दुनिया की तस्वीरों को समझने में 11% बेहतर हो गया। यह एक पायलट की तरह है जो फ्लाइट सिम्युलेटर पर अभ्यास करता है और फिर एक वास्तविक विमान को पूरी तरह से लैंड करता है।

निचोड़ (The Bottom Line)

यह शोध पत्र उन रोबोट बनाने का एक ब्लूप्रिंट है जो केवल यह नहीं देखते कि अभी क्या हो रहा है, बल्कि वे उन चीजों की योजना बना सकते हैं और याद रख सकते हैं जो बहुत समय पहले हुई थीं।

सरल शब्दों में: उन्होंने रोबोट के लिए "लॉन्ग-टर्म मेमोरी" का अभ्यास करने के लिए एक जिम बनाया है, जिसमें उन्हें एक बहुत लंबे, जटिल "साइमन सेज़" (Simon Says) खेल को खेलना है जहाँ निर्देश गेमप्ले के घंटों के दौरान बिखरे हुए हैं। उन्होंने पाया कि यदि आप रोबोट को पर्याप्त मेमोरी और सही प्रशिक्षण देते हैं, तो वह वास्तव में एक बहुत लंबे दिन के शुरुआत और अंत के बीच के संबंध को जोड़ना सीख सकता है।

यह उन रोबोट बनाने की दिशा में एक बड़ा कदम है जो वास्तव में हमारे साथ रह सकें, जो धैर्य और स्मृति की आवश्यकता वाले जटिल कार्यों में मदद कर सकें, न कि केवल तात्कालिक प्रतिक्रियाओं में।

यहाँ शोध पत्र "Beyond Needle(s) in the Embodied Haystack: Environment, Architecture, and Training Considerations for Long Context Reasoning" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

वास्तविक दुनिया के परिदृश्यों में काम करने वाले एम्बोडीड AI (Embodied AI) एजेंटों को एक गंभीर चुनौती का सामना करना पड़ता है: लॉन्ग-होरिज़न रीजनिंग (long-horizon reasoning)। अल्प-होरिज़न (short-horizon) कार्यों के विपरीत, जहाँ निर्णय तत्काल अवलोकनों पर निर्भर करते हैं, जटिल कार्यों के लिए एजेंटों को निम्नलिखित की आवश्यकता होती है:

सैकड़ों या हजारों टाइम-स्टेप्स द्वारा अलग किए गए घटनाओं को याद रखना और उन पर तर्क करना।
विस्तारित अनुक्रमों (sequences) पर मल्टीमॉडल इनपुट (विजुअल ऑब्जर्वेशन और भाषाई निर्देश) को एकीकृत करना।
अप्रासंगिक मध्यवर्ती चरणों के "हेस्टैक" (haystack) में बिखरे हुए "नीडल" (needle) जानकारी (विशिष्ट वस्तुएं, स्थान या क्रियाएं) को पुनः प्राप्त करना।

वर्तमान विजन-लैंग्वेज मॉडल्स (VLMs) इस कारण संघर्ष करते हैं:

कॉन्टेक्स्ट विंडो सीमाएँ (Context Window Limits): अधिकांश VLMs स्वाभाविक रूप से 1M टोकन (लगभग सैकड़ों हजार इमेज फ्रेम्स) से अधिक इनपुट को प्रोसेस नहीं कर सकते।
आर्किटेक्चरल अंतराल (Architectural Gaps): मानक VLMs डायनेमिक वातावरण में इंटरलीव्ड परसेप्शन-एक्शन लूप्स के लिए अनुकूलित नहीं हैं।
बेंचमार्क का अभाव: मौजूदा डेटासेट्स (जैसे ALFRED, Habitat) आमतौर पर शॉर्ट-होरिज़न (<50 स्टेप्स) के होते हैं और उनमें मानकीकृत लॉन्ग-कॉन्टेक्स्ट मूल्यांकन सूट्स की कमी होती है।

2. कार्यप्रणाली: $\infty$ -THOR फ्रेमवर्क

लेखक $\infty$ -THOR पेश करते हैं, जो लॉन्ग-होरिज़न एम्बोडीड कार्यों को उत्पन्न करने, प्रशिक्षित करने और मूल्यांकन करने के लिए एक व्यापक ढांचा है। इसमें तीन मुख्य घटक शामिल हैं:

A. एनवायरनमेंट और डेटा जनरेशन

आधार: इसे AI2-THOR सिम्युलेटर पर बनाया गया है।
ट्रैजेक्टरी सिंथेसिस (Trajectory Synthesis): निरंतर, स्केलेबल ट्रैजेक्टरीज बनाने के लिए कई सिंगल-टास्क प्रदर्शनों को जोड़ने के लिए एक प्लानर-आधारित दृष्टिकोण (PDDL) का उपयोग करता है।
- लॉन्ग-टर्म डिपेंडेंसी: एक ट्रैजेक्टरी का अंतिम लक्ष्य केवल एपिसोड के पहले 20% और अंतिम 20% में देखे गए ऑब्जेक्ट्स का उपयोग करके बनाया जाता है, जो एजेंट को सैकड़ों स्टेप्स के टेम्पोरल गैप को पाटने के लिए मजबूर करता है।
डेटासेट स्केल:
- ट्रेनिंग सेट: 2,456 ट्रैजेक्टरीज (औसत 405 स्टेप्स, ~602K टोकन)।
- डेव/टेस्ट सेट्स: 600 स्टेप्स से अधिक की ट्रैजेक्टरीज (1.3M टोकन तक)।
- ग्राउंड ट्रुथ: इमिटेशन लर्निंग के लिए पूर्ण एक्शन सीक्वेंस और मेटाडेटा शामिल है।

B. बेंचमार्क: नीडल इन द एम्बोडीड हेस्टैक (NiEH)

एम्बोडीड कॉन्टेक्स्ट्स में लॉन्ग-कॉन्टेक्स्ट रीजनिंग का परीक्षण करने के लिए डिज़ाइन किया गया एक नया मूल्यांकन कार्य:

सिंगल-एविडेंस (NiEH): ऐसे प्रश्न जिनका उत्तर एक एकल ऑब्जर्वेशन स्टेप से दिया जा सकता है (जैसे, "आपने किस वस्तु को काटा?")।
मल्टी-एविडेंस (NsiEH): ऐसे प्रश्न जिनके लिए बिखरे हुए, टेम्पोरल रूप से दूर स्थित सुरागों को एकत्रित करने की आवश्यकता होती है (जैसे, "स्पंज काउंटर पर रखने से पहले कहाँ था?" जिसके लिए स्टेप $t=24$ और $t=751$ को याद करने की आवश्यकता है)।
स्टेटिक बनाम इंटरैक्टिव: इसमें स्टैटिक QA मूल्यांकन और इंटरैक्टिव ऑनलाइन पॉलिसी निष्पादन शामिल है।

C. आर्किटेक्चरल और ट्रेनिंग रणनीतियाँ

यह पेपर अत्यधिक लंबे कॉन्टेक्स्ट को संभालने के लिए दो प्राथमिक पॉलिसी आर्किटेक्चर और विशिष्ट प्रशिक्षण तकनीकों की जांच करता है:

इंटरलीव्ड गोल-स्टेट-एक्शन मॉडल: यह पूर्ण इतिहास को एक एकल अनुक्रम $(g_0, s_0, a_0, \dots, s_t, a_t)$ के रूप में एनकोड करता है। यह VLM को पूर्ण मल्टीमॉडल स्ट्रीम पर तर्क करने की अनुमति देता है, लेकिन इसके लिए विशाल कॉन्टेक्स्ट विंडोज की आवश्यकता होती है।
मेमोरी-ऑगमेंटेड गोल-स्टेट मॉडल: पूर्ण इतिहास को निम्नलिखित से बदल देता है:
- टेक्स्ट समरी: पिछले स्टेट्स के संकुचित टेक्स्टुअल विवरण।
- रिट्रीव्ड विजुअल मेमोरीज: एम्बेडिंग समानता के माध्यम से चुनी गई टॉप- $k$ प्रासंगिक ऐतिहासिक छवियां।
लॉन्ग-कॉन्टेक्स्ट तकनीकें:
- कॉन्टेक्स्ट एक्सटेंशन: प्री-ट्रेंड VLMs के प्रभावी कॉन्टेक्स्ट विंडो को बढ़ाने के लिए लीनियर इंटरपोलेशन, डायनेमिक स्केलिंग, YaRN, और LongRoPE का मूल्यांकन।
- कॉन्टेक्स्ट पैरेललिज्म: 1M से अधिक टोकन वाले अनुक्रमों पर कुशल फाइन-ट्यूनिंग और इन्फरेंस को सक्षम करने के लिए डिवाइसेस के बीच KV शेर्ड्स को वितरित करने हेतु Ring Attention का कार्यान्वयन।

3. मुख्य योगदान

$\infty$ -THOR फ्रेमवर्क: ग्राउंड-ट्रुथ एक्शन सीक्वेंस के साथ अनलिमिटेड लॉन्ग-होरिज़न ट्रैजेक्टरीज उत्पन्न करने के लिए एक स्केलेबल सिस्टम।
NiEH बेंचमार्क: एम्बोडीड, मल्टीमॉडल कॉन्टेक्स्ट के भीतर "नीडल इन अ हेस्टैक" रीजनिंग के लिए एक कठोर टेस्ट सूट, जिसमें सिंगल और मल्टी-एविडेंस क्वेरीज़ शामिल हैं।
लार्ज-स्केल डेटासेट: 1.3M टोकन तक की ट्रैजेक्टरीज वाला एक डेटासेट, जो ऑफलाइन इमिटेशन लर्निंग और ऑनलाइन रिइन्फोर्समेंट लर्निंग दोनों का समर्थन करता है।
आर्किटेक्चरल विश्लेषण: इंटरलीव्ड बनाम मेमोरी-ऑगमेंटेड मॉडल्स का व्यवस्थित तुलनात्मक अध्ययन, जो पूर्ण इतिहास इंटरलीविंग की श्रेष्ठता को दर्शाता है जब कॉन्टेक्स लिमिट्स को प्रबंधित किया जाता है।
सिम-टू-रियल वैलिडेशन: यह प्रदर्शन करता है कि सिंथेटिक लॉन्ग-कॉन्टेक्स्ट डेटा पर प्रशिक्षण से फोटोरियलिस्टिक बेंचमार्क्स पर प्रदर्शन में सुधार होता है और यह लो-लेवल रोबोट कंट्रोल के साथ एकीकृत हो जाता है।

4. प्रयोगात्मक परिणाम

स्टैटिक मूल्यांकन (NiEH)

कॉन्टेक्स्ट लिमिट्स: स्टैंडर्ड VLMs (जैसे, LLaVA-OV) पूर्ण ट्रैजेक्टरीज (>1M टोकन) पर पूरी तरह विफल हो जाते हैं।
एक्सटेंशन तकनीकें: YaRN (x4 स्केलिंग) सबसे प्रभावी सिद्ध हुआ, जिससे मॉडल्स 384K टोकन तक उचित प्रदर्शन के साथ संभाल सके। लीनियर इंटरपोलेशन और डायनेमिक स्केलिंग 64K टोकन के बाद संघर्ष करते दिखे।
आर्किटेक्चर: इंटरलीव्ड गोल-स्टेट-एक्शन मॉडल ने मेमोरी-ऑगमेंटेड मॉडल्स की तुलना में काफी बेहतर प्रदर्शन किया जब पूर्ण कॉन्टेक्स्ट उपलब्ध था।
- Gemini 2.0 Flash ने 32K टोकन तक मजबूती दिखाई लेकिन 256K पर 40% से नीचे सटीकता गिर गई।
- टेक्स्ट-आधारित मेमोरी ने इमेज-आधारित मेमोरी से बेहतर प्रदर्शन किया क्योंकि इसमें सूचना घनत्व (information density) अधिक था।

ऑनलाइन मूल्यांकन (इंटरैक्टिव टास्क)

सफलता दर (Success Rates): लंबे कॉन्टेक्स्ट के साथ प्रशिक्षण से महत्वपूर्ण लाभ हुए।
- 128K कॉन्टेक्स्ट मॉडल: लॉन्ग-होरिज़न कार्यों पर 9.2% की सफलता दर प्राप्त की।
- YaRN (x4) + 128K: 11.5% की सफलता दर प्राप्त की।
- मेमोरी-ऑगमेंटेड दृष्टिकोण खराब प्रदर्शन (<6.4%) करते रहे, जो पुष्टि करता है कि रिट्रीवल-आधारित तरीके इन कार्यों के लिए आवश्यक सटीक टेम्पोरल ग्राउंडिंग में संघर्ष करते हैं।
फेल मोड (Failure Modes): एजेंट अक्सर "Put" चरण में विफल होते थे क्योंकि वे पहले के "Go" या "Pick" चरणों में विफल रहे थे, जो लॉन्ग-होरिज़न प्लानिंग में त्रुटियों की संचयी प्रकृति (compounding nature) को उजागर करता है।

सिम-टू-रियल और लो-लेवल कंट्रोल

फोटोरियलिस्टिक ट्रांसफर: 226K सिंथेटिक NiEH QA पेयर्स पर Qwen2.5-VL को फाइन-ट्यून करने से VSI-Bench (फोटोरियलिस्टिक) के 'ऑब्जेक्ट अपीयरेंस ऑर्डर' कार्यों पर प्रदर्शन +11.2% सुधर गया।
रोबोट मैनिपुलेशन: OpenVLA और SpatialVLA का उपयोग करके ManipulaTHOR के साथ एकीकरण ने कम सफलता दर (<20%) दिखाई। लेखक इसका कारण एगोसेंट्रिक व्यू (egocentric views) में डोमेन गैप और सिम्युलेटेड एवं अनुमानित रोबोट आर्म किनेमैटिक्स के बीच विसंगति को बताते हैं।

5. महत्व और निष्कर्ष

यह कार्य एक्सट्रीम लॉन्ग-कॉन्टेक्स्ट रीजनिंग के लिए एक आधारभूत बेंचमार्क स्थापित करता है। यह प्रदर्शित करता है कि:

डेटा महत्वपूर्ण है: इन्फरेंस-टाइम कॉन्टेक्स्ट एक्सटेंशन की तुलना में ट्रेनिंग के दौरान लॉन्ग-कॉन्टेक्स्ट डेटा तक पहुंच अधिक प्रभावशाली है।
आर्किटेक्चर मायने रखता है: यदि मॉडल टोकन लोड को संभाल सकता है, तो ग्राउंडेड रीजनिंग के लिए पूर्ण धारणा-क्रिया इतिहास का इंटरलीव्ड मॉडलिंग, मेमोरी रिट्रीवल की तुलना में बेहतर है।
ट्रांसफरेबिलिटी: सिंथेटिक लॉन्ग-होरिज़न वातावरण (टेम्पोरल रीजनिंग, ऑब्जेक्ट ट्रैकिंग) में सीखी गई स्किल्स, फोटोरियलिस्टिक वातावरण में प्रभावी ढंग से ट्रांसफर होती हैं।

शोध पत्र निष्कर्ष निकालता है कि हालांकि वर्तमान SOTA मॉडल्स अभी भी 1M+ टोकन पर तर्क करने के लिए संघर्ष कर रहे हैं, $\infty$ -THOR फ्रेमवर्क अगले पीढ़ी के एम्बोडीड एजेंट्स को चलाने के लिए आवश्यक उपकरण (डेटासेट, बेंचमार्क और ट्रेनिंग रणनीतियाँ) प्रदान करता है जो मजबूत, दीर्घकालिक योजना बनाने में सक्षम हों।