Budget-Constrained Embodied Perception: Four Resource Walls and a Pre-Registered Evaluation of Access-Structured Perception on Open Models at less than 31B

कल्पना कीजिए कि आपके घर में एक रोबोटिक सहायक रहता है, जिसे आपके द्वारा आज सुबह इस्तेमाल किए गए एक विशिष्ट मग को खोजने में आपकी मदद करने का काम सौंपा गया है। वह आपके घर में घंटों घूम रहा है, और वीडियो की एक निरंतर धारा रिकॉर्ड कर रहा है। आपके प्रश्न का उत्तर देने के लिए, वह फुटेज के पिछले कुछ सेकंडों को देखकर काम नहीं चला सकता; उसे घंटों के रिकॉर्ड किए गए इतिहास में खोज करनी होगी। हालाँकि, रोबोट के मस्तिष्क की एक सख्त सीमा है: जब उसे निर्णय लेने की आवश्यकता होती है, तो वह केवल जानकारी की एक बहुत छोटी, निश्चित मात्रा को ही प्रोसेस कर सकता है। वह अपनी सक्रिय मेमोरी में पूरा वीडियो स्टोर नहीं कर सकता, और न ही वह हर बार आपके पूछने पर पूरे दिन को फिर से देख सकता है। यह 'एम्बोडीड इंटेलिजेंस' (embodied intelligence) की मौलिक बाधा है: अंतहीन अवलोकनों की धारा और सोचने के सीमित बजट के बीच का अंतर।

वर्षों तक, शोधकर्ताओं ने उम्मीद की कि एआई मॉडल्स को केवल बड़ा बनाने से इस समस्या का समाधान हो जाएगा। प्रचलित विचार यह था कि यदि मॉडल पर्याप्त बड़ा होगा, तो वह स्वाभाविक रूप से वह सब कुछ याद रखने में सक्षम हो जाएगा जो उसने देखा है। लेकिन हालिया प्रयोगों से पता चला है कि सबसे उन्नत मॉडल भी लंबे, निरंतर वीडियो के सामने आने पर संघर्ष करते हैं। वे एक फोटो में बिल्ली को पहचान सकते हैं, लेकिन वे अक्सर यह ट्रैक करने में विफल रहते हैं कि एक घंटे पहले वह बिल्ली कहाँ गई थी। समस्या यह नहीं है कि मॉडल्स में देखने की क्षमता की कमी है; समस्या यह है कि जब समय बीत रहा हो और मेमोरी भर रही हो, तो यह जानने की उनकी कोई रणनीति नहीं है कि उन्हें कहाँ देखना चाहिए।

शोधकर्ताओं की एक टीम ने एक अलग दृष्टिकोण का परीक्षण करने के लिए एक योजना बनाई। एक बड़ा मस्तिष्क बनाने के बजाय, उन्होंने पूछा कि क्या यह बात अधिक महत्वपूर्ण है कि रोबोट अपनी यादों तक कैसे पहुँचता है, बजाय इसके कि मस्तिष्क का आकार क्या है। उन्होंने प्रस्तावित किया कि एक सफल एजेंट को दो अलग-अलग उपकरणों की आवश्यकता है जो मिलकर काम करें: जो घटित हुआ है उसका एक संक्षिप्त सारांश (एक डायरी की तरह) और हर क्षण का एक सटीक, खोजने योग्य संग्रह (तस्वीरों के पुस्तकालय की तरह)। महत्वपूर्ण रूप से, एजेंट को पूछे गए विशिष्ट प्रश्न के आधार पर यह चुनने में सक्षम होना चाहिए कि उसे अपनी डायरी पढ़ने या पुस्तकालय को खोजने में अपने बजट का कितना हिस्सा खर्च करना है। उन्होंने इस प्रणाली का परीक्षण करने के लिए एक सिस्टम बनाया, जिसमें मौजूदा रोबलेट ब्रेन्स को एक नए लॉजिक लेयर के साथ लपेटा गया था जो बिना किसी री-ट्रेनिंग के इन संसाधनों का प्रबंधन करता था।

शोधकर्ताओं ने अपने सिस्टम का परीक्षण एक कृत्रिम वातावरण पर किया, जिसे एक इमारत के माध्यम से लंबी सैर की नकल करने के लिए डिज़ाइन किया गया था, जहाँ रोबोट को उन वस्तुओं के बारे में सवालों के जवाब देने थे जिन्हें उसने घंटों पहले देखा था। उन्होंने अपने नए सिस्टम की तुलना कई मानक तरीकों से की, जिनमें वे मॉडल शामिल थे जो केवल फ्रेमों का यादृच्छिक चयन देखते थे, वे मॉडल जो सब कुछ एक छोटे टेक्स्ट में सारांशित करने की कोशिश करते थे, और वे मॉडल जो बिना किसी चलते हुए सारांश के पुस्तकालय में खोज करते थे। उन्होंने सात अलग-अलग ओपन-सोर्स मॉडल्स पर ये परीक्षण किए, जो छोटे से लेकर बड़े तक थे, और इन सभी पर निर्णय लेने के लिए 4,096 "टोकन" (सूचना की इकाइयाँ) की सख्त सीमा लागू की गई।

परिणाम चौंकाने वाले लेकिन सूक्ष्म थे। नए सिस्टम ने, जिसने बुद्धिमानी से रोबोट का ध्यान केंद्रित किया, हर उस पद्धति से कहीं बेहतर प्रदर्शन किया जिसने पूछे गए प्रश्न के आधार पर अपनी पहुँच को निर्धारित नहीं किया था। जब 300 फ्रेमों की धारा में छिपी किसी विशिष्ट वस्तु को खोजने के लिए कहा गया (एपिसोडिक रिट्रीवल टास्क), तो नया सिस्टम 75-94% बार सफल रहा, जबकि सबसे अच्छे वैकल्पिक तरीकों ने 20% से भी कम सफलता हासिल की। शोधकर्ताओं ने पाया कि सही प्रश्न पूछने और फिर सही फ्रेम को खोजने की क्षमता ही निर्णायक कारक थी। वास्तव में, एक मानक मॉडल को काम करने के लिए चार गुना अधिक मेमोरी देने से उतना लाभ नहीं हुआ जितना कि नए सिस्टम को उसकी सीमित मेमोरी का उपयोग करने का एक स्मार्ट तरीका देने से हुआ। छोटे बजट वाले स्मार्ट सिस्टम ने बड़े बजट वाले मूर्ख सिस्टम को हरा दिया।

हालाँकि, कहानी एक पूर्ण विजय के साथ समाप्त नहीं हुई। शोधकर्ताओं ने अपने सिस्टम को तीन भागों के साथ डिज़ाइन किया था: सारांश, संग्रह, और वह स्मार्ट राउटर जो उनके उपयोग का निर्णय लेता है। जब उन्होंने प्रत्येक भाग का व्यक्तिगत रूप से परीक्षण किया, तो उन्हें एक आश्चर्यजनक दोष का पता चला। स्मार्ट राउटर और संग्रह ही असली नायक थे; सारा भारी काम उन्हीं ने किया। लेकिन सारांश घटक, जिसे घटनाओं का एक चलता हुआ लेखा-जोखा रखना था, वास्तव में सिस्टम को बदतर बना रहा था। जब उन्होंने सारांश को हटा दिया, तो जटिल कार्यों पर सिस्टम का प्रदर्शन काफी बढ़ गया। वास्तव में, पूर्ण सिस्टम ने परीक्षण किए गए सातों मॉडल्स पर 'आर्काइव-ओनली' बेसलाइन से बेहतर प्रदर्शन नहीं किया। इसका कारण यह था कि रोबोट का मस्तिष्क सैकड़ों चरणों के दौरान एक सटीक चलता हुआ हिसाब बनाए रखने में सक्षम नहीं था; सारांश में होने वाली छोटी त्रुटियाँ जमा होकर सिस्टम को भ्रमित कर रही थीं। एक बेहतर प्रदर्शन करने वाला सिस्टम, जो लाइव सारांश के बजाय ऑफलाइन टेक्स्ट इंडेक्स पर निर्भर था, वास्तव में उनके अपने डिज़ाइन से बेहतर रहा।

यह विफलता मुख्य विचार की हार नहीं थी, बल्कि एक महत्वपूर्ण सुधार था। अध्ययन ने सिद्ध किया कि सख्त समय और मेमोरी की सीमा के तहत, सूचना तक पहुँचने की संरचना, मॉडल के आकार या उपलब्ध मेमोरी की मात्रा से अधिक महत्वपूर्ण है। रोबोट को सब कुछ देखने की आवश्यकता नहीं है; उसे बस यह जानने की आवश्यकता है कि कहाँ देखना है। शोधकर्ताओं ने निष्कर्ष निकाला कि एम्बोडिड एजेंट्स का भविष्य बड़े मस्तिष्क बनाने में नहीं, बल्कि सूचना तक पहुँचने के स्मार्ट तरीके बनाने में है। सबसे प्रभावी रणनीति सही सबूत खोजने पर बजट खर्च करना है, न कि एक साथ पूरी दुनिया को मेमोरी में रखने की कोशिश करना। हालाँकि उनके विशिष्ट सारांश डिजाइन विफल रहा, लेकिन मूल सिद्धांत कायम रहा: अनंत डेटा और सीमित समय की दुनिया में, यह जानना कि किसे अनदेखा करना है, यह भी उतना ही महत्वपूर्ण है जितना कि यह जानना कि किसे याद रखना है।