Seeing What Matters: Visual Evidence-Guided Learning for Improving Egocentric Reasoning (ChinaMM 2026)

कल्पना कीजिए कि एक कंप्यूटर किसी व्यक्ति के सिर पर बँधे कैमरे के माध्यम से दुनिया को समझने की कोशिश कर रहा है। यह एक थिएटर में स्थिर सीट से फिल्म देखने जैसा नहीं है। इस प्रथम-व्यक्ति (first-person) दृश्य में, दुनिया तेज़ी से गुज़रती है, वस्तुएं पलक झपकते ही प्रकट और लुप्त हो जाती हैं, और सबसे महत्वपूर्ण सुराग लेंस के कोने में स्थित एक छोटा सा, क्षणिक विवरण हो सकता है। आर्टिफिशियल इंटेलिजेंस के लिए, यह एक कठिन पहेली है। आधुनिक कंप्यूटर सिस्टम, जिन्हें लार्ज विजन-लैंग्वेज मॉडल कहा जाता है, टेक्स्ट पढ़ने और चित्रों को देखने में अविश्वसनीय रूप से स्मार्ट हैं, लेकिन जब दृश्य अराजक और व्यक्तिगत होता है, तो वे अक्सर संघर्ष करते हैं। वे वास्तव में वहां क्या है, उस पर बारीकी से नज़र रखने के बजाय, जो उन्होंने पहले पढ़ा है उसके आधार पर अनुमान लगाने लगते हैं। वे रसोई देख सकते हैं और मान सकते हैं कि कोई खाना बना रहा है, भले ही वीडियो में वे केवल एक कप धो रहे हों, क्योंकि उनका आंतरिक डेटाबेस उन्हें बताता है कि रसोई खाना बनाने के लिए होती है। स्मृति पर अवलोकन के बजाय यह निर्भरता महत्वपूर्ण स्थितियों में गलतियों की ओर ले जाती है, जैसे कि जब किसी रोबोट को इंसान की मदद करने की आवश्यकता हो या जब किसी पहनने योग्य उपकरण (wearable device) को किसी विकलांग व्यक्ति की सहायता करनी हो।

चीन के शोधकर्ताओं की एक टीम ने इन कंप्यूटर सिस्टम को अनुमान लगाना बंद करने और देखना शुरू करने के लिए सिखाने का एक नया तरीका विकसित किया है। वे अपने इस तरीके को 'विजुअल एविडेंस-गाइडेड लर्निंग' (Visual Evidence-Guided Learning) कहते हैं। इसका मूल विचार सरल लेकिन शक्तिशाली है: कंप्यूटर को उस विशिष्ट भाग की ओर इशारा करने के लिए मजबूर करना जो यह साबित करता है कि उसका उत्तर सही है। अपने प्रयोगों में, उन्होंने पाया कि जब उन्होंने मॉडलों को इन छोटे, निर्णायक दृश्य सुरागों को खोजने और उन पर भरोसा करने के लिए प्रशिक्षित किया, तो कंप्यूटर वीडियो में जो हो रहा था उसे समझने में बहुत बेहतर हो गए। वे सामान्य ज्ञान के आधार पर कहानियाँ बनाना बंद कर दिए और ठीक वही बताने लगे जो वे देख रहे थे। अनुमान लगाने से देखने तक का यह बदलाव मानव गतिविधि की वास्तविक, अव्यवस्थित दुनिया में आर्टिफिशियल इंटेलिजेंस को विश्वसनीय बनाने की दिशा में एक महत्वपूर्ण कदम है।

शोधकर्ताओं ने सबसे पहले यह देखा कि ये स्मार्ट सिस्टम प्रथम-व्यक्ति वीडियो में इतनी बार क्यों विफल होते हैं। उन्होंने दो मुख्य समस्याएं देखीं। पहला, जब दृश्य सुराग कमजोर या पहचानना कठिन होते थे, तो कंप्यूटर अपने भाषा प्रशिक्षण पर निर्भर हो जाता था, और अंतराल को भरने के लिए सामान्य ज्ञान का उपयोग करता था। उदाहरण के लिए, यदि किसी व्यक्ति ने एक ब्रश को एक छोटे कप में डुबोया, तो कंप्यूटर कप को अनदेखा कर सकता था और कह सकता था कि व्यक्ति पेंटिंग कर रहा है, क्योंकि ब्रश आमतौर पर यही करते हैं। दूसरा, कंप्यूटर अक्सर बड़ी तस्वीर से विचलित हो जाता था। यदि वीडियो में एक पूरा आर्ट स्टूडियो दिखाया गया था, तो सिस्टम कमरे के वातावरण पर ध्यान केंद्रित कर सकता था बजाय किसी उपकरण को पकड़े हुए हाथ के विशिष्ट कार्य पर। शोधकर्ताओं ने महसूस किया कि वर्तमान प्रशिक्षण विधियां कंप्यूटर को छोटे विवरणों को अनदेखा करने या अपने आंतरिक ज्ञान पर बहुत अधिक निर्भर रहने के लिए दंडित नहीं करती थीं। कंप्यूटर को देखे जा रहे दृश्य साक्ष्य को महत्व देने के लिए नहीं सिखाया जा रहा था।

इसे ठीक करने के लिए, टीम ने एक प्रशिक्षण पाइपलाइन बनाई जो एक सख्त कोच की तरह काम करती है। उन्होंने मनुष्यों से हर एक वीडियो को मैन्युअल रूप से लेबल करने के लिए नहीं कहा, जो बहुत धीमा और महंगा होता। इसके बजाय, उन्होंने एक स्वचालित प्रणाली बनाई जो वीडियो को स्कैन करती है और सबसे संभावित दृश्य सुरागों को चुनती है। सिस्टम वीडियो फ्रेम और पूछे गए प्रश्न को देखता है, फिर छवि के उस विशिष्ट पैच (patch) की पहचान करता है जो सबसे प्रासंगिक लगता है। यह एक दूसरा पैच भी चुनता है जो समान है लेकिन कम स्पष्ट है, ताकि कंप्यूटर के फोकस का परीक्षण किया जा सके। यह दो संकेतों का एक जोड़ा बनाता है: एक जो सत्य का प्रतिनिधित्व करता है और दूसरा जो एक भ्रमित करने वाला व्यवधान (distraction) है। कंप्यूटर को फिर स्पष्ट संकेत के साथ अपने तर्क को संरेखित करने और भ्रमित करने वाले दूसरे संकेत को अनदेखा करने के लिए प्रशिक्षित किया जाता है।

इस प्रक्रिया का एक महत्वपूर्ण हिस्सा एक फ़िल्टरिंग चरण है जो कंप्यूटर के अंतिम प्रशिक्षण शुरू होने से पहले होता है। शोधकर्ताओं ने महसूस किया कि सभी वीडियो सिखाने के लिए अच्छे नहीं होते हैं। कुछ वीडियो बहुत धुंधले होते हैं, या महत्वपूर्ण क्रिया इतनी छोटी होती है कि स्वचालित प्रणाली द्वारा उसे स्पष्ट रूप से नहीं देखा जा सकता। यदि कंप्यूटर इन खराब उदाहरणों से सीखने की कोशिश करेगा, तो वह केवल भ्रमित होना सीख जाएगा। इसलिए, टीम ने दृश्य सुरागों की गुणवत्ता की जांच करने के लिए एक तंत्र बनाया। यदि कंप्यूटर वीडियो में एक स्पष्ट, निर्णायक वस्तु नहीं खोज पाता है, तो उस उदाहरण को बाहर कर दिया जाता है। वे यह भी देखते हैं कि क्या उदाहरण वास्तव में सीखने के लिए उपयोगी है। यदि कंप्यूटर सवाल का जवाब आसानी से दे सकता है, या यदि वीडियो इतना जटिल है कि स्पष्ट सबक प्रदान नहीं कर सकता, तो उस उदाहरण को भी हटा दिया जाता है। इससे उनके पास वीडियो का एक छोटा, उच्च-गुणवत्ता वाला सेट बचता है जहाँ दृश्य सुराग तीक्ष्ण होते हैं और सबक स्पष्ट होता है।

एक बार जब कंप्यूटर को इस फ़िल्टर किए गए, उच्च-गुणवत्ता वाले डेटा पर प्रशिक्षित किया जाता है, तो वह सुदृढीकरण शिक्षण (reinforcement learning) के एक अंतिम चरण से गुजरता है। यहीं पर कंप्यूटर अच्छे व्यवहार के लिए पुरस्कार प्राप्त करके बेहतर विकल्प चुनना सीखता है। इस नई प्रणाली में, पुरस्कार केवल सही उत्तर पाने के लिए नहीं है, बल्कि सही चीज़ को देखकर सही उत्तर पाने के लिए है। यदि कंप्यूटर उस विशिष्ट वस्तु या क्रिया की पहचान करता है जो उसके उत्तर को सिद्ध करती है, तो उसे पुरस्कार मिलता है। यदि वह सामान्य दृश्य के आधार पर अनुमान लगाता है या अपने आधार बनाने के लिए बहुत सारी असंबंधित वस्तुओं की सूची देता है, तो उसे दंडित किया जाता है। सिस्टम सक्रिय रूप से कंप्यूटर को उनके द्वारा बनाए गए पहले वाले "भ्रमित करने वाले" पैच पर ध्यान केंद्रित करने से रोकता है। यह कंप्यूटर को पूरे दृश्य में अपना ध्यान फैलाने के बजाय, उस एक चीज़ पर ध्यान केंद्रित करने के लिए मजबूर करता है जो वास्तव में मायने रखती है।

इस दृष्टिकोण के परिणाम आश्चर्यजनक थे। शोधकर्ताओं ने प्रथम-व्यक्ति वीडियो को समझने की क्षमता को मापने के लिए डिज़ाइन किए गए कई अलग-अलग बेंचमार्क पर अपने तरीके का परीक्षण किया। उन्होंने अपने नए सिस्टम की तुलना हाल ही में विकसित अन्य उन्नत तरीकों से की। हर परीक्षण में, उनका सिस्टम बेहतर प्रदर्शन करता रहा। यह इस बारे में सवाल पूछने में अधिक सटीक था कि वीडियो में क्या हो रहा था, चाहे कार्य किसी वस्तु की पहचान करना हो, कार्यों के क्रम की योजना बनाना हो, या किसी जटिल दृश्य को समझना हो। सुधार सभी प्रकार के कंप्यूटर मॉडलों में सुसंगत था, जिससे पता चलता है कि यह विधि किसी विशिष्ट मस्तिष्क वास्तक्चर (brain architecture) के उपयोग के बावजूद अच्छी तरह काम करती है। शोधकर्ताओं ने पाया कि सिस्टम विशेष रूप से उन स्थितियों को संभालने में अच्छा था जहाँ महत्वपूर्ण विवरण छोटा था या तेज़ी से हिल रहा था, जो ठीक वही जगह है जहाँ अन्य सिस्टम आमतौर पर विफल होते हैं।

टीम ने यह सत्यापित करने के लिए भी समय लिया कि क्या उनका स्वचालित सिस्टम सही सुराग चुन रहा था। उन्होंने यह देखने के लिए वीडियो के एक नमूने की मैन्युअल रूप से जाँच की कि क्या कंप्यूटर द्वारा चुना गया विजुअल पैच मानव द्वारा सबसे महत्वपूर्ण माने जाने वाले हिस्से से मेल खाता है। उन्होंने पाया कि अधिकांश मामलों में, कंप्यूटर का चुनाव सही था। इसने उन्हें विश्वास दिलाया कि स्वचालित प्रक्रिया विश्वसनीय रूप से उपयोग की जा सकती है। उन्होंने यह भी परीक्षण किया कि विभिन्न सेटिंग्स, जैसे कि फ़िल्टरिंग कितनी सख्त होनी चाहिए, के प्रति सिस्टम कितना संवेदनशील है। उन्होंने पाया कि एक 'स्वीट स्पॉट' (sweet spot) था: यदि फ़िल्टरिंग बहुत ढीली थी, तो कंप्यूटर खराब उदाहरणों से सीखता था; यदि यह बहुत सख्त थी, तो कंप्यूटर के पास सीखने के लिए पर्याप्त डेटा नहीं था। सही संतुलन पाकर, उन्होंने सुनिश्चित किया कि सिस्टम कुशल और प्रभावी दोनों हो।

सबसे दिलचस्प निष्कर्षों में से एक यह था कि इस प्रणाली ने कंप्यूटर के "सोचने" के तरीके को कैसे बदल दिया। जब शोधकर्ताओं ने पुराने मॉडलों की तर्क प्रक्रिया को देखा, तो उन्होंने पाया कि कंप्यूटर अक्सर सामान्य परिवेश के आधार पर निष्कर्ष निकाल लेता था। इसके विपरीत, नई प्रणाली निर्णय लेने से पहले विशिष्ट साक्ष्य खोजने का एक स्पष्ट पैटर्न दिखाती है। उदाहरण के लिए, किसी व्यक्ति द्वारा औज़ार पकड़े जाने के बारे में पूछे जाने पर, पुराना मॉडल पृष्ठभूमि के आधार पर कह सकता है कि "व्यक्ति वर्कशॉप में काम कर रहा है।" नया मॉडल कहेगा कि "व्यक्ति पेचकस पकड़े हुए है," क्योंकि इसे हाथ और औज़ार पर ध्यान केंद्रित करने के लिए प्रशिक्षित किया गया था। वैश्विक संदर्भ (global context) से स्थानीय साक्ष्य (local evidence) की ओर यह बदलाव ही सिस्टम को अधिक भरोसेमंद बनाता है। यह अब केवल इस आधार पर अनुमान नहीं लगा रहा है कि आमतौर पर क्या होता है; यह वास्तव में जो हो रहा है उसकी रिपोर्ट कर रहा है।

शोधकर्ता स्वीकार करते हैं कि उनका तरीका पूर्ण नहीं है। यह तब सबसे अच्छा काम करता है जब महत्वपूर्ण सुराग एक एकल, स्थानीयकृत वस्तु या क्रिया हो जिसे वीडियो के एक छोटे हिस्से में स्पष्ट रूप से देखा जा सके। यदि उत्तर घटनाओं के एक लंबे क्रम पर निर्भर करता जो समय के साथ फैला हुआ है, या यदि महत्वपूर्ण वस्तु किसी चीज़ के पीछे छिपी हुई है, तो सिस्टम अभी भी संघर्ष कर सकता है। उन्होंने यह भी नोट किया कि यदि प्रश्न बहुत अमूर्त (abstract) है, तो स्वचालित प्रणाली को उससे मेल खाने वाला विजुअल सुराग खोजने में कठिनाई हो सकती है। हालाँकि, उन अधिकांश कार्यों के लिए जहाँ एक विशिष्ट दृश्य विवरण ही उत्तर की कुंजी है, उनका दृष्टिकोण एक मजबूत समाधान प्रदान करता है।

यह कार्य आर्टिफिशियल इंटेलिजेंस को वास्तविकता में स्थापित करने की दिशा में एक महत्वपूर्ण कदम है। कंप्यूटर को यह सिखाकर कि वे जो जानते हैं उसके बजाय जो वे देखते हैं उसे महत्व दें, शोधकर्ताओं ने एक ऐसा सिस्टम बनाया है जिसके गलत या बेतुकी गलतियाँ करने की संभावना कम है। एक ऐसी दुनिया में जहाँ रोबोट और स्मार्ट उपकरण अधिक सामान्य होते जा रहे हैं, एक ऐसा सिस्टम होना आवश्यक है जो विश्वसनीय रूप से प्रथम-व्यक्ति दृश्य को देख सके और समझ सके कि वास्तव में क्या हो रहा है। इस पद्धति के लिए महंगे मानव शिक्षकों या भारी मात्रा में नए डेटा की आवश्यकता नहीं है। इसके बजाय, यह एक चतुर फ़िल्टरिंग प्रक्रिया और कंप्यूटर को सत्य की ओर निर्देशित करने के लिए एक नए पुरस्कार तंत्र का उपयोग करता है। जैसे-जैसे तकनीक विकसित होती रहेगी, दृश्य साक्ष्य पर यह ध्यान मशीनों को दुनिया देखने के लिए सिखाने का मानक बन सकता है, जिससे यह सुनिश्चित होगा कि वे जो महत्वपूर्ण है उसे देखें।