Leveraging Gaze and Set-of-Mark in VLLMs for Human-Object Interaction Anticipation from Egocentric Videos
यह शोधपत्र विजन लार्ज लैंग्वेज मॉडल्स का उपयोग करके ईगोसेंट्रिक वीडियो में मानव-वस्तु अंतःक्रियाओं (human-object interactions) का पूर्वानुमान लगाने के लिए एक नवीन दृष्टिकोण प्रस्तावित करता है, जो विजुअल ग्राउंडिंग के लिए 'सेट-ऑफ-मार्क प्रॉम्प्टिंग', इरादे की समझ के लिए 'गेज़ ट्रजेक्टरी विश्लेषण' और टेम्पोरल डायनेमिक्स के लिए 'इनवर्स एक्सपोनेंशियल सैंपलिंग स्ट्रैटेजी' को एकीकृत करता है, तथा HD-EPIC डेटासेट पर अत्याधुनिक प्रदर्शन प्राप्त करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपने स्मार्ट चश्मा पहना हुआ है जो ठीक वही देख सकता है जो आप देख रहे हैं। आपका लक्ष्य एक ऐसा AI असिस्टेंट बनाना है जो न केवल आपके खाना बनाने या काम करने को देखे, बल्कि आपके कुछ करने से पहले ही यह अनुमान लगा ले कि आप आगे क्या करने वाले हैं।
यह शोध पत्र इस बारे में है कि कैसे उस AI असिस्टेंट को आपके दैनिक जीवन का "मनोवैज्ञानिक" (mind reader) बनने के लिए सिखाया जा रहा है, विशेष रूप से रसोई जैसे व्यस्त माहौल या फैक्ट्री के फर्श जैसी कठिन स्थितियों में। उन्होंने इसे कैसे किया, इसका सरल विवरण यहाँ दिया गया है।
बड़ी समस्या: AI थोड़ा "भ्रमित" है
कल्पना कीजिए कि आपने हाथ में चाकू पकड़ा हुआ है और आप एक चॉपिंग बोर्ड की ओर देख रहे हैं, लेकिन AI केवल चलती-फिरती तस्वीरों का एक धुंधला सा ढेर देख पा रहा है। उसे यह नहीं पता कि आप प्याज काटने वाले हैं, टमाटर स्लाइस करने वाले हैं, या बस चाकू को इधर-उधर घुमा रहे हैं।
वर्तमान AI मॉडल (जिन्हें विज़न लार्ज लैंग्वेज मॉडल्स या VLLMs कहा जाता है) उन बहुत बुद्धिमान छात्रों की तरह हैं जिन्होंने लाखों किताबें पढ़ी हैं लेकिन उन्होंने कभी असलियत में रसोई नहीं देखी है। वे खाना पकाने के बारे में बात तो कर सकते हैं, लेकिन जब आप उन्हें एक वीडियो दिखाते हैं, तो वे अक्सर गलत अनुमान लगाते हैं क्योंकि वे इस बारीक विवरण को मिस कर देते हैं कि आप कहाँ देख रहे हैं और आपका ध्यान किस पर केंद्रित है।
समाधान: तीन महाशक्तियाँ (Superpowers)
लेखकों ने अपने AI को इन कमियों को दूर करने के लिए तीन "महाशक्तियाँ" दीं। इसे एक जासूस के टूलकिट को अपग्रेड करने जैसा समझें।
1. "सेट-ऑफ-मार्क" चश्मा (दृश्य को उभारना)
रूपक (Metaphor): कल्पना कीजिए कि आप एक भीड़ भरे कमरे को देख रहे हैं। किसी एक विशिष्ट व्यक्ति को पहचानना मुश्किल है। अब, कल्पना कीजिए कि कोई हर व्यक्ति के सिर पर एक चमकता हुआ, रंगीन स्टिकर लगा देता है। अचानक, यह देखना आसान हो जाता है कि कौन कौन है।
यह कैसे काम करता है: AI वीडियो फ्रेम लेता है और दृश्य में मौजूद हर वस्तु (बर्तन, अंडा, चम्मच) के चारों ओर स्वचालित रूप से "स्टिकर" (मास्क) लगा देता है। यह AI को एक धुंधले धब्बे के रूप में देखने के बजाय, वस्तुओं को स्पष्ट और लेबल किए हुए रूप में देखने के लिए मजबूर करता है। यह एक अव्यवस्थित स्केच को एक स्पष्ट, लेबल किए गए आरेख (diagram) में बदलने जैसा है।
2. "गेज़ ट्रेल" (आंखों का पीछा करना)
रूपक (Metaphor): क्या आपने कभी किसी जादूगर को देखा है? आप जानते हैं कि वह टोपी से खरगोश निकालने वाला है क्योंकि आपकी आँखें पहले से ही टोपी पर टिकी हुई थीं। इंसान उसी चीज़ को देखते हैं जिसे छूने वाले वे होते हैं।
यह कैसे काम करता है: AI केवल वर्तमान तस्वीर को नहीं देखता; यह आपकी आँखों द्वारा छोड़े गए ब्रेडक्रंब्स (रोटी के टुकड़ों) के निशान का पीछा करता है।
- यदि आपने 2 सेकंड पहले अंडे को देखा, फिर 1 सेकंड पहले पैन को देखा, और अब आप चूल्हे को घूर रहे हैं, तो AI इस पथ को देख लेता है।
- वे इस पथ को वीडियो पर बिंदुओं की एक रेखा के रूप में खींचते हैं, जो नीले (पुराना) से लाल (नया) की ओर फीका पड़ता है।
- यह AI को बताता है: "हे, उपयोगकर्ता इस पथ पर ध्यान केंद्रित कर रहा है। वे संभवतः उस वस्तु के साथ इंटरैक्ट करने वाले हैं जो इस रेखा के अंत में है।"
3. "टाइम-ट्रैवल" फ़िल्टर (सही क्षणों का चयन)
रूपक (Metaphor): कल्पना कीजिए कि आप एक फिल्म के अंत का अनुमान लगाने की कोशिश कर रहे हैं, लेकिन आपको पूरी 2 घंटे की फिल्म सामान्य गति से देखने के लिए मजबूर किया जाता है। यह उबाऊ है और आप मुख्य दृश्य (climax) को मिस कर सकते हैं। इसके बजाय, कल्पना कीजिए कि एक स्मार्ट संपादक है जो धीमे हिस्सों को छोड़ देता है और आपको केवल विस्फोट से ठीक पहले के 10 सेकंड दिखाता है।
यह कैसे काम करता है: AI कंप्यूटर बहुत अधिक डेटा से अभिभूत (overwhelmed) हो जाते हैं यदि आप उन्हें बहुत अधिक वीडियो फ्रेम दिखाते हैं। लेखकों ने एक विशेष "सैंपलिंग" नियम बनाया। फ्रेमों को समान रूप से चुनने के (जैसे हर 1 सेकंड में) बजाय, वे क्लिप के अंत की ओर भारी रूप से भारित (weighted) फ्रेम चुनते हैं।
- वे "इनवर्स एक्सपोनेंशियल सैंपलिंग" नामक गणितीय ट्रिक का उपयोग करते हैं।
- मूल रूप से, वे कहते हैं: "पिछले कुछ सेकंड सबसे महत्वपूर्ण हैं। आइए उन पर बहुत बारीकी से ध्यान दें, और 10 सेकंड पहले जो उबाऊ चीजें हुई थीं उन्हें अनदेखा करें।"
परिणाम: एक स्मार्ट असिस्टेंट
शोधकर्ताओं ने इसका परीक्षण HD-EPIC नामक एक डेटासेट पर किया, जो वास्तव में रसोई में खाना बनाते हुए लोगों के वीडियो का एक विशाल संग्रह है।
- पहले: सबसे अच्छा AI लगभग 21% बार अगली वस्तु का सही अनुमान लगा पाता था।
- बाद में: इन तीन महाशक्तियों (स्टिकर + आई ट्रेल + स्मार्ट टाइम फ़िल्टर) के साथ, AI की सटीकता बढ़कर 27.5% हो गई।
जबकि 27% सुनने में 100% नहीं लग सकता है, लेकिन AI भविष्यवाणी की दुनिया में, 6-7 प्रतिशत अंकों की छलांग एक विशाल उछाल है। यह एक ऐसे छात्र के बीच का अंतर है जो मुश्किल से पास होता है और एक ऐसे छात्र के बीच का अंतर है जो 'A' ग्रेड प्राप्त करता है।
यह क्यों महत्वपूर्ण है
यह केवल यह अनुमान लगाने के बारे में नहीं है कि आप क्या पका रहे हैं। यह तकनीक:
- फैक्ट्रियों में जीवन बचा सकती है: किसी कर्मचारी को गर्म मशीन को छूने से पहले सचेत करके।
- बुजुर्गों की मदद कर सकती है: किसी को बर्तन उबलने से पहले ढक्कन लगाने की याद दिलाकर।
- दृष्टिबाधित लोगों की सहायता कर सकती है: एक दृष्टिबाधित व्यक्ति को बताने में, "आप कॉफी मग की ओर बढ़ रहे हैं, गर्म पैन की ओर नहीं।"
निष्कर्ष
यह शोध पत्र दिखाता है कि AI को वास्तव में मानव व्यवहार को समझने के लिए, हम केवल उसे कच्चा वीडियो (raw video) नहीं दे सकते। हमें उसे महत्वपूर्ण वस्तुओं को हाइलाइट करना, मानव आंखों का पीछा करना, और महत्वपूर्ण क्षणों पर ध्यान केंद्रित करना सिखाना होगा। इन तरीकों को मिलाकर, AI हमारे दैनिक जीवन के लिए एक बहुत बेहतर "असिस्टेंट" बन जाता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।