Why Can't I Open My Drawer? Mitigating Object-Driven Shortcuts in Zero-Shot Compositional Action Recognition
यह शोध पत्र ज़ीरो-शॉट कंपोजिशनल एक्शन रिकग्निशन (Zero-Shot Compositional Action Recognition) में ऑब्जेक्ट-ड्रिवन शॉर्टकट्स (object-driven shortcuts) को एक प्रमुख विफलता मोड के रूप में पहचानता है और प्रशिक्षण सह-घटन (training co-occurrences) पर निर्भरता को कम करने और अनदेखे वर्ब-ऑब्जेक्ट संयोजनों (verb-object combinations) में सामान्यीकरण में सुधार करने के लिए को-अकरेंस प्रायर रेगुलराइजेशन (Co-occurrence Prior Regularization) और टेम्पोरल ऑर्डर रेगुलराइजेशन (Temporal Order Regularization) का उपयोग करने वाली एक विधि, RCORE, का प्रस्ताव करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
द "ड्रॉअर" (दराज) समस्या: AI क्रियाओं (Actions) के साथ आलसी क्यों हो जाता है
कल्पना कीजिए कि आप एक रोबोट को दराज खोलने का तरीका सिखा रहे हैं। आप उसे सैकड़ों वीडियो दिखाते हैं: कोई लकड़ी की दराज खोल रहा है, कोई धातु की दराज खोल रहा है, कोई प्लास्टिक की दराज खोल रहा है।
रोबोट बहुत जल्दी एक चीज़ सीख जाता है: "दराज = खोलना।"
अब, आप रोबोट का एक नए परिदृश्य के साथ परीक्षण करते हैं: एक वीडियो जिसमें कोई दराज बंद कर रहा है। रोबोट उस वस्तु (दराज) को देखता है, देखता है कि वह एक दराज है, और तुरंत अनुमान लगाता है, "खोलना!" वह इस बात को नज़रअंदाज़ कर देता है कि व्यक्ति वास्तव में दराज को बंद करने के लिए धक्का दे रहा है। उसने गति (movement) को नहीं देखा; उसने बस उस वस्तु को पहचाना और उसके साथ जुड़े सबसे सामान्य कार्य का अनुमान लगा लिया।
यही वह मुख्य समस्या है जिसे पेपर "Why Can't I Open My Drawer?" हल करता है।
निदान: रोबोट का "चीट कोड" (Shortcut)
लेखकों ने पाया कि वीडियो क्रियाओं को समझने की कोशिश करने वाले AI मॉडल एक "शॉर्टकट" ले रहे हैं। चीजों के समय के साथ कैसे बदलने (temporal reasoning) को देखने के कठिन काम के बजाय, वे एक आलसी ट्रिक पर भरोसा करते हैं: ऑब्जेक्ट-ड्रिवन शॉर्टकट्स (वस्तु-आधारित शॉर्टकट)।
इसे एक छात्र की तरह सोचें जो परीक्षा दे रहा है:
- कठिन तरीका (जो हम चाहते हैं): पूरे प्रश्न को पढ़ना, संदर्भ को समझना, और कहानी के आधार पर उत्तर निकालना।
- शॉर्टकट (जो AI करता है): प्रश्न में "दराज" शब्द देखना और तुरंत "खोलना" लिख देना क्योंकि अभ्यास के दौरान उसने 90% बार यही उत्तर देखा था।
पेपर पहचानता है कि AI इस चीट कोड को क्यों पसंद करता है:
- "फ्रीक्वेंट फ्रेंड" (Frequent Friend) पूर्वाग्रह: ट्रेनिंग डेटा में, कुछ वस्तुएं लगभग हमेशा विशिष्ट क्रियाओं के साथ जुड़ी होती हैं (जैसे, "दराज" आमतौर पर "खोलने" के साथ होती है)। AI यह सीख जाता है कि यदि वह एक दराज देखता है, तो वह वीडियो देखे बिना ही सुरक्षित रूप से "खोलना" का अनुमान लगा सकता है।
- "आसान बनाम कठिन" असंतुलन: किसी वस्तु (एक दराज) को पहचानना आसान है; आप इसे एक सिंगल स्नैपशॉट में कर सकते हैं। एक क्रिया (खोलना बनाम बंद करना) को पहचानना कठिन है; इसके लिए आपको पूरी सीक्वेंस देखनी होगी। AI, आलसी होने के नाते, आसान रास्ता चुनता है।
समाधान: RCORE (द "एंटी-लेज़ी" ट्रेनर)
इसे ठीक करने के लिए, लेखकों ने एक नया ट्रेनिंग फ्रेमवर्क बनाया जिसे RCORE कहा जाता है। वे दो चतुर तकनीकों का उपयोग करते हैं ताकि AI को चीटिंग छोड़ने और वीडियो को ठीक से देखने के लिए मजबूर किया जा सके।
1. CPR: "सरप्राइज गेस्ट" (Co-occurrence Prior Regularization)
उपमा: कल्पना कीजिए कि आप एक शेफ को सिखा रहे हैं। आप उन्हें केवल "मीटबॉल्स के साथ स्पैगेटी" और "ड्रेसिंग के साथ सलाद" बनाने देते हैं। अंततः, शेफ यह मान लेता है कि सभी पास्ता में मीटबॉल्स होने ही चाहिए।
समाधान: CPR "नकली" ट्रेनिंग वीडियो बनाता है। यह किसी दराज खोलने वाले वीडियो को लेता है और डिजिटल रूप से दराज को एक टोस्टर से बदल देता है। अब AI "टोस्टर खोलना" देखता है।
- यह क्यों काम करता है: AI अब पुराने नियम ("दराज = खोलना") पर निर्भर नहीं रह सकता। उसे यह समझने के लिए कि क्या हो रहा है, क्रिया (हाथ खींचना) को देखना होगा, क्योंकि वस्तु (टोस्टर) अब उसे उत्तर नहीं देती।
- "हार्ड नेगेटिव" ट्विस्ट: सिस्टम AI को यह भी बताता है, "यदि आप एक दराज देखते हैं, तो केवल इसलिए 'खोलना' का अनुमान न लगाएं क्योंकि यह आम है। आपको साबित करना होगा कि आपने वीडियो देखा है।" यह AI को सामान्य पैटर्न पर निर्भर रहने के लिए दंडित करता है।
2. TORC: "रिवाइंड बटन" (Temporal Order Regularization)
उपमा: कल्पना कीजिए कि आप एक छात्र को एक व्यक्ति के आगे चलने का वीडियो दिखाते हैं, फिर आप उसे वही वीडियो उल्टा (पीछे चलते हुए) दिखाते हैं। यदि छात्र दोनों के लिए कहता है, "वे आगे चल रहे हैं," तो वे दिशा पर ध्यान नहीं दे रहे हैं, केवल पैरों पर ध्यान दे रहे हैं।
समाधान: TORC वीडियो लेता है, उसे रिवर्स (उल्टा) करता है, और AI से क्रिया की पहचान करने के लिए कहता है।
- लक्ष्य: यदि AI वास्तव में क्रिया को समझ रहा है, तो "खोलना" को उल्टा करने पर "बंद करना" जैसा दिखना चाहिए।
- दंड: यदि AI फॉरवर्ड और रिवर्स वीडियो दोनों के लिए एक ही उत्तर देता है, तो उसे दंड मिलता है। यह AI को यह सीखने के लिए मजबूर करता है कि समय (Time) मायने रखता है। उसे घटनाओं के क्रम को समझना होगा, न कि केवल स्थिर चित्र को।
परिणाम: "आलसी" से "अवलोकनशील" तक
लेखकों ने इसका परीक्षण दो प्रमुख वीडियो डेटासेट (Sth-com और EK100-com) पर किया।
- RCORE से पहले: AI वस्तुओं को पहचानने में बहुत अच्छा था लेकिन विपरीत क्रियाओं (जैसे खोलने बनाम बंद करने) के बीच अंतर करने में बहुत खराब था, खासकर नई, अनदेखी संयोजनों पर। यह अपनी "शॉर्टकट" आदतों में फंसा हुआ था।
- RCORE के बाद: AI ने वास्तव में वीडियो देखना शुरू कर दिया। यह उन क्रियाओं को पहचानने में काफी बेहतर हो गया जिन्हें इसने पहले कभी नहीं देखा था, जिससे यह साबित हुआ कि यह अब केवल वस्तु के आधार पर अनुमान नहीं लगा रहा है।
बड़ी तस्वीर (The Big Picture)
यह पेपर AI शोधकर्ताओं के लिए एक चेतावनी है। यह दिखाता है कि केवल इसलिए कि एक AI टेस्ट में उच्च अंक प्राप्त करता है, इसका मतलब यह नहीं है कि वह "स्मार्ट" है। यह केवल पैटर्न पहचानने और शॉर्टकट लेने में अच्छा हो सकता है।
AI की इस सुस्ती का सामना कराकर—"सरप्राइज" ऑब्जेक्ट स्वैप और "रिवाइंड" टेस्ट के माध्यम से—लेखकों ने AI को वास्तव में यह समझना सिखाया कि चीजें कैसे चलती हैं, न कि केवल यह कि वे क्या हैं। यह एक ऐसा AI बनाने की दिशा में एक महत्वपूर्ण कदम है जो वास्तविक दुनिया में नेविगेट कर सके, जहाँ क्रियाएं जटिल होती हैं और वस्तुएं हमेशा उसी तरह व्यवहार नहीं करतीं जैसी हम उम्मीद करते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।