RegFormer: Transferable Relational Grounding for Efficient Weakly-Supervised Human-Object Interaction Detection
यह शोध पत्र RegFormer को प्रस्तुत करता है, जो एक हस्तांतरणीय रिलेशनल ग्राउंडिंग मॉड्यूल है जो स्थानिक रूप से ग्राउंडेड संकेतों का लाभ उठाकर स्थानीयकृत इंटरेक्शन संकेतों को सीखने के लिए कुशल और सटीक कमजोर-पर्यवेक्षित मानव-वस्तु इंटरेक्शन डिटेक्शन को सक्षम बनाता है, जिससे लागतपूर्ण पेयर एन्यूमरेशन की आवश्यकता समाप्त हो जाती है और पूर्णतः पर्यवेक्षित मॉडलों के तुलनीय प्रदर्शन प्राप्त होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप पार्क की एक व्यस्त तस्वीर देख रहे हैं। आप दर्जनों लोगों, कुत्तों, फ्रिसबी और बेंचों को देखते हैं। आपका लक्ष्य एक सरल प्रश्न का उत्तर देना है: "कौन, किसके साथ क्या कर रहा है?"
उदाहरण के लिए, आप जानना चाहते हैं: "क्या वह व्यक्ति कुत्ते को खिला रहा है?" या "क्या वह व्यक्ति घोड़े की सवारी कर रहा है?"
यह एक कार्य है जिसे ह्यूमन-ऑब्जेक्ट इंटरैक्शन (HOI) डिटेक्शन कहा जाता है।
समस्या: "अनुमान लगाने का खेल" बहुत धीमा और अव्यवस्थित है
अतीत में, कंप्यूटर इसे हल करने के लिए एक बहुत ही भ्रमित जासूस की तरह काम करने की कोशिश करते थे जिसे फोटो में हर एक संभावित संयोजन की जांच करनी पड़ती थी।
- "क्या व्यक्ति A कुत्ते को पकड़े हुए है?" (जांचें)
- "क्या व्यक्ति A बेंच को पकड़े हुए है?" (जांचें)
- "क्या व्यक्ति B फ्रिसबी को पकड़े हुए है?" (जांचें)
- "क्या व्यक्ति B कुत्ते को पकड़े हुए है?" (जांचें)
यदि 10 लोग और 10 वस्तुएं हैं, तो कंप्यूटर को 100 संयोजनों की जांच करनी होगी। यदि फोटो भीड़भाड़ वाली है, तो यह हजारों संयोजन जांचता है। इसमें बहुत समय लगता है (यह धीमा है) और अक्सर गलतियाँ होती हैं। कंप्यूटर सोच सकता है, "ओह, व्यक्ति बेंच को पकड़े हुए है क्योंकि वह उसके पास खड़ा है," भले ही वह उसे छू नहीं रहा हो। इन्हें फॉल्स पॉजिटिव (false positives) कहा जाता है।
इसके अलावा, कंप्यूटर को यह सब पूरी तरह से करने के लिए प्रशिक्षित करने के लिए आमतौर पर एक इंसान को हर व्यक्ति और वस्तु के चारों ओर एक बॉक्स बनाना पड़ता है और लेबल करना पड़ता है कि वे वास्तव में क्या कर रहे हैं। यह अविश्वसनीय रूप से महंगा और समय लेने वाला है, जैसे दुनिया की हर फोटो को लेबल करने के लिए सेना की भर्ती करना।
समाधान: RegFormer (एक "स्मार्ट जासूस")
यह पेपर एक नया AI मॉडल पेश करता है जिसे RegFormer कहा जाता है। इसे एक स्मार्ट जासूस के रूप में सोचें जिसे हर संयोजन को जांचने की आवश्यकता नहीं है। इसके बजाय, यह जल्दी और सटीक रूप से उत्तर खोजने के लिए सुरागों का उपयोग करता है।
यह कैसे काम करता है, यहाँ तीन सरल चरणों में दिया गया है:
1. "ग्राउंडिंग" ट्रिक (सही जगह ढूँढना)
आमतौर पर, AI पूरी तस्वीर को देखता है और भ्रमित हो जाता है। RegFormer अलग है। यह "स्पेशियल ग्राउंडिंग" (Spatial Grounding) नामक एक तकनीक का उपयोग करता है।
कल्पना कीजिए कि आप भीड़ में किसी विशिष्ट व्यक्ति को खोज रहे हैं। पूरी भीड़ को एक साथ देखने के बजाय, आप अपना ध्यान विशेष रूप से इस बात पर केंद्रित करते हैं कि वह व्यक्ति कहाँ खड़ा है। RegForm डिजिटल रूप से ऐसा ही करता है। यह इमेज को देखता है और पूछता है, "इंसान कहाँ है? वस्तु कहाँ है?" और फिर केवल उस स्थान पर ज़ूम इन करता है जहाँ वे दोनों हैं।
यह एक विशेष "क्वेरी" (AI के लिए एक प्रश्न) बनाता जो उस विशिष्ट स्थान से जुड़ी होती है। यह AI को बैकग्राउंड की चीजों से विचलित होने से रोकता है। यह एक इंटरैक्शन पर स्पॉटलाइट डालने जैसा है ताकि AI को पता चले कि उसे ठीक कहाँ देखना है।
2. "केमिस्ट्री चेक" (इंटरैक्टिवनेस स्कोर)
यही इस पेपर का सबसे महत्वपूर्ण हिस्सा है। भले ही AI को एक व्यक्ति और एक कुत्ता मिल जाए, वे शायद इंटरैक्ट (संवाद) न कर रहे हों। हो सकता है कि कुत्ता सो रहा हो और व्यक्ति बस पास से गुजर रहा हो।
RegForm एक "केमिस्ट्री स्कोर" (जिसे इंटरैक्टिवनेस स्कोर कहा जाता है) की गणना करता है।
- उच्च स्कोर (High Score): व्यक्ति और कुत्ता करीब हैं, एक-दूसरे को देख रहे हैं, या छू रहे हैं। AI सोचता है, "हाँ, वे इंटरैक्ट कर रहे हैं!"
- कम स्कोर (Low Score): व्यक्ति दूर है, या कुत्ता दूसरी ओर देख रहा है। AI सोचता है, "नहीं, इस जोड़ी को अनदेखा करें।"
यह एक गेटकीपर की तरह काम करता है। यह उन "नकली" इंटरैक्शन को फिल्टर कर देता है इससे पहले कि AI यह अनुमान लगाने की कोशिश भी करे कि क्रिया क्या है। यह उस समस्या को हल करता है जहाँ कंप्यूटर किसी व्यक्ति को बेंच के पास खड़ा होने के कारण उसे "पकड़े" हुए मान लेता है।
3. "मैजिक ट्रांसफर" (एक बार सीखो, दो बार उपयोग करो)
यहाँ सबसे शानदार हिस्सा है।
- ट्रेनिंग (Training): AI को केवल इमेज-लेवल लेबल का उपयोग करके प्रशिक्षित किया जाता है। इसका मतलब है कि इंसान बस कंप्यूटर को बताते हैं, "इस फोटो में, एक व्यक्ति घोड़े की सवारी कर रहा है।" उन्हें बॉक्स बनाने या यह बताने की आवश्यकता नहीं है कि कौन सा व्यक्ति या घोड़ा। यह एक छात्र को बताने जैसा है, "इस किताब में एक नायक की कहानी है," बिना यह बताए कि वह किस पन्ने पर है।
- टेस्टिंग (Testing): जब AI एक नई फोटो पर काम करने के लिए तैयार होता है, तो यह तुरंत इंस्टेंस-लेवल (instance-level) मोड में स्विच कर सकता है। अब यह सटीक व्यक्ति और सटीक घोड़े की ओर इशारा कर सकता है और कह सकता है, "यह विशिष्ट व्यक्ति इस विशिष्ट घोड़े की सवारी कर रहा है।"
यह एक छात्र की तरह है जो कहानी की किताब से "घोड़े की सवारी करने" की अवधारणा सीखता है, और फिर, बिना किसी अतिरिक्त पढ़ाई के, सीधे अस्तबल में जाकर विशिष्ट सवार और घोड़े की पहचान कर सकता है। यह बहुत सारा समय और पैसा बचाता है क्योंकि आपको हर नए कार्य के लिए AI को फिर से प्रशिक्षित करने की आवश्यकता नहीं होती है।
यह एक बड़ी बात क्यों है?
- यह तेज़ है: क्योंकि यह हर रैंडम संयोजन की जांच नहीं करता है, इसलिए यह पिछले तरीकों की तुलना में बहुत तेज़ी से काम करता है।
- यह सटीक है: "केमिस्ट्री स्कोर" का उपयोग करके, यह उन चीजों के बारे में बेवकूफी भरी गलतियाँ करने से रुक जाता है जो वास्तव में इंटरैक्ट नहीं कर रहे हैं।
- यह सस्ता है: यह सरल, सस्ते लेबल (जैसे "व्यक्ति घोड़े की सवारी कर रहा है") से सीखता है लेकिन जटिल कार्य को करने में सक्षम है।
निचोड़ (Bottom Line)
RegForm एक स्मार्ट, कुशल जासूस की तरह है जो सरल विवरणों से इंटरैक्शन की अवधारणा सीखता है। यह सही लोगों पर ध्यान केंद्रित करने के लिए "स्पॉटलाइट" का उपयोग करता है और नकली इंटरैक्शन को अनदेखा करने के लिए "केमिस्ट्री टेस्ट" का उपयोग करता है। यह इसे बिना किसी महंगे, विस्तृत ट्रेनिंग डेटा के, जटिल दृश्यों को तेज़ी से और सटीक रूप से समझने की अनुमति देता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।