GMoT: Gated Motion-Aware Tokenization for Fine-Grained Micro-Gesture Video Reasoning with Multimodal LLMs
यह शोध पत्र GMoT को प्रस्तुत करता है, जो एक गेटेड मोशन-अवेयर टोकनाइज़ेशन मॉड्यूल है जिसे एक प्रोग्रेसिव रिवॉर्ड-गाइडेड पॉलिसी रिफाइनमेंट प्रतिमान के साथ संयोजित किया गया है, ताकि स्पार्स काइनेमैटिक एविडेंस और एनाटॉमिकल ग्राउंडिंग को स्पष्ट रूप से डिस्टिल करके मल्टीमॉडल लार्ज लैंग्वेज मॉडल्स की सूक्ष्म-जेस्चर वीडियो रीजनिंग करने की क्षमता को बढ़ाना है, जिससे iMiGUE और SMG बेंचमार्क पर स्टेट-ऑफ-द-आर्ट प्रदर्शन प्राप्त होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट को मानव शारीरिक भाषा (body language) समझना सिखाने की कोशिश कर रहे हैं। आप उसे एक व्यक्ति का वीडियो दिखाते हैं, और आप चाहते हैं कि रोबोट आपको ठीक-ठीक बताए कि वह व्यक्ति एक सूक्ष्म हलचल के आधार पर क्या महसूस कर रहा है या क्या सोच रहा है। यह कंप्यूटर विजन (computer vision) की दुनिया है, जो विज्ञान की एक ऐसी शाखा है जहाँ कंप्यूटर दृश्य दुनिया को "देखना" और उसकी व्याख्या करना सीखते हैं। आमतौर पर, ये कंप्यूटर दौड़ने, कूदने या हाथ हिलाने जैसे बड़े, स्पष्ट कार्यों को पहचानने में बहुत अच्छे होते हैं। लेकिन इस दुनिया में एक पेचीदा कोना है जिसे माइक्रो-जेस्चर (micro-gestures) कहा जाता है। ये वे अति-सूक्ष्म गतिविधियाँ हैं जो हम बिना सोचे-समझे करते हैं: उंगली का एक हल्का सा फड़कना, कंधे का मामूली सा सिकुड़ना, या होंठों का क्षणिक खिंचाव। ये इतनी तेज़ी से और इतने छोटे स्थान में होते हैं कि इन्हें पहचानना आसान नहीं होता।
समस्या यह है कि आज के सबसे स्मार्ट वीडियो पढ़ने वाले कंप्यूटर, जिन्हें मल्टीमॉडल लार्ज लैंग्वेज मॉडल्स (MLLMs) कहा जाता है, उन छात्रों की तरह हैं जो पाठ्यपुस्तकें पढ़ने में तो बहुत अच्छे हैं लेकिन लाइव नाटक देखने में बहुत खराब हैं। वे बड़े चित्र—जैसे स्थिर मुद्रा (static pose), पृष्ठभूमि, या व्यक्ति के चेहरे—पर इतना अधिक ध्यान केंद्रित करते हैं कि वे उन छोटी, क्षणिक सुरागों को मिस कर देते हैं जो वास्तव में सच्चाई प्रकट करते हैं। वे एक मुड़ी हुई बाहों वाले व्यक्ति को देखकर "क्रोधित" होने का अनुमान लगा सकते हैं, लेकिन उस तथ्य को पूरी तरह से अनदेखा कर देते हैं कि व्यक्ति ने अभी-अभी एक बार अपनी उंगली थपथपाई है, जिसका अर्थ "बेचैनी" हो सकता है। यह शोध पत्र इन शक्तिशाली AI मॉडलों को यह सिखाने की चुनौती से निपटता है कि वे बड़े चित्र के आधार पर अनुमान लगाना बंद करें और उन छोटे, चलते-फिरते विवरणों पर ध्यान देना शुरू करें जो वास्तव में मायने रखते हैं।
समस्या: "स्टैटिक स्नैपशॉट" का जाल
एक मानक वीडियो AI को एक ऐसे फोटोग्राफर के रूप में सोचें जो किसी फिल्म का एक एकल, धुंधला स्नैपशॉट लेता है और उसके आधार पर कहानी का अनुमान लगाने की कोशिश करता है। यदि फिल्म किसी व्यक्ति के घबराहट में कंधे हिलाने के बारे में है, तो एक मानक AI केवल एक स्थिर खड़े व्यक्ति को देखेगा और "खड़ा होना" मान लेगा। वह गति (motion) को मिस कर देता है क्योंकि वह वीडियो को बहुत धीरे-धीरे देखता है या सब कुछ औसत (average) कर देता है, जिससे सूक्ष्म, तेज़ गतिविधियाँ मिट जाती हैं।
इस शोध पत्र के लेखक, ताओरुई वांग और उनकी टीम ने देखा कि मौजूदा AI मॉडल "जल्दबाजी में अनुमान" लगा रहे थे। वे मुड़ी हुई बाहों वाली मुद्रा को देखते ही तुरंत निर्णय ले लेते थे कि व्यक्ति "रक्षात्मक" है, और उस सूक्ष्म उंगली के थपथपाने को अनदेखा कर देते थे जो कुछ पूरी तरह से अलग संकेत दे सकता था। मॉडल स्थिर दिखावट (व्यक्ति कैसा दिखता है) पर निर्भर थे न कि गतिज साक्ष्य (kinematic evidence - वह कैसे चला) पर। इससे भी बुरा यह था कि, क्योंकि मॉडलों को केवल अंतिम उत्तर सही होने के लिए पुरस्कृत किया जाता था, वे कभी-कभी "हैलुसिनेट" (hallucinate) भी करते थे—यानी वे अपने अनुमान के लिए एक फैंसी दिखने वाला कारण बना लेते थे जो सुनने में तार्किक लगता था लेकिन उसका वास्तविक वीडियो से कोई लेना-देना नहीं था।
समाधान: GMoT (द "मोशन डिटेक्टिव")
इसे ठीक करने के लिए, टीम ने GMoT (गेटेड मोशन-अवेयर टोकनाइजेशन) नामक एक नया टूल बनाया। कल्पना कीजिए कि आपके पास एक बहुत बुद्धिमान लेकिन थोड़ा आलसी जासूस (AI मॉडल) है जो एक रहस्य सुलझाने की कोशिश कर रहा है। जासूस आमतौर पर अपराध स्थल पर बस एक नज़र डालता है और अनुमान लगा लेता है। GMoT एक विशेष सहायक की तरह है जो जासूस को एक आवर्धक लेंस (magnifying glass) और एक हाइलाइटर थमाता है।
यहाँ बताया गया है कि GMoT चरण-दर-चरण कैसे काम करता है:
- क्रिया पर ध्यान केंद्रित करना (Spotlighting the Action): पूरे वीडियो फ्रेम को समान रूप से देखने के बजाय, GMoT एक स्पॉटलाइट की तरह काम करता है। यह वीडियो को स्कैन करता है ताकि यह पता लगाया जा सके कि हलचल ठीक कहाँ हो रही है (जैसे एक विशिष्ट उंगली या कंधा) और यह उबाऊ बैकग्राउंड शोर को अनदेखा कर देता है।
- गति को अलग करना (Freezing the Motion): यह वीडियो के दो लगातार फ्रेम लेता है और एक को दूसरे से घटा देता है। यह एक धावक की दो तस्वीरें लेने और दूसरी से पहली को घटाने जैसा है ताकि केवल "धुंधली गति" ही बचे। यह गति की शुद्ध ऊर्जा को अलग करता है, व्यक्ति के शरीर के स्थिर हिस्सों को हटा देता है।
- "गेटेड" इंजेक्शन (The "Gated" Injection): टीम को डर था कि इस नए "मोशन इन्फॉर्मेशन" को जोड़ने से AI का मौजूदा मस्तिष्क भ्रमित हो सकता है। इसलिए, उन्होंने एक "गेट" (नियंत्रण स्विच) बनाया। शुरुआत में, गेट लगभग बंद होता है, जिससे AI जो पहले से जानता है उस पर निर्भर रहता है। जैसे-जैसे AI सीखता है, गेट धीरे-धीरे खुलता है, जिससे AI को बेहतर अनुमान लगाने में मदद करने के लिए सही मात्रा में मोशन क्ल्यू अंदर आने दिए जाते हैं, ताकि वह अभिभूत (overwhelm) न हो जाए।
प्रशिक्षण: केवल अनुमान नहीं, बल्कि समझाने के लिए सीखना
टीम केवल यह नहीं चाहती थी कि AI सही उत्तर दे; वे चाहते थे कि वह वास्तव में जो उसने देखा उसके आधार पर अपने तर्क की व्याख्या करे। इसके लिए, उन्होंने चार चरणों वाली एक विशेष प्रशिक्षण प्रक्रिया बनाई:
- वॉर्म-अप (Warm-up): उन्होंने नए GMoT मॉड्यूल को पहले सामान्य वीडियो पर गति (motion) खोजना सिखाया।
- डोमेन अडैप्टेशन (Domain Adaptation): उन्होंने इसे हजारों माइक्रो-जेस्चर वीडियो दिखाए ताकि यह सूक्ष्म गतिविधियों की विशिष्ट भाषा सीख सके।
- चेन-ऑफ-थॉट (CoT) लर्निंग: उन्होंने AI को उत्तर देने से पहले अपने विचार लिखने के लिए प्रशिक्षित किया। केवल "कंधे हिलाना" कहने के बजाय, इसे कहना था, "मैं कंधों को तेजी से ऊपर-नीचे होते देख रहा हूँ, जो दर्शाता है कि..."
- रिवॉर्ड-गाइडेड रिफाइनमेंट (Reward-Guided Refinement): यह अंतिम पॉलिश थी। उन्होंने एक स्कोरिंग सिस्टम बनाया जो "आलसी अनुमान" (बिना देखे सबसे आम उत्तर चुनना) के लिए AI को दंडित करता था और वास्तविक गति पर ध्यान केंद्रित करने के लिए पुरस्कृत करता था। यदि AI बैकग्राउंड या व्यक्ति के मूड के बारे में कोई कहानी बनाने की कोशिश करता बिना गति देखे, तो उसे दंड मिलता। यदि वह चलते हुए शरीर के विशिष्ट हिस्से की ओर इशारा करता, तो उसे पुरस्कार मिलता।
परिणाम: अदृश्य को देखना
टीम ने अपने नए सिस्टम का परीक्षण माइक्रो-जेस्चर के दो प्रमुख डेटासेट्स पर किया: iMiGUE और SMG।
- iMiGUE डेटासेट पर, उनके मॉडल (जो Qwen3-VL-8B बैकबोन पर आधारित है) ने 67.32% सटीकता प्राप्त की। यह एक बड़ी छलांग थी, जिसने बेस मॉडल में 6.80 अंकों का सुधार किया।
- SMG डेटासेट पर, इसने 73.11% सटीकता प्राप्त की, जो बेस मॉडल की तुलना में 3.11 अंकों का सुधार है।
ये संख्याएं बताती हैं कि मॉडल उन क्षणिक, सूक्ष्म गतिविधियों को पकड़ने में काफी बेहतर है जिन्हें अन्य मॉडल मिस कर देते हैं। लेकिन टीम केवल स्कोर पर नहीं रुकी। उन्होंने यह मापने का एक नया तरीका पेश किया कि क्या AI वास्तव में वास्तविकता में "ग्राउंडेड" (grounded) है। उन्होंने जांचा कि क्या AI की व्याख्या ने सही शरीर के अंग (जैसे "होंठ" या "कंधे") का उल्लेख किया जब उसने सही उत्तर दिया। वे इसे बॉडी-रीजन ग्राउंडिंग (BRG) रिकॉल कहते हैं। उनका मॉडल दिखा कि वह केवल अनुमान नहीं लगा रहा था; वह वास्तव में सही जगहों को देख रहा था।
यह क्यों महत्वपूर्ण है
यह शोध पत्र सुझाव देता है कि AI के लिए मानव व्यवहार को वास्तव में समझने के लिए, उसे स्थिर स्नैपशॉट्स पर निर्भर रहना छोड़ना होगा और गति के "झिलमिलाहट" (flicker) पर ध्यान देना शुरू करना होगा। एक ऐसा सिस्टम बनाकर जो स्पष्ट रूप से इन सूक्ष्म, क्षणिक सुरागों की तलाश करता है और AI को उनके आधार पर अपने तर्क की व्याख्या करने के लिए मजबूर करता है, शोधकर्ताओं ने एक ऐसा मॉडल तैयार किया है जिसके भ्रमित (hallucinate) होने की संभावना कम है और सूक्ष्म, अनकही मानवीय शारीरिक भाषा को समझने की संभावना अधिक है। यह एक ऐसे AI की ओर एक कदम है जो केवल यह नहीं देखता कि हम कैसे दिखते हैं, बल्कि यह भी समझता है कि हम क्या कर रहे हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।