Structured Relational Reasoning for Group Activity Assessment
ProGraD एक हल्का, संरचित रिलेशनल-रीज़निंग फ्रेमवर्क है जो ग्रुप-कॉन्टेक्स्ट ट्रांसफार्मर और सीखने योग्य प्रॉम्प्ट्स को पेश करके एक्टर-ग्रुप एसोसिएशंस को प्रभावी ढंग से मॉडल करता है, जिससे विज़न फाउंडेशन मॉडल्स को ग्रुप एक्टिविटी डिटेक्शन पर नाईव रूप से लागू करने की सीमाओं को दूर किया जाता है और काफी कम प्रशिक्षण योग्य मापदंडों (ट्रेनैबल पैरामीटर्स) के साथ अत्याधुनिक प्रदर्शन प्राप्त किया जाता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक व्यस्त कॉफी शॉप में प्रवेश कर रहे हैं। आप देखते हैं कि लोग मेजों पर बैठे हैं, लाइनों में खड़े हैं, और छोटे समूहों में बातचीत कर रहे हैं। आपका मस्तिष्क तुरंत दो काम करता है: यह पता लगाता है कि कौन सा व्यक्ति किस समूह में है, और यह अनुमान लगाता है कि वह समूह मिलकर क्या कर रहा है (जैसे "पढ़ाई करना," "झगड़ा करना," या "लाइन में प्रतीक्षा करना")।
यह शोध पत्र, जिसे ProGraD कहा जाता है, कंप्यूटर को बिल्कुल यही करने के लिए प्रशिक्षित करने के बारे में है। यह "ग्रुप एक्टिविटी डिटेक्शन" (GAD) को समझने का एक नया तरीका है—यानी वीडियो में सामाजिक समूहों को पहचानने और यह समझने की क्षमता कि वे क्या कर रहे हैं।
यहाँ इसकी निर्माण प्रक्रिया की कहानी दी गई है, जिसे सरल उपमाओं का उपयोग करके समझाया गया है:
1. समस्या: वह "सुपर-एक्सपर्ट" जो मुख्य बात ही भूल जाता है
शोधकर्ताओं ने एक बहुत ही शक्तिशाली AI टूल का उपयोग किया जिसे विज़न फाउंडेशन मॉडल (VFM) कहा जाता है। इस मॉडल को एक सुपर-एक्सपर्ट आर्ट क्रिटिक (कला समीक्षक) के रूप में समझें जिसने लाखों पेंटिंग्स का अध्ययन किया है। यह व्यक्तिगत वस्तुओं (जैसे कुर्सी, कप, या किसी व्यक्ति का चेहरा) को पहचानने में अद्भुत है।
टीम ने इस "सुपर-एक्सपर्ट" को मौजूदा प्रणालियों में जोड़ने की कोशिश की जो समूहों को समझने का प्रयास करती हैं। उन्होंने सोचा, "यदि AI वस्तुओं को देखने में इतना स्मार्ट है, तो यह समूहों को देखने में भी बेहतरीन होना चाहिए, है ना?"
आश्चर्य: इसने वास्तव में चीजों को और खराब कर दिया।
- उपमा: कल्पना कीजिए कि आपने एक अराजक खेल के मैदान (playground) को संभालने के लिए एक विश्व प्रसिद्ध कला समीक्षक को काम पर रखा है। समीक्षक गेंद के रंग या स्लाइड के आकार को पहचानने में तो माहिर है, लेकिन वह यह नहीं समझ पाता कि टैग खेलने वाले बच्चे एक "टीम" हैं या खिलौने के लिए बहस कर रहे बच्चे एक "संघर्ष" (conflict) में हैं। समीक्षक वस्तुओं पर बहुत अधिक ध्यान केंद्रित करता है और सामाजिक कहानी को मिस कर देता है।
- परिणाम: जब उन्होंने पुराने सिस्टम को इस नए "सुपर-एक्सपर्ट" से बदला, तो AI भ्रमित हो गया। उसे समझ आया कि केवल वस्तुओं के लिए बेहतर "आंख" होना पर्याप्त नहीं था; असली समस्या यह थी कि सिस्टम लोगों के बीच के संबंधों की व्याख्या कैसे करता है।
2. समाधान: "ग्रुप डिटेक्टिव" (ProGraD)
इसे ठीक करने के लिए, टीम ने ProGraD बनाया। पूरे "सुपर-एक्सपर्ट" को फिर से प्रशिक्षित करने के बजाय (जो महंगा और धीमा है), उन्होंने एक्सपर्ट को स्थिर (frozen) रखा और उसके ऊपर एक छोटा, स्मार्ट लेयर जोड़ा।
ProGraD को उस कला समीक्षक के साथ काम करने वाले एक विशेष जासूस (specialized detective) के रूप में समझें।
- द फ्रोजन बैकबोन (द आर्ट क्रिटिक): यह हिस्सा बिल्कुल वैसा ही रहता है। यह केवल वीडियो को देखता है और कहता है, "यहाँ एक व्यक्ति है, यहाँ एक मेज है, यहाँ एक कप है।"
- द लर्नबल ग्रुप प्रॉम्प्ट्स (डिटेक्टिव के नोट्स): टीम ने जासूस को "स्टिकी नोट्स" (जिन्हें प्रॉम्प्ट्स कहा जाता है) का एक सेट दिया। ये नोट्स समीक्षक से विशिष्ट प्रश्न पूछते हैं जैसे, "क्या यह व्यक्ति किसी समूह का हिस्सा है?" या "क्या ये दो लोग आपस में बातचीत कर रहे हैं?" यह समीक्षक को उन सामाजिक संकेतों को खोजने के लिए निर्देशित करता है जिन्हें वह आमतौर पर अनदेखा कर देता है।
- द ग्रुपकॉन्टेक्स्ट ट्रांसफॉर्मर (डिटेक्टिव का दिमाग): यह ProGraD का मुख्य हिस्सा है। यह एक हल्का, दो-चरणीय तर्क इंजन (reasoning engine) है:
- ग्रुपिंग अटेंशन: यह पूछता है, "कौन किसके साथ है?" यह सभी लोगों को देखता है और केवल इस आधार पर नहीं कि वे कितने करीब खड़े हैं, बल्कि इस आधार पर टीमें बनाना शुरू करता है कि वे क्या कर रहे हैं।
- कॉन्टेक्स्टुअल अटेंशन: यह पूछता है, "पूरा दृश्य किस बारे में है?" यह पूरे बैकग्राउंड (जैसे कतार या झगड़े वाला क्षेत्र) को देखता है ताकि समूह की गतिविधि की पुष्टि करने में मदद मिल सके।
3. यह क्यों विशेष है
- दक्षता (Efficiency): पुराने सिस्टम AI के पूरे "दिमाग" को फिर से प्रशिक्षित करने की कोशिश करते थे, जो एक घर को ठीक करने के लिए पूरा घर फिर से बनाने जैसा है। ProGraD केवल नल (decoder) को बदलता है और कुछ स्मार्ट निर्देश (prompts) जोड़ता है। यह पिछले तरीकों की तुलना में आधे से भी कम कंप्यूटिंग पावर का उपयोग करता है।
- सटीकता (Accuracy): "Café" नामक एक टेस्ट डेटासेट पर (जो एक कॉफी शॉप में लोगों द्वारा की जाने वाली विभिन्न गतिविधियों से भरा है), ProGraD काफी बेहतर था। इसने पिछले सर्वोत्तम तरीकों की तुलना में समूहों और उनकी गतिविधियों को बहुत अधिक बार सही ढंग से पहचाना।
- "आउटलेयर्स" (Outliers) को समझना: कभी-कभी, एक व्यक्ति किसी समूह के पास खड़ा होता है लेकिन वह उसका हिस्सा नहीं होता (शायद वह बस किसी दोस्त का इंतजार कर रहा है)। पुराने सिस्टम अक्सर उन्हें गलती से समूह में शामिल कर लेते थे। ProGraD यह कहने में बेहतर है कि, "हे, वह व्यक्ति एक आउटलेयर है; वह समूह का हिस्सा नहीं है।"
4. यह क्रिया में कैसा दिखता है
पेपर "अटेंशन मैप्स" (हीटमैप जो दिखाते हैं कि AI कहाँ देख रहा है) दिखाता है।
- पुराना सिस्टम: AI हर जगह देखता है, मेजों या दीवारों जैसी पृष्ठभूमि की वस्तुओं से विचलित हो जाता है।
- ProGraD: AI लोगों और उनके बीच की बातचीत पर पूरी तरह ध्यान केंद्रित करता है। यदि कोई समूह लड़ रहा है, तो AI उनके हाथों और चेहरों को देखता है। यदि कोई समूह पढ़ाई कर रहा है, तो वह उनकी किताबों और साझा स्थान को देखता है। यह अप्रासंगिक बैकग्राउंड को अनदेखा कर देता है।
सारांश
यह पेपर सिद्ध करता है कि AI को केवल एक "बेहतर आंख" देने मात्र से मानव समूहों को समझना संभव नहीं है। आपको यह समझने के लिए एक बेहतर सोचने का तरीका भी चाहिए कि लोग एक-दूसरे से कैसे संबंधित हैं।
ProGraD एक नया फ्रेमवर्क है जो एक शक्तिशाली, प्री-ट्रेंड AI लेता है, उसे निर्देशित करने के लिए कुछ "स्मार्ट नोट्स" जोड़ता है, और यह पता लगाने के लिए एक हल्का "डिटेक्टिव" लेयर उपयोग करता है कि कौन किस समूह में है और वे क्या कर रहे हैं। यह इसे पहले की तुलना में तेज़, सस्ता और अधिक सटीक तरीके से करता है, विशेष रूप से लोगों के बीच के संबंधों पर ध्यान केंद्रित करके, न कि केवल लोगों पर।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।