RefereeBench: Are Video MLLMs Ready to be Multi-Sport Referees
यह शोध पत्र RefereeBench को प्रस्तुत करता है, जो कि 11 खेलों और 6,000 से अधिक QA (प्रश्न-उत्तर) युग्मों वाला पहला बड़े पैमाने का बेंचमार्क है, जो MLLMs को खेल रेफरी के रूप में मूल्यांकन करने के लिए बनाया गया है, जो यह प्रकट करता है कि अत्याधुनिक मॉडल भी नियमों के अनुप्रयोग और टेम्पोरल ग्राउंडिंग (सामयिक आधार) के साथ संघर्ष करते हैं, और केवल लगभग 60% सटीकता प्राप्त करते हैं, जो वर्तमान क्षमताओं और विश्वसनीय स्वचालित निर्णय प्रक्रिया के बीच के महत्वपूर्ण अंतर को उजागर करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक सुपर-स्मार्ट रोबोट है जिसने अब तक की हर फिल्म, टीवी शो और होम वीडियो देखी है। वह किसी भी वीडियो में क्या हो रहा है, इसे लगभग किसी भी अन्य व्यक्ति से बेहतर तरीके से समझा सकता है। लेकिन अब, आप उससे कुछ बहुत कठिन काम करने को कहते हैं: एक स्पोर्ट्स रेफरी बनना।
यह पेपर, जिसका शीर्षक "RefereeBench" है, इन AI रोबोटों के लिए एक विशाल, उच्च-दांव वाली परीक्षा की तरह है, यह देखने के लिए कि क्या वे फुटबॉल के मैदान, बास्केटबॉल कोर्ट या आइस रिंक में सीटी बजाने के लिए तैयार हैं।
यहाँ शोधकर्ताओं द्वारा किए गए कार्यों का विवरण दिया गया है, कुछ सरल उपमाओं (analogies) का उपयोग करते हुए:
1. समस्या: "मूवी बफ" बनाम "रेफरी"
वर्तमान AI मॉडलों (MLLMs) को अत्यधिक उत्साही मूवी बफ्स (फिल्म प्रेमी) के रूप में सोचें। वे यह कहने में माहिर हैं, "हे, मैं एक आदमी को दौड़ते हुए देख रहा हूँ!" या "ओह, यह एक लड़ाई जैसा लग रहा है!"
लेकिन एक रेफरी होने का मतलब सिर्फ चीजों को देखना नहीं है; यह उन्हें नियमों की किताब के आधार पर परखना है।
- मूवी बफ: "उस आदमी ने दूसरे आदमी को उसकी छड़ी से मारा।"
- रेफरी: "वह एक 'स्लैशिंग' फाउल था क्योंकि उसने कमर के ऊपर छड़ी से वार किया, जिसका अर्थ है कि टीम को 2 मिनट का पेनल्टी मिलेगा।"
शोधकर्ता जानना चाहते थे: क्या ये AI "मूवी बफ्स" वास्तव में 11 अलग-अलग खेलों की जटिल नियमपुस्तिकाओं को सीख सकते हैं और निष्पक्ष निर्णय ले सकते हैं?
2. परीक्षा: "RefereeBench"
इसे टेस्ट करने के लिए, टीम ने RefereeBench बनाया, जो एक विशाल, बहु-खेलों वाली फाइनल परीक्षा की तरह है।
- कक्षा: उन्होंने 925 वास्तविक वीडियो क्लिप्स 11 विभिन्न खेलों (सॉकर, बास्केटबॉल, आइस हॉकी, टेनिस, आदि) से एकत्र किए।
- शिक्षक: उन्होंने केवल रैंडम लोगों को वीडियो ग्रेड करने के लिए नहीं कहा। उन्होंने प्रमाणित, वास्तविक जीवन के रेफरी को किराए पर लिया ताकि वे क्लिप्स देखें और प्रश्न और उत्तर लिखें।
- टेस्ट: AI को 6,400 से अधिक प्रश्नों के उत्तर देने थे। ये "शर्ट का रंग क्या है?" जैसे साधारण प्रश्न नहीं थे। ये पेचीदा सवाल थे जैसे:
- "क्या यह वास्तव में एक फाउल था, या सिर्फ एक ज़ोरदार टक्कर?"
- "कौन सा विशिष्ट नियम टूटा था?"
- "गलत चीज़ ठीक कब हुई थी?" (इसे "टेम्पोरल ग्राउंडिंग" कहा जाता है—जैसे यह पता लगाना कि गोल कब हुआ था)।
3. परिणाम: AI अभी भी एक "रॉकी" (नौसिखिया) है
परिणाम एक वास्तविकता का अहसास कराने वाले थे। दुनिया के सबसे स्मार्ट AI मॉडल (जैसे गूगल, OpenAI और ByteDance के मॉडल) भी संघर्ष कर रहे थे।
- स्कोर: सर्वश्रेष्ठ AI मॉडल केवल लगभग 60% उत्तर सही दे पाए। सबसे अच्छे ओपन-सोर्स मॉडल (Qwen3-VL) ने लगभग 47% प्राप्त किया।
- उपमा: यदि आप एक बुद्धिमान हाई स्कूल छात्र को लें और उसे रेफरी की वर्दी पहना दें, तो उसे खेल के नियम तो पता होंगे, लेकिन वह उन सूक्ष्म कॉल को मिस कर देगा जो एक प्रो करता है। वे बेहतरीन मामलों में भी "रॉकी" (नौसिखिए) हैं।
वे कहाँ विफल हुए?
- "ओवर-कॉल" की समस्या: AI बहुत सख्त होने की प्रवृत्ति रखता है। यदि कोई खिलाड़ी दूसरे खिलाड़ी से टकराता है, तो AI अक्सर चिल्ला उठता है "फाउल!" भले ही वह केवल सामान्य संपर्क हो। यह एक घबराए हुए रेफरी की तरह है जो हर छोटी छुअन पर सीटी बजा देता है।
- "टाइमिंग" का मुद्दा: वे सटीक क्षण को पहचानने में खराब हैं जब कोई फाउल हुआ था। वे कह सकते हैं कि फाउल वास्तव में होने से 5 सेकंड पहले हुआ था।
- "नियम पुस्तिका" का अंतर: वे क्रिया को देख सकते हैं, लेकिन वे इसे उस विशिष्ट, जटिल नियम से जोड़ने में संघर्ष करते हैं जो इसे अवैध बनाता है।
4. आश्चर्यजनक बातें
- ऑडियो मदद करता है: जब AI वीडियो को सुन सकता था (भीड़ का शोर, रेफरी की सीटी, खिलाड़ियों का चिल्लाना), तो वह बहुत बेहतर हो गया। यह ठीक वैसा ही है जैसे एक मानव रेफरी कॉल करने में मदद के लिए बल्ले की "चटक" या सीटी की आवाज़ सुनता है।
- नियम पढ़ना पर्याप्त नहीं है: शोधकर्ताओं ने AI को वीडियो देखते समय वास्तविक नियम पुस्तिकाएं पढ़ने के लिए दीं (जैसे कि एक चीट शीट)। आश्चर्यजनक रूप से, इससे ज्यादा मदद नहीं मिली। AI अभी भी उस नियम को वास्तविक, अव्यवस्थित वीडियो पर लागू करने में असमर्थ था। यह एक छात्र को डिक्शनरी देने जैसा है लेकिन फिर भी उसे निबंध में फेल होने देना क्योंकि उसे नहीं पता कि शब्दों का वाक्य में उपयोग कैसे करना है।
5. निष्कर्ष
पेपर यह निष्कर्ष निकालता है कि AI अभी तक मानव रेफरीों को बदलने के लिए तैयार नहीं है।
हालांकि ये रोबोट जो वे देखते हैं उसका वर्णन करने में अद्भुत हैं, लेकिन वे वे कठिन, पलक झपकते ही लिए जाने वाले निर्णय लेने के लिए तैयार नहीं हैं जो चैंपियनशिप तय करते हैं। उनमें वह "कॉमन सेंस" और खेल की भावना की गहरी समझ की कमी है जो मानव रेफरी में होती है।
मुख्य बात:
वर्तमान AI को एक बहुत तेज़, बहुत जानकार इंटर्न के रूप में समझें। वह फाइलों को व्यवस्थित कर सकता है और स्पष्ट चीजों की ओर इशारा कर सकता है। लेकिन जब तक वह एक अनुभवी जज बनना नहीं सीख जाता, हमें खेल को निष्पक्ष रखने के लिए मानव रेफरी की आवश्यकता रहेगी।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।