K9-Bench: Evaluating Multimodal LLMs on Canine-Centric Videos
यह शोध पत्र K9-Bench प्रस्तुत करता है, जो 907 घरेलू कुत्तों के वीडियो से प्राप्त लगभग 5,000 प्रश्न-उत्तर युग्मों वाला एक नवीन बेंचमार्क है, जो एक स्केलेबल और पूर्वाग्रह-मुक्त डेटा जनरेशन पाइपलाइन का उपयोग करता है ताकि यह प्रकट किया जा सके कि वर्तमान मल्टीमॉडल LLMs जटिल कैनिन (canine) क्रियाओं और अंतःक्रियाओं को समझने के लिए आवश्यक सूक्ष्म-स्तरीय (fine-grained) और दीर्घकालिक (long-horizon) तर्क करने में संघर्ष करते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक बहुत ही बुद्धिमान, विद्वान कुत्ता मालिक है जिसने वास्तव में कभी असली कुत्ता नहीं देखा है। उसने कुत्ते के व्यवहार पर हर किताब पढ़ ली है, हजारों वृत्तचित्र (documentaries) देख लिए हैं, और पूंछ हिलाने या कान की स्थिति जैसे तथ्यों को रट लिया है। लेकिन अगर आप उन्हें एक असली, उछलते-कूदते, अप्रत्याशित कुत्ते के साथ एक कमरे में रख दें, तो वे भ्रमित हो सकते हैं।
यह शोध पत्र, K9-Bench, मूल रूप से एक "अंतिम परीक्षा" है जिसे यह देखने के लिए डिज़ाइन किया गया है कि क्या हमारे नवीनतम, सबसे उन्नत AI मस्तिष्क (जिन्हें मल्टीमॉडल लार्ज लैंग्वेज मॉडल कहा जाता है) वास्तव में कुत्तों को समझते हैं, या वे केवल उस "किताबी ज्ञान" वाले मालिक की तरह हैं जो व्यावहारिक परीक्षा में फेल हो जाता है।
यहाँ बताया गया है कि शोधकर्ताओं ने क्या किया, सरल उपमाओं का उपयोग करते हुए:
1. समस्या: "मानव-केंद्रित" दृष्टि दोष (Blind Spot)
आज के अधिकांश AI मॉडल इंसानों के वीडियो पर प्रशिक्षित होते हैं। वे एक इंसान के हाथ हिलाने, चलने या बात करने को समझने में विशेषज्ञ हैं। लेकिन कुत्ते इंसानों की तरह नहीं चलते। एक कुत्ते की "खुशी" एक इंसान की मुस्कान से अलग दिखती है। एक कुत्ते का "डरा हुआ होना" एक इंसान के उदास चेहरे से अलग दिखता है।
शोधकर्ताओं ने पूछा: क्या ये AI मॉडल, जो इंसानी फिल्मों को समझने में माहिर हैं, वास्तव में एक वास्तविक घर में एक असली कुत्ते की अराजक, गैर-मौखिक भाषा को समझ सकते हैं?
2. समाधान: "K9-Bench" बनाना (कुत्ते की परीक्षा)
इसकी जांच करने के लिए, टीम ने एक विशाल परीक्षण बनाया जिसे K9-Bench कहा जाता है। इसे कुत्तों के वास्तविक जीवन के 907 वीडियो का एक विशाल पुस्तकालय समझें—जहाँ कुत्ते अपनी स्वाभाविक हरकतें कर रहे हैं—जैसे खेलना, सोना, ट्रीट लेना, या बिल्लियों के प्रति प्रतिक्रिया देना।
- पैमाना (Scale): उन्होंने केवल कुछ प्रश्न नहीं लिखे। उन्होंने एक "रोबोटिक पाइपलाइन" (एक स्मार्ट कंप्यूटर सिस्टम) का उपयोग किया ताकि इन वीडियो को देखा जा सके और स्वचालित रूप से लगभग 5,000 प्रश्न उत्पन्न किए जा सकें।
- प्रश्न: ये साधारण "क्या यह एक कुत्ता है?" जैसे प्रश्न नहीं हैं। ये जटिल, बहु-चरणीय पहेलियाँ हैं।
- उदाहरण: "इंसान कुत्ते के सीने को थपथपाता है, और फिर कुत्ता लयबद्ध तरीके से अपने पंजे से कटोरे को खुरचने लगता है। कुत्ते ने खुरचना क्यों शुरू किया?"
- उदाहरण: "जब कुत्ते को सहलाया जा रहा हो, तब उसके कान और आँखों को देखें, और फिर देखें जब वह दौड़ना शुरू करता है। अभिव्यक्ति (expression) कैसे बदली?"
- श्रेणियाँ (Categories): यह परीक्षण पांच प्रकार की सोच को कवर करता है:
- मुद्रा (Posture): क्या कुत्ता बैठा है, लेटा है, या झुककर खड़ा है?
- क्रिया अनुक्रम (Action Sequence): पहले, दूसरे और तीसरे स्थान पर क्या हुआ?
- संदर्भ (Context): वातावरण (जैसे बिल्ली का पास से गुजरना) कुत्ते के व्यवहार को कैसे बदलता है?
- कारण और प्रभाव (Cause and Effect): क्या इंसान ने कोई ट्रीट गिराई, जिससे कुत्ता उछल पड़ा?
- परस्पर क्रिया (Interaction): कुत्ता इंसान के साथ कैसे संवाद कर रहा है?
3. "बायस" फ़िल्टर (परीक्षण की सफाई)
जब आप एक सुपर-स्मार्ट AI का उपयोग प्रश्न लिखने के लिए करते हैं, तो वह कभी-कभी नकल (cheat) कर सकता है। यह ऐसा प्रश्न लिख सकता है जहाँ उत्तर केवल शब्दों को पढ़कर ही स्पष्ट हो जाए, बिना वीडियो देखे।
- समाधान: शोधकर्ताओं ने एक "ब्लाइंड" टेस्ट का उपयोग किया। उन्होंने प्रश्नों को लिया और अन्य AI मॉडलों से उन्हें हल करने के लिए कहा, बिना वीडियो देखे। यदि किसी AI ने केवल प्रश्न पढ़कर सही उत्तर दे दिया, तो शोधकर्ताओं को पता चल गया कि वह प्रश्न "खराब" (बहुत आसान या धोखे वाला) था। उन्होंने उन प्रश्नों को हटा दिया।
- उन्होंने विशिष्ट नाम (जैसे "बॉबी द हस्की") भी हटा दिए ताकि AI इंटरनेट से जाने-पहनुए नाम के आधार पर उत्तर का अनुमान न लगा सके। वे चाहते थे कि AI केवल उसी पर निर्भर रहे जो उसने वीडियो में देखा।
4. परिणाम: AI अभी भी एक पिल्ला है
शोधकर्ताओं ने दुनिया के सबसे स्मार्ट AI मॉडलों (महंगे, क्लोज्ड-सोर्स और मुफ्त, ओपन-सोर्स दोनों) को K9-Bench परीक्षा दी।
फैसला:
- स्कोर: सबसे अच्छे AI मॉडल भी लगभग 40% प्रश्नों का सही उत्तर दे पाए। तुलना के लिए, इसी परीक्षा को देने वाले एक इंसान ने 70% अंक प्राप्त किए।
- संघर्ष: AI मॉडल "बड़ी तस्वीर" (जैसे, "कुत्ता खुश है") का अनुमान लगाने में ठीक थे, लेकिन वे बारीकियों में बुरी तरह विफल रहे।
- वे यह अंतर नहीं कर सके कि कुत्ता खेलने का नाटक कर रहा है या वास्तव में खेल रहा है।
- वे लंबे वीडियो में उलझ गए। यदि वीडियो 5 मिनट लंबा था, तो AI भूल जाता था कि पहले मिनट में क्या हुआ था।
- वे सूक्ष्म संकेतों को चूक गए, जैसे कुत्ते के कान का फड़कना या पूंछ की स्थिति में मामूली बदलाव।
"सोचने" का जाल (The "Thinking" Trap):
शोधकर्ताओं ने "चेन ऑफ थॉट" (Chain of Thought) नामक एक तकनीक आजमाई, जहाँ उन्होंने AI को जवाब देने से पहले "चरण-दर-चरण सोचने" के लिए कहा।
- उपमा: यह एक छात्र को बताने जैसा है, "सिर्फ अनुमान मत लगाओ; अपना तर्क भी लिखो।"
- परिणाम: इन कुत्तों के वीडियो के लिए, "सोचना" वास्तव में AI को सही उत्तर पाने में और भी खराब बना देता है। AI अत्यधिक विश्लेषण करने लगा और वास्तविकता से हटकर बातें (hallucinations) बनाने लगा, बजाय इसके कि वह केवल वीडियो को देखे।
5. निष्कर्ष (Takeaway)
शोध पत्र निष्कर्ष निकालता है कि हालांकि AI इंसानी फिल्मों को समझने में बहुत अच्छा हो रहा है, लेकिन यह हमारे पालतू जानवरों की वास्तविक, अव्यवस्थित और गैर-मौखिक दुनिया के मामले में अभी भी बहुत "अनपढ़" है।
- वर्तमान स्थिति: AI उस व्यक्ति की तरह है जिसने कुत्तों की शब्दावली की डिक्शनरी तो पढ़ ली है, लेकिन कभी डॉग पार्क नहीं गया है। वे परिभाषाएँ जानते हैं, लेकिन वे माहौल को नहीं पढ़ सकते।
- भविष्य: ऐसे रोबोट या AI बनाने के लिए जो वास्तव में हमारे और हमारे पालतू जानवरों के साथ रह सकें, हमें उन्हें केवल बड़ी क्रियाओं पर नहीं, बल्कि जानवरों के व्यवहार के सूक्ष्म विवरणों पर ध्यान देना सिखाना होगा।
संक्षेप में: हमने AI के लिए एक कठिन परीक्षा बनाई यह देखने के लिए कि क्या वह कुत्तों को समझता है। AI ने परीक्षा दी, अपना सर्वश्रेष्ठ प्रयास किया, और महसूस किया कि वास्तव में "डॉग पर्सन" बनने से पहले उसे अभी बहुत कुछ सीखने की आवश्यकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।