SF20K Competition 2025: Summary and findings
ICCV 2025 में आयोजित पहली SF20K प्रतियोगिता ने ओपन-एंडेड शॉर्ट-फिल्म प्रश्न उत्तर देने की क्षमता पर 22 टीमों का मूल्यांकन किया, जिससे यह खुलासा हुआ कि नैरेटिव-अवेयर प्रोसेसिंग और प्रभावी सूचना चयन, कच्चे मॉडल क्षमता की तुलना में अधिक महत्वपूर्ण हैं, हालांकि वर्तमान एआई प्रणालियों और मानवीय समझ के बीच एक महत्वपूर्ण प्रदर्शन अंतर बना हुआ है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक विशाल मूवी नाइट होस्ट कर रहे हैं, लेकिन यहाँ द एवेंजर्स या स्टार वॉर्स जैसी प्रसिद्ध ब्लॉकबस्टर फिल्में देखने के बजाय, आप आम लोगों द्वारा बनाई गई 20,000 घरेलू लघु फिल्में देख रहे हैं। ये फिल्में लगभग 12 मिनट लंबी हैं और इनमें अनूठी, जटिल कहानियाँ बताई गई हैं।
अब, कल्पना कीजिए कि आप यह परीक्षण करना चाहते हैं कि एक कंप्यूटर कहानियों को समझने में कितना स्मार्ट है। आप केवल यह नहीं पूछ सकते, "नायक कौन है?" क्योंकि कंप्यूटर अपने प्रशिक्षण डेटा से जो कुछ भी जानता है, उसके आधार पर अनुमान लगा सकता है। इसके बजाय, आप कहानी के बारे में विशिष्ट प्रश्न पूछते हैं, जैसे, "नीली शर्ट वाले पात्र ने 8वें मिनट पर कमरे को क्यों छोड़ा?"
यह बिल्कुल वही था जिसके बारे में SF20K प्रतियोगिता थी। यह 2025 में आयोजित एक प्रतियोगिता थी जहाँ AI शोधकर्ताओं की 22 टीमों ने ऐसे कंप्यूटर बनाने की कोशिश की जो इन शौकिया फिल्मों को देख सकें और कहानी से जुड़े सवालों के जवाब दे सकें।
यहाँ बताया गया है कि क्या हुआ, कुछ सरल उपमाओं का उपयोग करते हुए:
1. चुनौती: एक किताब पढ़ना बनाम एक मेनू को सरसरी नज़र से देखना
आज का अधिकांश AI छोटे क्लिप्स (जैसे 5 सेकंड का टिकटॉक) को देखने और यह कहने में बहुत अच्छा है कि "वह एक दौड़ता हुआ कुत्ता है।" लेकिन इस प्रतियोगिता ने AI से कुछ बहुत कठिन करने के लिए कहा: पूरी किताब पढ़ना।
AI को पात्रों को याद रखना था, कारण और प्रभाव (जैसे, "उसने कप गिराया, इसलिए वह टूट गया") को ट्रैक करना था, और 12 मिनट में एक कहानी के प्रवाह को समझना था। लक्ष्य यह देखना था कि क्या AI वास्तव में देख और समझ सकता है, या वह केवल अपने प्रशिक्षण डेटा से उत्तरों को याद कर रहा था।
2. खेल के नियम
प्रतियोगिता के दो मुख्य वर्ग थे, जैसे कि एक "प्रो डिवीजन" और एक "जूनियर डिवीजन":
- मुख्य ट्रैक (Main Track): टीमें किसी भी आकार के कंप्यूटर मस्तिष्क का उपयोग कर सकती थीं (यहाँ तक कि सबसे बड़े, सबसे महंगे भी)।
- विशेष ट्रैक (Special Track): टीमों को "छोटे" मस्तिष्क (8 बिलियन पैरामीटर्स से कम) का उपयोग करना था। यह देखने के लिए था कि क्या चतुर तरकीबें कच्ची शक्ति (raw power) को हरा सकती हैं।
परीक्षण सख्त था। AI केवल अनुमान नहीं लगा सकता था। यदि उसने फिल्म नहीं देखी, तो वह बुरी तरह विफल हो जाएगा (एक "अंधा अनुमान" परीक्षण पर केवल 14.7% स्कोर करेगा)।
3. विजेता: यह ताकत के बारे में नहीं, रणनीति के बारे में है
बड़ा आश्चर्य यह नहीं था कि किसके पास सबसे बड़ा कंप्यूटर था। बल्कि यह था कि उन्होंने इसका उपयोग कैसे किया।
- "ब्रूट फोर्स" दृष्टिकोण (The "Brute Force" Approach): कुछ टीमों ने AI को फिल्म का हर एक फ्रेम खिलाने की कोशिश की (जैसे कि एक किताब को एक साथ हर एक अक्षर को घूरकर पढ़ने की कोशिश करना)। यह अच्छी तरह से काम नहीं किया।
- "स्मार्ट एडिटर" दृष्टिकोण (The "Smart Editor" Approach): जीतने वाली टीम (WXYZ) ने फिल्म को अध्यायों वाली एक कहानी की किताब की तरह माना। उन्होंने हर फ्रेम को नहीं देखा। इसके बजाय, उन्होंने:
- फिल्म को "शॉट्स" (जैसे नाटक के दृश्यों) में काटा।
- कहानी की लय (चीजें कब रोमांचक या शांत होती हैं) को समझने के लिए ऑडियो सुना।
- सवाल का जवाब देने से पहले प्रत्येक दृश्य का सारांश बनाया।
उपमा: कल्पना कीजिए कि आपको एक बुक रिपोर्ट लिखनी है।
- टीम A किताब के हर शब्द को 10 बार पढ़ने की कोशिश करती है। वे थक जाते हैं और मुख्य बात चूक जाते हैं।
- टीम B विषय सूची पढ़ती है, प्रत्येक अध्याय का सारांश बनाती है, और फिर रिपोर्ट लिखती है।
- परिणाम: टीम B (छोटी, स्मार्ट टीम) ने टीम A (विशाल, ब्रूट-फोर्स टीम) की तुलना में बेहतर ग्रेड प्राप्त किया।
वास्तव में, जीतने वाली टीम ने एक अपेक्षाकृत छोटा AI मॉडल इस्तेमाल किया, लेकिन क्योंकि उन्होंने जानकारी को इतने अच्छे से व्यवस्थित किया था, उन्होंने एक ऐसे मॉडल को हरा दिया जो उनके से 30 गुना बड़ा था लेकिन एक सरल विधि का उपयोग कर रहा था।
4. गुप्त सामग्री: सबटाइटल (Subtitles)
शोधकर्ताओं ने पाया कि पात्रों ने जो कहा वह अक्सर इस बात से अधिक महत्वपूर्ण था कि वे कैसे दिखते थे।
- यदि AI केवल वीडियो देखता, तो उसे संघर्ष करना पड़ता।
- जब AI के पास ट्रांसक्रिप्ट (सबटाइटल) था कि क्या कहा गया था, तो वह बहुत बेहतर प्रदर्शन करता।
- जिन टीमों ने बेहतर सबटाइटल (गलतियों को ठीक करने या बेहतर स्पीच-टू-टेक्स्ट टूल्स का उपयोग करने) पर अतिरिक्त समय बिताया, उन्हें काफी उच्च स्कोर मिले। यह एक विदेशी फिल्म को समझने जैसा है: यदि सबटाइटल खराब हैं, तो आप प्लॉट मिस कर देते हैं; यदि वे सटीक हैं, तो आप इसे समझ जाते हैं।
5. अंतिम स्कोर: इंसान अभी भी जीतते हैं
भले ही AI टीमों ने बहुत अच्छा काम किया, लेकिन उनके और इंसानों के बीच अभी भी एक बड़ा अंतर है।
- मानव स्कोर: 91.7% (इंसान कहानियों को समझने में माहिर होते हैं)।
- सर्वश्रेष्ठ AI स्कोर: 65.7% (सबसे अच्छे कंप्यूटर ने लगभग दो-तिहाई सही उत्तर दिए)।
- छोटा AI स्कोर: 48.7% ("जूनियर डिवीजन" का विजेता)।
मुख्य निष्कर्ष
इस प्रतियोगिता से मुख्य सबक यह है कि होशियार होने का मतलब केवल एक बड़ा दिमाग होना नहीं है।
कंप्यूटरों के लिए लंबी कहानियों को समझने के लिए, हमें केवल उन्हें बड़ा बनाने की आवश्यकता नहीं है। हमें उन्हें जानकारी को व्यवस्थित करना, महत्वपूर्ण हिस्सों (जैसे प्रमुख दृश्य) को चुनना, और दृश्यों को अर्थ देने के लिए संवादों का उपयोग करना सिखाने की आवश्यकता है। "बॉटलनेक" (रुकावट) कंप्यूटर का आकार नहीं है; बल्कि वह रणनीति है जिसका उपयोग हम उसे कहानी खिलाने के लिए करते हैं।
अभी, AI एक बहुत तेज़ पाठक की तरह है जो तथ्यों को याद कर सकता है लेकिन अभी भी एक जटिल कहानी के एहसास और प्रवाह को समझने के लिए संघर्ष करता है। हम वहां पहुँच रहे हैं, लेकिन मानव-स्तर की समझ तक पहुँचने के लिए हमें अभी एक लंबा रास्ता तय करना है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।