AgenticVBench: Can AI Agents Complete Real-World Post-Production Tasks?
यह शोधपत्र AgenticVBench को प्रस्तुत करता है, जो उद्योग विशेषज्ञों के इनपुट से निर्मित वास्तविक दुनिया के 100 वीडियो पोस्ट-प्रोडक्शन कार्यों का एक बेंचमार्क है, जो यह प्रकट करता है कि वर्तमान अत्याधुनिक मल्टीमॉडल एआई एजेंट मानव विशेषज्ञों की तुलना में काफी कम सफलता दर प्राप्त करते हैं और निष्पादन हार्नेस (execution harness) के चयन के प्रति अत्यधिक संवेदनशील होते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट को फिल्म संपादक (movie editor) बनना सिखाने की कोशिश कर रहे हैं। आप केवल यह नहीं चाहते कि वह किसी फिल्म के बारे में सवालों के जवाब दे; आप चाहते हैं कि वह वास्तव में एक फिल्म बनाए। उसे सीन काटने चाहिए, खराब ऑडियो को ठीक करना चाहिए, बिखरे हुए क्लिप्स को फिर से व्यवस्थित करना चाहिए, और तीन घंटे की डॉक्यूमेंट्री को एक चुस्त 60-सेकंड के सोशल मीडिया वीडियो में बदलना चाहिए।
यह पेपर, AgenticVBench, उन AI रोबोट्स के लिए एक फाइनल परीक्षा की तरह है जो इस काम को सीखने की कोशिश कर रहे हैं। इसके रचनाकारों ने 20 मानव विशेषज्ञों द्वारा किए गए वास्तविक कार्यों पर आधारित एक परीक्षण बनाया है। यहाँ बताया गया है कि उन्होंने क्या किया और उन्हें क्या मिला, सरल उपमाओं (analogies) का उपयोग करते हुए।
1. परीक्षण: "द मूवी एडिटर का गॉन्टलेट" (The Movie Editor's Gauntlet)
शोधकर्ताओं ने 100 विशिष्ट कार्य बनाए जो चार श्रेणियों में विभाजित हैं, जैसे कि एक मूवी एडिटिंग वर्कशॉप के चार अलग-अलग स्टेशन:
- असेंबली (पहेली - The Puzzle): कल्पना कीजिए कि आपके पास एक स्टोरीबोर्ड (एक फिल्म का कॉमिक बुक स्केच) और वीडियो क्लिप्स का ढेर है। आपका काम हर ड्राइंग के लिए सटीक सही क्लिप चुनना है। AI को कैमरा एंगल और शॉट साइज को समझना होगा, न कि केवल यह कि "क्या यह एक कुत्ता है?"
- रिपेयर (डॉक्टर - The Doctor): आपको एक वीडियो दिया जाता है जिसमें एक छिपी हुई "बीमारी" है (जैसे कि अजीब प्रतिध्वनि/echo, कलर ग्लिच, या गलत क्रम में चला हुआ सीन)। AI को उस बीमारी को खोजना होगा, उसे ठीक करना होगा, और जो उसने किया उसका विवरण लिखना होगा।
- सीक्वेंसिंग (टाइम ट्रैवलर - The Time Traveler): आपको वीडियो क्लिप्स का एक ढेर दिया जाता है जो क्रम से बाहर (shuffled) हैं, साथ ही कहानी का एक संक्षिप्त सारांश भी। AI को क्लिप्स को सही कालानुक्रमिक क्रम (chronological order) में वापस रखना होगा ताकि कहानी समझ में आए।
- रीपरपस (सिकुड़ना - The Shrink): आपके पास एक लंबी फिल्म है (शायद 3 घंटे की) और एक अनुरोध है कि एक छोटा ट्रेलर या रिकैप बनाया जाए। AI को पूरी फिल्म देखनी होगी, यह तय करना होगा कि क्या रखना है, क्या काटना है, और एक नया, छोटा वीडियो असेंबल करना होगा जो विशिष्ट नियमों (जैसे कि "60 सेकंड का होना चाहिए" या "मजेदार होना चाहिए") में फिट बैठता हो।
2. खिलाड़ी: AI बनाम इंसान
शोधकर्ताओं ने आज के सबसे स्मार्ट 7 AI "मस्तिष्क" (Vision-Language Models) का परीक्षण किया। उन्होंने इन मस्तिष्कों को दो प्रकार के "शरीरों" (हार्नेस/हैंडल) के माध्यम से चलाया:
- नेटिव बॉडीज (Native Bodies): वे आधिकारिक उपकरण जो AI कंपनियों ने अपने स्वयं के मॉडल्स के लिए बनाए हैं (जैसे कि एक कस्टम-बिल्ट कार)।
- ओपन-सोर्स बॉडीज (Open-Source Bodies): वे उपकरण जो समुदाय द्वारा बनाए गए हैं जिन्हें कोई भी उपयोग कर सकता है (जैसे कि एक जेनेरिक कार चेसिस)।
उन्होंने 20 मानव विशेषज्ञों से भी वही कार्य करवाए ताकि एक "गोल्ड स्टैंडर्ड" सेट किया जा सके कि एक इंसान कैसा प्रदर्शन करेगा।
3. परिणाम: AI अभी भी एक नौसिखिया है
परिणाम AI की दुनिया के लिए एक वास्तविकता की जाँच (reality check) थे:
- स्कोर: सबसे अच्छे AI टीम ने लगभग 31% कार्यों को सही ढंग से पूरा किया।
- अंतर: मानव विशेषज्ञों ने बहुत अधिक स्कोर किया (कार्य के आधार पर लगभग 70-95%)। AI वर्तमान में एक इंसान से लगभग 43 से 65 प्रतिशत अंक पीछे है।
- "बॉडी" मायने रखती है: यह केवल AI के "मस्तिष्क" के स्मार्ट होने के बारे में नहीं था। "बॉडी" (AI को लपेटने वाले सॉफ्टवेयर टूल्स) भी उतना ही महत्वपूर्ण था। कभी-कभी, एक ही AI मस्तिष्क एक टूलसेट के साथ 38% स्कोर करता था और दूसरे के साथ केवल 18% स्कोर करता था। यह एक फॉर्मूला 1 ड्राइवर को मिनीवैन में रखने जैसा है; ड्राइवर बेहतरीन है, लेकिन कार उसकी क्षमता को सीमित कर देती है।
4. जहाँ AI लड़खड़ाया
पेपर ने बारीकी से देखा कि AI क्यों विफल हुआ, जिसमें चार मुख्य "बुरी आदतें" पाई गईं:
- लाइब्रेरी में खो जाना (Long-Context Loss): "रीपरपस" कार्य के लिए (एक लंबी फिल्म से छोटा वीडियो बनाना), AI पूरी फिल्म के ट्रांसक्रिप्ट को पढ़ने में इतना व्यस्त हो जाता था कि उसके पास समय खत्म हो जाता था और वह वास्तव में वीडियो बना ही नहीं पाता था। यह एक छात्र की तरह था जो निबंध लिखने के बजाय पूरी विश्वकोश (encyclopedia) पढ़ने में लगा रहता है।
- गलत टाइमिंग (Temporal Reasoning): "रिपेयर" कार्य के लिए, AI अक्सर जानता था कि क्या गलत है, लेकिन वह यह नहीं समझ पाता था कि यह कब हुआ। वह सही साउंड इफेक्ट तो ठीक कर देता था, लेकिन उसे गलत सीन पर लागू कर देता था, जिससे टाइमिंग 15 से 100 सेकंड तक खिसक जाती थी।
- गलत उपकरण (Modality Misalignment): AI विजुअल समस्या को ठीक करने के लिए ऑडियो टूल्स का उपयोग करने की कोशिश करता था, या इसके विपरीत।
- भ्रम (Hallucinations): कभी-कभी AI एक ऐसा दृश्य बना देता था जो अस्तित्व में ही नहीं था, या दावा करता था कि दोष ठीक हो गया है जबकि वह ठीक नहीं हुआ था।
5. बड़ा निष्कर्ष
पेपर निष्कर्ष निकालता है कि हालांकि AI छवियों और टेक्स्ट को समझने में बेहतर हो रहा है, लेकिन यह अभी भी मूवी एडिटिंग जैसे जटिल, बहु-चरणीय रचनात्मक कार्यों की योजना बनाने और उन्हें निष्पादित (execute) करने के लिए बहुत दूर है।
यह केवल AI को "स्मार्टर" बनाने के बारे में नहीं है। पेपर का तर्क है कि हमें बेहतर "टूलबॉक्स" (हार्नेस) बनाने की भी आवश्यकता है जो AI को अपना समय प्रबंधित करने, अपने काम की जांच करने और वीडियो एडिटिंग सॉफ्टवेयर का सही ढंग से उपयोग करने में मदद करें। जब तक हम मस्तिष्क और टूलबॉक्स दोनों को ठीक नहीं कर देते, तब तक AI मूवी एडिटर्स भारी मानवीय पर्यवेक्षण की आवश्यकता वाले सहायक बने रहेंगे, न कि स्वयं निर्देशक।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।