SLVMBench: Skill Learning from Video Memory
यह शोध पत्र SLVMBench प्रस्तुत करता है, जो ट्यूटोरियल युक्त लंबे वीडियो स्ट्रीम से प्रक्रियात्मक कौशल सीखने और उन्हें वास्तविक समय के कार्यों में लागू करने की वीडियो लार्ज लैंग्वेज मॉडल्स की क्षमता का मूल्यांकन करने के लिए डिज़ाइन किया गया पहला बेंचमार्क है, जो यह प्रकट करता है कि वर्तमान मॉडल लॉन्ग-कॉन्टेक्स्ट मेमोरी और स्किल ट्रांसफर की सीमाओं के कारण इस क्षमता में काफी संघर्ष करते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप नल की लीकेज ठीक करना सीख रहे हैं। आपको यूट्यूब पर एक बेहतरीन, 10 मिनट का ट्यूटोरियल वीडियो मिलता है। आप इसे देखते हैं, सिर हिलाते हुए समझते हैं कि आपने पूरी प्रक्रिया को अच्छी तरह समझ लिया है। फिर, आप टैब बंद कर देते हैं और दो घंटे के लिए कुछ और करने चले जाते हैं। शायद आप बहुत सारे रैंडम बिल्ली के वीडियो, एक कुकिंग शो और गहरे समुद्र की मछलियों पर एक डॉक्यूमेंट्री देखते हैं।
अब, आप सिंक के पास वापस जाते हैं। नल टपक रहा है। आप अपना रिंच (wrench) उठाते हैं, लेकिन अचानक, आपका दिमाग खाली हो जाता है। रुको, क्या मैंने पहले नट ढीला किया था या पेंच? क्या यह रिंच था या प्लायर? आप ट्यूटोरियल को याद नहीं कर पाते क्योंकि दो घंटे के "कैट वीडियो शोर" ने उसे दबा दिया है।
यही वह समस्या है जिसे SLVMBench (Skill Learning from Video Memory) हल करने की कोशिश कर रहा है, और यह पहली बार है जब किसी ने यह देखने के लिए टेस्ट बनाया है कि क्या AI वह कर सकता है जो इंसान करते हैं: एक वीडियो से कोई कौशल सीखना, उसे कुछ समय के लिए भूल जाना, और फिर उसे याद रखना जब उन्हें वास्तव में उसका उपयोग करने की आवश्यकता होती है।
बड़ा टेस्ट: "दो-घंटे का विक्षेप" (Two-Hour Distraction) चैलेंज
शोधकर्ताओं ने AI मॉडल के लिए एक बेहद कठिन गेम बनाया है। यह कैसे काम करता है:
- ट्यूटोरियल: AI एक वीडियो देखता है जो उसे एक विशिष्ट कौशल (जैसे कि पावर टूल का उपयोग कैसे करें या कोई गैजेट कैसे ठीक करें) सिखाता है।
- शोर (Noise): इसके तुरंत बाद, AI को पूरी तरह से अप्रासंगिक, उबाऊ या रैंडम वीडियो की एक स्ट्रीम देखने के लिए मजबूर किया जाता है जो 2 घंटे लंबी है। यह "डिस्ट्रैक्टर" (विक्षेप) चरण है।
- टेस्ट: AI को फिर किसी व्यक्ति को वह कार्य करते हुए दिखाने वाला एक नया वीडियो दिखाया जाता है, लेकिन वीडियो एक महत्वपूर्ण चरण से ठीक पहले रुक जाता है। AI को अनुमान लगाना होता है कि आगे क्या होगा, केवल उस ट्यूटोरियल की स्मृति का उपयोग करके जिसे उसने दो घंटे पहले देखा था।
इसे एक मेमोरी गेम की तरह समझें जहाँ आपको एक गुप्त रेसिपी याद रखनी है, लेकिन कोई आपसे दो घंटे तक रैंडम नंबर चिल्लाकर बोलता रहता है और फिर पूछता है, "पहला घटक (ingredient) क्या है?"
चौंकाने वाला परिणाम: AI के पास एक "मेमोरी क्लिफ" है
पेपर ने सबसे स्मार्ट AI मॉडल्स का परीक्षण किया, जिसमें जेमिनी (Gemini), GPT-4o, और GPT-5.2 जैसे बड़े नाम शामिल हैं। परिणाम थोड़े वास्तविकता का अहसास कराने वाले थे।
जब AI को ट्यूटोरियल देखने के तुरंत बाद (बिना किसी विक्षेप के) समस्या को हल करने के लिए कहा गया, तो इसने काफी अच्छा प्रदर्शन किया। यह वैसा ही था जैसे ट्यूटोरियल वीडियो खत्म होने के तुरंत बाद आपसे नल ठीक करने के लिए कहना। आप शायद इसे सही कर लेंगे।
लेकिन जैसे ही उन्होंने 2-घंटे का विक्षेप जोड़ा, AI का प्रदर्शन तेजी से गिर गया।
- "क्लिफ" (Cliff): पेपर एक "मेमोरी क्लिफ" का वर्णन करता है। कुछ शीर्ष मॉडल्स के लिए, उनकी याद रखने की क्षमता इतनी कम हो गई कि वे उस स्थिति से भी बदतर थे जैसे कि उन्होंने ट्यूटोरियल कभी देखा ही न हो।
- आंकड़े: सबसे अच्छे मॉडल्स में से एक, Gemini 3.1 Pro, का स्कोर तत्काल मदद (immediate help) के साथ 74.92% से गिरकर लंबे विक्षेप के बाद 59.45% हो गया। यह एक बड़ा अंतर है। लेकिन GPT-5.2 जैसे अन्य मॉडल्स के लिए, गिरावट और भी खराब थी: 57.94% से गिरकर 44.89%। वास्तव में, कुछ मॉडल्स के लिए, लंबे इंतजार ने उनके प्रदर्शन को बिना किसी मदद के केवल अनुमान लगाने जैसा बना दिया।
लेखक सुझाव देते हैं कि हालांकि ये AI वीडियो देखते समय और सवाल पूछते समय सवाल का जवाब देने में माहिर हैं, लेकिन वे उस जानकारी को थामे रखने में बहुत खराब हैं जब वह घंटों की अन्य चीजों के नीचे दब जाती है।
पेपर क्या खारिज करता है (और क्या नहीं)
पेपर इस बारे में बहुत स्पष्ट है कि यह टेस्ट किस बारे में नहीं है।
- यह "कॉमन सेंस" के बारे में नहीं है: सवालों को इस तरह डिजाइन किया गया था कि आप केवल बुद्धिमान होकर उत्तर का अनुमान नहीं लगा सकते थे। आपको उस विशिष्ट ट्यूटोरियल को याद करना ही था। यदि कोई AI बिना ट्यूटोरियल के सही उत्तर दे देता, तो शोधकर्ता उस प्रश्न को हटा देते थे।
- यह "पैसिव वॉचिंग" के बारे में नहीं है: पिछले टेस्ट केवल यह पूछते थे कि "इस 1-घंटे के वीडियो में क्या हुआ?" यह टेस्ट पूछता है, "आप आगे क्या करेंगे, उस वीडियो के आधार पर जो आपने घंटों पहले देखा था?" यह करने के बारे में है, न कि केवल तथ्यों को याद रखने के बारे में।
- यह "स्ट्रीमिंग AI" के लिए "जीत" नहीं है: कुछ लोगों का मानना था कि लंबे स्ट्रीम देखने के लिए डिज़ाइन किए गए मॉडल्स (जैसे "स्ट्रीमिंग" मॉडल्स) इस मामले में बेहतर होंगे। पेपर दिखाता है कि हालांकि वे थोड़े बेहतर हैं, फिर भी वे संघर्ष करते हैं। एक मॉडल, PEMF, का सटीकता स्तर विक्षेप जोड़ने पर 64.88% से गिरकर 39.36% हो गया। यह सुझाव देता है कि सिर्फ "लंबा देखना" जादुई समाधान नहीं है।
हम कितने आश्वस्त हैं?
शोधकर्ताओं ने केवल अनुमान नहीं लगाया; उन्होंने एक विशाल, सावधानीपूर्वक तैयार किया गया डेटासेट बनाया।
- डेटा: उन्होंने 1,220 वीडियो एकत्र किए और 2,261 प्रश्न बनाए।
- मानवीय प्रमाण: असली इंसानों ने हर एक वीडियो और प्रश्न की 750 घंटों से अधिक समय तक जांच की। उन्होंने सुनिश्चित किया कि ट्यूटोरियल वास्तव में कौशल सिखाता है, कि "डिस्ट्रैक्टर" वीडियो वास्तव में अप्रासंगिक हैं, और कि प्रश्नों का समय सेकंड के सूक्ष्म स्तर (sub-second) तक सटीक है।
- विश्वास: पेपर इन परिणामों को 95% कॉन्फिडेंस इंटरवल के साथ रिपोर्ट करता है, जिसका अर्थ है कि वे सांख्यिकीय रूप से आश्वस्त हैं कि प्रदर्शन में यह गिरावट वास्तविक है और केवल एक इत्तेफाक नहीं है।
मुख्य निष्कर्ष
पेपर निष्कर्ष निकालता है कि वर्तमान AI मॉडल उन छात्रों की तरह हैं जो परीक्षा से ठीक पहले पढ़ाई करके परीक्षा में टॉप कर सकते हैं, लेकिन यदि उन्हें परीक्षा से दो घंटे पहले पढ़ाई करनी पड़े और फिर एक उबाऊ लेक्चर सुनना पड़े, तो वे सब कुछ भूल जाते हैं।
लेखक सुझाव देते हैं कि वास्तविक दुनिया में एक सहायक रोबोट की तरह कार्य करने के लिए—एक वीडियो से कौशल सीखना और उसका उपयोग दिनों बाद करना—हमें यह समझने की आवश्यकता है कि इन "मेमोरी क्लिफ्स" को कैसे रोका जाए। तब तक, भले ही सबसे स्मार्ट AI मॉडल हों, वे शोर बढ़ने पर अपने कौशल को पैना बनाए रखने के लिए संघर्ष कर रहे हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।