← नवीनतम पेपर
💻 computer science

OSEF: One-Step Evidence Fusion for Cross-Video Scene Procedure Planning

यह शोध पत्र क्रॉस-वीडियो सीन प्रोसीजर प्लानिंग (CVSPP) को प्रस्तुत करता है, जो एक नया कार्य है जिसमें मॉडलों को प्रासंगिक वीडियो साक्ष्य खोजने और साथ ही कार्यों की योजना बनाने की आवश्यकता होती है, और वन-स्टेप एविडेंस फ्यूजन (OSEF) का प्रस्ताव देता है, जो नियोजन के लिए सभी संभावित साक्ष्यों को एक सॉफ्ट लैटिस में संलयित करके हार्ड सिलेक्शन से बचने का एक तरीका है, जिससे एक नए स्थापित ग्यारह-स्रोत बेंचमार्क पर अत्याधुनिक प्रदर्शन प्राप्त होता है।

मूल लेखक: Zhentong Ye, Lei Zhang, Sijia Zhou, Yingda Yu, Yuehan Shi, Jiaqi Xuan, Shuaiwu Dong, Guanchao Tong, Meimei Zhang, Bin Li

प्रकाशित 2026-08-03
📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

मूल लेखक: Zhentong Ye, Lei Zhang, Sijia Zhou, Yingda Yu, Yuehan Shi, Jiaqi Xuan, Shuaiwu Dong, Guanchao Tong, Meimei Zhang, Bin Li

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को कॉफी का एक बेहतरीन कप बनाना सिखाने की कोशिश कर रहे हैं। आप केवल यह नहीं चाहते कि रोबोट को चरण पता हों; आप चाहते हैं कि वह एक वीडियो देखे, यह पता लगाए कि कौन सा विशिष्ट वीडियो इसे करने का सही तरीका दिखाता है, और वह सटीक क्षण ढूँढे जब बरिस्ता पानी डालता है, और फिर खुद निर्देश लिखे। यह वीडियो सीन प्रोसीजर प्लानिंग (Video Scene Procedure Planning) की दुनिया है। यह आर्टिफिशियल इंटेलिजेंस की एक शाखा है जहाँ कंप्यूटर यह समझने की कोशिश करते हैं कि एक शुरुआती दृश्य (जैसे कच्ची सामग्री) को एक लक्ष्य दृश्य (जैसे तैयार भोजन) में कैसे बदला जाए, यह देखकर कि वीडियो में क्या हो रहा है।

लंबे समय तक, शोधकर्ताओं ने कंप्यूटर को "सही" वीडियो और उसके सटीक शुरू और अंत के समय दिए। यह ऐसा था जैसे रोबोट को कुकबुक का सही पन्ना थमाकर कहना, "इसे पढ़ो।" लेकिन वास्तविक दुनिया में, यदि आप सर्च इंजन से "कॉफी कैसे बनाएं" के लिए पूछते हैं, तो वह आपको एक आदर्श वीडियो नहीं देता; वह आपको दस अलग-अलग वीडियो की एक सूची देता है। कुछ बहुत अच्छे हैं, कुछ बहुत खराब हैं, और कुछ एक ही चरणों को दिखाते हैं लेकिन अलग-अलग किचन में फिल्माए गए हैं। बड़ी चुनौती यह है: आप कंप्यूटर को इस उलझी हुई सूची में से सही वीडियो चुनने, उस वीडियो के सही हिस्से को खोजने और फिर चरणों की योजना बनाने के लिए कैसे सिखा सकते हैं, और वह भी बिना भ्रमित हुए? यह पेपर इसी उलझी हुई, वास्तविक दुनिया की समस्या को हल करता है।


समस्या: "गलत रेसिपी" का जाल

लेखक एक नया, अधिक कठिन खेल पेश करते हैं जिसे क्रॉस-वीडियो सीन प्रोसीजर प्लानिंग (CVSPP) कहा जाता है। इसे एक कुकिंग शो चैलेंज की तरह समझें जहाँ होस्ट आपको एक व्यंजन का विवरण देता है ("कच्चे आलू से शुरू करें, सुनहरे फ्राइज़ पर समाप्त करें") और चार अलग-अलग कुकिंग वीडियोों का एक ढेर देता है। आपका काम है:

  1. वह एक वीडियो चुनें जो वास्तव में फ्राइज़ बनाने का तरीका दिखाता है।
  2. उस वीडियो के भीतर वह विशिष्ट क्लिप खोजें जहाँ फ्राइंग (तलना) हो रही है।
  3. चरण-दर-चरण रेसिपी लिखें।

ट्रिकी हिस्सा यह है कि चारों वीडियो "खाना बनाने" के बारे में हो सकते हैं, और वे दिखने में भी बहुत समान हो सकते हैं। यदि आप गलत वीडियो चुनते हैं (शायद वह जिसमें केक बेक किया जा रहा है) या गलत क्लिप चुनते हैं (शायद वह हिस्सा जहाँ आलू धोए जा रहे हैं, न कि तले जा रहे हैं), तो आपकी रेसिपी निरर्थक होगी।

पिछले तरीकों ने इसे "अनुमान लगाओ और जाँचो" (guess and check) खेलकर हल करने की कोशिश की। वे एक वीडियो चुनते थे, कहते थे, "ठीक है, यही वह है!" और फिर चरणों की योजना बनाने की कोशिश करते थे। लेकिन अगर उन्होंने शुरुआत में ही गलत वीडियो चुन लिया, तो पूरा प्लान ढह जाता। यह पेरिस जाने के लिए नक्शा ढूँढने की कोशिश करने जैसा है जब आपने गलती से लंदन का नक्शा चुन लिया हो; आप नक्शे को कितनी भी अच्छी तरह से पढ़ लें, आप कभी एफिल टॉवर तक नहीं पहुँच पाएंगे। लेखक तर्क देते हैं कि इस "कठिन चुनाव" को बहुत जल्दी करना एक घातक गलती है।

समाधान: OSEF (वन-स्टेप एविडेंस फ्यूजन)

इसे ठीक करने के लिए, टीम ने एक नया सिस्टम बनाया जिसे OSEF (वन-स्टेप एविडेंस फ्यूजन) कहा जाता है। एक एकल वीडियो चुनने और बाकी को त्याग देने के बजाय, OSEF अंतिम क्षण तक सभी वीडियो को मिश्रण में रखता है।

कल्पना कीजिए कि आप एक रहस्य सुलझाने की कोशिश कर रहे हैं ऐसे जासूस हैं। पहले संदिग्ध को गिरफ्तार करने के बजाय, आप चारों संदिग्धों को कमरे में रखते हैं। आप सुरागों ( "शुरुआत" और "लक्ष्य" विवरण) को देखते हैं और पूछते हैं: "संदिग्ध A कहानी में कितनी अच्छी तरह फिट बैठता है? संदिग्ध B के बारे में क्या?" आप केवल एक को नहीं चुनते; आप हर एक वीडियो के हर एक क्षण के लिए एक "स्कोरबोर्ड" बनाते हैं।

फिर, OSEF एक विशेष "अनुवादक" (जिसे टोकन-ग्लोबल एडैप्टर कहा जाता है) का उपयोग करके इस पूरे स्कोरबोर्ड को प्लानिंग ब्रेन (योजना बनाने वाले मस्तिष्क) को खिलाता है। यह एक शेफ को एक विशाल, पारदर्शी शीट देने जैसा है जो हर वीडियो से हर संभावित चरण को दिखाती है, और यह भी बताती है कि उसके सही होने की कितनी संभावना है। शेफ फिर पूरी तस्वीर देख सकता है और निर्णय ले सकता है, "आह, वीडियो 1 में फ्राइंग वाला चरण सबसे अच्छा दिखता है, लेकिन वीडियो 2 में चॉपिंग वाला चरण अधिक स्पष्ट है।"

सभी विकल्पों को "सॉफ्ट" और उपलब्ध रखकर, सिस्टम गलत वीडियो पर बहुत जल्दी लॉक होने के जाल से बच जाता है। यह योजना प्रक्रिया को खुद को सुधारने की अनुमति देता है, भले ही शुरुआती अनुमान कि कौन सा वीडियो सबसे अच्छा है, थोड़ा गलत क्यों न हो।

उन्होंने क्या पाया

लेखकों ने अपने नए तरीके का परीक्षण एक विशाल बेंचमार्क के विरुद्ध किया जिसे उन्होंने बनाया था, जिसमें 11 विभिन्न स्रोतों (जैसे कुकिंग, DIY और क्लीनिंग) के निर्देशात्मक वीडियो शामिल थे। उन्होंने 14 अलग-अलग परीक्षण परिदृश्यों के साथ एक "स्कोरबोर्ड" बनाया।

यहाँ नंबर क्या कहते हैं:

  • बड़ी जीत: छह सबसे विश्वसनीय परीक्षण परिदृश्यों (जिन्हें "नेटिव सेल्स" कहा जाता है) पर, OSEF ने हर एक में पहला स्थान प्राप्त किया।
  • सुधार: चार विशिष्ट परीक्षणों में जहाँ वीडियो बहुत समान थे (सेम-टास्क), OSEF ने पिछले सर्वोत्तम तरीकों की तुलना में सटीक सही वीडियो और सटीक सही योजना प्राप्त करने की सफलता दर में 2.9 से 10.7 प्रतिशत अंक का सुधार किया।
  • सीक्रेट सॉस: लेखकों ने पाया कि सबसे बड़ा उछाल वीडियो चुनने के लिए फैंसी नए गणित से नहीं आया, बल्कि उस इंटरफेस से आया जिसने सभी वीडियो विकल्पों को प्लानर के देखने के लिए खुला रखा। यह "टोकन-ग्लोबल" दृष्टिकोण ही था जिसने अंतर पैदा किया।
  • सीमाएँ: सिस्टम अभी भी संघर्ष करता है जब वीडियो बहुत छोटे होते हैं या लेबल अव्यवस्थित होते हैं। पांच परिवर्तित परीक्षण परिदृश्यों में, सिस्टम का प्रदर्शन सबसे सामान्य उत्तर (मेजोरिटी-सीक्वेंस फ्लोर) का अनुमान लगाने से बेहतर नहीं था, जो बताता है कि इस प्रकार के अव्यवस्थित डेटा के लिए, समस्या अभी भी बहुत कठिन है।

यह क्यों महत्वपूर्ण है

यह पेपर दिखाता है कि जब हम कंप्यूटर को वास्तविक दुनिया के वीडियो के ढेर से सीखने के लिए कहते हैं, तो हम उन्हें तुरंत एक एकल, कठिन विकल्प चुनने के लिए मजबूर नहीं कर सकते। इसके बजाय, हमें उन्हें एक समय में सभी संभावनाओं को अपने मन में रखने की अनुमति देनी चाहिए, जिससे अंतिम निर्णय पूरी तस्वीर से उभर सके।

लेखक सावधानी से नोट करते हैं कि हालांकि यह एक महत्वपूर्ण कदम है, लेकिन यह कोई जादुई छड़ी नहीं है। सिस्टम अभी भी प्री-प्रोसेस्ड वीडियो फीचर्स और नियत (deterministic) क्वेरीज़ पर निर्भर करता है, और यह अभी भी भ्रमित हो सकता है यदि वीडियो बहुत समान हों या डेटा बहुत शोर भरा (noisy) हो। हालाँकि, यह साबित करके कि "विकल्प खुले रखना" "जल्दी विजेता चुनने" से बेहतर काम करता है, उन्होंने AI शोधकर्ताओं को मशीनों को मानव निर्देश वीडियो के अराजक, अद्भुत ढेर से सीखने के लिए सिखाने का एक नया, अधिक मजबूत तरीका दिया है।

अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?

आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।

Digest आज़माएँ →