← नवीनतम पेपर
🤖 AI

DynFrame: Adaptive Reasoning-Driven Multimodal Framework with Dynamic Frame Augmentation for Complex Video Understanding

DynFrame एक अनुकूलन योग्य मल्टीमॉडल फ्रेमवर्क है जो कुशल, बहु-स्तर (multi-granularity) वीडियो साक्ष्य पुनर्प्राप्ति और सटीक क्रेडिट असाइनमेंट को सक्षम करने के लिए एक सीखने योग्य, टोकनाइज्ड फ्रेम सैंपलिंग डेंसिटी और एक सेगमेंट-डिकपल्ड GRPO प्रशिक्षण रणनीति पेश करता है, जिससे जटिल वीडियो समझ में अत्याधुनिक प्रदर्शन प्राप्त होता है।

मूल लेखक: Peng Zhang, Guanghao Zhang, Wanggui He, Longxiang Zhang, Mushui Liu, Yan Xia, Zhenhao Peng, Weilong Dai, Jinlong Liu, Haobing Tang, Le Zhang, Hao Jiang, Pipei Huang

प्रकाशित 2026-05-27
📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें
CC BY 4.0

मूल लेखक: Peng Zhang, Guanghao Zhang, Wanggui He, Longxiang Zhang, Mushui Liu, Yan Xia, Zhenhao Peng, Weilong Dai, Jinlong Liu, Haobing Tang, Le Zhang, Hao Jiang, Pipei Huang

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

बड़ी समस्या: "धुंधली तस्वीर" का जाल (The "Blurry Snapshot" Trap)

कल्पना कीजिए कि आप 30 मिनट के वीडियो में एक रहस्य सुलझाने की कोशिश कर रहे हैं। आप एक स्मार्ट AI से पूछते हैं, "जब कार दुर्घटनाग्रस्त हुई थी, तब उसका रंग क्या था?"

वर्तमान AI मॉडल अक्सर एक ऐसे फोटोग्राफर की तरह काम करते हैं जो जवाब देने से पहले वीडियो का एक एकल, धुंधला स्नैपशॉट (snapshot) लेता है। वे शुरुआत, मध्य और अंत से कुछ फ्रेम चुन सकते हैं। यदि दुर्घटना उन फ्रेमों के बीच के एक सेकंड के हिस्से में हुई थी, तो AI उसे पूरी तरह से मिस कर देता है। इसके बाद वह अपनी याददाश्त के आधार पर उत्तर देने की कोशिश करता है, जिससे अक्सर "हैलुसिनेशन" (चीजों को मनगढ़ंत बनाना) होता है।

कुछ नए मॉडल इस समस्या को ठीक करने के लिए AI को वीडियो को "रीवाइंड" (पीछे जाकर देखना) करने की अनुमति देकर काम करते हैं। हालांकि, ये मॉडल अनाड़ी होते हैं। उन्हें आमतौर पर वीडियो को कई बार रिवाइंड करना पड़ता है, पहले एक छोटा क्लिप मांगना, फिर दूसरा, और फिर एक और। यह धीमा, महंगा है और इससे AI की "सोचने की प्रक्रिया" बहुत लंबी और भ्रमित हो जाती है।

समाधान: DynFrame (द "स्मार्ट डिटेक्टिव")

DynFrame एक नया सिस्टम है जो AI को एक बहुत अधिक स्मार्ट जासूस बनना सिखाता है। धुंधले स्नैपशॉट लेने या वीडियो को दस बार रिवाइंड करने के बजाय, DynFrame एक ही स्टेप में दो चीजें एक साथ करना सीखता है:

  1. कहाँ देखना है: यह सटीक समय अंतराल चुनता है (जैसे, "1:05 और 1:10 के बीच देखें")।
  2. कितनी तेजी से देखना है: यह उस विशिष्ट क्षण के लिए आवश्यक "फ्रेम रेट" (प्रति सेकंड कितने चित्र) का निर्णय लेता है।

एनालॉजी (उपमा): सुरक्षा कैमरा
कल्पना कीजिए कि एक सुरक्षा गार्ड लाइव फीड देख रहा है।

  • पुराना AI: गार्ड हर 10 सेकंड में एक फोटो लेता है। यदि कोई चोर 10:05 पर भागता है, तो गार्ड उसे मिस कर देता है। फिर गार्ड को फुटेज को "ज़ूम इन" करने और "धीमा" करने के लिए कैमरा ऑपरेटर को कॉल करना पड़ता है, और फिर और अधिक ज़ूम करने के लिए फिर से कॉल करना पड़ता है।
  • DynFrame: गार्ड को कुछ संदिग्ध दिखता है। तुरंत, वह कहता है: "10:05 पर रिवाइंड करो, और मुझे 60 फ्रेम्स प्रति सेकंड दिखाओ!" उन्हें केस सुलझाने के लिए तुरंत सटीक, हाई-स्पीड सबूत मिल जाता है।

यह कैसे काम करता है (The "Native Tokens")

पेपर एक चतुर तकनीक पेश करता है जिसे टोकनाइज्ड रिट्रीवल (Tokenized Retrieval) कहा जाता है।
आमतौर पर, कंप्यूटर से "अधिक वीडियो प्राप्त करने" के लिए कहना एक अलग विभाग को अलग ईमेल भेजने जैसा है। DynFrame इस हिस्से को बातचीत का ही हिस्सा बना देता है।

AI अपनी सोचने की प्रक्रिया के भीतर ही विशेष "जादुई शब्द" (टोकन) जैसे <span (समय अंतराल) और <fps (फ्रेम प्रति सेकंड) उत्पन्न करता है।

  • उदाहरण: AI सोचता है: "मुझे दुर्घटना की जांच करने की आवश्यकता है। 10.0s - 12.0s 6। ठीक है, अब मैं देख पा रहा हूँ कि कार लाल रंग की थी..."

यह AI को यह तय करने की अनुमति देता है कि उसे तेज़ एक्शन के लिए स्लो-मोशन व्यू (हाई फ्रेम्स प्रति सेकंड) की आवश्यकता है, या धीमी बातचीत के लिए केवल कुछ धीमे फ्रेमों की।

ट्रेनिंग: "सेगमेंट-डिकपल्ड GRPO" (Segment-Decoupled GRPO)

मॉडल को यह करने के लिए प्रशिक्षित करना कठिन है। यदि AI गलत उत्तर देता है, तो आप कैसे जानेंगे कि वह गलत समय देख रहा था या उसने जो वीडियो देखा उसका गलत अर्थ निकाला?

लेखकों ने एक नई प्रशिक्षण विधि बनाई है जिसे SD-GRPO कहा जाता है।

  • एनालॉजी: कल्पना कीजिए कि एक छात्र परीक्षा दे रहा है।
    • पुरानी विधि: यदि छात्र अंतिम उत्तर गलत देता है, तो उसे पूरे टेस्ट के लिए खराब ग्रेड मिलता है, भले ही उसने सही टेक्स्टबुक पेज चुना हो लेकिन केवल गणित में गलती की हो।
    • DynFrame विधि: शिक्षक ग्रेड को अलग करता है। "आपने पेज नंबर सही चुना (बहुत अच्छा!)" लेकिन "आपने गणित गलत किया (फिर से प्रयास करें)।"
      यह AI को विशेष रूप से यह सीखने में मदद करता है कि सही वीडियो सेगमेंट कैसे खोजा जाए और उसके बारे में कैसे तर्क किया जाए, बिना दोनों कौशलों को आपस में उलझाए।

परिणाम

लेखकों ने छह अलग-अलग वीडियो चुनौतियों (जैसे लंबे वीडियो में विशिष्ट क्षणों को खोजना या लंबी फिल्मों के बारे में प्रश्नों के उत्तर देना) पर DynFrame का परीक्षण किया।

  • प्रदर्शन: उनके छोटे मॉडल (4 बिलियन पैरामीटर्स) ने बहुत बड़े, स्थापित मॉडलों (7-8 बिलियन पैरामीटर्स) के बराबर प्रदर्शन किया।
  • दक्षता (Efficiency): क्योंकि DynFrame को कई बार होने वाले अनाड़ी चरणों के बजाय केवल एक स्मार्ट रिट्रीवल स्टेप की आवश्यकता होती है, इसलिए यह तेज़ है और इसमें कम कंप्यूटिंग पावर की आवश्यकता होती है।

सारांश

DynFrame एक वीडियो AI है जो केवल यह "अनुमान" नहीं लगाता कि क्या देखना है। यह यह कहना सीखता है, "मुझे इस विशिष्ट 5-सेकंड के क्लिप को देखने की आवश्यकता है, लेकिन मुझे इसे स्लो मोशन में देखने की आवश्यकता है," और यह सब एक ही सांस में करता है। यह इसे जटिल वीडियो रहस्यों को सुलझाने में बहुत बेहतर बनाता है बिना भटके या समय बर्बाद किए।

अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?

आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।

Digest आज़माएँ →

इसी तरह के और पेपर

इस विषय के सभी पेपर देखें 🤖 cs.AI →