🤖 AI

Confidence-Aware Tool Orchestration for Robust Video Understanding

यह शोध पत्र Robust-TO को प्रस्तुत करता है, जो एक एजेंटिक वीडियो समझ ढांचा (framework) है जो प्रति-फ्रेम विश्वसनीयता स्कोर को एक एकीकृत टूल ऑर्केस्ट्रेशन सिस्टम में एकीकृत करके "ब्लाइंड ट्रस्ट प्रॉब्लम" को कम करता है, जिससे अत्याधुनिक मॉडलों की तुलना में सटीकता और दृश्य भ्रष्टाचार (visual corruptions) के विरुद्ध मजबूती में महत्वपूर्ण सुधार होता है।

मूल लेखक: Yangfan He, Yujin Choi, Jaehong Yoon

प्रकाशित 2026-06-26

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Yangfan He, Yujin Choi, Jaehong Yoon

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक जासूस हैं जो सुरक्षा कैमरे के वीडियो के आधार पर एक अपराध को सुलझाने की कोशिश कर रहे हैं। लेकिन यहाँ एक पेंच है: वीडियो बहुत खराब है। कुछ हिस्से कैमरे के हिलने के कारण धुंधले हैं, कुछ सूरज की तेज़ रोशनी से बहुत चमकीले हो गए हैं, और कुछ हिस्सा लेंस के सामने से गुजरने वाले ट्रक द्वारा बाधित है।

समस्या: "अंधा विश्वास" (Blind Trust)
अधिकांश वर्तमान AI जासूस, जैसा कि लेखकों ने कहा है, "ब्लाइंड ट्रस्ट प्रॉब्लम" से ग्रस्त होते हैं। वे वीडियो के हर एक फ्रेम को देखते हैं और मानते हैं, "यह तस्वीर एकदम सही है, और मैं इस पर पूरी तरह भरोसा कर सकता हूँ।" उन्हें यह समझ नहीं आता कि एक धुंधला फ्रेम वास्तव में एक बुरा सुराग है। क्योंकि वे बुरे सुरागों पर भी उतने ही विश्वास करते हैं जितना कि अच्छे सुरागों पर, वे अक्सर गलत उत्तर देते हैं, फिर भी वे अपनी गलती पर 100% आश्वस्त रहते हैं। यह एक जासूस की तरह है जो गंदे विंडशील्ड के माध्यम से लाइसेंस प्लेट पढ़ने की कोशिश कर रहा है और ज़ोर देकर कह रहा है, "मैं इसे स्पष्ट रूप से देख पा रहा हूँ!"

समाधान: Robust-TO
यह शोध पत्र Robust-TO पेश करता है, जो AI के वीडियो देखने का एक नया तरीका है। हर फ्रेम पर अंधा विश्वास करने के बजाय, Robust-TO एक स्मार्ट, संदेही संपादक (editor) की तरह काम करता है जिसे पता है कि एक खराब वीडियो को कैसे संभालना है। यह तीन चरणों में काम करता है:

1. "गुणवत्ता निरीक्षक" (फ्रेम चयन - Frame Selection)

रहस्य सुलझाने से पहले, Robust-TO वीडियो को स्कैन करता है और हर एक फ्रेम को रेटिंग देता है।

उपमा (Analogy): कल्पना कीजिए कि एक फिल्म संपादक फुटेज के रील को देख रहा है। वे उन फ्रेम्स को चिह्नित करते हैं जो धुंधले हैं, बहुत अंधेरे हैं, या किसी वस्तु द्वारा बाधित हैं, और उन्हें "कचरा" (Trash) के रूप में चिह्नित करते हैं। वे केवल "गोल्ड" फ्रेम्स को रखते हैं—वे जो स्पष्ट हैं और वास्तव में वह दिखाते हैं जो प्रश्न पूछ रहा है।
परिणाम: यदि प्रश्न है "किस कार ने रेड लाइट जंप की?", तो AI उन फ्रेम्स को अनदेखा कर देता है जहाँ एक ट्रक दृश्य को बाधित कर रहा है या वाइपर विंडशील्ड को धुंधला कर रहे हैं। यह केवल स्पष्ट क्षणों का उपयोग करता है।

2. "विशेषज्ञ टीम" (कॉन्फिडेंस-गाइडेड टूल रूटिंग - Confidence-Guided Tool Routing)

एक बार जब AI के पास अच्छे फ्रेम्स आ जाते हैं, तो वह केवल अनुमान नहीं लगाता। यह बड़े प्रश्न को छोटे, विशिष्ट कार्यों में तोड़ देता है और उन्हें विभिन्न "टूल्स" (विशेषज्ञ AI प्रोग्रामों) के पास भेज देता है।

उपमा: एक मेडिकल टीम के बारे में सोचें। यदि किसी मरीज का पैर टूट गया है, तो आप उसे नेत्र रोग विशेषज्ञ के पास नहीं, बल्कि हड्डी विशेषज्ञ (orthopedist) के पास भेजते हैं।
यह कैसे काम करता है: यदि वीडियो धुंधला है, तो Robust-TO जानता है कि एक "डिटेक्शन टूल" (जो तीखे किनारों को देखता है) विफल हो सकता है। इसलिए, यह कार्य को "कैप्शनिंग टूल" (जो धुंधलेपन में भी क्या हो रहा है इसका अनुमान लगाने में बेहतर है) की ओर मोड़ देता है।
कॉन्फिडेंस स्कोर: प्रत्येक टूल एक उत्तर और एक कॉन्फिडेंस स्कोर देता है। लेकिन यहाँ एक ट्रिक है: स्कोर को इस आधार पर समायोजित किया जाता है कि वीडियो कितना खराब था। यदि कोई टूल एक धुंधले फ्रेम के आधार पर उत्तर देता है, तो उसका कॉन्फिडेंस स्कोर स्वचालित रूप से कम हो जाता है, जैसे कि एक चेतावनी लेबल हो जो कहता है, "इसे सावधानी के साथ लें।"

3. "मुख्य जासूस" (टियर्ड एविडेंस सिंथेसिस - Tiered Evidence Synthesis)

अंत में, मुख्य AI टूल्स के सभी उत्तरों को इकट्ठा करता है। यह उन्हें तीन श्रेणियों में वर्गीकृत करता है:

उच्च श्रेणी (High Tier): स्पष्ट फ्रेमों से प्राप्त स्पष्ट साक्ष्य। यह "सत्य" है।
मध्यम श्रेणी (Medium Tier): ठीक-ठाक साक्ष्य। इनका उपयोग तभी किया जाता है जब ये उच्च श्रेणी से मेल खाते हों।
निम्न श्रेणी (Low Tier): खराब फ्रेमों से प्राप्त कचरा साक्ष्य। इन्हें फेंक दिया जाता है जब तक कि वास्तव में और कुछ भी न बचा हो।
परिणाम: AI अपना अंतिम उत्तर केवल "उच्च श्रेणी" के तथ्यों का उपयोग करके बनाता है। यदि साक्ष्य संदिग्ध है, तो यह बेतहाशा अनुमान लगाने के बजाय अनिश्चितता स्वीकार करता है।

यह क्यों महत्वपूर्ण है (परिणाम)

लेखकों ने इन कठिन परीक्षणों पर इस सिस्टम का परीक्षण किया जिसमें जानबूझकर धुंधलेपन, चमक और रुकावट (जैसे बारिश में चलती कार) के साथ वास्तविक दुनिया के वीडियो दिए गए थे।

पुराना तरीका: जब वीडियो खराब होता था, तो मानक AI मॉडल विफल हो जाते थे। उनकी सटीकता 15-30% तक गिर जाती थी, लेकिन उन्हें पता नहीं चलता था कि वे विफल हो रहे हैं।
Robust-TO का तरीका: इन अस्त-व्यस्त वीडियो के साथ भी, Robust-TO ने अपनी सटीकता को उच्च बनाए रखा। इसने वास्तव में इन कठिन परीक्षणों पर कुछ सबसे महंगे, प्रसिद्ध AI मॉडल (जैसे Gemini-2.5-Pro) से बेहतर प्रदर्शन किया।
दक्षता (Efficiency): क्योंकि यह खराब फ्रेमों को अनदेखा कर देता है, इसलिए इसे बहुत अधिक डेटा प्रोसेस करने की आवश्यकता नहीं होती है। इसने समस्याओं को तेज़ी से हल किया और कम कंप्यूटर पावर का उपयोग किया, फिर भी सही उत्तर अधिक बार प्राप्त किए।

संक्षेप में
Robust-TO AI को एक "अंधा आशावादी" बनने के बजाय एक "आलोचनात्मक विचारक" बनना सिखाता है। यह यह कहना सीखता है कि, "मैं वीडियो के इस हिस्से पर भरोसा नहीं कर सकता, इसलिए मैं इसे अनदेखा करूँगा और स्पष्ट हिस्सों पर ध्यान केंद्रित करूँगा," जिससे यह सुनिश्चित होता है कि जब यह कोई उत्तर देता है, तो वह वास्तव में ठोस साक्ष्यों पर आधारित होता है।

तकनीकी सारांश: कॉन्फिडेंस-अवेयर टूल ऑर्केस्ट्रेशन के लिए Robust-TO

1. समस्या की परिभाषा: ब्लाइंड ट्रस्ट (अंध विश्वास) की समस्या

यह शोध पत्र समकालीन वीडियो लार्ज लैंग्वेज मॉडल्स (Video-LLMs) में एक गंभीर खामी की पहचान करता है: ब्लाइंड ट्रस्ट प्रॉब्लम (Blind Trust Problem)। वर्तमान मॉडल अंतर्निهمतः यह मान लेते हैं कि प्रत्येक इनपुट फ्रेम समान रूप से विश्वसनीय और सूचनात्मक है। मोशन ब्लर, ग्लेयर (चमक), लो-लाइट नॉइज़, या ऑक्लूजन (अवरोध) जैसे व्यवधानों वाले वास्तविक परिदृश्यों में, यह धारणा महत्वपूर्ण प्रदर्शन गिरावट का कारण बनती है। फ्रंटियर मॉडल्स इन स्थितियों में एम्बोडीड बेंचमार्क्स पर 15-30 प्रतिशत अंकों तक की सटीकता खो सकते हैं, फिर भी उनका स्व-रिपोर्ट किया गया आत्मविश्वास (confidence) काफी हद तक अपरिवर्तित रहता है। यह "साइलेंट फेलियर" (मौन विफलता) फोरेंसिक विश्लेषण, निगरानी और स्वायत्त ड्राइविंग जैसे सुरक्षा-महत्वपूर्ण डोमेन में विशेष रूप से खतरनाक है, जहाँ मॉडल खराब दृश्य साक्ष्यों के बावजूद उच्च आत्मविश्वास के साथ आगे बढ़ता है।

मौजूदा दृष्टिकोण आमतौर पर दृश्य संकेत की आंतरिक गुणवत्ता का मूल्यांकन किए बिना यूनिफॉर्म या क्वेरी-समानता-आधारित फ्रेम सैंपलिंग पर निर्भर करते हैं। फलस्वरूप, दूषित फ्रेमों को वैध साक्ष्य के रूप में माना जाता है, जिससे अंतिम भविष्यवाणी विकृत हो जाती है।

2. कार्यप्रणाली: Robust-TO फ्रेमवर्क

इसे संबोधित करने के लिए, लेखक Robust-TO प्रस्तावित करते हैं, जो एक एजेंटिक वीडियो समझ फ्रेमवर्क है जो स्पष्ट रूप से प्रत्येक फ्रेम की विश्वसनीयता को तर्क के हर चरण में एकीकृत करता है। यह प्रणाली ग्रुप रिलेटिव पॉलिसी ऑप्टिमाइज़ेशन (GRPO) के साथ प्रशिक्षित एक होस्ट वीडियो लैंग्वेज मॉडल (VLM) द्वारा निर्देशित तीन-चरणीय पाइपलाइन के माध्यम से संचालित होती है।

A. क्वालिटी प्रोफाइलिंग के माध्यम से फ्रेम चयन

तर्क करने से पहले, सिस्टम वीडियो स्ट्रीम $\tilde{V}$ की गुणवत्ता का आकलन करता है।

क्वालिटी प्रोफाइलिंग: एक पैरामीटर-मुक्त टूल (assess_quality) तीन प्रमुख भ्रष्टाचार प्रकारों: ब्लर (धुंधलापन), ब्राइटनेस डेविएशन (चमक विचलन), और ऑक्लूजन (अवरोध) के आधार पर प्रत्येक फ्रेम के लिए एक डिस्टर्बेंस प्रोफाइल $d(f_i)$ का अनुमान लगाने के लिए विश्लेषण करता है। ये प्रशिक्षण डेटा की आवश्यकता के बिना सिग्नल-स्तर के सांख्यिकी (जैसे, ब्लर के लिए इनवर्स लैप्लासियन वेरिएंस, ऑक्लूजन के लिए सोबेल-मैग्निट्यूड) के माध्यम से कंप्यूट किए जाते हैं।
रिलायबिलिटी-रेलेवेंस स्कोरिंग: फ्रेमों को एक मिश्रित मीट्रिक $s(f_i) = (1 - d(f_i)) \cdot \text{sim}(\phi(f_i), \psi(q))$ का उपयोग करके स्कोर किया जाता है, जो दृश्य विश्वसनीयता और क्वेरी प्रासंगिकता के बीच संतुलन बनाता है।
चयन: डाउनस्ट्रीम प्रोसेसिंग के लिए शीर्ष- $K$ विश्वसनीय फ्रेमों का चयन किया जाता है, जिससे उन दूषित फ्रेमों को फ़िल्टर किया जाता है जिन्हें उच्च क्वेरी समानता के कारण चुना जा सकता था।

B. कॉन्फिडेंस-गाइडेड टूल राउटिंग

होस्ट VLM मूल क्वेरी को परमाणु उप-क्वेरीज़ (atomic sub-queries) में विभाजित करता है और उन्हें विशिष्ट धारणा उपकरणों (perception tools) को भेजता है।

एडेप्टिव राउटिंग: राउटिंग निर्णय चयनित फ्रेमों में प्रमुख भ्रष्टाचार प्रकार पर विचार करता है। उदाहरण के लिए, यदि ब्लर प्रमुख है, तो सिस्टम उन टूल्स को प्राथमिकता देता है जो स्थानिक क्षरण (spatial degradation) के प्रति मजबूत हों (जैसे, कैप्शनिंग), बजाय उन टूल्स के जिन्हें शार्प बाउंड्री की आवश्यकता होती है (जैसे, ऑब्जेक्ट डिटेक्शन)।
कैलिब्रेटेड कॉन्फिडेंस आउटपुट: प्रत्येक टूल एक टुपल $(r_j, c_j)$ $(r_{j}, c_{j})$ लौटाता है, जहाँ $r_j$ $r_{j}$ परिणाम है और $c_j$ $c_{j}$ एक कैलिब्रेटेड कॉन्फिडेंस स्कोर है।
- $c_j = c_j^{\text{intrinsic}} \times \rho(F_j)$
- $c_j^{\text{intrinsic}}$ टूल का स्व-आकलन (जैसे, डिटेक्शन स्कोर) है।
- $\rho(F_j)$ इनपुट रिलायबिलिटी है, जिसे उस टूल कॉल द्वारा उपयोग किए गए सबसे खराब प्रदर्शन करने वाले फ्रेम के उपसमूह के औसत रिलायबिलिटी के रूप में गणना की जाती है। यह कुछ साफ फ्रेमों को गंभीर रूप से दूषित इनपुट को छिपाने से रोकता है।

C. रिलायबिलिटी-अवेयर एविडेंस सिंथेसिस

अंतिम उत्तर को साक्ष्य को तीन स्तरों में समूहित करके संश्लेषित किया जाता है: हाई (High), मीडियम (Medium), और लो (Low)।

हाई-टियर: प्राथमिक निष्कर्ष को संचालित करता है।
मीडियम-टियर: केवल तभी रखा जाता है जब यह हाई-टियर निष्कर्ष के साथ सुसंगत हो; अन्यथा इसे हटा दिया जाता है।
लो-टियर: केवल तभी उपयोग किया जाता है जब कोई मजबूत साक्ष्य मौजूद न हो, जिसमें स्पष्ट अनिश्चितता रिपोर्टिंग शामिल है।
यह स्तरीय दृष्टिकोण सुनिश्चित करता है कि अंतिम भविष्यवाणी उपलब्ध सबसे विश्वसनीय दृश्य साक्ष्य पर आधारित हो।

D. ट्रेनिंग ऑब्जेक्टिव: कॉन्फिडेंस-कॉस्ट GRPO

होस्ट VLM को एक कंपोजिट रिवॉर्ड फंक्शन $R_{\text{total}}$ के साथ GRPO का उपयोग करके एंड-टू-एंड प्रशिक्षित किया जाता है जो चार संकेतों को संतुलित करता है:

करेक्टनेस ( $R_{\text{acc}}$ ): अंतिम उत्तर की सटीकता।
कॉन्फिडेंस-कॉस्ट ( $R_{\text{cc}}$ ): उच्च-आत्मविश्वास वाले आउटपुट को प्रोत्साहित करता है जबकि दूषित फ्रेमों पर महंगे टूल कॉल्स को दंडित करता है ( $c_j - \lambda \cdot \text{cost}(T_j)$ )।
सब-क्वेरी एफिशिएंसी ( $R_{\text{subq}}$ ): ओवर-डिकंपोजिशन (फिजूल कॉल्स) और अंडर-डिकंपोजिशन (सूचना अंतराल) दोनों को दंडित करता है, जो एक फ्रोजन VLM द्वारा अनुमानित लक्ष्य संख्या पर आधारित है।
फॉर्मेट रिवॉर्ड ( $R_{\text{fmt}}$ ): संरचित आउटपुट फॉर्मेट के पालन को सुनिश्चित करता है।

3. मुख्य योगदान

ब्लाइंड ट्रस्ट प्रॉब्लम का औपचारिकीकरण: यह शोध पत्र स्पष्ट रूप से वास्तविक दुनिया के भ्रष्टाचारों के तहत मॉडल के आत्मविश्वास और दृश्य साक्ष्य की विश्वसनीयता के बीच के अंतर को परिभाषित और मात्रात्मक रूप से निर्धारित करता है।
Robust-TO फ्रेमवर्क: एक नवीन एजेंटिक पाइपलाइन जो प्रति-फ्रेम गुणवत्ता प्रोफाइलिंग को एडेप्टिव टूल राउटिंग और टियर्ड एविडेंस सिंथेसिस के साथ जोड़ती है।
यूनिफाइड कॉन्फिडेंस इंटरफेस: एक तंत्र जो टूल सर्टेन्टी को इनपुट फ्रेम रिलायबिलिटी के साथ गुणा करके कैलिब्रेटेड कॉन्फिडेंस स्कोर आउटपुट करता है, जिससे रीजनिंग मॉडल को साक्ष्य को गतिशील रूप से तौलने की अनुमति मिलती है।
कॉन्फिडेंस-कॉस्ट ऑप्टिमाइज़ेशन: एक GRPO ट्रेनिंग रणनीति जो सटीकता, साक्ष्य विश्वसनीयता और इन्फरेंस दक्षता के लिए संयुक्त रूप से अनुकूलित (optimize) करती है, जिससे मॉडल को दूषित डेटा के लिए महंगे टूल्स पर अत्यधिक निर्भर होने से रोका जाता है।

4. प्रयोगात्मक परिणाम

फ्रेमवर्क का मूल्यांकन UrbanVideo-Bench और VSI-Bench पर किया गया, जिसमें आठ कार्यों (जैसे, लैंडमार्क पोजीशन, रूट प्लानिंग, एक्शन जनरेशन) को क्लीन और करप्टेड (RoVA के माध्यम से उत्पन्न) दोनों स्थितियों के तहत कवर किया गया।

क्लीन डेटा प्रदर्शन: Qwen3-VL-7B बैकबोन के साथ Robust-TO ने 56.4% औसत सटीकता प्राप्त की, जो सबसे मजबूत ओपन-सोर्स बेसलाइन (Video-R1) को 10.6% से पीछे छोड़ देती है और प्रोप्रायटरी Gemini-2.5-Pro (46.2%) से बेहतर प्रदर्शन करती है।
करप्टेड डेटा प्रदर्शन: पांच वास्तविक भ्रष्टाचार प्रकारों (मोशन ब्लर, गॉसियन नॉइज़, ग्लेयर, ऑक्लूजन, लो-लाइट) के तहत, Robust-TO ने 54.3% औसत सटीकता बनाए रखी। यह सबसे मजबूत ओपन-सोर्स बेसलाइन (Video-R1) से 5.8% सुधार और Gemini-2.5-Pro से 16.2% सुधार है।
रोबस्टनेस: Robust-TO ने सभी तुलना की गई विधियों में क्लीन से करप्टेड स्थितियों में सबसे कम सटीकता गिरावट प्रदर्शित की।
एफिशिएंसी: एडेप्टिव की-फ्रेम सेलेक्टर ने औसत प्रोसेस्ड फ्रेमों की संख्या को 35% (32 से 20.7) कम कर दिया और प्रति-सैंपल इन्फरेंस समय को 35% से अधिक कम कर दिया, जबकि साथ ही सटीकता में सुधार किया।

5. महत्व और दावे

यह शोध पत्र दावा करता है कि Robust-TO वीडियो रीजनिंग को "ब्लाइंड ट्रस्ट" प्रतिमान से "कॉन्फिडेंस-अवेयर" प्रतिमान में मौलिक रूप से बदल देता है। दृश्य साक्ष्य की विश्वसनीयता को स्पष्ट रूप से मॉडल करके, सिस्टम वास्तविक दुनिया के वीडियो भ्रष्टाचारों का सामना करने पर साइलेंट फेलियर के बजाय ग्रेसफुल डिग्रेडेशन (क्रमिक गिरावट) प्राप्त करता है।

लेखक इस बात पर जोर देते हैं कि उनका दृष्टिकोण केवल पैरामीटर्स या डेटा को स्केल नहीं करता है, बल्कि यह साक्ष्य प्राप्त करने और संश्लेषित करने के तरीके में एक संरचनात्मक परिवर्तन लाता है। परिणाम दर्शाते हैं कि एडेप्टिव विजुअल टूल का उपयोग, जो प्रति-फ्रेम रिलायबिलिटी अनुमानों द्वारा निर्देशित है, दूषित और क्लीन दोनों वीडियो के लिए फायदेमंद है, जो सुरक्षा-महत्वपूर्ण अनुप्रयोगों के लिए अधिक मजबूत और विश्वसनीय मल्टीमॉडलल रीजनिंग सिस्टम की ओर एक मार्ग प्रदान करता है। यह कार्य भविष्य के ओपन-वर्ल्ड वीडियो रीजनिंग विस्तार में सहायता के लिए कोड और चेकपॉइंट्स के साथ जारी किया गया है।