तकनीकी सारांश: VideoHarness-RSI

समस्या विवरण

लंबे वीडियो को समझना (Long-video understanding) विजन-लैंग्वेज मॉडल्स (VLMs) के लिए एक महत्वपूर्ण चुनौती बना हुआ है, भले ही उनके अंतर्निहित मॉडल शक्तिशाली हों। मुख्य बाधा अनिवार्य रूप से मॉडल की अनुमान क्षमता (inference capability) नहीं है, बल्कि संदर्भ निर्माण (context construction) है: यानी हजारों अप्रासंगिक फ्रेमों वाले वीडियो से चुनिंदा दृश्य अवलोकनों (visual observations) को कैसे चुना और व्यवस्थित किया जाए।

मौजूदा दृष्टिकोण इसे संपीड़न (compression), पुनर्प्राप्ति (retrieval), मेमोरी, या एजेंटिक साक्ष्य प्राप्ति (agentic evidence acquisition) के माध्यम से हल करते हैं। हालाँकि, ये प्रणालियाँ आमतौर पर कई घटकों को एक साथ संशोधित करती हैं (जैसे, मॉडल, पुनर्प्राप्ति तंत्र और तर्क कार्यप्रवाह को एक साथ बदलना)। यह एक विशिष्ट प्रश्न को अलग करने में कठिन बनाता है: यदि VLM और उसके इंटरफ़ेस को पूरी तरह से स्थिर रखा जाए, तो केवल उस निष्पादन योग्य प्रोग्राम (executable program) को सुधारने से कितना प्रदर्शन लाभ प्राप्त किया जा सकता जा सकता है जो संदर्भ का निर्माण करता है?

कार्यप्रणाली: VideoHarness-RSI

यह शोध पत्र VideoHarness-RSI (रिकर्सिव हार्नेस सेल्फ-इम्प्रूवमेंट) पेश करता है, जो एक स्थिर (frozen) VLM के आसपास इष्टतम निष्पादन योग्य संदर्भ निर्माताओं (हार्नेस) को पुनरावर्ती रूप से खोजने के लिए एक नियंत्रित ढांचा है।

मुख्य ढांचा (Core Framework)

प्रणाली हार्नेस को एक प्रोग्राम $H$ के रूप में मानती है जो एक वीडियो-प्रश्न युग्म $(V, q)$ को एक सीमित मल्टीमॉडल संदर्भ $C_H$ में मैप करता है, जिसे फिर एक स्थिर VLM $M$ को उत्तर $\hat{y}$ उत्पन्न करने के लिए दिया जाता है।
$$\hat{y} = M(H(V, q; K), q)$$
अनुकूलन का उद्देश्य एक निश्चित संदर्भ बाधा $K$ के अधीन, निष्पादन योग्य प्रोग्रामों के स्थान $H_{exec}$ पर विकास सटीकता (development accuracy) को अधिकतम करना है।

हार्नेस का विखंडन (The Harness Decomposition)

लेखक किसी भी हार्नेस को तीन कार्यात्मक चरणों में विश्लेषणात्मक रूप से विभाजित करते हैं, हालांकि ये अलग-अलग अनुकूलित उद्देश्य नहीं हैं बल्कि प्रोग्राम उत्परिवर्तन (mutation) के लिए एक पथ हैं:

1. लिखना ($Write_H$): वीडियो का एक पता योग्य प्रतिनिधित्व (addressable representation) बनाता है (जैसे, एक स्ट्रीम, कैप्शन सूची, या एम्बेडिंग इंडेक्स)।
2. पढ़ना ($Read_H$): प्रश्न $q$ के आधार पर साक्ष्य को पुनर्प्राप्त करता है।
3. पैक करना ($Pack_H$): सीमित संदर्भ को VLM के लिए क्रमबद्ध और स्वरूपित करता है।

पुनरावर्ती खोज प्रोटोकॉल (Recursive Search Protocol)

खोज एक बाहरी लूप के माध्यम से संचालित होती है जो हार्नेस उत्परिवर्तन का प्रस्ताव करती है, उन्हें निष्पादित करती है और उनका मूल्यांकन करती है:

1. प्रस्तावक (Proposer): एक LLM-आधारित प्रस्तावक (Claude Opus 4.6) वर्तमान सर्वश्रेष्ठ प्रोग्रामों की सीमा ($F_t$) और एक आर्काइव ($A_t$) (ऐतिहासिक कोड, स्कोर और निष्पादन ट्रेस) के आधार पर उम्मीदवार हार्नेस कोड उत्पन्न करता है।
2. मूल्यांकन: उम्मीदवारों का एक विकास सेट ($D_{dev}$) पर एंड-टू-एंड "स्मोक-टेस्ट" और मूल्यांकन किया जाता है।
3. चयन: अपडेट नियम सख्त है। एक उम्मीदवार $H_{t,j}$ को फ्रंटियर $F_{t+1}$ में केवल तभी पदोन्नत किया जाता है यदि उसकी विकास सटीकता $S(H_{t,j})$ वर्तमान फ्रंटियर की सटीकता से सख्ती से अधिक हो।
4. बाधाएं: खोज के दौरान VLM (Qwen3-VL-8B-Instruct), उसका डिकोडिंग कॉन्फ़िगरेशन, और मूल्यांकन मेट्रिक्स स्थिर रहते हैं। खोज मॉडल के मापदंडों (parameters) को नहीं छूती है।

प्रयोगात्मक सेटअप

• डेटासेट: LVBench (फिल्टरिंग के बाद 1,232 QA जोड़े)। खोज/विकास के लिए 350 प्रश्न उपयोग किए गए; 882 को होल्ड-आउट मूल्यांकन के लिए सुरक्षित रखा गया।
• बेसलाइन: यूनिफॉर्म सैंपलिंग, साहित्य-प्रेरित हस्त-निर्मित हार्नेस (जैसे, AKS, WorldMM-शैली, Homer-शैली), और यूनिफॉर्म सैंपलिंग के तहत मालिकाना VLMs के विरुद्ध तुलना की गई।
• लागत मीट्रिक (Cost Metric): इनपुट-साइड संदर्भ लागत को प्रति प्रश्न दृश्य और सहायक टेक्स्ट टोकन के योग के रूप में मापा जाता है, जिसमें ऑफलाइन इंडेक्सिंग लागत शामिल नहीं है।

मुख्य परिणाम

1. खोज से प्रदर्शन लाभ

पुनरावर्ती खोज ने कमजोर और मजबूत दोनों बेसलाइनों की तुलना में प्रदर्शन में निरंतर सुधार किया:

• यूनिफॉर्म सैंपलिंग से: एक रैंडम यूनिफॉर्म सैंपलिंग बेसलाइन (36.3% सटीकता) से शुरू करते हुए, खोज ने EMBEDNAVIGATE-HYBRID की खोज की, जिसने होल्ड-आउट सेट पर 45.4% प्राप्त किया।
• मजबूत हस्त-निर्मित बेसलाइनों से: एक मजबूत हस्त-निर्मित बेसलाइन (AKS, 46.5%) से शुरू करते हुए, खोज ने TIMESTAMPED-AKS की खोज की, जिसने होल्ड-आउट सटीकता को बढ़ाकर 50.3% कर दिया।
• क्रॉस-बेंचमार्क ट्रांसफर: LVBench पर चुने गए हार्नेस को बिना किसी और खोज या अनुकूलन के सीधे Video-MME और MLVU पर लागू किया गया। वे दोनों बेंचमार्क पर यूनिफॉर्म सैंपलिंग से बेहतर प्रदर्शन करते हैं (जैसे, Video-MME पर 61.5% बनाम 59.9%), जो सुझाव देता है कि खोजे गए नीतियां हस्तांतरणीय (transferable) हैं।

2. सुधार का तंत्र

खोजे गए हार्नेसों का विश्लेषण विशिष्ट रणनीतियों को प्रकट करता है:

• नेविगेशन बनाम रिट्रीवल: खोज ने पाया कि टेम्पोरल नेविगेशन (प्रासंगिक समय क्षेत्रों पर सैंपलिंग को केंद्रित करने के लिए कैप्शन का उपयोग करना) को विजुअल सिमिलरिटी रिट्रीवल (CLIP एम्बेडिंग का उपयोग करना) के साथ जोड़ने से अकेले किसी एक के उपयोग की तुलना में बेहतर परिणाम मिलते हैं।
• साक्ष्य दृश्यता (Evidence Visibility): हाइब्रिड हार्नेस ने न केवल अधिक एनोटेटेड साक्ष्य अंतराल (दृश्य फ्रेमों को बढ़ाकर) को उजागर करके सटीकता में सुधार किया, बल्कि उन मामलों में भी प्रदर्शन में सुधार किया जहाँ साक्ष्य छूट गए थे, जो बेहतर संदर्भ संगठन और घनत्व के महत्व का सुझाव देता है।
• प्रश्न प्रकार संवेदनशीलता: नेविगेशन रणनीतियाँ विशेष रूप से टेम्पोरल और रीजनिंग प्रश्नों के लिए प्रभावी थीं, जबकि विजुअल रिट्रीवल ने एंटिटी और मुख्य-सूचना वाले प्रश्नों में सहायता की।

3. लागत-सटीकता ट्रेड-ऑफ (Cost-Accuracy Trade-offs)

खोज ने सटीकता और इनपुट टोकन लागत के बीच एक पारेटो फ्रंटियर (Pareto frontier) का खुलासा किया।

• EMBEDNAVIGATE-HYBRID ने उच्च सटीकता प्राप्त की लेकिन एक अतिरिक्त नेविगेशन पास के कारण महत्वपूर्ण टेक्स्ट ओवरहेड भी उठाया।
• TIMESTAMPED-AKS ने छोटे इनपुट फुटप्रिंट के साथ उच्चतम सटीकता प्राप्त की, यह प्रदर्शित करते हुए कि खोज उन कुशल कॉन्फ़िगरेशन को ढूंढ सकती है जिन्हें हस्त-निर्मित बेसलाइन मिस कर सकते हैं।

महत्व और दावे

यह शोध पत्र VideoHarness-RSI को स्वचालित हार्नेस डिजाइन के अध्ययन के लिए एक नियंत्रित बेसलाइन के रूप में स्थापित करता है। इसके प्राथमिक योगदान और दावे हैं:

1. चरों का अलगाव (Isolation of Variables): यह स्थापित करता है कि निष्पादन योग्य संदर्भ निर्माण एक अलग अनुकूलन परत है। मॉडल को फिर से प्रशिक्षित किए बिना या उसके इंटरफ़ेस को बदले बिना, "हार्नेस" (वह प्रोग्राम जो मॉडल क्या देखता है उसे प्रबंधित करता है) को अनुकूलित करके महत्वपूर्ण लाभ प्राप्त किया जा सकता है।
2. पुनरुत्पादकता (Reproducibility): लेखक उम्मीदवार कोड, वंश (parentage), निष्पादन ट्रेस और स्कोर का एक ऑडिट योग्य संग्रह प्रदान करते हैं, जो भविष्य के अनुसंधान के लिए एक पुनरुत्पादक बेसलाइन प्रदान करता है।
3. हस्तांतरणीयता (Transferability): परिणाम दर्शाते हैं कि एक बेंचमार्क पर खोजे गए हार्नेस बिना पुनः खोज के अन्य बेंचमार्क पर स्थानांतरित हो सकते हैं, जो इंगता है कि खोज विशिष्ट डेटासेट की खामियों के लिए ओवरफिट होने के बजाय सामान्यीकरण योग्य संदर्भ-निर्माण नीतियों को खोजती है।
4. सीमाएं: लेखक विनम्रतापूर्वक नोट करते हैं कि खोज की सीमा अक्सर शुरुआती सुधारों के बाद स्थिर (plateau) हो जाती है और "सख्त" पॉइंट-एस्टीमेट चयन सांख्यिकीय रूप से सामान्यीकरण की गारंटी नहीं देता है, हालांकि होल्ड-आउट सेट पर अनुभवजन्य परिणाम दृष्टिकोण का समर्थन करते हैं। वे यह भी स्पष्ट करते हैं कि उनके लागत मीट्रिक इनपुट टोकन वॉल्यूम को दर्शाते हैं, न कि एंड-टू-एंड विलंबता या मौद्रिक लागत को, क्योंकि ऑफलाइन इंडेक्सिंग लागत भिन्न होती है।

संक्षेप में, यह शोध पत्र तर्क देता है कि लंबे वीडियो को समझने के लिए, एक स्थिर VLM के आसपास का "सिस्टम" एक महत्वपूर्ण, अनुकूलन योग्य घटक है जिसे पुनरावर्ती, स्वचालित प्रोग्राम खोज के माध्यम से सुधारा जा सकता है।