तकनीकी सारांश: VIABench

समस्या विवरण

दृष्टिबाधित व्यक्तियों (VIIs) को दृश्य जानकारी तक सीमित पहुंच के कारण दैनिक चुनौतियों का सामना करना पड़ता है। जबकि मल्टीमॉडल लार्ज लैंग्वेज मॉडल्स (MLLMs) ने सामान्य विजन-लैंग्वेज कार्यों पर प्रभावशाली प्रदर्शन किया है, वास्तविक दुनिया की दृष्टि सहायता में उनकी व्यावहारिक उपयोगिता अभी भी काफी हद तक अनछुए क्षेत्र में है। मौजूदा बेंचमार्क और डेटासेट सहायक दृष्टि (assistive vision) के लिए महत्वपूर्ण सीमाओं से ग्रस्त हैं:

• डोमेन गैप (Domain Gap): WAD जैसे डेटासेट दृष्टि संपन्न दर्शकों के लिए बनाए गए क्यूरेटेड ट्रैवल व्लॉग्स पर निर्भर करते हैं, जो वास्तविक दुनिया के VIIs के अनुभवों की कच्ची और अनएडिटेड प्रकृति को पकड़ने में विफल रहते हैं।
• कार्य सीमाएं (Task Limitations): EgoBlind जैसे डेटासेट मुख्य रूप से निष्क्रिय, उपयोगकर्ता-प्रेरित विजुअल क्वेश्चन अनस्विंग (VQA) पर ध्यान केंद्रित करते हैं, जो सक्रिय और स्वायत्त सहायता की आवश्यकता की उपेक्षा करते हैं।
• टेम्पोरल बाधाएं (Temporal Constraints): कई मौजूदा वीडियो बेंचमार्क छोटे क्लिप्स (जैसे 3 सेकंड) का उपयोग करते हैं, जिनमें लॉन्ग-होरिज़न रीजनिंग और नेविगेशन के लिए आवश्यक टेम्पोरल समृद्धि की कमी होती है।
• मूल्यांकन बेमेल (Evaluation Mismatch): वर्तमान ऑनलाइन मूल्यांकन पाइपलाइन अक्सर कम्प्यूटेशनल रूप से भारी होती हैं और विरल एनोटेशन (sparse annotations) पर निर्भर करती हैं, जो "रिमाइंडर-स्टाइल" कार्यों के आकलन के लिए उपयुक्त नहीं हैं जिनमें निरंतर निगरानी और समय पर अलर्ट की आवश्यकता होती है।

परिणामस्वरूप, एक व्यापक, बहुमुखी वीडियो बेंचमार्क की कमी है जिसे दृष्टिबाधित व्यक्तियों द्वारा एकत्र किया गया हो और जो सक्रिय प्रत्याशा (proactive anticipation) और इंटरैक्टिव मार्गदर्शन सहित सहायता की पूरी श्रृंखला में MLLMs का मूल्यांकन कर सके।

कार्यप्रणाली

1. VIABench डेटासेट निर्माण

लेखकों ने VIABench का निर्माण किया, जो विशेष रूप से दृष्टि हानि सहायता के लिए तैयार किया गया एक बड़े पैमाने का, टाइम-अलाइन्ड, एगोजेंट्रिक वीडियो बेंचमार्क है। डेटा संग्रह पांच चरणों वाली पाइपलाइन का पालन करता है:

• सोर्सिंग (Sourcing): वीडियो दो धाराओं से एकत्र किए गए थे: (1) YouTube, Bilibili और DouYin जैसे प्लेटफार्मों से VIIs के वास्तविक दुनिया के वीडियो, और (2) प्रशिक्षित एनोटेटरों द्वारा रिकॉर्ड किए गए सूचित सिम्युलेटेड वीडियो ताकि विशिष्ट "विज़न-गाइडेड इंटरैक्शन" परिदृश्यों को कवर किया जा सके जो सार्वजनिक डेटा में दुर्लभ हैं।
• एनोटेशन (Annotation): इस डेटासेट में 761 वीडियो शामिल हैं जिनमें कुल 46.9 घंटे हैं, और 14,526 मैन्युअल रूप से क्यूरेट किए गए एनोटेशन हैं। औसत वीडियो अवधि 222 सेकंड (अधिकतम 1959 सेकंड) है, जो पिछले डेटासेट्स की तुलना में काफी लंबी है।
• गुणवत्ता नियंत्रण (Quality Control): पायलट एनोटेशन, पेशेवर वेंडर सहयोग और मल्टी-स्टेज QA से जुड़ी एक कठोर प्रक्रिया ने उच्च-गुणवत्ता वाले, सूक्ष्म लेबलिंग को सुनिश्चित किया।

2. कार्य परिभाषाएं (Task Definitions)

VIABench बढ़ती हुई सहायता जटिलता को दर्शाते हुए तीन मुख्य कार्यों को परिभाषित करता है:

• प्रोएक्टिव रिमांडर (Proactive Reminder): मॉडल को स्वायत्त रूप से वीडियो स्ट्रीम की निगरानी करनी चाहिए और बिना किसी स्पष्ट यूजर प्रॉम्प्ट के आगामी नेविगेशन-क्रिटिकल घटनाओं (जैसे बाधाएं, सीढ़ियां) का वर्णन करना चाहिए। इसके लिए सटीक प्रत्याशा और रीयल-टाइम प्रतिक्रिया की आवश्यकता होती है।
• विजुअल क्वेश्चन अनस्विंग (VQA): मॉडल वर्तमान और पिछले विजुअल कॉन्टेक्स्ट के आधार पर पर्यावरण के बारे में उपयोगकर्ता द्वारा पूछे गए प्रश्नों के उत्तर देता है, जो नेविगेशन के दौरान होने वाली सहज पूछताछ का अनुकरण करता है।
• विज़न-गाइडेड इंटरैक्शन (Vision-Guided Interaction): यह एक मल्टी-टर्न, क्लोज्ड-लूप कार्य है जहां मॉडल उपयोगकर्ता को उनके दृष्टिकोण या भौतिक गतिविधियों को एक विशिष्ट लक्ष्य प्राप्त करने के लिए समायोजित करने में मदद करने हेतु पुनरावृत्त, संदर्भ-जागरूक मार्गदर्शन प्रदान करता है।

3. मूल्यांकन ढांचा: टोकन-लेवल प्रॉम्प्ट एक्टिवेशन डिकोडिंग (TPAD)

ऑफलाइन मॉडल्स (जो आमतौर पर स्पष्ट प्रॉम्प्ट की आवश्यकता होती है) में प्रोएक्टिव अलर्टिंग को मूल्यांकित करने की चुनौती को संबोधित करने के लिए, लेखकों ने TPAD का प्रस्ताव दिया है, जो एक नया दो-चरणीय मूल्यांकन ढांचा है:

• तंत्र (Mechanism): TPAD एक प्री-ट्रेन्ड MLLM को बिना फाइन-ट्यूनिंग के एक फ्रेम-वाइज प्रोएक्टिव डिटेक्टर में बदल देता है। यह पूरे वीडियो सीक्वेंस के साथ एक फिक्स्ड फोर्स्ड-चॉइस प्रॉम्प्ट (जैसे, "क्या उपयोगकर्ता को चेतावनी दी जानी चाहिए? (A) हाँ; (B) नहीं") को जोड़ता है।
• स्कोरिंग (Scoring): प्रत्येक फ्रेम के लिए, उसके अंतिम टोकन के हिडन स्टेट को अलर्ट जारी करने की संभावना की गणना करने के लिए लैंग्वेज मॉडलिंग हेड के माध्यम से प्रोजेक्ट किया जाता है।
• लाभ (Advantage): यह पूरे वीडियो में फ्रेम-वाइज अलर्ट संभाव्यता उत्पन्न करने के लिए एक सिंगल फॉरवर्ड पास की अनुमति देता है, जिससे स्ट्रीमिंग स्थितियों के तहत ऑफलाइन मॉडल्स का कुशल और संदर्भ-जागरूक मूल्यांकन संभव होता है।

मुख्य योगदान

1. VIABench डेटासेट: दृष्टि सहायता के लिए एक बड़े पैमाने के, वास्तविक दुनिया के वीडियो बेंचमार्क का परिचय, जिसमें लॉन्ग-फॉर्म एगोजेंट्रिक वीडियो और विविध सामग्री शामिल है। यह प्रोएक्टिव रिमांडर, VQA और विज़न-गाइडेड इंटरैक्शन कार्यों को एक ही बेंचमार्क के भीतर एकीकृत करने वाला पहला है।
2. TPAD ढांचा: एक हल्का, दो-चरणीय मूल्यांकन तंत्र जो लंबे, निरंतर वीडियो में कुशल प्रोएक्टिव अलर्ट जनरेशन के आकलन को सक्षम बनाता है, जो ऑफलाइन MLLMs और रीयल-टाइम सहायता संबंधी आवश्यकताओं के बीच के अंतर को पाटता है।
3. व्यापक मूल्यांकन: VIABench पर अग्रणी ओपन-सोर्स, प्रोप्रायटरी और ऑनलाइन स्ट्रीमिंग MLLMs का व्यवस्थित मूल्यांकन, जो वास्तविक दुनिया के सहायता अनुप्रयोगों में उनकी वर्तमान सीमाओं के बारे में अंतर्दृष्टि प्रदान करता है।

प्रयोगात्मक परिणाम

लेखकों ने विभिन्न मॉडल्स का मूल्यांकन किया, जिसमें ओपन-सोर्स फाउंडेशन मॉडल्स (जैसे, InternVL, Qwen, LLaVA), प्रोप्रायटरी मॉडल्स (GPT-5, GPT-4o, Gemini), और ऑनलाइन स्ट्रीमिंग मॉडल्स शामिल थे।

• समग्र प्रदर्शन (Overall Performance): वर्तमान MLLMs वास्तविक दुनिया की दृश्य सहायता में केवल प्रारंभिक क्षमताओं का प्रदर्शन करते हैं। सबसे मजबूत मॉडल, GPT-5 भी, बेंचमार्क पर केवल 28.8 का औसत स्कोर प्राप्त करता है।
• कार्य विषमता (Task Disparities): मानक VQA कार्यों की तुलना में प्रोएक्टिव रिमांडर और विज़न-गाइडेड इंटरैक्शन कार्यों पर प्रदर्शन उल्लेखनीय रूप से कम है।
  • प्रोएक्टिव रिमांडर: मॉडल अक्सर नेविगेशन-क्रिटिकल घटनाओं का अनुमान लगाने या ग्राउंड-ट्रुथ अंतराल के साथ संरेखित मार्गदर्शन उत्पन्न करने में विफल रहते हैं। वे प्रासंगिक जानकारी मौजूद न होने पर शांत रहने और समय पर अलर्ट जारी करने की गतिशील आवश्यकता के साथ संघर्ष करते हैं।
  • विज़न-गाइडेड इंटरैक्शन: मॉडल अक्सर स्थानिक रूप से विशिष्ट मार्गदर्शन (जैसे, "इसे उठाएं") देने के बजाय जेनेरिक निर्देश प्रदान करते हैं, और VIIs के अद्वितीय दृष्टिकोण और सीमाओं को समझने में विफल रहते हैं।
• स्ट्रीमिंग मॉडल्स: मौजूदा ऑनलाइन स्ट्रीमिंग मॉडल्स प्रोएक्टिव रिमांडर कार्य पर अत्यंत खराब प्रदर्शन करते हैं। लेखक इसका श्रेय उनके ट्रेनिंग डेटा में जटिल, वास्तविक दुनिया के मार्गदर्शन निर्देशों के सीमित एक्सपोजर (जो अक्सर सघन कैप्शन या नैरेशन तक सीमित होते हैं) और कम गुणवत्ता वाले, अनियंत्रित विजुअल इनपुट्स के प्रति मजबूती की कमी को देते हैं।

महत्व और भविष्य की दिशाएं

पेपर का दावा है कि VIABंची (VIABench) वास्तविक दुनिया की सहायता के लिए अनुकूलित MLLMs विकसित करने की दिशा में भविष्य के अनुसंधान को संचालित करने के लिए एक चुनौतीपूर्ण और यथार्थवादी टेस्टबेड के रूप में कार्य करता है। लेखक इस बात पर जोर देते हैं कि वर्तमान मॉडल्स सुरक्षा-क्रिटिकल दृष्टि सहायता परिदृश्यों में तैनाती के लिए अभी तैयार नहीं हैं।

लेखक भविष्य के कार्य के लिए तीन विशिष्ट मार्ग रेखांकित करते हैं:

1. आर्किटेक्चर सुधार (Architecture Improvement): विश्वसनीय, संदर्भ-जागरूक, रीयल-टाइम प्रोएक्टिव प्रतिक्रियाओं के लिए सक्षम मॉडल आर्किटेक्चर विकसित करना।
2. डेटा संवर्धन (Data Enrichment): प्रोएक्टिव रीजनिंग में सुधार के लिए विविध निर्देश प्रकारों, जटिल इंटरैक्शन और वास्तविक दुनिया के परिदृश्यों को समाहित करने वाले समृद्ध वीडियो-टेक्स्ट डेटासेट्स को शामिल करना।
3. ब्लाइंड-सेंट्रिक ऑप्टिमाइजेशन (Blind-Centric Optimization): दृष्टिबाधित उपयोगकर्ताओं के अद्वितीय दृष्टिकोण और इरादों के लिए मॉडल्स को विशेष रूप से फाइन-ट्यून करना, जैसे लो-रेज़ोल्यूशन इनपुट, कैमरा इनवर्जन, और स्थानिक रूप से विशिष्ट मार्गदर्शन की आवश्यकता जैसी समस्याओं को संबोधित करना।

अंततः, इस कार्य का उद्देश्य अधिक सक्षम और भरोसेमंद सहायता प्रौद्योगिकियों को बढ़ावा देकर दृष्टिबाधित व्यक्तियों की स्वायत्तता और सुरक्षा में सुधार करना है।