MCIF: Multimodal Crosslingual Instruction-Following Benchmark from Scientific Talks
यह शोधपत्र MCIF को प्रस्तुत करता है, जो वैज्ञानिक वार्ता (scientific talks) पर आधारित पहला क्रॉसलिंगुअल, मानव-एनोटेटेड बेंचमार्क है, जो निर्देश-अनुपालन क्षमताओं के मौजूदा मूल्यांकनों की कमियों को दूर करने के लिए चार भाषाओं, तीन मोडैलिटीज़ और विभिन्न इनपुट लंबाई के माध्यम से मल्टीमॉडल लार्ज लैंग्वेज मॉडल्स का व्यवस्थित रूप से मूल्यांकन करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक नए, अत्यंत बुद्धिमान रोबोट सहायक को एक वैश्विक विज्ञान सम्मेलन के लिए बहुभाषी, बहु-संवेदी (multi-sensory) टूर गाइड बनने के लिए सिखाने की कोशिश कर रहे हैं।
अभी, अधिकांश रोबोट सहायक एकभाषी पुस्तकालयाध्यक्षों (monolingual librarians) की तरह हैं। वे अंग्रेजी में किताबें (टेक्स्ट) पढ़ने में बहुत अच्छे हैं, लेकिन यदि आप उन्हें जर्मन बोलने वाले व्यक्ति का वीडियो थमा दें, या उनसे चीनी भाषा में 2 घंटे के व्याख्यान का सारांश बनाने को कहें, तो वे अक्सर भ्रमित हो जाते हैं, गलत भाषा बोलने लगते हैं, या अपनी ओर से कुछ भी मनगढ़ंत बना देते हैं।
यह शोध पत्र MCIF (मल्टीमॉडल क्रॉसलिंगुअल इंस्ट्रक्शन-फॉलोइंग) पेश करता है, जो अनिवार्य रूप से इन नए AI सहायकों के लिए एक विशाल, कठोर "ड्राइवर लाइसेंस" परीक्षा है।
यहाँ उन्होंने क्या किया, इसका विवरण दिया गया है, जिसमें रोजमर्रा के उदाहरणों का उपयोग किया गया है:
1. टेस्ट ट्रैक: "द साइंस टॉक गॉन्टलेट" (The Science Talk Gauntlet)
रोबोटों का परीक्षण "फ्रांस की राजधानी क्या है?" जैसे सरल प्रश्नों के साथ करने के बजाय, शोधकर्ताओं ने एक प्रमुख कंप्यूटर विज्ञान सम्मेलन (ACL) के वास्तविक वैज्ञानिक भाषणों का उपयोग करके एक टेस्ट ट्रैक बनाया।
- सामग्री: उन्होंने 21 वास्तविक प्रस्तुतियाँ (लगभग 2 घंटे का वीडियो) लीं और उसमें 79 अन्य सारांश जोड़े।
- चुनौती: उन्होंने केवल अंग्रेजी का उपयोग नहीं किया। उन्होंने सब कुछ जर्मन, इतालवी और चीनी में अनुवादित किया।
- प्रारूप (Formats): उन्होंने रोबोटों का परीक्षण निम्नलिखित पर किया:
- टेक्स्ट (Text): केवल लिखित ट्रांसक्रिप्ट।
- ऑडियो (Audio): केवल वक्ता की आवाज़।
- वीडियो (Video): स्लाइड्स और वक्ता के साथ पूरा वीडियो।
- मिक्स (Mix): ऑडियो + वीडियो एक साथ।
2. चार "बाधा दौड़" (टास्क)
रोबोटों को चार अलग-अलग प्रकार की चुनौतियों से गुजरना पड़ा, जो धीरे-धीरे कठिन होती गईं:
- 🗣️ पहचान (Recognition) ("सुनने की परीक्षा"): रोबकी एक वक्ता को सुनता है और उसे ठीक वही लिखना होता है जो उसने कहा।
- उदाहरण: एक अदालती स्टेनोग्राफर की तरह जिसे तेज़ बोलने वाले वकील की बातों को, बैकग्राउंड शोर के बावजूद, बिल्कुल सटीक टाइप करना है।
- 🌍 अनुवाद (Translation) ("यूनिवर्सल ट्रांसलेटर"): रोबोट अंग्रेजी में एक भाषण सुनता है और उसे चीनी या जर्मन में लिखता है।
- उदाहरण: संयुक्त राष्ट्र (UN) में एक साथ अनुवाद करने वाले (simultaneous interpreter) की तरह, लेकिन उन्हें यह काम तुरंत और पूरी तरह से करना होता है।
- ❓ प्रश्न उत्तर (Question Answering) ("पॉप क्विज़"): रोबोट वीडियो देखता है और विशिष्ट प्रश्नों के उत्तर देता है।
- उदाहरण: जैसे एक शिक्षक पूछता है, "तीसरी स्लाइड का मुख्य बिंदु क्या था?" या "वक्ता का नाम क्या है?" कुछ प्रश्न केवल सुनने से हल किए जा सकते थे, कुछ स्लाइड्स देखने से, और कुछ दोनों से।
- 📝 सारांश (Summarization) ("एग्जीक्यूटिव ब्रीफ"): रोबोट को 20 मिनट का व्याख्यान देखना है और 200 शब्दों का सारांश लिखना है।
- उदाहरण: एक व्यस्त सीईओ की तरह जिसे अपने अगले अपॉइंटमेंट से पहले मीटिंग का "TL;DR" (बहुत लंबा है, इसलिए नहीं पढ़ा) संस्करण चाहिए।
3. "ट्रिक सवाल" (प्रॉम्प्ट वेरिएशंस)
शोधकर्ताओं ने केवल एक ही सवाल को दो बार नहीं पूछा। उन्होंने दो संस्करण बनाए:
- MCIF-Fix: रोबोट को हर बार एक ही निर्देश मिलता है (जैसे, "इसका अनुवाद करें")।
- MCIF-Mix: रोबोट को वही कार्य मिलता है लेकिन अलग तरीके से कहा जाता है (जैसे, "क्या आप इसे जर्मन में डाल सकते हैं?", "मुझे जर्मन संस्करण दें," "ऑडियो का अनुवाद करें")।
- क्यों? यह देखने के लिए कि क्या रोबोट भ्रमित हो जाता है यदि आप अपने कहने का तरीका बदल देते हैं, ठीक वैसे ही जैसे एक इंसान भ्रमित हो सकता है यदि आप उससे अजीब तरीके से सवाल पूछें।
4. परिणाम: "रियलिटी चेक"
शोधकर्ताओं ने 23 विभिन्न AI मॉडलों का परीक्षण किया (Google, Microsoft जैसी बड़ी कंपनियों और ओपन-सोर्स समुदायों से)। उन्हें यहाँ क्या मिला:
- "छोटी याददाश्त" की समस्या: अधिकांश रोबोट छोटे क्लिप्स (जैसे 30 सेकंड का टिकटॉक) के लिए बेहतरीन हैं लेकिन जब वीडियो लंबा होता है (जैसे 20 मिनट का व्याख्यान), तो वे बिखर जाते हैं। वीडियो के अंत तक पहुँचते-पहुँचते वे शुरुआत को भूल जाते हैं।
- "मल्टीटास्किंग" का संघर्ष: जब आप एक रोबोट को ऑडियो और वीडियो दोनों एक साथ देते हैं, तो वह अक्सर अभिभूत (overwhelmed) हो जाता है। यह एक पॉडकास्ट सुनते हुए मूवी देखने जैसा है; रोबोट या तो एक को अनदेखा कर देता है या दोनों को आपस में मिला देता है।
- "लैंग्वेज स्विच" ग्लिच: भले ही उन्हें इतालवी बोलने के लिए कहा गया हो, कई रोबोट अनजाने में अंग्रेजी पर वापस आ जाते थे, खासकर जब कार्य कठिन होता था।
- "हैलुसिनेशन" (Hallucination) का मुद्दा: जब रोबोटों को उत्तर नहीं पता होता था, तो "मुझे नहीं पता" कहने के बजाय, वे अक्सर तथ्य गढ़ लेते थे या गलत स्लाइड का वर्णन करते थे।
मुख्य निष्कर्ष
MCIF को अगली पीढ़ी के AI के लिए एक तनाव परीक्षण (stress test) के रूप में देखें।
वर्तमान में, ये AI सहायक ऐसे स्मार्टफोन की तरह हैं जो टेक्स्टिंग में तो बहुत अच्छे हैं लेकिन वीडियो कॉल करने में बहुत खराब हैं। वे एक किताब पढ़ सकते हैं, लेकिन वे एक पूरी फिल्म समझने, विदेशी भाषा के भाषण का अनुवाद करने और यह सब एक साथ बिना भ्रमित हुए करने में संघर्ष करते हैं।
यह शोध पत्र कहता है: "हमने अंतिम टेस्ट ट्रैक बना लिया है। अब, AI डेवलपर्स, अपने रोबोटों को ठीक करें ताकि वे वास्तव में उस वास्तविक, जटिल, बहु-भाषी और लंबे रूप वाली दुनिया को संभाल सकें जिसमें हम रहते हैं।"
अच्छी खबर यह है कि उन्होंने टेस्ट डेटा मुफ्त में जारी किया है, ताकि कोई भी बेहतर रोबोट बनाने की कोशिश कर सके जो इस परीक्षा को पास कर सके।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।