Evaluating Multimodal Input Combinations for Zero-Shot Summarization Across Indian Languages

तकनीकी सारांश: भारतीय भाषाओं के लिए ज़ीरो-शॉट सारांशीकरण (Zero-Shot Summarization) हेतु मल्टीमॉडल इनपुट संयोजनों का मूल्यांकन

समस्या विवरण
क्षेत्रीय भारतीय भाषाओं में डिजिटल समाचारों के तीव्र प्रसार ने विषम सामग्री को संभालने में सक्षम स्वचालित सारांशीकरण प्रणालियों की मांग पैदा कर दी है। पारंपरिक सारांशीकरण पाइपलाइन आमतौर पर केवल लेख के टेक्स्ट (शीर्षक और मुख्य भाग) पर निर्भर करती हैं, जो उपलब्ध समृद्ध प्रासंगिक जानकारी का लाभ उठाने में विफल रहती हैं, विशेष रूप से साथ में दी गई छवियों और पाठक की टिप्पणियों के संदर्भ में। जबकि अंग्रेजी और उच्च-संसाधन वाली भाषाओं के लिए मल्टीमॉडल सारांशीकरण में प्रगति हुई है, भारतीय भाषा एनएलपी (NLP) मल्टीमॉडल, कमेंट-सेंसिटिव डेटासेट या पुनरुत्पादक ओपन-सोर्स फ्रेमवर्क की कमी के कारण कम खोजा गया क्षेत्र बना हुआ है। मौजूदा मूल्यांकन अक्सर सीमित पारदर्शिता वाले प्रोप्रायटरी लार्ज लैंग्वेज मॉडल्स (LLMs) पर निर्भर करते हैं, जहाँ इनपुट मोडैलिटी संयोजनों के संबंध में स्पष्टता का अभाव होता है। यह अध्ययन नौ भारतीय भाषाओं में विभिन्न शीर्षकों, सामग्री, इमेज यूआरएल (Image URL) और पाठक की टिप्पणियों के संयोजन के संपर्क में आने पर, हल्के वजन वाले, ओपन-सोर्स सीक्वेंस-टू-सीक्वेंस मॉडल्स के ज़ीरो-शॉट प्रदर्शन को समझने के अंतर को संबोधित करता है।

कार्यप्रणाली
यह शोध एक पूर्णतः स्वचालित, एंड-टू-एंड पायथन पाइपलाइन का प्रस्ताव करता है जिसे गूगल कोलैब (Google Colab) वातावरण में लागू किया गया है, ताकि पांच प्री-ट्रेंड सीक्वेंस-टू-सीक्वेंस ट्रांसफार्मर मॉडल्स का बेंचमार्क लिया जा सके: mT5, T5, BART, mBART, और PEGASUS।

• डेटासेट: यह अध्ययन COSMMIC (कमेंट सेंसिटिव मल्टीमॉडल मल्टीलिंगुअल इंडियन कॉर्पस) डेटासेट का उपयोग करता है, जिसमें नौ भाषाओं (बंगाली, हिंदी, तमिल, तेलुगु, मराठी, गुजराती, कन्नड़, मलयालम और ओडिया) में 4,959 आर्टिकल-इमेज पेयर्स और 24,484 रीडर कमेंट्स शामिल हैं। डेटा में मानव-लिखित संदर्भ सारांश (Reference Summaries) भी शामिल हैं।
• प्रयोगात्मक डिजाइन: मूल्यांकन ज़ीरो-शॉट (zero-shot) तरीके से किया जाता है, जिसका अर्थ है कि इनमें से किसी भी मॉडल को COSMMIC डेटासेट पर फाइन-ट्यून नहीं किया गया है। यह मॉडल्स की अंतर्निहित प्री-ट्रेनिंग क्षमताओं को अलग करता है।
• इनपुट मोडैलिटीज (Input Modalities): सिस्टम चार मोडैलिटीज—हेडलाइन (H), कंटेंट (C), इमेज यूआरएल (I), और कमेंट्स (Co)—से बने 15 विशिष्ट इनपुट संयोजनों का व्यवस्थित रूप से परीक्षण करता है। ये सिंगल-मोडैलिटी इनपुट से लेकर पूर्ण क्वाड्रिमॉडल संयोजन (H+C+I+Co) तक विस्तृत हैं। उल्लेखनीय रूप से, इमेज यूआरएल को विजुअल फीचर्स के बजाय रॉ टेक्स्ट स्ट्रिंग्स के रूप में प्रोसेस किया जाता है।
• मूल्यांकन मेट्रिक्स: जेनरेट किए गए सारांशों का मूल्यांकन संदर्भ सारांशों के विरुद्ध सात मेट्रिक्स का उपयोग करके किया जाता है: ROUGE-1, ROUGE-2, ROUGE-L, METEOR, BERTScore Precision, BERTScore Recall, BERTScore F1, और CIDEr।
• गुणवत्ता वर्गीकरण: एक कन्फ्यूजन मैट्रिक्स-आधारित क्लासिफायर जेनरेट किए गए सारांशों को "GOOD" (ROUGE-L $\ge$ 0.50) या "BAD" (< 0.50) के रूप में लेबल करता है, ताकि कुल सांख्यिकी के अलावा एक बाइनरी गुणवत्ता मूल्यांकन प्रदान किया जा सके।
• केस स्टडी: कॉर्पस के सबसे बड़े हिस्से, हिंदी सबसेट पर एक विस्तृत विश्लेषण किया गया है, ताकि विशिष्ट प्रकार की टिप्पणियों ("Good" बनाम "Bad") के प्रभाव और इमेज यूआरएल की आंशिक उपयोगिता की जांच की जा सके।

प्रमुख योगदान

1. पुनरुत्पादक ओपन-सोर्स पाइपलाइन: लेखक COSMMIC डेटासेट पर मल्टीमॉडल सारांशीकरण के लिए पहला पूर्णतः स्वचालित, ओपन-सोर्स पाइपलाइन पेश करते हैं। यह डेटा अधिग्रहण, स्प्लिटिंग, मॉडल लोडिंग, जनरेशन और मल्टी-मेट्रिक मूल्यांकन को स्वचालित करता है, जिसके लिए मैन्युअल एनोटेशन या प्रोप्रायटरी एपीआई एक्सेस की आवश्यकता नहीं होती है।
2. व्यापक ज़ीरो-शॉट बेंचमार्क: यह अध्ययन सभी 15 संभावित इनपुट संयोजनों के माध्यम से नौ भारतीय भाषाओं में पांच अलग-अलग सीक्वेंस-टू-सीक्वेंस मॉडल्स (mT5, PEGASUS, BART, mBART, T5) का पहला व्यवस्थित बेंचमार्क प्रदान करता है।
3. मोडैलिटी योगदान विश्लेषण: सभी इनपुट मोडैलिटी सबसेट्स का परीक्षण करके, यह कार्य शीर्षकों, टिप्पणियों और इमेज यूआरएल के विशिष्ट योगदान को मात्रात्मक रूप से मापता है, जिससे सिस्टम आर्किटेक्ट्स को संसाधन आवंटन के लिए मार्गदर्शन मिलता है।
4. गुणवत्ता वर्गीकरण ढांचा: कन्फ्यूजन मैट्रिक्स-आधारित गुणवत्ता क्लासिफायर का एकीकरण "GOOD" बनाम "BAD" सारांश वितरण को विज़ुअलाइज़ करने की अनुमति देता है, जो कच्चे स्कोर (raw scores) के मुकाबले मॉडल विश्वसनीयता का अधिक सहज माप प्रदान करता है।

परिणाम और विश्लेषण

• मॉडल प्रदर्शन: मूल्यांकित मॉडल्स में से, mBART ने ज़ीरो-शॉट सेटिंग में, विशेष रूप से हिंदी भाषा के लिए, सबसे मजबूत प्रदर्शन प्रदर्शित किया। इसका श्रेय CC25 कॉर्पस के भीतर हिंदी डेटा पर इसके स्पष्ट प्री-ट्रेनिंग को दिया जाता है। इसके विपरीत, T5 और mT5 ने कम प्रदर्शन दिखाया, जिसका कारण संभवतः उनका अंग्रेजी-केंद्रित या कम विशिष्ट प्री-ट्रेनिंग है।
• इनपुट मोडैलिटी का प्रभाव:
  • केवल कंटेंट (C) ने सबसे मजबूत बेसलाइन प्रदर्शन प्रदान किया।
  • रीडर कमेंट्स जोड़ने से आम तौर पर मेट्रिक्स में सुधार हुआ, लेकिन टिप्पणियों की गुणवत्ता महत्वपूर्ण थी; "Good" टिप्पणियों ने सारांश की गुणवत्ता बढ़ाई, जबकि अनफ़िल्टर्ड या "Bad" टिप्पणियों ने शोर (noise) पेश किया जिससे प्रदर्शन गिर गया।
  • इमेज यूआरएल, जब टेक्स्ट स्ट्रिंग्स के रूप में शामिल किए गए, तो अधिकांश भाषाओं में ROUGE-L स्कोर में मामूली लेकिन निरंतर सुधार प्रदान करते हैं, जो यह सुझाव देता है कि URL मेटाडेटा कमजोर सुपरवाइजरी सिग्नल के रूप में कार्य कर सकता है।
  • सभी चार मोडैलिटीज का पूर्ण संयोजन (H+C+I+Co) हमेशा कंटेंट-ओनली बेसलाइन से बेहतर प्रदर्शन नहीं करता है, जो दर्शाता है कि ज़ीरो-शॉट संदर्भ में अनफ़िल्टर्ड मल्टीमॉडल इनपुट शोर उत्पन्न कर सकते हैं।
• क्रॉस-लैंग्वेज वेरिएंस: प्रदर्शन भाषाओं के बीच काफी भिन्न था। हिंदी ने सर्वश्रेष्ठ परिणाम दिए, जबकि जटिल लिपियों या एग्लूटिनेटिव मॉर्फोलॉजी (जैसे मलयालम, तमिल) वाली भाषाओं ने कम स्कोर दिखाया, जो "डेटा साइज इफेक्ट" और स्क्रिप्ट जटिलता की चुनौतियों को उजागर करता है।
• ज़ीरो-शॉट सीमाएं: अध्ययन ने अधिकांश मॉडल्स और भाषाओं में अत्यंत कम ROUGE-2 स्कोर (0.00 के करीब) देखा। यह रेखांकित करता है कि भारतीय भाषाओं के लिए ज़ीरो-शॉट एब्स्ट्रैक्टिव सारांशीकरण अभी भी एक बड़ी चुनौती है और व्यावहारिक परिनियोजन (deployment) के लिए कम से कम न्यूनतम टास्क-विशिष्ट फाइन-ट्यूनिंग की आवश्यकता होगी।
• आर्टिफ़ेक्ट पहचान: mBART आउटपुट के विश्लेषण से मॉडल के स्पैन-मास्किंग प्री-ट्रेनिंग ऑब्जेक्टिव के कारण विशेष टोकन (जैसे <extra_id_0>) का निर्माण प्रकट हुआ, जिसके लिए इष्टतम परिणामों के लिए पोस्ट-प्रोसेसिंग या प्रॉम्प्ट इंजीनियरिंग (जैसे "summarize" जोड़ना) की आवश्यकता होती है।

महत्व
यह शोध पत्र कम-संसाधन वाली भारतीय भाषाओं में मल्टीमॉडल सारांशीकरण के मूल्यांकन के लिए एक मौलिक, पुनरुत्पादक ढांचे की स्थापना करता है। यह प्रदर्शित करते हुए कि mBART वर्तमान में इस डोमेन में ज़ीरो-शॉट कार्यों के लिए सबसे उपयुक्त आर्किटेक्चर है और कमेंट क्वालिटी एक महत्वपूर्ण चर (variable) है, यह अध्ययन शोधकर्ताओं और डेवलपर्स के लिए व्यावहारिक अंतर्दृष्टि प्रदान करता है। यह कार्य इस बात पर जोर देता है कि हालांकि मल्टीमॉडल इनपुट में क्षमता है, लेकिन उनके एकीकरण के लिए शोर (noise) से बचने के लिए सावधानीपूर्वक फ़िल्टरिंग की आवश्यकता होती है। अंततः, अध्ययन तर्क देता है कि जबकि ज़ीरो-शॉट बेसलाइन सीमाएं स्थापित करने के लिए मूल्यवान हैं, भारतीय भाषाओं के लिए व्यावहारिक, उच्च-गुणवत्ता वाले सारांशीकरण सिस्टम का मार्ग ज़ीरो-शॉट इन्फरेंस से आगे बढ़कर फाइन-ट्यून्ड, भाषा-विशिष्ट अनुकूलन की ओर जाने की आवश्यकता रखता है।