EViSE: An Efficient Framework for Multi-Criteria Summarization Evaluation

आर्टिफिशियल इंटेलिजेंस की दुनिया में, मशीनें एक लंबे टेक्स्ट को पढ़ने और उसका संक्षिप्त संस्करण लिखने में उल्लेखनीय रूप से कुशल हो गई हैं। सारांशीकरण (summarization) के रूप में जानी जाने वाली यह प्रक्रिया समाचार लेखों को समझने से लेकर मेडिकल रिपोर्टों को संक्षिप्त करने तक, हर चीज़ के लिए उपयोगी है। हालाँकि, एक महत्वपूर्ण समस्या बनी हुई है: हम यह कैसे जानें कि सारांश वास्तव में अच्छा है या नहीं? वर्षों से, शोधकर्ता उन सरल कंप्यूटर प्रोग्रामों पर भरोसा करते आए हैं जो यह गिनते हैं कि सारांश में मूल टेक्स्ट के कितने शब्द साझा किए गए हैं या किसी मानव-लिखित उदाहरण के साथ कितने शब्द मिलते हैं। हालाँकि ये उपकरण तेज़ और सुसंगत होते हैं, लेकिन वे उन गहरी खूबियों को छोड़ देते हैं जो एक सारांश को उपयोगी बनाती हैं। वे आसानी से यह नहीं बता सकते कि क्या सारांश ने ऐसे तथ्य बना लिए जो स्रोत में कभी थे ही नहीं, क्या वाक्य तार्किक रूप से एक साथ जुड़ते हैं, या क्या इसने तुच्छ विवरणों को छोड़कर सबसे महत्वपूर्ण जानकारी को पकड़ लिया है। जैसे-जैसे आर्टिफिशियल इंटेलिजेंस मॉडल अधिक परिष्कृत होते जा रहे हैं, उनके काम का मूल्यांकन करने के लिए एक स्मार्ट तरीके की आवश्यकता अत्यंत आवश्यक हो गई है, विशेष रूप से जब इन मॉडलों को खुद को बेहतर बनाने के लिए प्रशिक्षित किया जा रहा हो।

वियतनाम के विश्वविद्यालयों के शोधकर्ताओं की एक टीम ने इस समस्या को हल करने के लिए EViSE नामक एक नई प्रणाली विकसित की है। साधारण शब्द-मिलान पर निर्भर रहने के बजाय, EViSE एक सतर्क मानव संपादक की तरह कार्य करता है जो तीन विशिष्ट गुणों के लिए मूल दस्तावेज़ के विरुद्ध एक सारांश की जाँच करता है। पहला, यह निष्ठा (faithfulness) की जाँच करता है, यह सुनिश्चित करता है कि सारांश मनगढ़ंत तथ्य न बनाए या स्रोत का गलत प्रतिनिधित्व न करे। दूसरा, यह सामंजस्य (coherence) का मूल्यांकन करता है, यह देखता है कि क्या वाक्य एक साथ अर्थपूर्ण हैं और एक सुचारू कहानी बनाते हैं। तीसरा, यह प्रासंगिकता (relevance) को मापता है, यह निर्धारित करता है कि क्या सारांश ने सबसे महत्वपूर्ण जानकारी रखी और शोर (noise) को हटा दिया। शोधकर्ताओं ने इस प्रणाली को 80,856 वियतनामी समाचार लेखों और उनके सारांशों के एक विशाल संग्रह का उपयोग करके बनाया है, जहाँ मानव विशेषज्ञों ने पहले ही प्रत्येक सारांश को इन तीन अलग-अलग मानदंडों पर ग्रेड दिया था।

EViSE का मुख्य नवाचार इस बात में निहित है कि यह इस डेटा से कैसे सीखता है। केवल एक एकल समग्र स्कोर का अनुमान लगाने के बजाय, सिस्टम तीन विशिष्ट स्कोर को एक साथ भविष्यवाणी करना सीखता है। यह एक ही मूल लेख से आने वाले सारांशों के समूहों को देखकर ऐसा करता है। कल्पना कीजिए कि एक शिक्षक एक ही इतिहास अध्याय के बारे में पाँच अलग-अलग छात्र निबंधों को ग्रेड दे रहा है; शिक्षक जानता है कि यदि एक निबंध दूसरे से बेहतर है, तो उसे उच्च स्कोर मिलना चाहिए, भले ही पूर्ण संख्याएँ निर्धारित करना कठिन हो। EViSE इसी तर्क का उपयोग करता है। यह प्रत्येक सारांश के लिए सटीक संख्यात्मक स्कोर सीखता है और साथ ही प्रत्येक समूह के भीतर सारांशों के सही रैंकिंग क्रम को भी सीखता है। यह दोहरा दृष्टिकोण सिस्टम को सटीक स्कोरिंग और सुसंगत तुलना दोनों में सक्षम बनाता है। परिणाम स्वरूप, यह एक ऐसा उपकरण है जो किसी "परफेक्ट" मानव-लिखित उदाहरण के विरुद्ध तुलना करने की आवश्यकता के बिना, एक ही बार में त्वरित रूप से सारांश का मूल्यांकन कर सकता है।

जब शोधकर्ताओं ने अपने नए फ्रेमवर्क का परीक्षण किया, तो परिणाम स्पष्ट और मजबूत थे। उन्होंने सिस्टम के दो संस्करण बनाए: एक छोटा और तेज़, और दूसरा बड़ा और अधिक शक्तिशाली। दोनों संस्करणों ने मानव निर्णयों के साथ एक मजबूत सहमति दिखाई। समाचार लेखों के एक परीक्षण सेट पर, बड़े संस्करण ने मानव रेटिंग के साथ 0.806 का सहसंबंध स्कोर प्राप्त किया, जो पुराने तरीकों की तुलना में एक महत्वपूर्ण सुधार है जो शब्द ओवरलैप पर निर्भर करते हैं और 0.58 से ऊपर स्कोर करने में संघर्ष करते हैं। छोटा, अधिक कुशल संस्करण भी अत्यधिक प्रभावी था, जिसने 0.737 स्कोर किया, और यह मानक हार्डवेयर पर केवल 55 मिलीसेकंड में एक सारांश को प्रोसेस कर सकता है। यह गति महत्वपूर्ण है क्योंकि इसका मतलब है कि इस प्रणाली का उपयोग आर्टिफिशियल इंटेलिजेंस मॉडलों को प्रशिक्षित करते समय उन्हें मार्गदर्शन देने के लिए बार-बार किया जा सकता है, जो एक विश्वसनीय कोच के रूप में तत्काल फीडबैक देता है ताकि प्रशिक्षण प्रक्रिया धीमी न हो।

टीम ने यह भी परीक्षण किया कि क्या उनका सिस्टम उन विषयों को संभाल सकता है जिन्हें उसने पहले कभी नहीं देखा है। उन्होंने समाचार लेखों पर प्रशिक्षित मॉडलों को सूचना प्रौद्योगिकी के तकनीकी पाठ्यपुस्तकों के सारांशों का मूल्यांकन करने के लिए कहा। सामान्य समाचार से विशेष शैक्षणिक सामग्री की ओर बदलाव के बावजूद, सिस्टम ने गुणवत्ता को सटीक रूप से आंकने की अपनी क्षमता बनाए रखी। बड़े मॉडल ने मानव विशेषज्ञों के साथ 0.720 का सहसंबंध बनाए रखा, और छोटे मॉडल ने 0.691 का स्तर बनाए रखा। यह सुझाव देता है कि फ्रेमवर्क ने केवल समाचार लेखन की शैली को याद करने के बजाय अच्छे सारांशीकरण के सामान्य सिद्धांतों को सीखा है। इसके अलावा, शोधकर्ताओं ने प्रदर्शित किया कि इस प्रणाली का उपयोग रीइन्फोर्समेंट लर्निंग सेटअप में एक "फ्रोजन" रिवॉर्ड सिग्नल के रूप में किया जा सकता है। जब उन्होंने एक पिछले मूल्यांकनकर्ता को अपने नए मूल्यांकनकर्ता से बदलकर एक भाषा मॉडल को प्रशिक्षित किया, तो परिणामी सारांश समान उच्च गुणवत्ता के थे, जो यह सिद्ध करता है कि यह प्रणाली अन्य AI मॉडलों को सिखाने के नाजुक कार्य के साथ विश्वास करने के लिए पर्याप्त स्थिर है।

यह अध्ययन स्पष्ट रूप से इस विचार को चुनौती देता है कि आधुनिक मूल्यांकन के लिए शब्द मिलान पर आधारित एक एकल स्कोर पर्याप्त है। डेटा ने दिखाया कि ROUGE और BERTScore जैसे पारंपरिक उपकरण तथ्यात्मक सटीकता और तार्किक प्रवाह की बारीकियों को पकड़ने में विफल रहे, और अक्सर उन सारांशों को उच्च स्कोर देते थे जो प्रवाहपूर्ण तो थे लेकिन तथ्यात्मक रूप से गलत थे। इसके विपरीत, EViSE के बहु-मानदंड दृष्टिकोण ने इन विभिन्न आयामों को सफलतापूर्वक अलग किया। शोधकर्ताओं ने पाया कि सटीक स्कोर और सापेक्ष रैंकिंग को सीखने को जोड़कर, सिस्टम सर्वश्रेष्ठ सारांशों की पहचान करने में बहुत बेहतर हो गया। उन्होंने इस धारणा को भी खारिज कर दिया कि उच्च सटीकता प्राप्त करने के लिए एक जटिल, धीमा सिस्टम ही एकमात्र तरीका है; उनके कॉम्पैक्ट मॉडल ने सिद्ध किया कि न्यूनतम कम्प्यूटेशनल लागत के साथ उच्च-गुणवत्ता वाला मूल्यांकन प्राप्त किया जा सकता है।

अंततः, यह कार्य मशीनों द्वारा सूचनाओं को सारांशित करने की क्षमता का मूल्यांकन करने के लिए एक व्यावहारिक और कुशल मार्ग प्रदान करता है। यह क्षेत्र को साझा शब्दों की गिनती से आगे बढ़कर एक बेहतर समझ की ओर ले जाता है कि एक सारांश को विश्वसनीय और उपयोगी क्या बनाता है। मूल्यांकन को एक साथ कई मानदंडों को सीखने की समस्या के रूप में मानकर, शोधकर्ताओं ने एक ऐसा उपकरण बनाया है जो न केवल सटीक है बल्कि वास्तविक समय के प्रशिक्षण लूप में उपयोग करने के लिए पर्याप्त तेज़ भी है। वियतनामी भाषा में इस फ्रेमवर्क की सफलता, जो अंग्रेजी की तुलना में कम संसाधनों वाली भाषा है, यह सुझाव देती है कि यह दृष्टिकोण लचीला है और इसे अन्य भाषाओं और डोमेन में अनुकूलित किया जा सकता है। जैसे-जैसे आर्टिफिशियल इंटेलिजेंस अधिक टेक्स्ट उत्पन्न करना जारी रखेगा, यह सुनिश्चित करने के लिए कि आउटपुट सत्य के प्रति निष्ठावान, वितरण में सुसंगत और पाठक की आवश्यकताओं के लिए प्रासंगिक बना रहे, EViSE जैसे उपकरण अनिवार्य होंगे।