A Grounded and Decomposed Framework for Relation-Level Hallucination Evaluation in Abstractive Summarization

कल्पना कीजिए कि आप एक बहुत ही प्रतिभाशाली, लेकिन थोड़े शरारती रोबोट द्वारा लिखी गई कहानी पढ़ रहे हैं। यह रोबोट "एब्स्ट्रैक्टिव समराइजेशन" (abstractive summarization) का विशेषज्ञ है, जो बस एक फैंसी तरीका है यह कहने का कि वह एक लंबे लेख को पढ़ता है और अपने शब्दों में उसका एक छोटा, प्रभावशाली संस्करण लिखता है। यह स्वाभाविक और प्रवाहपूर्ण लगने में माहिर है; इसके वाक्य एक नदी की तरह बहते हैं। लेकिन यहाँ एक पेंच है: कभी-कभी, कूल दिखने की अपनी चाह में, रोबोट चीजें बना लेता है। यह लोगों के नाम तो सही रख सकता है, लेकिन यह बदल सकता है कि किसने किसके साथ क्या किया। यह वैसा ही है जैसे कोई समाचार एंकर कहे, "राष्ट्रपति ने संधि पर हस्ताक्षर किए," जबकि दस्तावेज़ वास्तव में कहता है, "सचिव द्वारा संधि पर हस्ताक्षर किए गए थे।" शब्द वहीं हैं, लेकिन सच्चाई बदल दी गई है। इसे "हैलुसिनेशन" (hallucination) कहा जाता है, और आर्टिफिशियल इंटेलिजेंस की दुनिया में, यह एक बड़ी समस्या है क्योंकि हमें अपने सारांश न केवल सुंदर, बल्कि सत्य भी चाहिए।

लंबे समय तक, इन झूठ बोलने वाले रोबोटों को पकड़ने की कोशिश करने वाले वैज्ञानिकों ने ऐसे उपकरणों का उपयोग किया जो किराने की सूची (grocery list) की जाँच करने जैसे थे। उन्होंने गिने कि रोबोट ने कितने ऐसे शब्दों का उपयोग किया जो मूल लेख में भी थे। यदि रोबोट ने "सेब" शब्द का उपयोग किया और मूल लेख में भी "सेब" था, तो यह उसके पक्ष में एक अंक था। लेकिन यह एक शेफ को उसके द्वारा उपयोग की गई सामग्रियों की संख्या से आंकने जैसा है, बिना व्यंजन का स्वाद चखे। आपके पास सामग्रियों की एक कटोरी भरी हो सकती है जो सूची से पूरी तरह मेल खाती हो, लेकिन फिर भी वह एक बुरा भोजन हो सकता है। पुराने उपकरण इस बात की जाँच करने में अच्छे थे कि क्या रोबोट को नाम याद रहे, लेकिन वे इस बात की जाँच करने में बहुत खराब थे कि क्या रोबोट को उन नामों के बीच के संबंधों का याद रहा। वे यह नहीं बता सकते थे कि एक रोबोट जिसने सच बोला है और एक जिसने बहुत ही विश्वसनीय झूठ बोला है, के बीच क्या अंतर है।

यहीं पर IIIT भुवनेश्वर के शोधकर्ताओं की एक टीम और कुछ उद्योग भागीदारों ने एक नया, अधिक सटीक चश्मा लेकर कदम रखा। उन्होंने महसूस किया कि किसी झूठे को पकड़ने के लिए, आप केवल शब्दों को नहीं गिनते; आपको कहानी की संरचना को समझना होता है। उन्होंने सारांशों का मूल्यांकन करने के लिए एक नया ढांचा बनाया जो "रिलेशन-लेवल हैलुसिनेशन" (relation-level hallucinations) खोजने वाले एक जासूस की तरह काम करता है। केवल यह पूछने के बजाय कि, "क्या आपने सही शब्दों का उपयोग किया?" वे पूछते हैं, "क्या आपने सही बिंदुओं को जोड़ा?"

शोधकर्ताओं ने रिलेशन हैलुसिनेशन इंडेक्स (RHI) नामक एक नई स्कोरिंग प्रणाली बनाई। सोचिए कि मूल पाठ विभिन्न पात्रों और घटनाओं को जोड़ने वाली डोरियों का एक जटिल जाल है। एक अच्छा सारांश उन डोरियों को बरकरार रखता है। एक हैलुसिनेटिंग (भ्रमित करने वाला) सारांश उन डोरियों को काट सकता है और उन्हें गलत व्यक्ति से जोड़ सकता है। पुराने उपकरण इसे मिस कर देते क्योंकि पात्र (शब्द) अभी भी वहीं थे। हालाँकि, नया RHI इस काम के लिए डिज़ाइन किया गया है कि वह हर एक डोरी का पता लगाए। यह पाठ को "ट्रिपल्स" (triples) नामक छोटे निर्माण खंडों में तोड़ने के लिए एक परिष्कृत प्रक्रिया का उपयोग करता है—मूल रूप से एक कर्ता (Subject - कौन), एक क्रिया (Verb - क्या किया), और एक कर्म (Object - किसके साथ)।

इन ट्रिपल्स की सटीकता सुनिश्चित करने के लिए, टीम ने केवल एक बुनियादी स्कैनर का उपयोग नहीं किया। उन्होंने एक "डिपेंडेंसी-अवेयर" (dependency-aware) निष्कर्षण इंजन बनाया। कल्पना कीजिए कि यह इंजन एक बहुत ही सावधान संपादक की तरह है जो केवल शब्दों को नहीं पढ़ता बल्कि व्याकरण को गहराई से समझता है। यह उन कठिन वाक्यों को संभालने में सक्षम है जहाँ कर्ता छिपा हुआ होता है (जैसे पैसिव वॉइस में, "गेंद फेंकी गई" का अर्थ है "किसी ने गेंद फेंकी")। यह उन शब्दों को अनदेखा करना जानता है जो केवल भाषण की रिपोर्ट करते हैं (जैसे "उसने कहा कि...") और वास्तविक तथ्यों पर ध्यान केंद्रित करता है। यह शब्दों को उनके मूल रूप में बदलकर उन्हें साफ भी करता है (जैसे "running" को "run" में बदलना) ताकि यह अलग-अलग काल (tenses) के कारण भ्रमित न हो। यह सुनिश्चित करता है कि जब वे रोबोट के सारांश की मूल पाठ से तुलना करते हैं, तो वे सेब की तुलना सेब से कर रहे होते हैं, न कि सेब की तुलना एप्पल-पाई से।

टीम ने डेटा के एक विशाल मैदान पर इस नए सिस्टम का परीक्षण किया। उन्होंने समाचार के तीन अलग-अलग प्रकार के डेटासेट का उपयोग किया: XSUM (जिसमें बहुत छोटे, अत्यधिक रचनात्मक सारांश हैं), XLSUM (जिसमें कई देशों और भाषाओं के समाचार हैं), और CNN/DailyMail डेटासेट (जिसमें लंबी, विस्तृत कहानियाँ हैं)। उन्होंने चार प्रसिद्ध AI मॉडलों—BART-large-CNN, PEGASUS, T5-large, और GPT-3.5—को 800 अलग-अलग समाचार कहानियों के सारांश लिखने के लिए कहा। उन्होंने एक "मानव संदर्भ" (human reference) सारांश को भी शामिल किया ताकि यह देखा जा सके कि रोबोट एक आदर्श मानव स्कोर के कितने करीब पहुँच सकता है।

परिणाम आंखें खोलने वाले थे। जब उन्होंने पुराने, शब्द-गिनती वाले उपकरणों का उपयोग किया, तो PEGASUS अक्सर विजेता के रूप में दिखाई दिया क्योंकि इसने मूल के बहुत सारे शब्दों का उपयोग किया था। लेकिन जब शोधकर्ताओं ने अपने नए RHI स्कोर को लागू किया, तो तस्वीर बदल गई। घटनाओं के बीच वास्तविक संबंधों को बनाए रखने में BART ने वास्तव में उच्चतम स्कोर प्राप्त किया, भले ही इसने हमेशा सटीक शब्दों का उपयोग नहीं किया। GPT-3.5, हालांकि कुछ चीजों में अच्छा था, लेकिन इसमें काफी "रिलेशन इंसर्शन वेरिएबिलिटी" (relation insertion variability) देखी गई, जिसका अर्थ है कि इसने कभी-कभी नए संबंध बना दिए जो वहां मौजूद नहीं थे। अध्ययन से पता चला कि नया RHI स्कोर इन सूक्ष्म झूठों को पकड़ने में पुराने तरीकों की तुलना में बहुत बेहतर था।

उनमें से एक दिलचस्प खोज यह थी कि यह स्कोर "नॉर्मलाइज्ड" (normalized) है। इसका मतलब है कि यह तब भी अच्छी तरह से काम करता है जब आप एक छोटा, संक्षिप्त सारांश देख रहे हों या एक लंबा, विस्तृत सारांश। उन्होंने त्रुटियों को विभिन्न श्रेणियों में विभाजित किया: चीजें जो मॉडल ने सही कीं, चीजें जो उसने बनाईं, चीजें जो वह मिस कर गया, और चीजें जो उसने गलत कीं। इन टुकड़ों को देखकर, वे देख सकते थे कि एक मॉडल किस तरह से विफल हो रहा था। उदाहरण के लिए, उन्होंने पाया कि जबकि कुछ मॉडल मुख्य तथ्यों को बनाए रखने में अच्छे थे, वे नकारात्मक कथनों (जैसे "कंपनी दिवालिया नहीं हुई") को संभालने में बहुत खराब थे।

शोधकर्ताओं ने यह सुनिश्चित करने के लिए सांख्यिकीय परीक्षण चलाए कि उनके निष्कर्ष केवल भाग्य नहीं थे। उन्होंने पाया कि मॉडलों के बीच स्कोर का अंतर महत्वपूर्ण था, जिसका अर्थ है कि नया RHI स्कोर एक अच्छे, सच्चे सारांश को एक बुरे, हैलुसिनेटिंग (भ्रमित करने वाले) सारांश से अलग करने का एक विश्वसनीय तरीका है। उन्होंने यह भी दिखाया कि उनका नया तरीका पुराने "एंटिटी हैलुसिनेशन इंडेक्स" (जो केवल नामों की जांच करता था) से बेहतर है क्योंकि यह उन नामों के बीच के कार्यों और संबंधों की जांच करता है।

अंत में, यह पेपर सुझाव देता है कि यदि हम चाहते हैं कि AI भरोसेमंद हो, तो हमें केवल शब्दों को गिनना बंद करना होगा और कहानी के तर्क की जांच शुरू करनी होगी। नया रिलेशन हैलुसिनेशन इंडेक्स ठीक ऐसा करने का एक तरीका प्रदान करता है। यह केवल हमें यह नहीं बताता कि सारांश कैसा सुनाई देता है; यह हमें बताता है कि जो कहानी यह सुना रहा है वह वास्तव में कितनी सच्ची है। लेखक आशा करते हैं कि भविष्य में, इस तरह के स्कोर का उपयोग AI मॉडलों को प्रशिक्षित करने के लिए किया जा सकता है, जिससे उन्हें अधिक ईमानदार बनने में मदद मिलेगी, जिससे वे यह सीख सकें कि केवल प्रवाहपूर्ण होना पर्याप्त नहीं है—आपको तथ्यों के प्रति भी वफादार होना पड़ता है।