तकनीकी सारांश: पाठ सारांशीकरण में मतिभ्रम व्याख्यात्मकता के लिए एक ढांचा (A Framework for Hallucinations Explainability in Text Summarization)

1. समस्या विवरण (Problem Statement)

एब्स्ट्रैक्टिव टेक्स्ट सारांशीकरण (abstractive text summarization) में उपयोग किए जाने वाले लार्ज लैंग्वेज मॉडल्स (LLMs) अक्सर "मतिभ्रम" (hallucinations) से ग्रस्त होते हैं, जहाँ उत्पन्न आउटपुट भाषाई रूप से सुसंगत तो होते हैं लेकिन तथ्यात्मक रूप से गलत, असत्यापित या स्रोत पाठ के विरोधाभासी होते हैं। ये त्रुटियाँ स्वास्थ्य सेवा, पत्रकारिता और वैज्ञानिक अनुसंधान जैसे उच्च-जोखिम वाले डोमेन में विशेष रूप से महत्वपूर्ण हैं।

वर्तमान मूल्यांकन दृष्टिकोण दो प्राथमिक सीमाओं का सामना करते हैं:

1. अपर्याप्त गंभीरता परिमाणीकरण (Insufficient Severity Quantification): मौजूदा तथ्यात्मकता मेट्रिक्स (जैसे, FactCC, SummaC) वाक्य-स्तरीय निर्णय या बाइनरी निरंतरता स्कोर प्रदान करते हैं, लेकिन वे अर्थपूर्ण परिवर्तनों (semantic perturbations) के तहत मतिभ्रम की गंभीरता को मापने के लिए एक मजबूत स्केलर माप प्रदान करने में विफल रहते हैं।
2. वर्णनात्मक बनाम मात्रात्मक व्याख्यात्मकता (Descriptive vs. Quantitative Explainability): जबकि SMILE (Statistical Model-Agnostic Interpretability with Local Explanations), LIME, और SHAP जैसे व्याख्यात्मकता ढांचे टोकन महत्व और मॉडल संवेदनशीलता के बारे में अंतर्दृष्टि प्रदान करते हैं, वे मुख्य रूप से वर्णनात्मक बने रहते हैं। वे यह समझाते हैं कि मॉडल क्यों एक निश्चित तरीके से व्यवहार करता है, लेकिन वे सीधे मतिभ्रम की गंभीरता के लिए मात्रात्मक स्कोर प्रदान नहीं करते हैं।

इस कार्य का मूल परिकल्पना (hypothesis) यह है कि वफादार (faithful) सारांशीकरण मॉडल अर्थ-संरक्षण करने वाले परिवर्तनों के तहत स्थिर रहते हैं, जबकि मतिभ्रम-प्रवण (hallucination-prone) मॉडल महत्वपूर्ण आउटपुट अस्थिरता प्रदर्शित करते हैं।

2. कार्यप्रणाली: उन्नत SMILE ढांचा (Methodology: The Enhanced SMILE Framework)

लेखक एक उन्नत SMILE पाइपलाइन में एकीकृत एक नवीन मतिभ्रम गंभीरता स्कोर (Hallucination Severity Score - HSS) का प्रस्ताव करते हैं। यह ढांचा SMILE को एक गुणात्मक व्याख्यात्मक उपकरण से एक मात्रात्मक नैदानिक ढांचे में बदलने के लिए निम्नलिखित चरणों का उपयोग करता है:

2.1 अर्थपूर्ण परिवर्तन पीढ़ी (Semantic Perturbation Generation)

सिस्टम इनपुट दस्तावेज़ ($x$) के नियंत्रित, अर्थ-संरक्षण करने वाले परिवर्तनों को उत्पन्न करके परिवर्तित इनपुट का एक सेट $\{x^{(k)}\}$ बनाता है।

• टोकन चयन (Token Selection): तथ्यात्मक निरंतरता बनाए रखने के लिए नामित संस्थाओं (NER के माध्यम से), स्टॉप वर्ड्स, संख्याओं और विराम चिह्नों को बाहर रखा जाता है। केवल अर्थपूर्ण रूप से प्रासंगिक टोकन ही संशोधन के उम्मीदवार होते हैं।
• उम्मीदवार पीढ़ी (Candidate Generation): Word2Vec एम्बेडिंग योग्य टोकनों के लिए शीर्ष-$k$ निकटतम पड़ोसियों की पहचान करती है। एक कोसाइन समानता थ्रेशोल्ड ($\tau$) अर्थपूर्ण निकटता सुनिश्चित करता है।
• अर्थ-संरक्षण फ़िल्टर (Meaning-Preserving Filter): एक Sentence-BERT (SBERT) समानता बाधा ($\gamma$) इस बात की पुष्टि करती है कि परिवर्तित वाक्य मूल अर्थ को बनाए रखता है। यदि $sim_{SBERT}(s, s') < \gamma$ है, तो परिवर्तन को अस्वीकार कर दिया जाता है।
• शक्ति (Strength): परिवर्तन 2–30% टोकन को संशोधित करते हैं, जिन्हें निम्न, मध्यम या उच्च शक्ति के रूप में वर्गीकृत किया गया है।

2.2 सारांश पीढ़ी और प्रतिनिधित्व (Summary Generation and Representation)

• मॉडल: एक BART-large-CNN ट्रांसफार्मर मॉडल एक बेसलाइन सारांश ($y_0$) और प्रत्येक परिवर्तित इनपुट के लिए सारांश ($y_k$) उत्पन्न करता है।
• एम्बेडिंग वितरण (Embedding Distribution): प्रत्येक सारांश को वाक्यों में विभाजित किया जाता है, और SBERT का उपयोग करके प्रासंगिक एम्बेडिंग (contextual embeddings) उत्पन्न की जाती हैं। ये एक अनुभवजन्य वितरण ($\mu_y$) बनाते हैं जो सारांश की अर्थपूर्ण संरचना का प्रतिनिधित्व करता है।

2.3 Wasserstein दूरी के माध्यम से अस्थिरता मापन (Instability Measurement via Wasserstein Distance)

ढांचा बेसलाइन सारांश और परिवर्तित सारांशों के बीच अर्थपूर्ण बदलाव को मापने के लिए Wasserstein दूरी ($W$) का उपयोग करता है, जो एम्बेडिंग वितरणों के बीच ज्यामितीय परिवहन लागत (geometric transport cost) को मापता है।
$$D_k = W(\mu_{y_0}, \mu_{y_k})$$
कच्ची अस्थिरता (raw instability) $K$ परिवर्तनों में इन दूरियों का औसत है।

2.4 मतिभ्रम गंभीरता स्कोर (HSS) और सामान्यीकरण (Normalization)

क्रॉस-डोमेन तुलना सक्षम करने के लिए, कच्चे Wasserstein दूरियों को सामान्यीकृत किया जाता है।

• श्रेणी-जागरूक सामान्यीकरण (Category-Aware Normalization): एक विशिष्ट दस्तावेज़ श्रेणी ($c$) के लिए Wasserstein दूरियों का 95वाँ पर्सेंटाइल के रूप में एक सामान्यीकरण स्थिरांक ($M_c$) की गणना की जाती है।
• अंतिम स्कोर: HSS सामान्यीकृत दूरियों का औसत है:
  $$HSS(x) = \frac{1}{K} \sum_{k=1}^{K} \min\left(\frac{D_k}{M_c}, 1\right)$$
  उच्च HSS मान अधिक अर्थपूर्ण अस्थिरता और, फलस्वरूप, उच्च मतिभ्रम की गंभीरता को दर्शाते हैं।

2.5 एट्रिब्यूशन अस्थिरता विश्लेषण (Attribution Instability Analysis)

ढांचा HSS को एट्रिब्यूशन-आधारित अस्थिरता मेट्रिक्स, विशेष रूप से SHAP (Shapley Additive Explanations) और LIME के साथ सह-संबंधित करता है। यह मापता है कि अर्थपूर्ण परिवर्तन के दौरान फीचर एट्रिब्यूशन वितरण कितना बदलता है।

3. प्रयोगात्मक सेटअप (Experimental Setup)

• डेटासेट: मूवीज, साहित्य, AI और मेडिकल रिसर्च को कवर करने वाले चार डोमेन (Simple, Medium, Complex, Mixed/Extra) में 34 दस्तावेज़।
• पैमाना (Scale): 286 कुल परिवर्तन उत्पन्न किए गए, जिसके परिणामस्वरूप 320 मूल्यांकित सारांश प्राप्त हुए।
• वैधीकरण (Validation): सांख्यिकीय विश्लेषण में पियर्सन और स्पीयरमैन सहसंबंध, विश्वास अंतराल (confidence intervals) के लिए 1,000 बूटस्ट्रैप रीसैंपल्स और एब्लेशन अध्ययन शामिल थे।
• तुलनाकर्ता (Comparators): HSS की तुलना FactCC, SummaC, Precision/Recall/F1, Attention scores, LIME, और SHAP से की गई।

4. मुख्य परिणाम (Key Results)

प्रयोगात्मक मूल्यांकन से निम्नलिखित निष्कर्ष प्राप्त हुए:

• SHAP के साथ मजबूत संरेखण: HSS ने SHAP-आधारित एट्रिब्यूशन अस्थिरता के साथ सबसे मजबूत सहसंबंध ($r \approx 0.90$) प्रदर्शित किया। यह इंगित करता है कि मतिभ्रम के प्रति संवेदनशील सारांश, अर्थपूर्ण परिवर्तनों के तहत अत्यधिक अस्थिर फीचर एट्रिब्यूशन पैटर्न उत्पन्न करते हैं।
• तथ्यात्मकता के साथ नकारात्मक सहसंबंध: HSS ने तथ्यात्मक निरंतरता मेट्रिक्स के साथ मध्यम-से-मजबूत नकारात्मक सहसंबंध दिखाया (FactCC: $r \approx -0.63$; SummaC: $r \approx -0.55$), जो पुष्टि करता है कि उच्च गंभीरता स्कोर कम तथ्यात्मक विश्वसनीयता के अनुरूप होते हैं।
• लेक्सिकल/वितरण संबंधी मेट्रिक्स के साथ कमजोर सहसंबंध: HSS का कच्चे Wasserstein दूरी ($r \approx -0.33$) और LIME ($r \approx 0.29$) के साथ कमजोर सहसंबंध था। यह सुझाव देता है कि सतही स्तर का लेक्सिकल ओवरलैप या सरल वितरण परिवर्तन, अर्थपूर्ण मतिभ्रम के अपर्याप्त प्रॉक्सी हैं।
• डोमेन संवेदनशीलता: HSS ने डोमेन के बीच प्रभावी ढंग से अंतर किया। ज्ञान-गहन डोमेन (जैसे वैज्ञानिक पेपर, कानूनी दस्तावेज़) कम संरचित डोमेन (जैसे सोशल मीडिया, प्रोडक्ट रिव्यूज) की तुलना में उच्च HSS मान (उच्च अस्थिरता) दिखाते हैं।
• परिवर्तन संवेदनशीलता: H-HSS मान परिवर्तन की शक्ति के साथ लगातार बढ़े (निम्न शक्ति पर 0.38 से उच्च शक्ति पर 0.62 तक), जो एक मात्रात्मक पैमाने के रूप में इसकी संवेदनशीलता को प्रमाणित करता है।

5. योगदान और महत्व (Contributions and Significance)

यह शोध पत्र निम्नलिखित योगदानों और महत्व का दावा करता है:

1. नवीन मेट्रिक (HSS): एक सांख्यिकीय रूप से आधारित मतिभ्रम गंभीरता स्कोर का परिचय, जो बाइनरी फैक्टुअलिटी चेक से आगे बढ़कर Wasserstein-आधारित अर्थपूर्ण अस्थिरता के माध्यम से मतिभ्रम की गंभीरता को मापता है।
2. उन्नत SMILE ढांचा: संदर्भ-आधारित एम्बेडिंग वितरण, एट्रिब्यूशन अस्थिरता और परिवर्तन-आधारित मजबूती को एक एकीकृत सांख्यिकीय पाइपलाइन में एकीकृत करने के लिए SMILE ढांचे का विस्तार।
3. एट्रिब्यूशन अस्थिरता एक प्रॉक्सी के रूप में: SHAP-आधारित एट्रिब्यूशन अस्थिरता को अर्थपूर्ण मतिभ्रम व्यवहार के एक विश्वसनीय संकेतक के रूप में स्थापित करना, जो यह दर्शाता है कि यह सतही स्तर के लेक्सिकल मेट्रिक्स और LIME की तुलना में मतिभ्रम का पता लगाने में बेहतर प्रदर्शन करता है।
4. मजबूत वैधीकरण: व्यापक सांख्यिकीय वैधीकरण (सहसंबंध विश्लेषण, बूटस्ट्रैप कॉन्फिडेंस इंटरवल) और एब्लेशन अध्ययनों के माध्यम से ढांचे की मजबूती की पुष्टि, जिससे सिद्ध हुआ कि विश्वसनीय अनुमान के लिए नॉर्मलाइजेशन, NER प्रोटेक्शन और सिमेंटिक फिल्टरिंग जैसे घटक आवश्यक हैं।

लेखक निष्कर्ष निकालते हैं कि मतिभ्रम मौलिक रूप से अर्थपूर्ण अस्थिरता से जुड़ा है और इसे केवल सतही स्तर के लेक्सिकल मेट्रिक्स द्वारा पूरी तरह से वर्णित नहीं किया जा सकता है। प्रस्तावित ढांचा LLM-आधारित सारांशीकरण प्रणालियों के लिए मॉडल ऑडिटिंग, ड्रिफ्ट मॉनिटरिंग और थ्रेशोल्ड-आधारित गुणवत्ता आश्वासन का मार्ग प्रदान करता है।

6. सीमाएँ (Limitations)

लेखक विनम्रतापूर्वक कुछ सीमाओं को स्वीकार करते हैं:

• डेटासेट का आकार: मूल्यांकन एक अपेक्षाकृत छोटे डेटासेट (34 दस्तावेज़) पर किया गया था, जो सामान्यीकरण (generalizability) को सीमित कर सकता है।
• मॉडल विशिष्टता: प्रयोग एक एकल सारांशीकरण मॉडल (BART-large-CNN) तक सीमित थे; विभिन्न LLM आर्किटेक्चर्स पर व्यापक सत्यापन की आवश्यकता है।
• परिवर्तन प्रतिबंध (Perturbation Constraints): प्रतिबंधित परिवर्तन रणनीति वास्तविक दुनिया की भाषाई विविधताओं की पूरी विविधता को कैप्चर नहीं कर सकती है।
• मानव मूल्यांकन का अभाव: अध्ययन स्वचालित मेट्रिक्स पर निर्भर है; स्वचालित गंभीरता अनुमानों को मानव निर्णय के साथ संरेखित करने के लिए भविष्य के कार्य में मानव मूल्यांकन की आवश्यकता है।