Hallucination Span Detection with Input-Side Evidence Alignment
यह शोध पत्र एक नवीन कार्य और एक एनकोडर-आधारित विधि प्रस्तुत करता है जो इनपुट साक्ष्य से निष्ठावान टोकन की पूर्वानुमेयता का लाभ उठाकर एलएलएम (LLM) द्वारा जनरेट किए गए टेक्स्ट में मतिभ्रमित स्पैन (hallucinated spans) का पता लगाने के लिए उन्हें एक साथ पहचानने और उनके स्रोत के साथ संरेखित करने का कार्य करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
लार्ज लैंग्वेज मॉडल्स ने कंप्यूटर के साथ हमारे संवाद करने के तरीके को बदल दिया है, जो शक्तिशाली इंजन के रूप में कार्य करते हैं जो समाचारों का सारांश निकाल सकते हैं, जटिल प्रश्नों के उत्तर दे सकते हैं और दस्तावेज़ तैयार कर सकते हैं। ये सिस्टम वाक्यों में अगले शब्द की भविष्यवाणी करके काम करते हैं, जो विशाल मात्रा में टेक्स्ट से सीखे गए पैटर्न पर आधारित होता है। हालाँकि, एक निरंतर दोष उनकी विश्वसनीयता को कम करता है: वे कभी-कभी तथ्य गढ़ लेते हैं। यह घटना, जिसे 'हैलुसिनेशन' (hallucination) कहा जाता है, तब होती है जब एक मॉडल ऐसी जानकारी उत्पन्न करता है जो सुनने में तो तर्कसंगत लगती है, लेकिन या तो स्रोत सामग्री द्वारा समर्थित नहीं होती या सीधे तौर पर उसका खंडन करती है। उन उपयोगकर्ताओं के लिए जो महत्वपूर्ण कार्यों के लिए इन उपकरणों पर भरोसा करते हैं, एक सहायक सारांश और एक मनगढ़ंत कहानी के बीच अंतर करना कठिन होता है। मुख्य चुनौती केवल यह जानना नहीं है कि एक त्रुटि मौजूद है, बल्कि यह सटीक रूप से पता लगाना है कि कौन से शब्द गलत हैं और मूल पाठ का वह विशिष्ट भाग ढूँढना है जो यह सिद्ध करता है कि वे गलत हैं। बिना इस सूक्ष्म स्तर के विवरण के, एक लंबे दस्तावेज़ की सत्यता को सत्यापित करना एक थकाऊ, मैनुअल प्रक्रिया बनी रहती है।
इंस्टीट्यूट ऑफ साइंस टोक्यो के शोधकर्ताओं ने इस समस्या को हल करने के लिए एक नया दृष्टिकोण विकसित किया है, जो ध्यान पूरे टेक्स्ट के मूल्यांकन से हटाकर व्यक्तिगत शब्दों के परीक्षण पर केंद्रित करता है। एक कंप्यूटर से पूरे पैराग्राफ को सत्य या असत्य लेबल करने के लिए कहने के बजाय, उनकी विधि एक आवर्धक लेंस (magnifying glass) की तरह कार्य करती है, जो उत्पन्न आउटपुट को एक-एक शब्द करके स्कैन करती है ताकि यह देखा जा सके कि क्या इसे स्रोत से जोड़ा जा सकता है। टीम एक सरल लेकिन शक्तिशाली अवलोकन पर कार्य करती है: यदि सारांश में एक शब्द मूल पाठ के प्रति वफादार है, तो एक कंप्यूटर केवल स्रोत सामग्री को मार्गदर्शक के रूप में उपयोग करके उस शब्द की भविष्यवाणी कर सकता है। इसके विपरीत, यदि कोई शब्द एक 'हैलुसिनेशन' है, तो स्रोत से उसकी भविष्यवाणी करना असंभव होगा क्योंकि वह जानकारी वहां मौजूद ही नहीं है। इस पूर्वानुमान क्षमता (predictability) का परीक्षण करने के लिए एक मॉडल को प्रशिक्षित करके, शोधकर्ताओं ने एक ऐसा सिस्टम बनाया जो न केवल मनगढ़ंत शब्दों को चिह्नित करता है, बल्कि उस विशिष्ट साक्ष्य को भी उजागर करता है जो सही जानकारी का समर्थन करता है।
यह प्रक्रिया उत्पन्न टेक्स्ट को एक एकल ब्लॉक के रूप में मानने के बजाय, वाक्यांशों या उपवाक्यों जैसे सार्थक टुकड़ों में तोड़कर शुरू होती है। सिस्टम फिर इन टुकड़ों में से एक शब्द लेता है और उसे अस्थायी रूप से छिपा देता है, और मॉडल से यह अनुमान लगाने को कहता है कि केवल मूल इनपुट टेक्स्ट के आधार पर वह शब्द क्या होना चाहिए। यदि मॉडल स्रोत का उपयोग करके छिपे हुए शब्द का आत्मविश्वास के साथ अनुमान लगा सकता है, तो सिस्टम उसे 'वफादार' (faithful) के रूप में चिह्नित करता है। यदि मॉडल अनुमान लगाने में संघर्ष करता है, या यदि आत्मविश्वास का स्कोर कम है, तो सिस्टम उस शब्द को संभावित 'हैलुसिनेशन' के रूप में चिह्नित करता है। महत्वपूर्ण रूप से, क्योंकि मॉडल को अपना अनुमान लगाने के लिए स्रोत पाठ को देखना पड़ा था, इसलिए यह स्वाभाविक रूप से आउटपुट शब्द और इनपुट के उस विशिष्ट भाग के बीच एक लिंक बनाता है जिसने इसकी मदद की। यह साक्ष्य का एक मानचित्र बनाता है, जो उपयोगकर्ता को ठीक से दिखाता है कि मॉडल को अपनी जानकारी कहाँ से मिली या, त्रुटि के मामले में, कहाँ उसे कोई समर्थन नहीं मिला।
इस विचार का परीक्षण करने के लिए, शोधकर्ताओं ने एक डेटासेट का उपयोग किया जिसमें हजारों उदाहरण शामिल थे जहाँ मनुष्यों ने पहले ही पहचान लिया था कि उत्पन्न उत्तरों के कौन से हिस्से तथ्यात्मक रूप से गलत थे। उन्होंने अपनी नई विधि की तुलना मौजूदा तकनीकों से की, जिनमें बड़े, जटिल मॉडल्स का उपयोग करके टेक्स्ट को पढ़ने और न्याय करने वाली तकनीकें भी शामिल हैं। परिणामों ने दिखाया कि उनका हल्का और अधिक केंद्रित दृष्टिकोण त्रुटियों को खोजने में असाधारण रूप से अच्छा था। जहाँ अन्य विधियाँ कभी-कभी गलतियों को पूरी तरह से मिस कर देती थीं, वहीं इस नए सिस्टम ने सफलतापूर्वक मनगढ़ंत शब्दों की एक बड़ी संख्या की पहचान की, विशेष रूप से वे जो पूरी तरह से बनाए गए थे। यह सारांश के सही शब्दों को स्रोत के सही वाक्यों से जोड़ने में भी प्रभावी साबित हुआ, जिससे उपयोगकर्ता के अनुसरण के लिए साक्ष्य का एक स्पष्ट मार्ग उपलब्ध हुआ।
हालाँकि, अध्ययन ने कुछ प्रकार की त्रुटियों का पता लगाने में सिस्टम की एक विशिष्ट कमजोरी को भी उजागर किया। यह विधि तब संघर्ष करती थी जब 'हैलुसिनेशन' एक सीधा विरोधाभास हो, जैसे कि किसी संख्या को "चार" से बदलकर "बीस" करना, जो इस तरह से किया गया हो कि वह मूल पाठ के समान व्याकरणिक और प्रासंगिक रूप से सुनाई दे। इन मामलों में, मॉडल ने आसपास के संदर्भ को इतना समान पाया कि वह अपनी भविष्यवाणी में आश्वस्त बना रहा, और अर्थ के सूक्ष्म बदलाव को पहचानने में विफल रहा। शोधकर्ताओं ने नोट किया कि जबकि यह सिस्टम स्रोत से पूरी तरह अनुपस्थित जानकारी को पकड़ने में उत्कृष्ट है, इसे इन अधिक भ्रामक और विरोधाभासी त्रुटियों को पकड़ने के लिए और अधिक परिष्करण (refinement) की आवश्यकता है। इस सीमा के बावजूद, यह कार्य कृत्रिम बुद्धिमत्ता को अधिक पारदर्शी बनाने की दिशा में एक महत्वपूर्ण कदम प्रदर्शित करता है, जो हर दावे को सीधे उसके स्रोत से जोड़कर मशीन-जनित सामग्री की सत्यता को सत्यापित करने का एक व्यावहारिक तरीका प्रदान करता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।