DeMTS: Denoising Trajectories as Multivariate Time Series for Hallucination Detection in Diffusion Language Models
यह शोध पत्र DeMTS का प्रस्ताव करता है, जो डिफ्यूजन लार्ज लैंग्वेज मॉडल्स के लिए एक नवीन मतिभ्रम (hallucination) डिटेक्शन फ्रेमवर्क है, जो पूर्ण टोकन-स्टेप स्ट्रक्चरल जानकारी को संरक्षित करने के लिए डिनोइजिंग ट्रेजेक्टरीज को मल्टीवेरिएट टाइम सीरीज़ के रूप में मानता है, जिससे यह विसंगत अभिसरण (inconsistent convergence) और क्रॉस-टोकन फॉल्ट प्रोपेगेशन जैसे जटिल पैटर्न को प्रभावी ढंग से कैप्चर करके मौजूदा तरीकों से बेहतर प्रदर्शन करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आर्टिफिशियल इंटेलिजेंस की तेजी से विकसित होती दुनिया में, टेक्स्ट जेनरेट करने वाली मशीनों की एक नई पीढ़ी उभरी है, जो एक सख्त क्रम में एक के बाद एक शब्द लिखने की पारंपरिक पद्धति से दूर जा रही है। इसके बजाय, ये मॉडल, जिन्हें डिफ्यूजन लार्ज लैंग्वेज मॉडल्स (diffusion large language models) के रूप में जाना जाता है, पुनरावृत्ति सुधार (iterative refinement) की प्रक्रिया के माध्यम से टेक्स्ट तैयार करते हैं। एक धुंधली छवि की कल्पना करें जो धीरे-धीरे स्पष्ट होती जाती है; इसी तरह, ये मॉडल शब्दों के एक अव्यवस्थित, शोर भरे अनुक्रम से शुरुआत करते हैं और तब तक इसे चरण-दर-चरण साफ करते रहते हैं जब तक कि एक सुसंगत वाक्य उभर न आए। हालांकि यह दृष्टिकोण गति और लचीलेपन में अद्वितीय लाभ प्रदान करता है, लेकिन इसमें अपने पूर्ववर्तियों की तरह एक गंभीर दोष भी है: मतिभ्रम (hallucinate) होने की प्रवृत्ति। यह मशीन के सपने देखने का मामला नहीं है, बल्कि तथ्य-जांच की विफलता है, जहाँ मॉडल अत्यंत प्रवाहपूर्ण और आत्मविश्वास से भरी दिखने वाली वाक्य रचनाएँ बनाता है जिनमें पूरी तरह से गलत या असमर्थित जानकारी होती है। इन त्रुटियों का पता लगाना कठिन है क्योंकि अंतिम आउटपुट अक्सर एकदम सटीक दिखता है, जिससे निर्माण के बीच के अस्त-व्यस्त चरणों के दौरान हुई गलतियाँ छिप जाती हैं।
शोधकर्ताओं ने लंबे समय से अंतिम उत्तर को देखकर या विशिष्ट क्षणों में मॉडल कितना अनिश्चित था, इसकी जाँच करके इन त्रुटियों को पकड़ने का प्रयास किया है। हालाँकि, एक नया अध्ययन बताता है कि ये विधियाँ अक्सर सबसे महत्वपूर्ण सुरागों को छोड़ देती हैं। समस्या यह है कि मौजूदा पहचान उपकरण टेक्स्ट बनाने की जटिल प्रक्रिया के इतिहास को समतल (flatten) करने की प्रवृत्ति रखते हैं। वे या तो निर्माण प्रक्रिया की समयरेखा को देखते हैं या केवल व्यक्तिगत शब्दों को देखते हैं, जिससे प्रभावी रूप से उस समृद्ध, द्वि-आयामी मानचित्र को त्याग दिया जाता है जो समय और बनने वाले विशिष्ट शब्दों दोनों में अनिश्चितता के विकास को दर्शाता है। इस डेटा को संकुचित करके, वे यह देखने की क्षमता खो देते हैं कि कैसे वाक्य के एक हिस्से में हुई गलती बाकी हिस्से को भ्रष्ट करने के लिए लहरों की तरह फैल सकती है, या कैसे अलग-अलग शब्द एक ही समय में एक आत्मविश्वासी सत्य पर स्थिर होने में विफल हो सकते हैं।
इसे हल करने के लिए, वैज्ञानिकों की एक टीम ने DeMTS नामक एक नया ढांचा विकसित किया है, जो एक वाक्य की पूरी निर्माण प्रक्रिया को चरणों की एक साधारण सूची के बजाय एक जटिल, बहु-स्तरीय सिग्नल के रूप में मानता है। मॉडल के आंतरिक संकेतों को एक एकल रेखा में मजबूर करने के बजाय, शोधकर्ताओं ने डेटा को इस तरह व्यवस्थित किया कि प्रत्येक शब्द और निर्माण प्रक्रिया के प्रत्येक क्षण के बीच के संबंध को सुरक्षित रखा जा सके। उन्होंने महसूस किया कि वाक्य में शब्दों की कच्ची स्थितियाँ (raw positions) विश्वसनीय रूप से ट्रैक करने के लिए पर्याप्त स्थिर नहीं हैं, क्योंकि एक ही स्थिति अलग-अलग वाक्यों में अलग-अलग अर्थ रख सकती है। इसे ठीक करने के लिए, उन्होंने एक ऐसी प्रणाली बनाई जो मॉडल के शोर भरे, बदलते संकेतों को स्थिर, सुसंगत श्रेणियों में समूहित करती है। इसे एक अस्त-व्यस्त, मिले-जुले पहेली के टुकड़ों को उनके मूल, भ्रमित करने वाले क्रम के आधार पर ट्रैक करने के बजाय, उनके आकार और रंग के आधार पर अलग-अलग, लेबल किए गए बक्सों में छाँटने जैसा समझें।
एक बार जब ये स्थिर समूह बन गए, तो शोधकर्ताओं ने एक डायनेमिक मॉडलिंग तकनीक लागू की ताकि यह देखा जा सके कि ये समूह आपस में कैसे क्रिया करते हैं और समय के साथ कैसे बदलते हैं। उन्होंने पाया कि मतिभ्रम (hallucinations) इस प्रक्रिया में एक विशिष्ट छाप छोड़ते हैं। एक सत्यपूर्ण प्रतिक्रिया में, वाक्य के विभिन्न भाग मिलकर एक आत्मविश्वासी अवस्था में स्थिर होते हैं। हालाँकि, एक मतिभ्रम वाली प्रतिक्रिया में, मॉडल अक्सर "असंगत अभिसरण" (inconsistent convergence) के संकेत दिखाता है, जहाँ कुछ शब्द अत्यधिक आत्मविश्वासी हो जाते हैं जबकि अन्य डगमगाते और अनिश्चित रहते हैं। इसके अलावा, उन्होंने "क्रॉस-टोकन फॉल्ट प्रोपेगेशन" (cross-token fault propagation) देखा, जहाँ एक अस्थिर या गलत शब्द पड़ोसी शब्दों को सत्य से दूर ले जाता है, जिससे त्रुटियों की एक श्रृंखला पैदा होती है जो वाक्य में फैल जाती है। इन अस्थिरता और अंतःक्रिया के विशिष्ट पैटर्न को ट्रैक करके, यह नई प्रणाली झूठ को पूरी तरह से बोले जाने से पहले ही पकड़ सकती है।
शोधकर्ताओं ने दो अलग-अलग लार्ज लैंग्वेज मॉडल्स पर तीन विशिष्ट प्रश्न-उत्तर डेटासेट्स पर इस दृष्टिकोण का परीक्षण किया, जो सामान्य ज्ञान से लेकर जटिल तर्क कार्यों तक विस्तृत हैं। परिणामों ने दिखाया कि इस नई विधि ने मौजूदा तकनीकों से काफी बेहतर प्रदर्शन किया, और बहुत अधिक सटीकता के साथ गलत जानकारी की सफलतापूर्वक पहचान की। महत्वपूर्ण रूप से, यह प्रणाली कुशल और मजबूत बनी रही, जिससे यह सिद्ध हुआ कि यह हर विशिष्ट विषय के लिए पुन: प्रशिक्षित हुए बिना, नए प्रकार के प्रश्नों के लिए अपने निष्कर्षों को सामान्यीकृत (generalize) कर सकती है। यह अध्ययन प्रदर्शित करता है कि इन मॉडल्स के सोचने के पूर्ण, द्वि-आयामी ढांचे का सम्मान करके—समयरेखा और शब्द संबंधों को बरकरार रखते हुए—हम आधुनिक आर्टिफिशियल इंटेलिजेंस को परेशान करने वाली सूक्ष्म, आत्मविश्वासपूर्ण त्रुटियों के खिलाफ बहुत बेहतर सुरक्षा कवच बना सकते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।