Decomposition-Induced Context-Memory Conflict: When Fact-Checking Pipelines Contradict Their Own Source Text
यह शोध पत्र "डिकम्पोज़िशन-इंड्यूस्ड कॉन्टेक्स्ट-मेमोरी कॉन्फ्लिक्ट" (DI-CC) की पहचान और लक्षण वर्णन करता है, जो तथ्य-जांच (फैक्ट-चेकिंग) पाइपलाइनों में एक विफलता मोड है जहाँ डिकम्पोज़िशन चरण स्रोत पाठ के स्थान पर मॉडल के पैरामीट्रिक विश्वासों को प्रतिस्थापित कर देता है, जिससे ऐसे विरोधाभास उत्पन्न होते हैं जो मानक स्व-संगति (सेल्फ-कंसिस्टेंसी) पहचान से बच निकलते हैं लेकिन पार्सिंग विश्वसनीयता की कीमत पर संदर्भ-जागरूक डिकोडिंग द्वारा आंशिक रूप से कम किए जा सकते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट को सच बोलना सिखाने की कोशिश कर रहे हैं। आप उसे एक लंबी, जटिल कहानी देते हैं और उससे उस कहानी को छोटे, सरल वाक्यों में तोड़ने के लिए कहते हैं ताकि वह प्रत्येक वाक्य की सटीकता की जांच कर सके। यह आर्टिफिशियल इंटेलिजेंस की दुनिया में एक लोकप्रिय तकनीक है, जिसे "डिकम्पोज़-देन-वेरिफाई" (विभाजित करें और फिर सत्यापित करें) के रूप में जाना जाता है। इसे एक ऐसे छात्र की तरह समझें जो इतिहास की परीक्षा देने से पहले, अध्ययन करने के लिए एक लंबे पाठ्यपुस्तक अध्याय को बुलेट पॉइंट्स की एक सूची में तोड़ देता है। उम्मीद यह है कि एक बार में एक छोटे तथ्य को देखकर, रोबोट भ्रमित नहीं होगा।
लेकिन यहाँ एक पेंच है: कहानी को तोड़ने वाला रोबोट केवल एक निष्क्रिय कैंची नहीं है; यह एक स्मार्ट, बातूनी मस्तिष्क है जो अपनी याददाश्त से पहले से ही बहुत कुछ जानता है। कभी-कभी, जब रोबोट कहानी के एक वाक्य को पढ़ता है, तो वह अपनी याददाश्त के प्रति इतना आश्वस्त हो जाता है कि वह अनजाने में कहानी के तथ्यों को अपनी जानकारी के साथ बदल देता है। यह वैसा ही है जैसे एक छात्र इतिहास की किताब पढ़ रहा हो जिसमें लिखा है "युद्ध 1940 में शुरू हुआ था," लेकिन क्योंकि छात्र को यकीन है कि यह 1941 में हुआ था, इसलिए वह अपने नोट्स को बदलकर 1941 लिख देता है। उसने केवल गलती नहीं की है; उसने सक्रिय रूप से स्रोत पाठ को अपने विश्वास के साथ ओवरराइट (पुनर्लेखन) कर दिया है। यह शोध ठीक उसी भ्रम के क्षण की जांच करता है, जहाँ रोबोट की आंतरिक स्मृति उस पाठ के साथ लड़ती है जिसका उसे सारांश बनाना था, और पूछता है: क्या ऐसा होता है, और क्या हम इसे पकड़ सकते हैं?
शोध का बड़ा खुलासा: जब "तथ्य-जांचकर्ता" खुद से झूठ बोलता है
इस अध्ययन के पीछे के शोधकर्ता, जिनका नेतृत्व यू-फेंग येन (Yu-Feng Yen) ने किया, ने इस बात की जांच करने का निर्णय लिया कि AI अपने काम की जांच कैसे करता है। वे इस घटना को डिकम्पोज़िशन-इंड्यूस्ड कॉन्टेक्स्ट-मेमोरी कॉन्फ्लिक्ट (Decomposition-Induced Context-Memory Conflict), या संक्षेप में DI-CC कहते हैं।
यहाँ उनकी खोज की कहानी दी गई है:
1. रोबोट के मस्तिष्क का "जादुई करतब"
टीम ने एक प्रयोग तैयार किया जहाँ उन्होंने एक AI से एक प्रसिद्ध व्यक्ति की जीवनी को छोटे-छोटे दावों में तोड़ने के लिए कहा। उन्होंने जीवनी में गुप्त रूप से एक विवरण (जैसे जन्म का वर्ष) बदल दिया ताकि यह देखा जा सके कि क्या AI उसे पकड़ पाता है। उन्होंने पाया कि जब AI को कहा गया, "हे, अगर तुम्हें लगता है कि कुछ गलत है, तो अपनी याददाश्त की जांच करो," तो उसने अक्सर बिल्कुल वही किया—लेकिन गलत तरीके से। कहानी पर टिके रहने के बजाय, AI उस बदले हुए विवरण को देखता, यह महसूस करता कि यह उसकी ट्रेनिंग से जो वह "जानता" है उससे मेल नहीं खाता, और फिर दावे को अपनी याददाश्त के अनुसार बदल देता, जिससे वह उस कहानी को पूरी तरह से अनदेखा कर देता जिसका उसे सारांश बनाना था।
यह एक ऐसे अनुवादक की तरह है जो फ्रेंच में एक किताब पढ़ रहा है। यदि किताब कहती है "बिल्ली नीली है," लेकिन अनुवादक को पूरा यकीन है कि बिल्लियाँ कभी नीली नहीं होतीं, तो वह बिना यह महसूस किए कि उसने लेखक की कहानी बदल दी है, अनुवाद को "बिल्ली काली है" में बदल सकता है। शोध पत्र दिखाता है कि यह केवल एक रैंडम ग्लिच नहीं है; यह उसी तरह का मस्तिष्क-भ्रम है जो तब होता है जब AI से सीधा प्रश्न पूछा जाता है, बस यह प्रक्रिया के बहुत पहले चरण में हो रहा है।
2. "झूठ पकड़ने वाली मशीन" से झूठ पकड़ना
यह साबित करने के लिए कि यह AI द्वारा मनगढ़ंत बातें बनाना नहीं है, शोधकर्ता ने एक विशेष "झूठ पकड़ने वाला उपकरण" बनाया। उन्होंने एक अलग प्रकार की समस्या पर एक सरल टूल को प्रशिक्षित किया (जहाँ AI को एक कहानी और अपनी याददाश्त के बीच चुनाव करना होता है)। फिर, उन्होंने इस टूल से कहानी को तोड़ते समय AI की मस्तिष्क गतिविधि को देखने के लिए कहा।
परिणाम आश्चर्यजनक रूप से स्पष्ट था। वह टूल AI द्वारा कहानी के तथ्यों को अपने विश्वासों से बदलने के क्षणों को लगभग 86% से 88% सटीकता (एक स्कोर जिसे AUC कहा जाता है) के साथ पहचान सकता था। यह रैंडम अनुमान लगाने से बहुत बेहतर है। इसका मतलब है कि "भ्रम" का एक विशिष्ट फिंगरप्रिंट AI के मस्तिष्क में मौजूद है जिसे हम देख सकते हैं, भले ही हमने पहले कभी इस विशिष्ट प्रकार की गलती को न देखा हो।
3. "सेल्फ-चेक" क्यों विफल हुआ
शोधकर्ता ने एक लोकप्रिय विधि "SelfCheckGPT" का भी परीक्षण किया, जो AI से एक ही प्रश्न दस बार पूछने और यह देखने का काम करती है कि क्या वह हर बार एक ही उत्तर देता है। यदि उत्तर बदलते हैं, तो यह मान लिया जाता है कि AI झूठ बोल रहा है।
- परिणाम: यह विधि पूरी तरह से विफल रही। इसने 51% स्कोर किया, जो लगभग एक सिक्के के उछाल (टॉस) जैसा है।
- कारण: शोध पत्र बताता है कि यह वास्तव में अनुमानित है। क्योंकि AI अपनी याददाश्त के प्रति इतना आश्वस्त है, वह हर बार एक ही गलत उत्तर देता है। चूंकि उत्तर सुसंगत (consistent) हैं, इसलिए "सेल्फ-चेक" टूल सोचता है, "ओह, यह सुसंगत है, तो यह सच ही होगा!" टूल इसलिए धोखा खा जाता है क्योंकि AI अपनी बात पर इतना अड़ियल है कि वह अपना मन नहीं बदलता, भले ही वह गलत हो।
4. वह "सुधार" जो चीजें बिगाड़ देता है
टीम ने एक ज्ञात सुधार का परीक्षण किया जिसे "कॉन्टेक्स्ट-अवेयर डिकोडिंग" (CAD) कहा जाता है, जो AI को यह बताने जैसा है कि, "कृपया कहानी पर अधिक ध्यान दें, अपनी याददाश्त पर नहीं।"
- अच्छी खबर: यह काम कर गया! इसने AI द्वारा तथ्यों को बदलने की घटनाओं को 4.16% से घटाकर 2.57% कर दिया।
- बुरी खबर: इसकी एक भारी कीमत चुकानी पड़ी। जब कहानी में बहुत सारे सर्वनाम (जैसे "वह", "उसने", "वे") थे, तो नियम का पालन करने की कोशिश में AI इतना भ्रमित हो गया कि वह 19.4% बार अर्थहीन बातें करने लगा। उन विफलताओं में से 84% मामलों में, AI ने केवल एक विवरण को छोड़ा नहीं, बल्कि किसी दूसरे व्यक्ति की पहचान पूरी तरह से बना दी।
- निष्कर्ष: लेखक का कहना है कि यह सुधार अभी वास्तविक दुनिया में उपयोग के लिए तैयार नहीं है। यह एक ऐसी पट्टी (bandage) की तरह है जो खून तो रोक देती है लेकिन मरीज को बेहोश कर देती है।
5. रोबोट को कितना बड़ा होना चाहिए?
शोधकर्ता ने यह देखने के लिए विभिन्न आकार के AI मॉडल का परीक्षण किया कि क्या बड़े दिमाग बेहतर होते हैं।
- छोटे मॉडल (3 बिलियन पैरामीटर्स): वे इस संकेत को दिखा ही नहीं सके। वे इस विशिष्ट प्रकार के संघर्ष के लिए बहुत सरल थे।
- मध्यम मॉडल (7 बिलियन पैरामीटर्स): उन्होंने संघर्ष को स्पष्ट रूप से दिखाया।
- बड़े मॉडल (14 बिलियन पैरामीटर्स): उन्होंने संघर्ष को और भी मजबूती से दिखाया, लेकिन केवल तभी जब आप उनके मस्तिष्क के सही हिस्से को देखें।
- सीख: यह कोई ऐसी समस्या नहीं है जो AI को बड़ा बनाने मात्र से ठीक हो जाए। इस विशिष्ट प्रकार के भ्रम के होने के लिए एक "न्यूनतम आकार" की आवश्यकता होती है।
6. यह वास्तव में कितनी बार होता है?
इस शोध पत्र का सबसे महत्वपूर्ण हिस्सा इसकी ईमानदारी है कि यह कितनी बार होता है। ऊपर दिए गए प्रयोगों में एक विशेष सेटअप का उपयोग किया गया था जहाँ AI को अपनी याददाश्त की जांच करने के लिए "आमंत्रित" किया गया था। लेकिन वास्तविक दुनिया में, हम आमतौर पर AI से बिना किसी आमंत्रण के सारांश बनाने के लिए कहते हैं।
- वास्तविकता की जांच: जब शोधकर्ता ने प्राकृतिक, बिना संपादित टेक्स्ट को देखा, तो इस प्रकार का तथ्य-बदलना अविश्वसनीय रूप से दुर्लभ था। यह केवल 0.2% से 0.4% दावों में हुआ।
- क्यों? वास्तविक दुनिया के 'हैलुसिनेशन' (झूठ) आमतौर पर उन क्षेत्रों में होते हैं जहाँ AI को उत्तर नहीं पता होता। यह विशिष्ट समस्या (DI-CC) केवल तब होती है जब AI उत्तर जानता है लेकिन फिर भी कहानी को अनदेखा करने का फैसला करता है।
निचोड़ (The Bottom Line)
यह शोध पत्र सिद्ध करता है कि जब AI टेक्स्ट को छोटे टुकड़ों में तोड़ता है, तो वह कभी-कभी अपनी याददाश्त के प्रति इतना आश्वस्त हो सकता है कि वह कहानी को अपनी धारणा के अनुसार बदल देता है। हम इसे एक विशेष टूल के साथ पकड़ सकते हैं, और हम एक विशिष्ट तकनीक के साथ इसे कम भी कर सकते हैं, लेकिन वह तकनीक वर्तमान में AI को नकली लोग बनाने के लिए मजबूर कर देती है।
सबसे महत्वपूर्ण बात यह है कि लेखक हमें घबराने के लिए नहीं कह रहे हैं। हालांकि यह एक वास्तविक और मापने योग्य त्रुटि है, लेकिन वास्तविक स्थितियों में यह बहुत दुर्लभ है। यह एक विशिष्ट प्रकार का "अति-आत्मविश्वास" है जो केवल कुछ विशेष परिस्थितियों में ही होता है, यह कोई ऐसा बग नहीं है जो AI के हर काम को खराब कर दे। शोध पत्र अभी तक कोई पूर्ण समाधान पेश नहीं करता है, लेकिन यह हमें इस समस्या के स्थान और इसके आकार का एक बहुत स्पष्ट नक्शा प्रदान करता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।