Visualizing and Benchmarking LLM Factual Hallucination Tendencies via Internal State Analysis and Clustering
यह शोध पत्र FalseCite प्रस्तुत करता है, जो भ्रामक उद्धरणों (deceptive citations) द्वारा प्रेरित LLM मतिभ्रम (hallucinations) के बेंचमार्किंग के लिए एक डेटासेट है, और आंतरिक अवस्था विश्लेषण (internal state analysis) के माध्यम से यह प्रकट करता है कि मतिभ्रम दिखाने वाले मॉडल अपने हिडन स्टेट वेक्टर्स (hidden state vectors) में एक विशिष्ट सींग जैसी आकृति (horn-like pattern) प्रदर्शित करते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप इतिहास की परीक्षा दे रहे एक छात्र हैं। आपको प्रश्न का उत्तर नहीं पता, लेकिन आपको एक फुटनोट दिखता है जिसमें लिखा है, "प्रसिद्ध इतिहासकार डॉ. स्मिथ के अनुसार, उत्तर X है।" भले ही आपने डॉ. स्मिथ का नाम कभी न सुना हो, फिर भी आप "X" लिखने में आत्मविश्वास महसूस कर सकते हैं क्योंकि यह एक विश्वसनीय स्रोत से आता हुआ प्रतीत होता है।
यही बिल्कुल वह होता है जो लार्ज लैंग्वेज मॉडल्स (LLMs) के साथ होता है—वे सुपर-स्मार्ट AI चैटबॉट्स जिनका हम आज उपयोग करते हैं। वे लिखने में बहुत कुशल हैं, लेकिन उनमें एक बुरी आदत है जिसे हैलुसिनेशन (hallucination) कहते हैं: वे ऐसे तथ्य बना लेते हैं जो सुनने में बिल्कुल वास्तविक लगते हैं लेकिन पूरी तरह से गलत होते हैं।
यह शोध पत्र एक जासूसी कहानी की तरह है जहाँ शोधकर्ता यह पता लगाने की कोशिश कर रहे हैं कि AI इतनी आसानी से क्यों धोखा खा जाता है और होने से पहले इसे कैसे पहचाना जाए। यहाँ इसका सरल विवरण दिया गया है:
1. जाल: "FalseCite"
शोधकर्ताओं ने FalseCite नामक एक विशाल जाल बनाया। इसे एक "फेक न्यूज़ फैक्ट्री" के रूप में सोचें।
- उन्होंने हजारों गलत कथन लिए (जैसे, "बैकस्ट्रीट बॉयज़ 1998 में बने थे" जबकि वे वास्तव में 1993 में बने थे)।
- फिर, उन्होंने उनमें नकली उद्धरण (fake citations) जोड़ दिए। कुछ बेमतलब के थे (जैसे, "ओहियो के एक टोस्टर के अनुसार...") और अन्य विषय से चतुराई से मेल खाने वाले थे (जैसे, "एक पॉप-कल्चर विशेषज्ञ के अनुसार...")।
- उन्होंने इन जालों को तीन अलग-अलग AI मॉडल्स को खिलाया: एक बड़ा, स्मार्ट मॉडल (GPT-4o-mini) और दो छोटे मॉडल (Falcon और Mistral)।
परिणाम: AI मॉडल्स अविश्वसनीय रूप से भोले थे। जब उन्होंने एक नकली उद्धरण देखा, तो उन्होंने केवल झूठ को दोहराया ही नहीं; बल्कि उन्होंने उसका समर्थन करने के लिए और भी अधिक झूठ बनाना शुरू कर दिया! यह ऐसा था जैसे AI ने "डॉ. स्मिथ" वाले फुटनोट को देखा और सोचा, "ओह, अगर कोई विशेषज्ञ ऐसा कहता है, तो मुझे इसे विस्तार से समझाने में सक्षम होना चाहिए," इसलिए उसने मेल खाने के लिए पूरी एक काल्पनिक पृष्ठभूमि बना दी।
2. आश्चर्य: "हॉर्न" (Horn) का आकार
यह सबसे दिलचस्प हिस्सा है। शोधकर्ताओं ने केवल उत्तरों को नहीं देखा; उन्होंने AI के मस्तिष्क (इसके आंतरिक अवस्था/internal state) के भीतर झाँका।
- कल्पना कीजिए कि AI का मस्तिष्क एक विशाल, बहु-परतीय कारखाना है। हर बार जब यह किसी शब्द को प्रोसेस करता है, तो यह इन परतों के माध्यम से एक संकेत भेजता है।
- शोधकर्ताओं ने इन संकेतों का मानचित्रण किया और पाया कि कुछ अजीब था। चाहे AI सच बोल रहा हो या झूठ, उनके संकेत एक आकार बनाते थे जो एक हॉर्न (जैसे कि कोई वाद्य यंत्र या गैंडे का सींग) जैसा दिखता था।
- उपमा: यह एक डांसर को देखने जैसा है। चाहे वे खुशी के गाने पर नाच रहे हों या दुख के, उनके पैर अभी भी एक विशिष्ट, अनुमानित पैटर्न में चलते हैं। "हॉर्न" का आकार वही पैटर्न है। शोधकर्ताओं को उम्मीद थी कि उन्हें एक "झूठ पकड़ने वाला" संकेत मिलेगा जो बिल्कुल अलग दिखेगा, लेकिन इसके बजाय, उन्होंने पाया कि झूठ बोलने पर भी AI का मस्तिष्क एक बहुत ही विशिष्ट, सुसंगत तरीके से चलता है।
3. सबसे ज्यादा किसे धोखा मिला?
- छोटे मॉडल्स (Falcon, Mistral): इन्हें धोखा देना सबसे आसान था। ये उन छात्रों की तरह थे जो स्मार्ट दिखने के लिए किसी भी उद्धरण पर विश्वास कर लेंगे, भले ही वह कितना भी अजीब क्यों न हो।
- बड़ा मॉडल (GPT-4o-mini): यह अधिक स्मार्ट था। जब कोई उद्धरण मौजूद नहीं था, तो झूठ बोलने की इसकी संभावना कम थी। हालाँकि, जब एक नकली उद्धरण मौजूद था, तो इसने वास्तव में दूसरों की तुलना में झूठ बोलने की ओर अधिक झुकाव दिखाया! ऐसा लगता है कि AI जितना स्मार्ट होता है, यदि उसे लगता है कि स्रोत विश्वसनीय है, तो वह झूठ को सही ठहराने में उतना ही अधिक आत्मविश्वासी हो जाता है।
4. यह क्यों मायने रखता है?
कल्पना कीजिए कि एक डॉक्टर मरीज का निदान करने के लिए AI का उपयोग कर रहा है। यदि AI एक फर्जी मेडिकल स्टडी का हवाला देता है और फिर उस पर आधारित एक फर्जी उपचार को आत्मविश्वास के साथ समझाता है, तो यह खतरनाक हो सकता है।
यह शोध पत्र हमें दो बड़े सबक सिखाता है:
- नकली स्रोत AI को और बुरा झूठ बोलने पर मजबूर करते हैं: यदि आप AI को एक फर्जी संदर्भ देते हैं, तो वह उस पर अड़ जाएगा और उसे सही साबित करने के लिए और अधिक फर्जी विवरण गढ़ लेगा।
- हमें बेहतर "झूठ पकड़ने वाले यंत्रों" की आवश्यकता है: चूंकि AI का मस्तिष्क संकेत सच और झूठ दोनों के मामले में समान दिखते हैं (वह "हॉर्न" वाला आकार), इसलिए हम उसे आसानी से पकड़ने के लिए केवल आंतरिक कोड को नहीं देख सकते। हमें यह जांचने के लिए नए तरीके खोजने होंगे कि क्या AI मनगढ़ंत बातें बना रहा है।
निष्कर्ष
शोधकर्ताओं ने यह साबित करने के लिए एक उपकरण (FalseCite) बनाया कि AI नकली संदर्भों द्वारा आसानी से हेरफेर किया जा सकता है। उन्होंने AI के मस्तिष्क के भीतर भी झाँका और पाया कि इसकी "सोचने की प्रक्रिया" एक अजीब, हॉर्न जैसे पैटर्न का पालन करती है, चाहे वह ईमानदार हो या बेईमान। यह हमें समझने में मदद करता है कि हम AI पर आँख मूंदकर भरोसा नहीं कर सकते, खासकर जब वह ऐसे स्रोतों का हवाला देने लगे जो शायद अस्तित्व में ही न हों।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।