How Much Do LLMs Hallucinate in Document Q&A Scenarios? A 172-Billion-Token Study Across Temperatures, Context Lengths, and Hardware Platforms
यह अध्ययन विविध मॉडलों, संदर्भ लंबाई (context lengths) और हार्डवेयर के माध्यम से 172-बिलियन-टोकन के विशाल मूल्यांकन का उपयोग करता है ताकि यह प्रकट किया जा सके कि जबकि मॉडल चयन सटीकता का प्राथमिक निर्धारक है, दस्तावेज़ Q&A में मतिभ्रम (hallucination) की दर संदर्भ लंबाई के साथ काफी बढ़ जाती है और तापमान (temperature) के साथ गैर-रैखिक रूप से भिन्न होती है, जो इस बात को रेखांकित करती है कि ग्राउंडिंग क्षमता और फैब्रिकेशन प्रतिरोध (fabrication resistance) विशिष्ट क्षमताएं हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपने एक टीम को सुपर-स्मार्ट लाइब्रेरियन (AI मॉडल) के रूप में काम पर रखा है ताकि वे केवल उन विशिष्ट किताबों के आधार पर आपके सवालों के जवाब दे सकें जो आप उन्हें देते हैं। आप चाहते हैं कि वे एकदम सटीक हों: यदि उत्तर उन किताबों में नहीं है, तो उन्हें कहना चाहिए, "मुझे नहीं पता।" यदि उत्तर वहां है, तो उन्हें उसे तुरंत ढूंढ लेना चाहिए।
लेकिन यह पेपर एक डरावनी सच्चाई उजागर करता है: सबसे अच्छे लाइब्रेरियन भी कभी-कभी कहानियाँ बनाने लगते हैं। वे आपको आत्मविश्वास के साथ एक ऐसा तथ्य बता सकते हैं जो उनकी किताबों में नहीं है, सिर्फ इसलिए क्योंकि वह सुनने में तर्कसंगत लगता है। इसे "हैलुसिनेशन" (Hallucination) कहा जाता है।
Kamiwaza AI के लेखकों ने केवल कुछ सवाल पूछकर अनुमान नहीं लगाया। उन्होंने एक विशाल प्रयोग चलाया—172 बिलियन टोकन का परीक्षण (यह इंटरनेट को 10 बार पूरी तरह से पढ़ने के समान है)—यह देखने के लिए कि ये AI लाइब्रेरियन कितनी बार झूठ बोलते हैं, और क्यों।
यहाँ उनके निष्कर्षों का विवरण दिया गया, जिसे रोजमर्रा की भाषा में अनुवादित किया गया है:
1. "लाइब्रेरी का आकार" वाली समस्या (Context Length)
कल्पना कीजिए कि आप एक लाइब्रेरियन को एक छोटा सा पर्चा देते हैं। वे शायद आपके सवालों के जवाब बिल्कुल सही दे पाएंगे। अब, कल्पना कीजिए कि आप उन्हें 2,00,000 किताबों की एक लाइब्रेरी देते हैं।
- निष्कर्ष: जैसे-जैसे लाइब्रेरी बड़ी होती जाती है, लाइब्रेरियन भ्रमित होने लगते हैं और मनगढ़ंत बातें बनाने लगते हैं।
- उपमा: यह घास के ढेर में एक विशिष्ट सुई खोजने जैसा है। यदि घास का ढेर छोटा है, तो आप उसे ढूंढ लेंगे। यदि वह ढेर एक पहाड़ जितना बड़ा है, तो आप शायद घास का एक रैंडम टुकड़ा उठा लेंगे और दिखावा करेंगे कि वही सुई है क्योंकि आप बहुत अधिक बोझ महसूस कर रहे हैं।
- डेटा: एक छोटी लाइब्रेरी के आकार (32K) पर, सबसे अच्छा AI 1% बार झूठ बोलता है। लेकिन एक विशाल लाइब्रेरी आकार (200K) पर, हर AI ज्यादा से ज्यादा 10% बार झूठ बोलना शुरू कर देता है। कुछ मॉडल, जो छोटी लाइब्रेरी में बहुत अच्छे थे, विशाल लाइब्रेरी में पूरी तरह से विफल हो जाते हैं और 70% बार झूठ बोलने लगते हैं।
2. "स्मार्टनेस" बनाम "ईमानदारी" का जाल
आप सोच सकते हैं, "यदि एक लाइब्रेरियन वास्तव में स्मार्ट है, तो वह झूठ नहीं बोलेगा।" यह पेपर साबित करता है कि यह गलत है।
- निष्कर्ष: तथ्यों को खोजने में कुशल होना (Grounding) और तथ्यों को गढ़ने से इनकार करने में कुशल होना (Fabrication Resistance) बिल्कुल अलग चीजें हैं।
- उपमा: एक मॉडल जैसे Llama 3.1 70B के बारे में सोचें। यह एक जीनियस की तरह है जो लाइब्रेरी में किसी भी किताब को तुरंत ढूंढ सकता है (तथ्य खोजने में 90%+ सटीकता)। लेकिन, यह एक जुनूनी कहानीकार भी है जो तब भी एक नया अध्याय बना देगा यदि आप उससे ऐसी चीज़ के बारे में पूछेंगे जो वहां मौजूद नहीं है। यह "स्मार्ट लेकिन अविश्वसनीय" है।
- विपरीत स्थिति: अन्य मॉडल, जैसे कि GLM 4.5, चीजों को खोजने में थोड़े कम "चमकदार" हो सकते हैं लेकिन वे अविश्वसनीय रूप से अनुशासित हैं। वे बहुत कम चीजें गढ़ते हैं। पेपर दिखाता है कि ईमानदारी एक प्रशिक्षण की आदत है, न कि केवल बड़ा और स्मार्ट होने का परिणाम।
3. "टेम्परेचर" नॉब (अराजकता का डायल)
AI मॉडल्स में "टेम्परेचर" (Temperature) नामक एक सेटिंग होती है।
- लो टेम्प (0.0): मॉडल एक रोबोट की तरह होता है। वह हर बार सबसे तार्किक अगला शब्द चुनता है।
- हाई टेम्प (1.0): मॉडल एक जैज़ संगीतकार की तरह है। वह जोखिम लेता है और अलग-अलग शब्दों का प्रयास करता है।
- पुराना नियम: हर कोई सोचता था, "तथ्यों के लिए, हमेशा डायल को 0.0 (रोबोट मोड) पर सेट करें।"
- नया खोज: यह एक खतरनाक सलाह है!
- "रोबोट" ग्लिच: जब इसे 0.0 पर सेट किया जाता है, विशेष रूप से बड़ी लाइब्रेरी के साथ, तो AI कभी-कभी एक लूप में फंस जाता है, एक ही वाक्य को बार-बार दोहराता रहता है (जैसे एक टूटा हुआ रिकॉर्ड)। यह उच्च सेटिंग्स की तुलना में 0.0 पर 48 गुना अधिक बार होता है!
- "जैज़" का लाभ: आश्चर्यजनक रूप से, डायल को थोड़ा ऊपर घुमाने से (0.4 या 0.7 तक), कुछ मामलों में AI को झूठ बोलने से रोकने और लूप में फंसने से बचाने में मदद मिलती है।
- सीख: इसे केवल शून्य पर सेट न करें। आपको इसे सावधानी से ट्यून करने की आवश्यकता है।
4. हार्डवेयर का मिथक
लोग अक्सर चिंता करते हैं: "यदि मैं इस AI को NVIDIA चिप पर चलाता हूँ, तो क्या यह AMD या Intel चिप की तुलना में कम झूठ बोलेगा?"
- निष्कर्ष: नहीं। इससे कोई फर्क नहीं पड़ता।
- उपमा: यह पूछने जैसा है कि क्या एक कार होंडा इंजन पर बेहतर चलती है या फोर्ड इंजन पर। यदि ड्राइवर (AI मॉडल) वही है, तो कार का प्रदर्शन समान रहता है। पेपर ने तीन अलग-अलग हार्डवेयर दिग्गजों का परीक्षण किया और पाया कि AI के झूठ बोलने के तरीके में कोई अंतर नहीं था। आप डर के बजाय कीमत के आधार पर अपना हार्डवेयर चुन सकते हैं।
5. "सर्वश्रेष्ठ लाइब्रेरियन" की रैंकिंग
पेपर ने 35 अलग-अलग AI मॉडल्स का परीक्षण किया। यहाँ वह पदानुक्रम (Hierarchy) है जो उन्हें मिला:
- गोल्ड स्टैंडर्ड: GLM 4.5 वर्तमान चैंपियन है। छोटी लाइब्रेरी के आकार पर यह केवल 1.2% बार झूठ बोलता है।
- "बड़े लेकिन जोखिम भरे" मॉडल: विशाल Llama मॉडल्स (जैसे 405B या 70B) बहुत लोकप्रिय हैं, लेकिन वे 25% से 50% बार झूठ बोलते हैं। वे तथ्य खोजने में बहुत अच्छे हैं लेकिन यह जानने में बहुत खराब हैं कि कब जवाब नहीं देना है।
- "छोटे लेकिन ईमानदार" मॉडल: कुछ छोटे मॉडल (जैसे MiniMax) आश्चर्यजनक रूप से ईमानदार और विश्वसनीय हैं।
बड़ी तस्वीर: आपको क्या करना चाहिए?
यदि आप एक बिजनेस ओनर हैं जो अपने दस्तावेजों से सवाल पूछने के लिए AI का उपयोग करने की कोशिश कर रहे हैं:
- सबसे बड़े मॉडल पर भरोसा न करें। आकार का मतलब ईमानदारी नहीं है। उस मॉडल परिवार को चुनें जो "ईमानदार" होने के लिए जाना जाता है (जैसे GLM या MiniMax), न कि केवल उसे जिसके पास सबसे अधिक पैरामीटर्स हैं।
- अपनी लाइब्रेरी के आकार पर नज़र रखें। यदि आप एक साथ बहुत अधिक टेक्स्ट AI को देते हैं, तो वह मनगढ़ंत बातें बनाना शुरू कर देगा। बड़े दस्तावेजों को छोटे टुकड़ों में तोड़ दें।
- टेम्परेचर को आँख बंद करके शून्य पर सेट न करें। यह AI को लूप में फंसने या अधिक झूठ बोलने के लिए मजबूर कर सकता है। एक मध्यम सेटिंग (0.4 या 0.7) आज़माएँ।
- स्वीकार करें कि झूठ होते हैं। सबसे अच्छा AI भी 1% बार झूठ बोलेगा। उन झूठों को पकड़ने के लिए आपको एक सुरक्षा तंत्र (मानवीय समीक्षा या अन्य जाँच) की आवश्यकता है।
संक्षेप में: AI जानकारी खोजने में स्मार्ट हो रहा है, लेकिन इसने अभी तक पूरी तरह से ईमानदार होना नहीं सीखा है। आप इसे जितना अधिक टेक्स्ट देंगे, इसके मनगढ़ंत बातें बनाने की संभावना उतनी ही अधिक होगी। अपने उपकरणों को समझदारी से चुनें, और सबसे "बड़े" मॉडल को खुद को धोखा न देने दें।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।