Hallucination, Monofacts, and Miscalibration: An Empirical Investigation
यह शोध पत्र भाषा मॉडलों में मतिभ्रम (hallucination), मोनोफैक्ट दरों (monofact rates) और मिसकैलिब्रेशन के बीच के सैद्धांतिक संबंध को अनुभवजन्य रूप से मान्य करता है और यह प्रदर्शित करता है कि प्रशिक्षण डेटा के एक छोटे अंश को चुनिंदा रूप से अपवेट (upweight) करने से सटीकता से समझौता किए बिना मतिभ्रम को महत्वपूर्ण रूप से कम किया जा सकता है, जिससे सार्वभौमिक वि-डुप्लिकेशन (deduplication) नीतियों की आवश्यकता को चुनौती मिलती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
यहाँ "Hallucination, Monofacts, and Miscalibration" पेपर की व्याख्या सरल भाषा और रचनात्मक उपमाओं (analogies) के साथ दी गई है।
बड़ी समस्या: आत्मविश्वासी झूठा (The Confident Liar)
कल्पना कीजिए कि आप एक बहुत ही बुद्धिमान, विद्वान लाइब्रेरियन (AI) से किसी प्रसिद्ध व्यक्ति की जीवनी के बारे में पूछते हैं। लाइब्रेरियन पूरे आत्मविश्वास के साथ बोलता है: "जॉन स्मिथ का जन्म 1982 में सिएटल में हुआ था और उन्होंने नोबेल पुरस्कार जीता था।"
लेकिन यहाँ एक पेंच है: जॉन स्मिथ कभी अस्तित्व में ही नहीं थे। लाइब्रेरियन ने इसे खुद बनाया। इसे हैलुसिनेशन (hallucination) कहा जाता है।
लंबे समय तक, हमें लगा कि इसे रोकने का एकमात्र तरीका AI को "अधिक ईमानदार" या "अधिक कैलिब्रेटेड" (यानी, यदि वह कहता है कि वह 90% निश्चित है, तो उसे 90% बार सही होना चाहिए) बनाना है। लेकिन यह नया पेपर सुझाव देता है कि बहुत अधिक सटीक रूप से कैलिब्रेटेड होना वास्तव में समस्या का एक हिस्सा हो सकता है।
तीन मुख्य पात्र (The Three Key Characters)
यह पेपर AI के झूठ बोलने के पीछे के कारणों में तीन मुख्य खिलाड़ियों की पहचान करता है:
- "एक बार वाले" तथ्य (Monofacts): एक ऐसी लाइब्रेरी की कल्पना करें जहाँ अधिकांश किताबें बेस्टसेलर हैं (हजारों बार देखी गई), लेकिन कुछ किताबें इतनी दुर्लभ हैं कि वे केवल एक शेल्फ पर दिखाई देती हैं। AI ट्रेनिंग में, ये "मोनोफैक्ट्स" (monofacts) हैं—वे तथ्य जिन्हें मॉडल ने ठीक एक बार देखा है।
- उपमा: यदि आप किसी अफवाह के बारे में एक बार सुनते हैं, तो आप सुनिश्चित नहीं होते कि वह सच है या नहीं। यदि आप उसे हज़ार बार सुनते हैं, तो आप जानते हैं कि वह सच है। AI उन "अफवाहों" के साथ संघर्ष करता है जिन्हें उसने केवल एक बार सुना है।
- "विश्वास मीटर" (Confidence Meter - Calibration): यह वह तरीका है जिससे AI अपने उत्तरों के बारे में निश्चित महसूस करता है।
- उपमा: एक मौसम विज्ञानी जो कहता है "बारिश की 30% संभावना है", उसे 30% बार सही होना चाहिए। यदि वह "100% संभावना" कहता है लेकिन बारिश नहीं होती है, तो वह मिसकैलिब्रेटेड (miscalibrated) है।
- "हैलुसिनेशन दर" (Hallucination Rate): AI कितनी बार एक ऐसी कहानी बनाता है जो सुनने में असली लगती है लेकिन वास्तव में गलत होती है।
बड़ी खोज: "परफेक्ट" संतुलन एक जाल है
एक प्रसिद्ध सिद्धांत (कलई और वेम्पला द्वारा) ने कहा था: "यदि कोई AI पूरी तरह से कैलिब्रेटेड है, तो उसे एक निश्चित दर पर हैलुसिनेशन करना ही होगा।"
क्यों? क्योंकि यदि AI एक "एक बार वाले तथ्य" (मोनोफैक्ट) को देखता है और पूरी तरह से कैलिब्रेटेड है, तो उसे यह स्वीकार करना होगा, "मैं इस बारे में बहुत आश्वस्त नहीं हूँ।" लेकिन क्योंकि वह आश्वस्त नहीं है, वह गलती से उस तथ्य को एक समान दिखने वाले नकली तथ्य के साथ मिला सकता है। अपनी अनिश्चितता के बारे में पूरी तरह से ईमानदार होने के लिए, वह अंततः झूठ उत्पन्न करने लगता है।
पेपर का ट्विस्ट: लेखकों ने पाया कि यदि आप जानबूझकर AI को उन तथ्यों के बारे में जो वह अच्छी तरह जानता है, थोड़ा अति-आत्मविश्वासी (overconfident) बनाते हैं, तो यह वास्तव में झूठ बोलना कम कर देता है।
समाधान: "हाइलाइटर" रणनीति (The "Highlighter" Strategy)
शोधकर्ताओं ने एक सरल ट्रिक का परीक्षण किया जिसे वे सिलेक्टिव अपवेटिंग (Selective Upweighting) कहते हैं।
- यह कैसे काम करता है: कल्पना कीजिए कि आप एक परीक्षा के लिए पढ़ाई कर रहे हैं। आपके पास फ्लैशकार्ड्स का एक ढेर है। अधिकांश कार्ड आप एक बार देखते हैं। लेकिन उन 5% कार्डों के लिए जो आपको सबसे महत्वपूर्ण लगते हैं (या बस यादृच्छिक), आप उन पर एक स्टिकी नोट चिपका देते हैं और परीक्षा से पहले उन्हें 10 गुना अधिक बार देखते हैं।
- परिणाम: AI को उसके ट्रेनिंग डेटा के एक बहुत छोटे हिस्से (लगभग 5%) को बार-बार पढ़ने के लिए मजबूर करके, AI उन विशिष्ट तथ्यों के बारे में सुपर कॉन्फिडेंट हो जाता है।
- जादू: यह "अति-आत्मविश्वास" एक ढाल की तरह काम करता है। क्योंकि AI उन तथ्यों के बारे में बहुत आश्वस्त है जिनका उसने अतिरिक्त अध्ययन किया, वह उन "एक बार वाले तथ्यों" (मोनोफैक्ट्स) पर अनुमान लगाना बंद कर देता है। वह खाली जगहों को मनगढ़ंत कहानियों से भरने की कोशिश करना छोड़ देता है।
उपमा: सोचिए कि AI एक बहुविकल्पीय (multiple-choice) परीक्षा देने वाला छात्र है।
- सामान्य ट्रेनिंग: छात्र हर प्रश्न को एक बार देखता है। जब वह एक कठिन प्रश्न पर पहुँचता है जिसे उसने केवल एक बार देखा है, तो वह घबरा जाता है और एक रैंडम उत्तर चुन लेता है (हैलुसिनेशन)।
- सिलेक्टिव अपवेटिंग: छात्र 5% प्रश्नों का 10 बार अध्ययन करता है। जब वह उन प्रश्नों को देखता है, तो वह पूरी तरह आश्वस्त होता है। यह आत्मविश्वास "बौछार" की तरह फैलता है। वे अन्य प्रश्नों पर अनुमान लगाना बंद कर देते हैं क्योंकि उन्हें एहसास होता है, "मुझे यह इतना अच्छी तरह से नहीं पता कि मैं अनुमान लगाऊं, इसलिए मैं उसी पर टिका रहूँगा जो मुझे पता है।"
ट्रेड-ऑफ: क्या डीडुप्लिकेशन (Deduplication) खत्म हो गया है?
वर्षों से, टेक इंडस्ट्री का मानना था कि ट्रेनिंग डेटा से डुप्लिकेट हटाना (deduplication) सबसे उत्तम तरीका है। उन्हें लगा कि एक ही तथ्य को दो बार देखना "चीटिंग" है और इससे मॉडल खराब होते हैं।
यह पेपर कहता है: "डुप्लिकेट हटाना बंद करें!"
- पुराना तरीका: डेटा को "साफ" बनाने के लिए डुप्लिकेट हटा दें। परिणाम: AI कई तथ्यों को केवल एक बार देखता है, भ्रमित हो जाता है, और अधिक हैलुसिनेशन करता है।
- नया तरीका: कुछ डुप्लिकेट रखें (या कुछ और जोड़ें)। परिणाम: AI थोड़ा "मिसकैलिब्रेटेड" (अति-आत्मविश्वासी) हो जाता है लेकिन वह 40% कम झूठ बोलता है।
सावधानी (सीमाएँ)
एक छोटा जोखिम है। यदि आप AI को उन विशिष्ट तथ्यों के बारे में बहुत अधिक आत्मविश्वासी बना देते हैं जिन्हें आपने हाइलाइट किया है, तो यह उन तथ्यों को दोहराना शुरू कर सकता है भले ही वे बातचीत में फिट न बैठते हों (जैसे एक टूटे हुए रिकॉर्ड की तरह)। साथ भी, यह तथ्यों (जैसे "राष्ट्रपति कौन है?") के लिए बहुत अच्छा काम करता है, लेकिन हम अभी तक यह नहीं जानते कि क्या यह जटिल तर्क (जैसे गणित या तर्क पहेलियों) में मदद करता है।
निचोड़ (The Bottom Line)
AI को झूठ बोलने से रोकने के लिए, हमें उसे पूरी तरह से विनम्र बनाने की आवश्यकता नहीं है। कभी-कभी, हमें उसे उन तथ्यों के बारे में जो वह अच्छी तरह जानता है, थोड़ा ज़िद पर अड़ा हुआ आत्मविश्वासी बनाने की आवश्यकता होती है। AI को उसके डेटा के एक छोटे हिस्से का "अति-अध्ययन" करने देकर, हम उसे कुल मिलाकर अधिक ईमानदार होने के लिए चकमा दे सकते हैं।
संक्षेप में: थोड़ा सा "चीटिंग" (तथ्यों को दोहराना) AI को एक बेहतर, अधिक ईमानदार छात्र बनाता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।