Understanding New-Knowledge-Induced Factual Hallucinations in LLMs: Analysis and Interpretation
यह शोध पत्र इस बात की जांच करता है कि कैसे नए ज्ञान पर लार्ज लैंग्वेज मॉडल्स को फाइन-ट्यून करना तथ्यात्मक मतिभ्रम (hallucinations) को प्रेरित करता है, यह प्रदर्शित करते हुए कि विशिष्ट ज्ञान प्रकारों के भीतर अपरिचितता की डिग्री मुख्य संस्थाओं (entities) पर कमजोर ध्यान के माध्यम से इन त्रुटियों को संचालित करती है, एक ऐसी प्रक्रिया जिसे ध्यान पैटर्न को बहाल करने के लिए ज्ञात ज्ञान को पुन: सम्मिलित करके कम किया जा सकता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि एक लार्ज लैंग्वेज मॉडल (LLM) एक प्रतिभाशाली, विद्वान छात्र की तरह है जिसने किताबों के एक विशाल पुस्तकालय में वर्षों तक अध्ययन किया है (प्री-ट्रेनिंग चरण)। यह छात्र इतिहास, विज्ञान और पॉप कल्चर के बारे में बहुत कुछ जानता है। लेकिन, किसी भी छात्र की तरह, उसे एक गर्मियों की नौकरी के लिए रखा गया है: सुपरवाइज्ड फाइन-ट्यूनिंग (SFT)। यहीं पर वह विशिष्ट नए कार्यों या तथ्यों को सीखने के लिए प्रशिक्षित होता है ताकि वह सवालों के जवाब बेहतर ढंग से दे सके।
यह शोध पत्र इस बात की जांच करता है कि क्या होता है जब हम इस छात्र को बिल्चे नए तथ्य सिखाने की कोशिश करते हैं जो उसने पहले कभी नहीं देखे हैं। शोधकर्ताओं ने पाया कि जबकि छात्र नए तथ्य सीखता है, वह उन पुराने तथ्यों को भूलने या गड़बड़ करने लगता है जो वह पहले से जानता था। इसे "फैक्टुअल हैलुसिनेशन" (तथ्यात्मक भ्रम) कहा जाता है—मॉडल आत्मविश्वास के साथ मनगढ़ंत बातें बनाने लगता है।
यहाँ उनके निष्कर्षों का सरल उपमाओं (analogies) का उपयोग करके विवरण दिया गया है:
1. "बायोग्राफी" (जीवनी) प्रयोग
इस अध्ययन के लिए, शोधकर्ताओं ने बायोग्राफी-रीजनिंग नामक एक काल्पनिक दुनिया बनाई।
- सेटअप: उन्होंने नकली नामों, जन्म वर्ष, मेजर और विश्वविद्यालयों के साथ 3,000 नकली लोग बनाए।
- परीक्षण: उन्होंने AI को इन नकली लोगों में से कुछ सिखाया (ज्ञात ज्ञान - Known Knowledge) और अन्य को गुप्त रखा (नया/अज्ञात ज्ञान - New/Unknown Knowledge)।
- लक्ष्य: यह देखना कि जब AI उन "अज्ञात" लोगों के बारे में सीखता है, तो क्या होता है। क्या वह उनके बारे में सवालों के जवाब देने में बेहतर होता है? हाँ। लेकिन क्या यह "ज्ञात" लोगों के बारे में सवालों के जवाब देने की उसकी क्षमता को बिगाड़ देता है? हाँ।
2. "कंटेजियन" (संक्रमण) प्रभाव
सबसे बड़ा आश्चर्य यह था कि यह "बीमारी" कैसे फैली।
- निष्कर्ष: यदि आप AI को नकली लोगों की एक पूरी नई श्रेणी सिखाते हैं (जैसे, "सभी नकली डॉक्टर नए हैं"), तो AI केवल डॉक्टरों के बारे में भ्रमित नहीं होता है। वह सब कुछ के बारे में भ्रमित होने लगता है, यहाँ तक कि उन नकली लोगों के बारे में भी जिन्हें वह पहले से पूरी तरह जानता था।
- उपमा: कल्पना कीजिए कि एक शेफ एक बहुत ही अजीब नई सूप रेसिपी सीखता है। अचानक, वह अपने प्रसिद्ध, बेहतरीन चॉकलेट केक को भी बिगाड़ने लगता है। नई रेसिपी ने उसकी पुरानी यादों को "दूषित" (contaminate) कर दिया।
- "ऑल-ओर-नथिंग" (सब या कुछ नहीं) नियम: शोधकर्ताओं ने पाया कि यदि कोई श्रेणी 100% नई है (भले ही वह डेटा की एक बहुत छोटी मात्रा हो), तो AI बहुत भ्रमित हो जाता है। लेकिन यदि वही श्रेणी 90% पुरानी और 10% नई है, तो AI स्थिर रहता है। यह पूरे समूह की अपरिचितता है जो घबराहट पैदा करती है, न कि केवल नए डेटा की मात्रा।
3. "अटेंशन स्पैन" (एकाग्रता) की समस्या (कारण)
ऐसा क्यों होता है? शोधकर्ताओं ने AI के "मस्तिष्क" (इसके अटेंशन मैकेनिज्म) के भीतर झाँका।
- तंत्र: जब एक AI सवाल का जवाब देता है, तो उसे मुख्य नामों (जैसे, "डेरेअस एच्सियाओ") पर ध्यान केंद्रित करना होता है।
- ब्रेकडाउन: जब AI नए, अपरिचित तथ्य सीखता है, तो उसका मस्तिष्क विचलित हो जाता है। वह विशिष्ट नामों पर ध्यान देना बंद कर देता है और आस-पास के संदर्भ (context) पर अत्यधिक निर्भर होने लगता है (वाक्य का सामान्य भाव)।
- रूपक: कल्पना कीजिए कि आप एक भीड़ भरे कमरे में अपने एक विशिष्ट दोस्त को खोजने की कोशिश कर रहे हैं।
- सामान्य मोड: आप सीधे अपने दोस्त के चेहरे को देखते हैं (Key Entity)।
- हैलुसिनेशन मोड: क्योंकि कमरे में नए, भ्रमित करने वाले चेहरे भरे हुए हैं, आप अपने दोस्त के चेहरे को देखना छोड़ देते हैं। इसके बजाय, आप अनुमान लगाते हैं, "ओह, वह व्यक्ति वहाँ दिख रहा है क्योंकि वह नीली शर्ट पहने हुए है जैसा कि मेरा दोस्त आमतौर पर पहनता है।" आप गलत अनुमान लगाते हैं क्योंकि आपने वास्तविक व्यक्ति को देखना बंद कर दिया है।
4. "लेक्सिकल" (शब्दकोश संबंधी) जाल
शोध पत्र ने यह भी पाया कि यदि शब्द समान हैं, भले ही अर्थ अलग हों, तो ये गलतियाँ अन्य कार्यों में भी फैल जाती हैं।
- निष्कर्ष: यदि AI "डेंटिस्ट्री" (दंत चिकित्सा) के बारे में एक नया तथ्य सीखता है, तो वह पूरी तरह से अलग सवाल में "मेडिसिन" (चिकित्सा) के बारे में भ्रमित होना शुरू कर सकता है, केवल इसलिए क्योंकि वाक्य के शब्द प्रशिक्षण डेटा के समान दिखते थे।
- उपमा: यह उस छात्र की तरह है जो "बैंक" शब्द (नदी का किनारा) को याद करता है और फिर "बैंक" (पैसे रखने की जगह) के बारे में पूछे जाने पर भ्रमित हो जाता है, क्योंकि शब्द एक ही है, भले ही अर्थ पूरी तरह से अलग हो। AI गहरे अर्थ के बजाय सतही शब्दों पर अटक जाता है।
5. इलाज: "नॉनपैट्च" (KnownPatch)
शोधकर्ताओं ने केवल समस्या ही नहीं ढूंढी; उन्होंने KnownPatch नामक एक सरल समाधान भी खोजा।
- समाधान: जब AI को सभी नए, भ्रमित करने वाले तथ्यों पर प्रशिक्षित कर लिया जाता है, तो शोधकर्ता प्रशिक्षण के बिल्कुल अंत में पुराने, परिचित तथ्यों की एक बहुत छोटी मात्रा वापस डाल देते हैं।
- परिणाम: यह एक "रीसेट बटन" की तरह काम करता है। यह AI को फिर से विशिष्ट नामों पर ध्यान केंद्रित करने की याद दिलाता है।
- उपमा: यह एक शिक्षक की तरह है जिसे एहसास होता है कि उसका छात्र नए गणित के सवालों में भ्रमित हो रहा है। अधिक नए सवाल देने के बजाय, शिक्षक कक्षा के अंत में छात्र को पाँच आसान, परिचित सवाल देता है। यह छात्र को शांत करता है, उसका आत्मविश्वास बहाल करता है, और उसे सही ढंग से ध्यान केंद्रित करने में मदद करता है।
सारांश
- समस्या: AI को बिल्कुल नए तथ्य सिखाना उसे पुराने तथ्यों को भुलाने और झूठ बोलने (हैलुसिनेशन) के लिए प्रेरित कर सकता है।
- कारण: नई चीजें सीखना AI को सवाल में "कौन" और "क्या" जैसे विशिष्ट विवरणों पर ध्यान केंद्रित करने से रोकता है, जिससे वह संदर्भ के आधार पर अनुमान लगाने लगता है।
- समाधान: प्रशिक्षण के अंत में, AI को परिचित तथ्यों की एक छोटी खुराक दें। यह "पैच" मस्तिष्क को ठीक करता है, जिससे उसकी सही विवरणों पर ध्यान केंद्रित करने की क्षमता बहाल होती है और हैलुसिनेशन रुक जाते हैं।
यह शोध महत्वपूर्ण है क्योंकि यह दिखाता है कि AI को ईमानदार रखने के लिए हमें सभी नए डेटा को फ़िल्टर करने की आवश्यकता नहीं है। हमें बस यह सुनिश्चित करने की आवश्यकता है कि हम AI को नए डेटा में बहुत अधिक खो न जाने दें बिना उसे यह याद दिलाए कि वह पहले से क्या जानता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।