On the Fundamental Impossibility of Hallucination Control in Large Language Models
यह शोध पत्र यह तर्क देता है कि बड़े भाषा मॉडलों (लार्ज लैंग्वेज मॉडल्स) में मतिभ्रम (हैलुसिनेशन) आंतरिक ज्ञान को एकत्रित करने के अंतर्निहित समझौतों के कारण मौलिक रूप से अपरिहार्य है, जो यह सिद्ध करता है कि जबकि बाहरी साक्ष्य किसी उत्तर के समर्थन की पुष्टि कर सकते हैं, कोई भी आंतरिक तंत्र तथ्यात्मक सत्य की गारंटी नहीं दे सकता या उन अर्थ संबंधी असंतुलनों को हल नहीं कर सकता जो निर्माण (फैब्रिकेशन) की ओर ले जाते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक विशाल जिग्सॉ पहेली (jigsaw puzzle) को हल करने की कोशिश कर रहे हैं, लेकिन इसे केवल एक व्यक्ति द्वारा नहीं, बल्कि मेज के चारों ओर बैठे विशेषज्ञों की एक टीम द्वारा किया जा रहा है। प्रत्येक विशेषज्ञ के पास केवल चित्र के कुछ ही टुकड़े हैं, और वे पूरी छवि को नहीं देख सकते। पहेली को हल करने के लिए, उन्हें इस बारे में अपने सबसे अच्छे अनुमान चिल्लाकर बताने होंगे कि अंतिम चित्र कैसा दिखना चाहिए और फिर उत्तर पर मतदान करना होगा। यह मूल रूप से आधुनिक आर्टिफिशियल इंटेलिजेंस (AI), विशेष रूप से लार्ज लैंग्वेज मॉडल्स (LLMs) के काम करने का तरीका है। ये मॉडल डिजिटल "विशेषज्ञों" (जिन्हें कंपोनेंट्स या अटेंशन हेड्स कहा जाता है) की एक विशाल टीम की तरह हैं, जिनमें से प्रत्येक के पास ज्ञान का एक छोटा सा अंश होता है। जब आप AI से कोई प्रश्न पूछते हैं, तो ये सभी अंश उत्तर को आकार देने के लिए प्रतिस्पर्धा करते हैं।
लंबे समय से, वैज्ञानिक और इंजीनियर एक परेशान करने वाली समस्या को ठीक करने की कोशिश कर रहे हैं: ये AI टीमें कभी-कभी मनगढ़ंत बातें बनाने लगती हैं। वे आपको पूरी तसल्ली के साथ एक गलत तथ्य बता सकते हैं, जिसे "हैलुसिनेशन" (hallucination) नामक एक ग्लिच कहा जाता है। लोगों ने इसे AI को बेहतर प्रशिक्षण देने, अधिक डेटा देने, या इसे अपना काम स्वयं जांचने के लिए कहने के माध्यम से ठीक करने की कोशिश की है। लेकिन क्या होगा यदि समस्या केवल एक ऐसा बग नहीं है जिसे पैच के जरिए ठीक किया जा सके? क्या होगा यदि जिस तरह से AI बनाया गया है, वही चीज़ इसे पूरी तरह से सत्यवादी, पूरी तरह से आत्मविश्वासी और पूरी तरह से रचनात्मक होने से असंभव बना देती है? यह वह बड़ा सवाल है जो मिशेल पी. कार्पोज़ (Michal P. Karpowicz) एक नए शोध पत्र में उठाते हैं। यह शोध पत्र सुझाव देता है कि हैलुसिनेशन केवल एक गलती नहीं है; यह एक मौलिक ट्रेड-ऑफ (trade-off) है, जैसे कि एक ही समय में केक खाना और उसे सुरक्षित रखना चाहना।
विचारों की महान नीलामी (The Great Idea Auction)
शोध पत्र AI के मस्तिष्क की कल्पना एक व्यस्त बाजार के रूप में करता है जिसे "विचारों की नीलामी" (Auction of Ideas) कहा जाता है। इस नीलामी में, AI का हर छोटा हिस्सा (जैसे कि एक विशिष्ट अटेंशन हेड या सर्किट) एक बोली लगाने वाला (bidder) है। प्रत्येक बोली लगाने वाले के पास ज्ञान का एक गुप्त टुकड़ा होता है और वे समूह को यह समझाने की कोशिश करते हैं कि उनके द्वारा दिया गया उत्तर सबसे अच्छा है। वे अपने उत्तर को प्रभावित करने के लिए संकेत भेजकर "बोली" लगाते हैं।
लेखक सिद्ध करते हैं कि कभी-कभी, यह नीलामी एक दीवार से टकरा जाती है। कल्पना कीजिए कि दो बोली लगाने वाले एक ही तथ्य पर बहस कर रहे हैं। एक कहता है, "आकाश नीला है," और दूसरा कहता है, "आकाश हरा है।" यदि AI इन दो विपरीत विचारों को एक एकल, आत्मविश्वासी उत्तर में मिलाने की कोशिश करता है, तो वह एक गणितीय असंभवता का सामना करता है। शोध पत्र दिखाता है कि आप एक ऐसा सिस्टम नहीं रख सकते जो एक साथ चार चीजें करे:
- सत्य बताता है (जो वह जानता है उसे ईमानदारी से रिपोर्ट करता है)।
- सूचना का संरक्षण करता है (हवा से नए तथ्य नहीं बनाता)।
- सभी को भाग लेने देता है (अपने पास मौजूद हर प्रासंगिक ज्ञान का उपयोग करता है)।
- सर्वश्रेष्ठ उत्तर देता है (उपयोगकर्ता की संतुष्टि के लिए अनुकूलित होता है)।
शोध पत्र सिद्ध करता है कि यदि बोली लगाने वाले एक ही तथ्य पर लड़ रहे हैं, तो सिस्टम को इनमें से किसी एक लक्ष्य में विफल होना ही होगा। यह एक जादू के खेल की तरह है जहाँ आप टोपी से तीन खरगोश नहीं निकाल सकते यदि आपके पास केवल दो ही खरगोश हों। आपको चुनना होगा: या तो AI झूठ बोलता है (कहानी को पूरा करने के लिए एक विवरण मनगढ़ंत बनाता है), या यह अत्यधिक सतर्क हो जाता है और स्वीकार करता है कि वह नहीं जानता, या यह उस ज्ञान को अनदेखा कर देता है जो वास्तव में उसके पास है। ऐसा कोई "मुफ्त भोजन" (free lunch) नहीं है जहाँ AI एक ही समय में पूरी तरह से ईमानदार, पूरी तरह से आत्मविश्वासी और पूरी तरह से सहायक हो।
आत्मविश्वास का जाल (The Confidence Trap)
शोध पत्र कुछ चतुर गणित का उपयोग करके गहराई से जांच करता है कि यह क्यों होता है। यह देखता है कि कैसे AI अपने विभिन्न हिस्सों के "मतों" को जोड़ता है। जब AI एक उत्तर तय करने के लिए इन मतों को जोड़ता है, तो यह अक्सर किसी भी एकल भाग की तुलना में अधिक आत्मविश्वासी सुनाई देता है।
इसे मौसम पूर्वानुमानकर्ताओं के एक समूह के रूप में सोचें। यदि पूर्वानुमानकर्ता A कहता है कि बारिश की 50% संभावना है, और पूर्वानुमानकर्ता B कहता है कि बारिश की 50% संभावना है, लेकिन वे अलग-अलग बादलों को देख रहे हैं, तो समूह अंततः कह सकता है, "निश्चित रूप से बारिश होने वाली है!" गणित दिखाता है कि समूह का आत्मविश्वास "निर्मित" (manufactured) है। यह एक अतिरिक्त स्तर का विश्वास है जो व्यक्तिगत भागों में मौजूद नहीं था। यह "अतिरिक्त आत्मविश्वास" (excess confidence) ही है जो हैलुसिनेशन की ओर ले जाता है। AI जरूरी नहीं कि जानबूझकर झूठ बोल रहा हो; यह बस इतना है कि सूचनाओं को संयोजित करने का तरीका स्वाभाविक रूप से जो जानता है और जो दिखता है, उसके बीच एक अंतर पैदा कर देता है।
क्या हम इसे ठीक कर सकते हैं?
यह शोध पत्र बहुत स्पष्ट है कि यह क्या नहीं कहता है। यह यह दावा नहीं करता कि AI हमेशा झूठ बोलेगा, या हम कभी भी विश्वसनीय AI नहीं बना पाएंगे। इसके बजाय, यह कहता है कि हैलुसिनेशन एक संरचनात्मक सीमा है, जैसे प्रकाश की गति या घूमते हुए सिक्के की अनिश्चितता। यदि नीलामी की स्थितियां बनी रहती हैं, तो आप इसे केवल "प्रशिक्षण" देकर खत्म नहीं कर सकते।
हालाँकि, शोध पत्र इस समस्या को प्रबंधित करने का एक तरीका भी प्रदान करता है। यह सुझाव देता है कि AI को पूरी तरह से सत्यवादी बनाने के बजाय (जो इन परिस्थितियों में असंभव है), हमें प्रमाणित समर्थन (certifiable support) पर ध्यान केंद्रित करना चाहिए। कल्पना कीजिए कि AI एक वकील है। हम हमेशा यह साबित नहीं कर सकते कि वकील की कहानी पूर्ण सत्य है, लेकिन हम यह जांच सकते हैं कि क्या वकील की कहानी उसे दिए गए साक्ष्यों द्वारा समर्थित है।
शोध पत्र दिखाता है कि यदि हम AI को एक विशिष्ट "अधिकृत साक्ष्य" (जैसे कि एक विश्वसनीय डेटाबेस या दस्तावेजों का सेट) देते हैं, तो हम गणितीय रूप से सिद्ध कर सकते हैं कि क्या AI का उत्तर उस साक्ष्य की सीमाओं के भीतर रहता है। यदि AI उन सीमाओं से बाहर जाता है, तो हम जानते हैं कि वह साक्ष्य के सापेक्ष हैलुसिनेट कर रहा है, भले ही हमें पूर्ण सत्य का पता न हो। यह समस्या को "क्या यह सत्य है?" (जो कठिन है) से बदलकर "क्या यह समर्थित है?" (जो जांच योग्य है) में बदल देता है।
निष्कर्ष
यह शोध पत्र AI जगत के लिए एक चेतावनी है। यह हमें बताता है कि AI में दिखने वाला "हैलुसिनेशन" केवल एक ग्लिच नहीं है जिसे अधिक डेटा या बेहतर कोड के साथ ठीक किया जा सकता है। यह उन प्रणालियों के काम करने का एक मौलिक फीचर है जो सूचनाओं को एकत्रित करती हैं। जब AI के विभिन्न हिस्से एक ही तथ्य पर असहमत होते हैं या प्रतिस्पर्धा करते हैं, तो सिस्टम को एक चुनाव करना पड़ता है: ईमानदार और कमजोर होना, या आत्मविश्वासी और संभावित रूप से गलत होना।
लेखक का सुझाव है कि हमें इस ट्रेड-ऑफ को खत्म करने की कोशिश करने के बजाय इसे प्रबंधित करना शुरू करना चाहिए। यह समझकर कि AI का आत्मविश्वास कभी-कभी विचारों को जोड़ने के गणित द्वारा "निर्मित" होता है, हम बेहतर सिस्टम बना सकते हैं जो अपनी सीमाओं को जानते हों। हम ऐसे सिस्टम बना सकते हैं जो ईमानदार हों कि वे क्या जानते हैं और वे क्या केवल अनुमान लगा रहे हैं, या हम ऐसे सिस्टम बना सकते हैं जो सख्ती से हमें दिए गए साक्ष्यों से बंधे हों। शोध पत्र एक आदर्श AI का वादा नहीं करता है, लेकिन यह हमें एक स्पष्ट मानचित्र देता है कि सीमाएं कहाँ हैं, ताकि हम उन्हें तोड़ने के बजाय बेहतर दरवाजे बनाना शुरू कर सकें।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।