LLM Enhancement with Domain Expert Mental Model to Reduce LLM Hallucination with Causal Prompt Engineering

आर्टिफिशियल इंटेलिजेंस की दुनिया में, लार्ज लैंग्वेज मॉडल्स सूचना की विशाल मात्रा को पढ़ने, लिखने और सारांशित करने में उल्लेखनीय रूप से कुशल हो गए हैं। वे जटिल वैज्ञानिक सिद्धांतों की व्याख्या कर सकते हैं, कानूनी दस्तावेज तैयार कर सकते हैं, और यहाँ तक कि कोड भी लिख सकते हैं। हालाँकि, इन प्रणालियों में एक मौलिक अंध बिंदु (blind spot) है: वे केवल उसी ज्ञान के साथ काम कर सकते हैं जो पहले से लिखा जा चुका है और जिसे उनके प्रशिक्षण डेटा (training data) में डाला गया है। जब उन्हें ऐसे निर्णय लेने का सामना करना पड़ता है जो अलिखित अंतर्ज्ञान (unwritten intuition), विशिष्ट संगठनात्मक संदर्भ, या परिस्थितियों के एक अनूठे संयोजन पर निर्भर करते हैं जिसे कभी रिकॉर्ड नहीं किया गया है, तो मॉडल केवल यह स्वीकार नहीं करता कि वह नहीं जानता। इसके बजाय, वह अक्सर एक आत्मविश्वासी लेकिन गलत उत्तर बना देता है, जिसे 'हैलुसिनेशन' (hallucination) या भ्रम की घटना कहा जाता है। यह कोई ऐसी खराबी नहीं है जिसे अधिक दस्तावेजों की खोज करके ठीक किया जा सके; यह एक संरचनात्मक सीमा है। यदि ज्ञान किसी डेटाबेस में मौजूद नहीं है, तो मशीन उसे ढूँढ नहीं सकती। चिकित्सा, राष्ट्रीय सुरक्षा या अनुसंधान वित्तपोषण जैसे क्षेत्रों में उच्च-जोखिम वाले निर्णयों के लिए, मशीन द्वारा जाने जाने वाले ज्ञान और मानव विशेषज्ञ द्वारा जाने जाने वाले ज्ञान के बीच यह अंतर खतरनाक हो सकता है।

शोधकर्ता बोरिस कोवलरचुक और ब्रेंट डी. फेगली ने इस अंतर को पाटने का एक नया तरीका प्रस्तावित किया है। आर्टिफिशियल इंटेलिजेंस को अधिक स्मार्ट बनाने या उसे अधिक किताबें पढ़ने देने के बजाय, वे एक विशिष्ट, संरचित मानचित्र (map) बनाने का सुझाव देते हैं कि एक मानव विशेषज्ञ वास्तव में कैसे सोचता है। वे इसे 'एक्सपर्ट मेंटल मॉडल' (Expert Mental Model) कहते हैं। मूल विचार यह है कि मशीन से उत्तर का अनुमान लगाने के लिए पूछना बंद करें और इसके बजाय मशीन का उपयोग विशेषज्ञ को अपने स्वयं के निर्णय लेने के तर्क को स्पष्ट करने में मदद करने के लिए एक उपकरण के रूप रूप में करें। मानव के सहज निर्णय को स्पष्ट, चरण-दर-चरण नियमों के एक सेट में बदलकर, सिस्टम फिर उन नियमों को नई स्थितियों पर लागू कर सकता है बिना कभी भ्रमित हुए। यह दृष्टिकोण समस्या को मशीन की स्मृति की विफलता के रूप में नहीं, बल्कि मानव की विशिष्ट तर्क प्रक्रिया को पकड़ने में विफलता के रूप में देखता है।

शोधकर्ताओं ने इस विचार का परीक्षण तीन बहुत अलग क्षेत्रों में किया: यह तय करना कि क्या अनुसंधान अनुदान (research grant) के लिए आवेदन किया जाए, एक साइबर सुरक्षा प्रणाली को डिजाइन करना, और नैदानिक निदान (clinical diagnoses) करना। पहले परिदृश्य में, शोधकर्ताओं की एक टीम को यह तय करने की आवश्यकता थी कि क्या उन्हें फंडिंग एजेंसी के लिए प्रस्ताव लिखने में महीनों खर्च करने चाहिए। निर्णय कई कारकों पर निर्भर था, जैसे कि क्या टीम के पास सही कौशल है, क्या परियोजना एजेंसी के लक्ष्यों के अनुकूल है, और क्या उनके पास पर्याप्त समय है। एक मानक आर्टिफिशियल इंटेलिजेंस प्रश्नों की एक सूची बना सकता है, लेकिन वह उन उत्तरों को कैसे तौलना है, यह निर्धारित नहीं कर सकता। यदि टीम कहती है कि उनके पास कौशल है लेकिन बजट नहीं है, तो मशीन अनुमान लगा सकती है कि परियोजना अभी भी व्यवहार्य है, या वह अनुमान लगा सकती है कि यह नहीं है। मशीन को यह जानने का कोई तरीका नहीं था कि इस विशिष्ट टीम के लिए, बजट एक निर्णायक कारक (deal-breaker) था, जबकि दूसरी टीम के लिए, यह एक मामूली बाधा हो सकती थी।

इसे हल करने के लिए, शोधकर्ताओं ने एक पद्धति का उपयोग किया जो एक सरल सिद्धांत पर आधारित है: यदि कोई स्थिति "हाँ" कहने के लिए पर्याप्त अच्छी है, तो उसके किसी भी हिस्से को बेहतर बनाने से उत्तर "नहीं" में नहीं बदलना चाहिए। इसे 'मोनोटोनिसिटी' (monotonicity) कहा जाता है। कल्पना कीजिए कि विशेषज्ञों की एक टीम किसी परियोजना के बारे में हाँ या ना वाले प्रश्नों की एक श्रृंखला का उत्तर दे रही है। यदि वे निर्णय लेते हैं कि एक शानदार विचार लेकिन बिना पैसे वाली परियोजना "नहीं" है, तो एक शानदार विचार, बिना पैसे, और बिना टीम सदस्यों वाली परियोजना भी "नहीं" ही होनी चाहिए। इस तर्क का उपयोग करके, शोधकर्ता उन प्रश्नों की संख्या बहुत कम कर सके जो सामान्य रूप से आवश्यक होते हैं। लाखों संभावित संयोजनों के बारे में पूछने के बजाय, उन्होंने प्रश्नों के एक सावधानीपूर्वक चुने गए सेट को पूछा। इन प्रश्नों के उत्तरों ने उन्हें हजारों अन्य परिदृश्यों के उत्तर स्वतः ही निकालने की अनुमति दी।

अनुदान प्रस्ताव के उदाहरण में, टीम ने बीस संभावित प्रश्नों के साथ शुरुआत की। एक आर्टिफिशियल इंटेलिजेंस ने उन्हें एक पदानुक्रम (hierarchy) में व्यवस्थित करने में मदद की, जिससे संबंधित प्रश्नों को समूहों में बाँटा गया। फिर, मानव विशेषज्ञ ने सामान्यीकृत प्रश्नों की एक छोटी संख्या का उत्तर दिया। उदाहरण के लिए, संसाधनों के बारे में हर विवरण का उत्तर देने के बजाय, विशेषज्ञ संसाधनों के बारे में एक व्यापक प्रश्न का उत्तर दे सकता है कि क्या टीम तैयार थी। यदि उत्तर "नहीं" था, तो सिस्टम तुरंत जान गया कि परियोजना को खारिज करने के लिए और विवरणों की आवश्यकता नहीं है। यदि उत्तर "हाँ" था, तो सिस्टम विशिष्ट विवरणों में गहराई तक जाएगा। केवल चार चरणों के माध्यम से, शोधकर्ता सभी संभावित परिदृश्यों के 60 प्रतिशत से अधिक के लिए विशेषज्ञ के निर्णय तर्क को मैप करने में सक्षम रहे। शेष परिदृश्य उन कठिन मामलों (edge cases) के इर्द-गिर्द केंद्रित थे जहाँ निर्णय अस्पष्ट था, जो ठीक वही जगह है जहाँ मानवीय निर्णय सबसे मूल्यवान होता है।

शोधकर्ताओं ने साइबर सुरक्षा में भी इस पद्धति का परीक्षण किया, जहाँ नियम अक्सर सरकारी मानकों द्वारा परिभाषित होते हैं। इस मामले में, आर्टिफिशियल इंटेलिजेंस दस्तावेज़ से मानक नियमों को निकाल सकता था, लेकिन उसे किसी विशेष संगठन के विशिष्ट डेटा पर उन नियमों को लागू करने के लिए अभी भी एक मानव विशेषज्ञ की आवश्यकता थी। सिस्टम ने विशेषज्ञ को उनके विशिष्ट नेटवर्क पर सुरक्षा उल्लंघन के प्रभाव को निर्धारित करने में मदद की, जिससे अस्पष्ट चिंताओं को एक संरचित मॉडल में बदला जा गया। तीसरे क्षेत्र, स्वास्थ्य सेवा में, शोधकर्ताओं ने पिछले अध्ययनों की समीक्षा की जहाँ स्तन कैंसर का निदान करने के लिए इसी तरह की विधियों का उपयोग किया गया था। उन्होंने पाया कि जब निर्णय के नियमों को इस संरचित दृष्टिकोण का उपयोग करके सीधे रेडियोलॉजिस्ट से निकाला गया, तो परिणामी मॉडल शुद्ध डेटा से बनाए गए मॉडलों की तुलना में अधिक सटीक और सुसंगत थे। मॉडल यह समझा सकते थे कि निर्णय क्यों लिया गया, इसे विशिष्ट कारकों तक ट्रैक कर सकते थे, जो उन डॉक्टरों के लिए महत्वपूर्ण है जिन्हें सिस्टम पर भरोसा करने की आवश्यकता होती है।

इस कार्य का एक महत्वपूर्ण हिस्सा यह मापना था कि यदि आर्टिफिशियल इंटेलिजेंस को अपने हाल पर छोड़ दिया जाए तो वह कितनी बार गलत होगा। शोधकर्ताओं ने सिमुलेशन बनाए जहाँ उन्होंने एक मानव विशेषज्ञ के निर्णयों की तुलना आर्टिफिशियल इंटेलिजेंस के अनुमानों से की। उन्होंने पाया कि हालांकि समग्र त्रुटि दर छोटी लग सकती है, लेकिन गलतियाँ सबसे महत्वपूर्ण मामलों में केंद्रित थीं। जब विशेषज्ञ किसी परियोजना के लिए "हाँ" कहता, तो आर्टिफिशियल इंटेलिजेंस अक्सर "नहीं" कहता, जिससे अवसर पूरी तरह से हाथ से निकल जाता था। कुछ सिमुलेशन में, इन छूटे हुए अवसरों के लिए त्रुटि दर 100 प्रतिशत के करीब पहुँच गई। इससे पता चला कि भ्रम (hallucination) का खतरा केवल यादृच्छिक गलतियाँ करने के बारे में नहीं है; यह दुर्लभ, उच्च-मूल्य वाले मामलों को पहचानने में व्यवस्थित रूप से विफल होने के बारे में है जिनके लिए विशिष्ट, अलिखित ज्ञान की आवश्यकता होती है।

शोधकर्ता तर्क देते हैं कि समाधान आर्टिफिशियल इंटेलिजेंस को अधिक मानव जैसा बनाने की कोशिश करना नहीं है, बल्कि आर्टिफिशियल इंटेलिजेंस का उपयोग मनुष्यों को उनके अपने सोचने के तरीके को एनकोड करने में मदद करने के लिए करना है। मशीन कारकों की सूचियाँ बनाने, उन्हें तार्किक समूहों में व्यवस्थित करने और निरंतरता की जाँच करने में उत्कृष्ट है। लेकिन वह यह जानने में बहुत खराब है कि किसी विशिष्ट टीम या संगठन के लिए क्या महत्वपूर्ण है। इन दोनों को जोड़कर, सिस्टम एक निर्णय सहायता उपकरण (decision support tool) बनाता है जो गणनात्मक रूप से कुशल और वास्तविक मानव विशेषज्ञता पर आधारित है। आर्टिफिशियल इंटेलिजेंस संरचना और संगठन का भारी काम संभालता है, जबकि मानव वह विशिष्ट मूल्य और तर्क प्रदान करता है जो निर्णय को सार्थक बनाता है।

यह दृष्टिकोण 'कॉग्निटिव होमोजेनाइजेशन' (cognitive homogenization) नामक एक सूक्ष्म जोखिम को रोकने में भी मदद करता है, जहाँ हर कोई एक ही तरह से निर्णय लेने लगता है क्योंकि वे सभी एक ही आर्टिफिशियल इंटेलिजेंस का उपयोग कर रहे हैं। यदि कोई संगठन पूरी तरह से एक जेनेरिक मॉडल पर निर्भर है, तो वे अपना अनूठा दृष्टिकोण और विशिष्ट अंतर्दृष्टि खो सकते हैं जो उनके अपने अनुभव से आती है। अपना 'एक्सपर्ट मेंटल मॉडल' बनाकर, एक संगठन अपने सोचने के विशिष्ट तरीके को सुरक्षित रखता है। मॉडल उनके सामूहिक ज्ञान का एक पोर्टेबल रिकॉर्ड बन जाता है, जो तब भी जीवित रहता है जब वे विशेषज्ञ जो इसे बनाने वाले थे, संगठन छोड़ देते हैं। यह सुनिश्चित करता है कि निर्णय लेने की प्रक्रिया पारदर्शी और जवाबदेह बनी रहे, न कि एक ऐसा 'ब्लैक बॉक्स' जो ऐसे उत्तर देता है जिन्हें कोई समझा नहीं सकता।

यह अध्ययन यह दावा नहीं करता है कि इसने हर समस्या को हल कर दिया है। यह पद्धति तब सबसे अच्छा काम करती है जब निर्णय का तर्क इस सिद्धांत का पालन करता है कि किसी स्थिति को बेहतर बनाने से परिणाम खराब नहीं होता। इसके लिए विशेषज्ञों को अपने विचारों को स्पष्ट करने में समय बिताने की इच्छा भी होनी चाहिए, जो एक चुनौती हो सकती है। कुछ मामलों में, विशेषज्ञों को विशिष्ट विवरण देखे बिना अमूर्त (abstract) प्रश्नों का उत्तर देने में कठिनाई हो सकती है, और सिस्टम को उस अनिश्चितता को संभालने के लिए लचीला होना चाहिए। इसके अलावा, जबकि इस पद्धति का परीक्षण सिमुलेशन में किया गया है और पिछले अध्ययनों के विरुद्ध समीक्षा की गई है, शोधकर्ता स्वीकार करते हैं कि वास्तविक दुनिया के लाइव क्लिनिकल सेटिंग्स या वास्तविक अनुदान प्रस्तावों के साथ इसके प्रदर्शन को देखने के लिए अधिक परीक्षण की आवश्यकता है।

इन सीमाओं के बावजूद, निष्कर्ष महत्वपूर्ण क्षेत्रों में आर्टिफिशियल इंटेलिजेंस का उपयोग करने के लिए एक स्पष्ट मार्ग प्रदान करते हैं। मुख्य अंतर्दृष्टि यह है कि मशीन को निर्णय लेने वाला नहीं होना चाहिए। इसके बजाय, इसे निर्णय लेने की प्रक्रिया का वास्तुकार (architect) होना चाहिए, जो मानव निर्णय को सटीक रूप से पकड़ने वाले ढांचे के निर्माण में मदद करे। ऐसा करके, यह भ्रम के जाल से बचता है और एक ऐसा उपकरण प्रदान करता है जो शक्तिशाली और विश्वसनीय दोनों है। परिणाम एक ऐसा सिस्टम है जो विशेषज्ञ की जगह नहीं लेता है, बल्कि उनकी क्षमता को बढ़ाता है ताकि वे जटिल और अनिश्चित स्थितियों में भी सटीक, सुसंगत और व्याख्या योग्य निर्णय ले सकें।