Toward Epistemic Stability: Engineering Consistent Procedures for Industrial LLM Hallucination Reduction

कल्पना कीजिए कि आपने एक फैक्ट्री चलाने में मदद करने के लिए एक बेहद बुद्धिमान, अविश्वसनीय रूप से तेज़, लेकिन थोड़ी भुलक्कड़ सहायक को काम पर रखा है। यह सहायक (एक लार्ज लैंग्वेज मॉडल या LLM) सेकंडों में रिपोर्ट लिख सकता है, शेड्यूल बना सकता है और मशीनों की समस्याओं का निदान कर सकता है।

हालाँकि, एक पेच है: यह सहायक हैलुसिनेशन (hallucinations) यानी भ्रम का शिकार होने की प्रवृत्ति रखता है। वे केवल तथ्य नहीं बनाते; वे ऐसे तथ्य बनाते हैं जो सुनने में बिल्कुल सटीक लगते हैं। वे आपको बता सकते हैं कि मशीन का एक हिस्सा टूटा हुआ है जबकि वह ठीक है, या ऐसा सुधार सुझा सकते हैं जो वास्तव में मशीन को नष्ट कर दे। एक फैक्ट्री में, यह केवल परेशान करने वाला नहीं है; यह खतरनाक और महंगा है।

यह शोध पत्र एक मैकेनिक की गाइडबुक की तरह है, जो इस सहायक को अंदाज़ा लगाने के बजाय विश्वसनीय बनने के लिए प्रशिक्षित करने के पांच अलग-अलग तरीकों को बताता है, बिना उन्हें नौकरी से निकाले या उनके दिमाग को दोबारा बनाए बिना।

यहाँ समस्या का एक सरल विवरण और उनके द्वारा परीक्षण किए गए पांच समाधान दिए गए हैं, जिन्हें रोजमर्रा के उदाहरणों का उपयोग करके समझाया गया है।

समस्या: "आत्मविश्वास भरा अंदाज़ा" (The "Confident Guess")

कल्पना कीजिए कि आप अपने सहायक से 3-दिवसीय कैंपिंग ट्रिप की योजना बनाने के लिए कहते हैं।

• समस्या: यदि आप उनसे एक बार पूछते हैं, तो वे कह सकते हैं, "एक टेंट, एक स्लीपिंग बैग और एक डोंगी (canoe) लाएं।"
• हैलुसिनेशन: यदि आप उनसे दोबारा पूछते हैं, तो वे कह सकते हैं, "एक टेंट, एक स्लीपिंग बैग और एक पनडुब्बी (submarine) लाएं।"
• जोखिम: फैक्ट्री में, यदि आपका सहायक आपको "डोंगी" (सही हिस्सा) के बजाय "पनडुब्बी" (गलत हिस्सा) का उपयोग करने के लिए कहता है, तो पूरा ऑपरेशन विफल हो जाएगा। शोध पत्र इसे एपिस्टेमिक स्टेबिलिटी (Epistemic Stability) की कमी कहता है—एक ही उत्तर को दो बार समान और विश्वसनीय रूप से न दे पाने की अक्षमता।

शोधकर्ताओं ने इस समस्या को ठीक करने के लिए पांच "प्रॉम्प्ट इंजीनियरिंग" तरकीबों (सवाल पूछने के तरीके) का परीक्षण किया।

---

पांच रणनीतियाँ (The "Fixes")

1. M1: "इको चैंबर" (Iterative Similarity)

• विचार: सहायक से एक ही सवाल लगातार पांच बार पूछें। यदि वे आपको पांच थोड़े अलग उत्तर देते हैं, तो तब तक पूछते रहें जब तक कि वे अंततः खुद से सहमत न हो जाएं।
• उदाहरण: कल्पना कीजिए कि आप एक दोस्त से पूछते हैं, "फिल्म कितने बजे है?" पांच बार। यदि वे कहते हैं "7 PM," फिर "7:05," फिर "7" और अंत में "7 PM" फिर से कहते हैं, तो आप जानते हैं कि वे उत्तर पर स्थिर हो गए हैं।
• परिणाम: इसने ठीक-ठाक काम किया (75% सफलता)। लेकिन कभी-कभी, सहायक गलत उत्तर पर भी खुद से सहमत हो सकते थे। यह वैसा ही है जैसे पांच दोस्त इस बात पर सहमत हों कि आसमान हरा है क्योंकि वे सभी एक हरे रंग के फिल्टर से देख रहे हैं।

2. M2: "अनुवादक" (Decomposed Prompting)

• विचार: एक साथ पूरी जटिल योजना मांगने के बजाय, उसे टुकड़ों में तोड़ दें। पहले, सहायक से केवल तथ्यों की सूची बनाने के लिए कहें। फिर, उन्हें केवल उन तथ्यों के आधार पर कहानी लिखने के लिए कहें।
• उदाहरण: कल्पना कीजिए कि आप एक शेफ से कहते हैं, "लाज़ानिया बनाएं।" वे पनीर भूल सकते हैं। इसके बजाय, आप कहते हैं: "पहले, उन सामग्रियों की सूची बनाएं जिनकी आपको आवश्यकता है। दूसरा, केवल उस सूची के आधार पर रेसिपी लिखें।"
• परिणाम: आश्चर्यजनक रूप से, यह शुरू में विफल रहा (34% सफलता)। क्यों? क्योंकि "अनुवादक" चरण ने अनजाने में महत्वपूर्ण विवरणों (जैसे "पनीर भूलना मत") को हटा दिया जबकि तथ्यों को सूचीबद्ध किया जा रहा था।
• सुधार (v2): उन्होंने नियम बदल दिया: "तथ्यों की सूची बनाएं, लेकिन मूल निर्देशों को एक चेकलिस्ट के रूप में रखें ताकि आप कुछ भी भूल न जाएं।" इसने इस विफलता को एक बड़ी सफलता (80% सफलता) में बदल दिया।

3. M3: "विशेषज्ञ टीम" (Single-Task Agents)

• विचार: एक व्यक्ति द्वारा सब कुछ करने (निदान करना, गंभीरता का स्तर तय करना, मरम्मत करना और रिपोर्ट लिखना) के बजाय, चार अलग-अलग लोगों का उपयोग करें, जिनमें से प्रत्येक केवल एक काम करे।
• उदाहरण: एक कार रिपेयर शॉप की कल्पना करें जहाँ एक मैकेनिक एक ही समय में इंजन का निदान करने, ब्रेक ठीक करने, कार को पेंट करने और इनवॉइस लिखने की कोशिश करता है। वे थक जाएंगे और गलतियाँ करेंगे। इसके बजाय, एक निदानकर्ता (Diagnostician), एक मैकेनिक, एक पेंटर और एक क्लर्क रखें।
• परिणाम: इसने बहुत अच्छा काम किया (80% सफलता)।
• सुधार (v2): उन्होंने पांचवां व्यक्ति जोड़ा, एक "रिकोंसाइलर" (Reconciler) या "मैनेजर", जिसका एकमात्र काम यह जांचना है कि क्या निदानकर्ता और मैकेनिक एक ही कहानी बता रहे हैं। यदि निदानकर्ता कहता है "टूटा हुआ पहिया" लेकिन मैकेनिक कहता है "फ्लैट टायर," तो मैनेजर विरोधाभास को पकड़ लेता है। इसने उनके छोटे परीक्षण में सफलता को 100% तक बढ़ा दिया।

4. M4: "चीट शीट" (Enhanced Data Registry)

• विचार: सहायक को केवल कच्चे नंबर (जैसे "सेंसर A = 100") न दें। उन्हें एक शब्दकोश दें जो समझाता है कि उन नंबरों का अर्थ क्या है।
• उदाहरण: कल्पना कीजिए कि आप एक छात्र को केवल नंबर "5, 10, 15" के साथ गणित का टेस्ट देते हैं और उत्तर मांगते हैं। वे अनुमान लगा सकते हैं। अब, उन्हें एक चीट शीट दें जो कहती है "5 = सेब, 10 = संतरे, 15 = केले।" अचानक, उत्तर स्पष्ट हो जाता है।
• परिणाम: यह सबसे बड़ा विजेता था (100% सफलता)। सहायक को मशीन के पुर्जे वास्तव में क्या हैं, इसका स्पष्ट नक्शा देने से, उन्होंने अंदाज़ा लगाना बंद कर दिया।
• चेतावनी: शोधकर्ताओं ने उल्लेख किया कि उत्तर लंबे और अधिक विस्तृत भी थे, जिससे "जज" (एक अन्य AI) को यह सोचने के लिए धोखा मिल सकता था कि वे केवल इसलिए बेहतर दिख रहे हैं क्योंकि वे अधिक पेशेवर लग रहे हैं।

5. M5: "शब्दकोश" (Domain Glossary)

• विचार: औद्योगिक मशीनें अजीब संक्षिप्त शब्दों (जैसे "AHU" या "VFD") का उपयोग करती हैं। सहायक को शायद नहीं पता होगा कि इनका क्या अर्थ है। इसलिए, बातचीत की शुरुआत में उन्हें एक मिनी-डिक्शनरी दें।
• उदाहरण: यदि आप एक सामान्य डॉक्टर से "VFD" के बारे में पूछते हैं, तो वे भ्रमित हो सकते हैं। यदि आप उन्हें एक कार्ड देते हैं जिस पर लिखा है "VFD = एक मोटर स्पीड कंट्रोलर," तो वे अपना काम कर सकते हैं।
• परिणाम: इसने अच्छा काम किया (77% सफलता)।
• सुधार (v2): उन्होंने पूरे पन्ने के बजाय केवल विशिष्ट प्रश्न से संबंधित डिक्शनरी प्रविष्टियों को देकर अधिक स्मार्ट होने की कोशिश की। यह ठीक-ठाक रहा, लेकिन सैंपल साइज इतना छोटा था कि निश्चित रूप से कुछ कहा नहीं जा सकता था।

---

"जज" और अंतिम निर्णय

यह देखने के लिए कि कौन सा तरीका काम कर गया, शोधकर्ताओं ने एक जज (Judge) का उपयोग किया।

• समस्या: उन्होंने जज के रूप में काम करने के लिए उसी प्रकार के AI का उपयोग किया। यह एक छात्र से उसके अपने होमवर्क को ग्रेड करने के लिए कहने जैसा है।
• पूर्वाग्रह (Bias): जज लंबे और अधिक संरचित उत्तरों को पसंद करने की ओर झुका हुआ था। इससे "चीट शीट" विधि (M4) को अनुचित लाभ मिल सकता था क्योंकि यह स्वाभाविक रूप से लंबे उत्तर उत्पन्न करती है।
• मानवीय जांच: उन्होंने एक त्वरित मानवीय समीक्षा की, और मनुष्यों ने सहमति व्यक्त की कि "चीट शीट" विधि ने वास्तव में बेहतर, अधिक उपयोगी उत्तर दिए थे, न कि केवल लंबे उत्तर।

रोजमर्रा की जिंदगी के लिए सीख

आपको इन विचारों का उपयोग करने के लिए कंप्यूटर वैज्ञानिक होने की आवश्यकता नहीं है। यदि आप महत्वपूर्ण कार्यों के लिए AI टूल्स का उपयोग कर रहे हैं:

1. केवल एक बार न पूछें। यदि दांव ऊंचे हैं, तो AI को अपने काम की जांच करने के लिए कहें या एक ही सवाल दो बार पूछें यह देखने के लिए कि क्या उत्तर बदल जाता है।
2. केवल प्रश्न नहीं, संदर्भ दें। केवल यह न कहें "मशीन को ठीक करें।" कहें "यह मशीन मैनुअल है, यह एरर कोड है, और इस एरर कोड का अर्थ क्या है।"
3. बड़े कार्यों को छोटे कार्यों में तोड़ें। AI से "बिजनेस प्लान लिखें और कोड ठीक करें" न कहें। उससे कहें कि "बिजनेस जोखिमों की सूची बनाएं," फिर "प्लान लिखें," और फिर "कोड ठीक करें।"
4. अपने विशेष शब्दों (Jargon) को परिभाषित करें। यदि आप उद्योग की शब्दावली का उपयोग करते हैं, तो AI को एक त्वरित शब्दावली दें ताकि वह अंदाज़ा न लगाए।

संक्षेप में: AI एक शक्तिशाली उपकरण है, लेकिन यह एक बहुत ही बुद्धिमान इंटर्न की तरह है जिसे स्पष्ट निर्देशों, एक अच्छे शब्दकोश और काम करने से पहले उनके काम की जांच करने के लिए एक मैनेजर की आवश्यकता होती है। यह शोध पत्र हमें दिखाता है कि हम उस अच्छे मैनेजर कैसे बन सकते हैं।