Neuro-Symbolic Verification of LLM Outputs for Data-Sensitive Domains (extended preprint)
यह शोध पत्र एक हाइब्रिड न्यूरो-सिंबोलिक सत्यापन आर्किटेक्चर प्रस्तावित करता है जो उच्च-जोखिम वाले, डेटा-संवेदनशील डोमेन के लिए एलएलएम (LLM) द्वारा जनरेट की गई सामग्री में मतिभ्रम (hallucinations) का प्रभावी ढंग से पता लगाने और विश्वसनीयता सुनिश्चित करने के लिए औपचारिक तार्किक तर्क को न्यूरल सिमेंटिक विश्लेषण के साथ जोड़ता है, जैसा कि रिपोर्ट निर्माण समय में 30% की कमी और एक वास्तविक दुनिया के चिकित्सा उपकरण मूल्यांकन प्रणाली में उच्च पहचान दरों द्वारा प्रमाणित किया गया है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक प्रतिभाशाली लेकिन कभी-कभी दिवास्वप्न देखने वाला सहायक (एक AI) है जो रिपोर्ट लिखने में बहुत अच्छा है लेकिन कभी-कभी तथ्य बना लेता है या महत्वपूर्ण विवरण भूल जाता है। अब, कल्पना कीजिए कि यह सहायक एक उच्च-जोखिम वाली नौकरी में काम कर रहा है, जैसे चिकित्सा उपकरणों की सुरक्षा की जांच करना या कानूनी दस्तावेज लिखना। यदि वे कोई गलती करते हैं, तो इससे पैसा बर्बाद हो सकता है, कानून टूट सकता है, या किसी को चोट लग सकती है।
यह शोध पत्र एक नया "पर्यवेक्षक प्रणाली" (supervisor system) पेश करता है जिसे रिपोर्ट भेजने से पहले ही इन गलतियों को पकड़ने के लिए डिज़ाइन किया गया है। लेखक इसे न्यूरो-सिंबोलिक वेरिफिकेशन (Neuro-Symbolic Verification) प्रणाली कहते हैं। यह कैसे काम करता है, यहाँ सरल अवधारणाओं और उपमाओं में दिया गया है:
मुख्य समस्या: "दिवास्वप्न देखने वाला" सहायक
लार्ज लैंग्वेज मॉडल्स (LLMs) प्रतिभाशाली लेखकों की तरह हैं जो किसी भी विषय पर बात कर सकते हैं। हालाँकि, वे कभी-कभी "भ्रमित" (hallucinate) हो जाते हैं—वे आत्मविश्वास के साथ ऐसी बातें बताते हैं जो झूठी या मनगढ़ंत होती हैं। सामान्य चैट में, यह केवल कष्टप्रद है। चिकित्सा या कानूनी क्षेत्रों में, यह खतरनाक है। इसके अलावा, ये कंपनियां अपने निजी डेटा को क्लाउड (जैसे गूगल या माइक्रोसॉफ्ट के सर्वर) पर नहीं भेज सकतीं क्योंकि सख्त गोपनीयता कानून हैं। उन्हें सब कुछ अपने स्वयं के कंप्यूटरों पर रखना आवश्यक है।
समाधान: एक दो-सिर वाला पर्यवेक्षक
AI पर अपने ही काम की जांच करने के लिए भरोसा करने के बजाय (जो कि एक छात्र को अपना ही टेस्ट खुद ग्रेड करने के लिए कहने जैसा है), लेखकों ने एक ऐसी प्रणाली बनाई है जिसमें दो अलग-अलग "मस्तिष्क" हैं जो एक साथ काम करते हैं:
- "तर्क मस्तिष्क" (सिंबोलिक - Symbolic): यह हिस्सा एक सख्त मुनीम या नियम-जांचकर्ता की तरह है। यह ठोस तथ्यों से निपटता है: तारीखें, सीरियल नंबर और विशिष्ट आवश्यकताएं। यह औपचारिक तर्क (गणित जैसे नियमों) का उपयोग करता है ताकि यह कह सके, "हाँ, यह सीरियल नंबर मौजूद है," या "नहीं, आप तारीख डालना भूल गए।" यह 100% निश्चित होता है और कभी अनुमान नहीं लगाता।
- "अंतर्ज्ञान मस्तिष्क" (न्यूरल - Neural): यह हिस्सा एक अनुभवी संपादक की तरह है जो अर्थ के लिए पढ़ता है। यह वाक्यों को देखता है कि क्या वे संदर्भ के अनुसार सही अर्थ दे रहे हैं। यह "सिमेंटिक सिमिलैरिटी" (अर्थ में समानता मापने का एक तरीका) का उपयोग करता है ताकि यह पकड़ा जा सके कि AI ने कुछ ऐसा तो नहीं लिख दिया जो सुनने में तो सही लगता है लेकिन वास्तव में झूठ है।
वे एक साथ कैसे काम करते हैं: "फैक्ट्री फ्लोर"
यह प्रणाली एक्टर मॉडल (Actor Model) नामक विधि का उपयोग करके एक अत्यधिक संगठित फैक्ट्री की तरह बनाई गई है। एक फैक्ट्री फ्लोर की कल्पना करें जहाँ विभिन्न कार्यकर्ता (एक्टर्स) विभिन्न कार्यों को संभालते हैं।
- यदि एक कार्यकर्ता (मान लीजिए, वह जो "अर्थ" की जांच कर रहा है) अटक जाता है या क्रैश हो जाता है, तो अन्य कार्यकर्ता (जो "सीरियल नंबर" की जांच कर रहे हैं) काम करते रहते हैं। वे सभी एक साथ क्रैश नहीं होते।
- यह सेटअप सिस्टम को स्थानीय कंप्यूटरों पर चलने की अनुमति देता है (डेटा को निजी रखते हुए), जबकि साथ ही जटिल और समानांतर कार्यों को तेजी से संभालने में सक्षम बनाता है।
वास्तविक दुनिया का परीक्षण: HAIMEDA
लेखकों ने इस प्रणाली का परीक्षण HAIMEDA नामक एक वास्तविक दुनिया के परिदृश्य में किया, जो विशेषज्ञों को क्षतिग्रस्त चिकित्सा उपकरणों के बारे में रिपोर्ट लिखने में मदद करता है।
- लिखने से पहले: "तर्क मस्तिष्क" इनपुट की जांच करता है। यदि विशेषज्ञ ने टूटे हुए उपकरण की फोटो अपलोड करना भूल गया है, तो सिस्टम AI को लिखने से रोक देता है और कहता है, "रुको, आपको पहले इसकी फोटो चाहिए।"
- लिखने के बाद: AI एक ड्राफ्ट तैयार करता है। "अंतर्ज्ञान मस्तिष्क" इसे पढ़ता है ताकि यह देखा जा सके कि क्या कहानी तथ्यों से मेल खाती है। "तर्क मस्तिष्क" यह जांचता है कि क्या डिवाइस आईडी नंबर सही हैं।
- फीडबैक: यदि AI ने कोई विवरण मनगढ़ंत बनाया है, तो सिस्टम उसे चिह्नित करता है और मानव विशेषज्ञ से उसे ठीक करने के लिए कहता है।
परिणाम
शोध पत्र का दावा है कि यह प्रणाली बहुत अच्छी तरह से काम करती है:
- झूठ पकड़ना: इसने विशिष्ट वस्तुओं (जैसे सीरियल नंबर) के संबंध में मनगढ़ंत तथ्यों को 83% से अधिक और मनगढ़ंत कहानियों (जैसे क्षति के नकली विवरण) को 72% से अधिक पकड़ा।
- गति: इसने विशेषज्ञ को रिपोर्ट लिखने में 30% तेजी से मदद की क्योंकि AI ने ड्राफ्टिंग का भारी काम किया, और सिस्टम ने मानवीय हस्तक्षेप से पहले ही त्रुटियों को पकड़ लिया।
- गोपनीयता: क्योंकि सब कुछ उनके अपने कंप्यूटर पर चला, इसलिए कोई भी संवेदनशील रोगी या कंपनी का डेटा इंटरनेट पर नहीं भेजा गया।
निष्कर्ष
यह शोध पत्र तर्क देता है कि आप गंभीर नौकरियों में AI को पूर्ण होने के भरोसे नहीं छोड़ सकते। इसके बजाय, आपको एक हाइब्रिड सिस्टम की आवश्यकता है: एक हिस्सा जो कठिन गणित और नियमों की जांच करता है, और दूसरा हिस्सा जो अर्थ और संदर्भ की जांच करता है। इन दोनों को मिलाकर, आप एक ऐसा सुरक्षा जाल प्राप्त करते हैं जो अकेले किसी एक से कहीं अधिक मजबूत है, जिससे AI का उपयोग उन क्षेत्रों में सुरक्षित रूप से किया जा सकता है जहाँ गलतियों की कोई गुंजाइश नहीं है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।