Towards Detecting Inconsistencies in End-to-end Generated TODs
यह शोध पत्र एंड-टू-एंड जनरेटेड टास्क-ओरिएंटेड डायलॉग्स में विसंगतियों का स्वतः पता लगाने के लिए एक नवीन विधि प्रस्तावित करता है, जो डोमेन नॉलेज के अनुपालन के लिए हैलुसिनेशन की पहचान करने और न्यूनतम सुधार सुझाने हेतु संवाद को एक कंस्ट्रेंट सैटिस्फैक्शन प्रॉब्लम (CSP) के रूप में मॉडल करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक बहुत ही बुद्धिमान, लेकिन थोड़े भुलक्कड़ AI शेफ के साथ "रेस्टोरेंट पहचानो" (Guess the Restaurant) नामक एक हाई-स्टेक्स गेम खेल रहे हैं। उस शेफ के पास एक गुप्त मेनू (ज्ञान आधार/Knowledge Base) है जिसमें ठीक से लिखा है कि कौन से रेस्टोरेंट्स मौजूद हैं, वे क्या खाना परोसते हैं, और उनकी कीमत कितनी है। आपका काम एक भोजन का ऑर्डर देना है। शेफ का काम आपकी रिक्वेस्ट को सुनना और यह बताना है कि क्या उपलब्ध है।
पुराने दिनों में, शेफ एक रोबोट था जिसके पास एक सख्त नियम पुस्तिका थी: "यदि यूजर स्पेनिश खाने के लिए पूछता है, तो लिस्ट चेक करो। यदि लिस्ट कहती है '2', तो '2' कहो।" लेकिन अब, हमने शेफ को अपग्रेड करके एक जेनेरेटिव AI (एक लार्ज लैंग्वेज मॉडल) बना दिया है। यह नया शेफ अविश्वत रूप से रचनात्मक है और इंसानों की तरह बात कर सकता है, लेकिन इसकी एक खतरनाक आदत है: यह कभी-कभी "हैलुसिनेट" (भ्रमित होना) करता है। यह आत्मविश्वास के साथ आपको बता सकता है कि वहां तीन स्पेनिश रेस्टोरेंट्स हैं जबकि आपके गुप्त मेनू में केवल दो ही हैं, या यह तब लेबनानी रेस्टोरेंट का सुझाव दे सकता है जब आप पूरे समय स्पेनिश खाने के बारे में पूछ रहे थे।
यह पेपर एक "फैक्ट-चेकर" (तथ्य-जांचकर्ता) बनाने के बारे में है जो आपके खाने को खराब करने से पहले इन झूठों को पकड़ सके।
समस्या: रचनात्मक शेफ की गलतियाँ
लेखकों ने पाया कि बेहतरीन AI शेफ भी आश्चर्यजनक रूप से अक्सर गलतियां करते हैं। एक अध्ययन में, उन्होंने दिखाया कि टॉप-टियर ओपन-सोर्स AI मॉडल्स अपनी जनरेट की गई बातचीत में 59% तक तथ्य गलत बताते हैं। यदि AI कहता है कि एक रेस्टोरेंट सस्ता है जबकि वह वास्तव में महंगा है, या वह किसी ऐसे स्थान का आविष्कार करता है जो अस्तित्व में ही नहीं है, तो पूरी बातचीत विफल हो जाती है।
पेपर इस विचार के विरुद्ध तर्क देता है कि हम केवल AI पर तथ्यों को "जानने" के लिए भरोसा कर सकते हैं। इसके बजाय, वे प्रस्तावित करते हैं कि हमें बातचीत को एक लॉजिक पज़ल (तर्क पहेली) की तरह देखना चाहिए।
समाधान: "लॉजिक पज़ल" जासूस
लेखकों का मुख्य विचार बातचीत को केवल चैट के रूप में नहीं, बल्कि एक कन्स्ट्रेंट सैटिस्फैक्शन प्रॉब्लम (CSP) के रूप में देखना है।
एक CSP को सुडोकू गेम की तरह समझें।
- वेरिएबल्स (Variables): ये बातचीत के विशिष्ट विवरण हैं, जैसे "कितने रेस्टोरेंट्स हैं?" या "खाने का प्रकार क्या है?"
- कन्स्ट्रेंट्स (Constraints): ये नियम हैं। उदाहरण के लिए, "जिक्र किए गए रेस्टोरेंट्स की संख्या गुप्त मेनू पर दी गई संख्या से मेल खानी चाहिए," या "पूरी चैट के दौरान खाने का प्रकार समान रहना चाहिए।"
- सॉल्वर (Solver): यह एक विशेष कंप्यूटर प्रोग्राम (एक CSP सॉल्वर) है जो एक सुपर-फास्ट जासूस की तरह काम करता है। यह बातचीत के खाली स्थानों को भरने की कोशिश करता है ताकि यह देखा जा सके कि क्या वे नियमों के अनुकूल हैं।
यहाँ उनका "डिटेक्टिव पाइपलाइन" चरण-दर-चरण काम करता है:
- वेरिएबल्स को पहचानना: सबसे पहले, सिस्टम चैट को स्कैन करता है और महत्वपूर्ण हिस्सों (जैसे "स्पेनिश" या "तीन") को हाइलाइट करता है।
- नियम निर्धारित करना: यह गुप्त मेनू और बातचीत के तर्क के आधार पर नियम लिखता है (जैसे, "यदि आपने पहले 'स्पेनिश' कहा था, तो आप बिना किसी ठोस कारण के बाद में 'लेबनानी' पर स्विच नहीं कर सकते")।
- सॉल्वर चलाना: जासूस एक वैध समाधान खोजने की कोशिश करता है। वह पूछता है, "क्या इन खाली स्थानों को भरने का कोई भी तरीका है जो गुप्त मेनू और बातचीत के प्रवाह से मेल खाता हो?"
- फैसला (The Verdict): यदि AI की चैट एक वैध समाधान से मेल खाती है, तो यह सुसंगत (consistent) है। यदि AI की चैट किसी भी वैध समाधान से मेल नहीं खाती है, तो जासूस इसे असंगत (inconsistent) के रूप में चिह्नित करता है और यहाँ तक कि इसे ठीक करने के लिए आवश्यक न्यूनतम बदलाव का सुझाव भी देता है (जैसे "तीन" को "दो" में बदलना)।
उन्होंने क्या पाया (आंकड़े)
लेखकों ने अपने "लॉजिक पज़ल" जासूस का परीक्षण 108 डायलॉग पेयर्स के डेटासेट पर किया। उन्होंने अपने तरीके की तुलना कुछ अन्य दृष्टिकोणों से की:
- रैंडम गेसिंग (Random Guessing): यदि आप सिक्के उछालने की तरह बस "सुसंगत" या "असंगत" का अनुमान लगाते हैं, तो आप 50.0% बार सही होंगे।
- परफेक्ट ह्यूमन एनोटेशन (Perfect Human Annotations): यदि उन्होंने जासूस को फीड करने के लिए परफेक्ट, प्री-लेबल डेटा का उपयोग किया, तो यह 91.6% बार सही रहा। यह साबित करता है कि जब डेटा साफ होता है, तो लॉजिक पज़ल का विचार वास्तव में बहुत अच्छा काम करता है।
- रियल-वर्ल्ड टेस्ट (GPT-4o): जब उन्होंने वेरिएबल्स को स्वचालित रूप से खोजने के लिए एक आधुनिक AI (GPT-4o) का उपयोग किया और फिर जासूस चलाया, तो सिस्टम ने 75.9% की सटीकता हासिल की।
यह सुझाव देता है कि हालांकि AI अपनी गलतियों को पहचानने में अभी भी पूरी तरह सक्षम नहीं है, लेकिन CSP विधि इन गलतियों को पकड़ने के लिए एक बहुत मजबूत उपकरण है।
AI की "मेमोरी" का परीक्षण करना
लेखकों ने एक अलग प्रयोग भी चलाया यह देखने के लिए कि बातचीत को फिर से लिखने के लिए कहा जाने पर AI मॉडल नियमों का कितनी अच्छी तरह से पालन कर सकते हैं। उन्होंने एक चैट ली, उसके विशिष्ट विवरण (जैसे रेस्टोरेंट के नाम) मिटा दिए, और उन्हें गुप्त मेनू का उपयोग करके वापस भरने के लिए AI से कहा।
परिणाम AI के लिए थोड़े निराशाजनक थे:
- यहाँ तक कि स्मार्टेस्ट मॉडल्स (GPT-4o और GPT-o1) भी पूरी बातचीत को केवल 14% बार सही कर पाए (ग्लोबल कंसिस्टेंसी एक्यूरेसी)।
- हालाँकि, उन्हें व्यक्तिगत विवरण लगभग 41-42% बार सही कर पाए (वेरिएबल कंसिस्टेंसी एक्यूरेसी)।
यह सुझाव देता है कि हालांकि AI नियमों का पालन करने में बेहतर हो रहा है, लेकिन उसे पूरी कहानी को व्यवस्थित रखने में संघर्ष करना पड़ता है। पेपर ने पाया कि सबसे कठिन नियम C6 था: मेनू में वस्तुओं की सटीक संख्या से मेल खाना। यदि मेनू में दो स्पेनिश रेस्टोरेंट्स हैं, तो AI अक्सर तीन का अनुमान लगाता है या "कई" कहता है, जिससे गणित का चेक फेल हो जाता है।
यह पेपर क्या खारिज करता है
लेखक सावधानी बरतते हैं कि यह तरीका क्या नहीं है।
- यह एक जादुई छड़ी नहीं है जो स्वचालित रूप से AI के खराब वाक्यों को पूर्ण, प्रवाहपूर्ण अंग्रेजी में फिर से लिख दे। सिस्टम त्रुटि की ओर इशारा कर सकता है और सुधार का सुझाव दे सकता है (जैसे " 'तीन' को 'दो' में बदलें"), लेकिन यह आपके लिए नया, स्मूथ वाक्य स्वचालित रूप से जेनरेट नहीं करता है। यह भविष्य के काम के लिए है।
- यह एक ऐसा तरीका नहीं है जो बिना सेटअप के किसी भी बातचीत पर काम करे। सिस्टम को उस डोमेन के लिए "स्लॉट्स" (जैसे फूड, प्राइस, एरिया) और विशिष्ट मेनू जानने की आवश्यकता होती है। यह कोई सामान्य "कॉमन सेंस" चेकर नहीं है; यह विशिष्ट विषयों के लिए एक विशिष्ट फैक्ट-चेकर है।
निष्कर्ष
पेपर यह निष्कर्ष निकालता है कि संवाद की निरंतरता (dialogue consistency) को एक लॉजिक पज़ल के रूप में देखना AI के भ्रम (hallucinations) को पकड़ने का एक शक्तिशाली तरीका है। यह सुझाव देता है कि जबकि लार्ज लैंग्वेज मॉडल्स इंसानों की तरह बोलने में माहिर हैं, लेकिन वे तथ्यों पर टिके रहने में अभी भी कमजोर हैं। एक CSP सॉल्वर का उपयोग करके, हम इन विसंगतियों को लगभग 75.9% स्वचालित रूप से पकड़ सकते हैं।
लेखक स्वीकार करते हैं कि उनके परिणाम नियंत्रित प्रयोगों और विशिष्ट डेटासेट्स पर आधारित हैं, इसलिए हमें अभी तक यह नहीं पता कि यह वास्तविक दुनिया की अव्यवस्थित और अप्रत्याशित स्थितियों में कैसे काम करेगा। लेकिन फिलहाल, यह सुनिश्चित करने की दिशा में एक ठोस कदम है कि हमारे AI शेफ हमें काल्पनिक भोजन परोसकर निराश न करें।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।