Theory-Guided Deception Detection: A RAG-Based Artificial Intelligence Exploration
यह अध्ययन 700 कथनों के विरुद्ध धोखे के सिद्धांतों (deception theories) पर आधारित सात रिट्रीवल-ऑगमेंटेड जनरेशन (RAG) मॉडलों का बेसलाइन मॉडलों के साथ मूल्यांकन करता है, जिसमें यह पाया गया कि हालांकि सैद्धांतिक दृष्टिकोणों ने प्रतिक्रिया पूर्वाग्रह को महत्वपूर्ण रूप से प्रभावित किया, लेकिन उन्होंने पहचान सटीकता में सुधार नहीं किया, जो विशिष्ट मानव प्रदर्शन के तुलनीय बनी रही और RAG एवं बेसलाइन दृष्टिकोणों के बीच सांख्यिकीय रूप से अविभेदित रही।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक जासूस हैं जो झूठ पकड़ने की कोशिश कर रहा है। दशकों से, मनुष्यों ने ऐसी मशीनें बनाने की कोशिश की है जो झूठ को हमसे बेहतर पकड़ सकें, इस उम्मीद में कि एक उच्च-तकनीकी "झूठ पकड़ने वाली मशीन" (lie detector) मिलेगी जो कभी विफल न हो। आमतौर पर, ये मशीनें कांपती हुई आवाज, फड़कती हुई आंख या घबराहट में आने वाले पसीने जैसे सुरागों को देखती हैं। लेकिन क्या होगा अगर मशीन के पास केवल शब्दों का ही विकल्प हो? यह टेक्स्ट-आधारित धोखे का पता लगाने (text-based deception detection) की दुनिया है, जहाँ वैज्ञानिक पूछते हैं: क्या एक कंप्यूटर किसी कहानी को पढ़ सकता है और केवल शब्दों को देखकर बता सकता है कि वह सच है या झूठ?
इस अध्ययन को समझने के लिए, आपको दो बड़े विचारों को जानने की आवश्यकता है। पहला, झूठ बोलने के सिद्धांत (theories of lying) हैं। ये विशेषज्ञों द्वारा लिखे गए नियमकोशों की तरह हैं जो कहते हैं, "झूठे व्यक्ति X, Y और Z करते हैं।" कुछ नियमकोश कहते हैं कि झूठे लोग विवरण छोड़ देते हैं; अन्य कहते हैं कि वे बहुत अधिक शब्द बोलते हैं; कुछ कहते हैं कि वे ऐसे तथ्य देने से बचते हैं जिन्हें जांचा जा सके। दूसरा, AI (आर्टिफिशियल इंटेलिजेंस) है, विशेष रूप से एक ऐसा प्रकार जो इंसान की तरह पढ़ और लिख सकता है। हाल ही में, वैज्ञानिकों ने इन AI को "संदर्भ मार्गदर्शिका" (reference guides) दी है जिन्हें RAGs (रिट्रीवल-ऑगमेंटेड जनरेशन) कहा जाता है। एक RAG को एक ऐसे छात्र के रूप में सोचें जिसे परीक्षा देने से पहले, केवल अपनी याददाश्त से अनुमान लगाने के बजाय, उत्तर खोजने के लिए एक विशिष्ट पाठ्यपुस्तक खोलने की अनुमति है। बड़ा सवाल यह था: यदि आप एक AI को झूठ पकड़ने के लिए एक विशिष्ट "नियमकोश" देते हैं और उसे निर्णय लेने से पहले नियमों को देखने की अनुमति देते हैं, तो क्या वह सच को पहचानने में बेहतर हो जाएगा?
द ग्रेट AI लाई डिटेक्टर एक्सपेरिमेंट (महान AI झूठ पकड़ने वाला प्रयोग)
इस अध्ययन में, दो शोधकर्ताओं ने सात अलग-अलग "नियमकोशों" (धोखे के सिद्धांतों) को परखने का फैसला किया। वे देखना चाहते थे कि क्या एक AI इन नियमकोशों को अपने संदर्भ मार्गदर्शकों के रूप में उपयोग करके एक बेहतर जासूस बन सकता है। उन्होंने 700 अलग-अलग बयानों वाला एक विशाल प्रयोग तैयार किया—कुछ सच, कुछ झूठ—जो पांच अलग-अलग वास्तविक स्थितियों से लिए गए थे, जैसे होटल की समीक्षाएं, अदालती सुनवाई के ट्रांसक्रिप्ट, और एक ट्रिविया गेम पर धोखे के बारे में साक्षात्कार।
उन्होंने इन 700 बयानों का न्याय करने के लिए चार अलग-अलग सुपर-स्मार्ट AI मॉडल (सोचिए कि ये चार अलग-अलग जासूसी व्यक्तित्व हैं) का उपयोग किया। प्रत्येक बयान के लिए, AI के पास खेल खेलने के दो तरीके थे:
- "नो रेफरेंस गाइड" मोड (बेसलाइन): AI को केवल अपने आंतरिक ज्ञान का उपयोग करके यह अनुमान लगाना था कि बयान झूठ है या सच।
- "रेफरेंस गाइड" मोड (RAG): अनुमान लगाने से पहले, AI को अपने निर्णय का मार्गदर्शन करने के लिए सात धोखे के सिद्धांतों में से एक विशिष्ट सिद्धांत को खोजने की अनुमति थी।
उन्होंने परिणामों को ठोस बनाने के लिए इस पूरे सेटअप को 39,200 बार चलाया।
बड़ा आश्चर्य: संदर्भ मार्गदर्शिकाओं ने उन्हें स्मार्ट नहीं बनाया
परिणाम उन लोगों के लिए निराशाजनक थे जो किसी जादुई समाधान की उम्मीद कर रहे थे। जब शोधकर्ताओं ने "रेफरेंस गाइड" वाले जासूसों की तुलना "नो रेफरेंस गाइड" वाले जासूसों से की, तो वे झूठ पकड़ने में समान रूप से खराब थे।
- सटीकता (Accuracy): दोनों समूहों ने लगभग 54.5% से 54.6% उत्तर सही दिए। यह सिक्का उछालकर (जो कि 50% होता है) जीत हासिल करने से मुश्किल से बेहतर है। अध्ययन में पाया गया कि सिद्धांतों का उपयोग करने और उपयोग न करने के बीच कोई सांख्यिकीय अंतर नहीं था। दूसरे शब्दों में, AI को पालन करने के लिए एक विशिष्ट सिद्धांत देने से उसे अधिक झूठ पकड़ने में मदद नहीं मिली।
हालाँकि, संदर्भ मार्गदर्शिकाओं ने AI के व्यक्तित्व, या जिसे वैज्ञानिक "बायस" (bias) कहते हैं, को बदल दिया।
- "ट्रुथ बायस" (सत्य पूर्वाग्रह): बिना किसी संदर्भ मार्गदर्शिका के, AI लोगों के सच बोलने की संभावना 59.7% बार मानता था, भले ही वे झूठ बोल रहे हों। इसे "ट्रुथ-बायस्ड" होना कहा जाता है।
- "रेफरेंस गाइड" प्रभाव: जब AI ने संदर्भ मार्गदर्शिकाओं का उपयोग किया, तो वह थोड़ा कम भरोसेमंद हो गया, और सच को केवल 57.0% समय ही सच मानता था। हालांकि यह एक बदलाव है, अध्ययन नोट करता है कि इसका प्रभाव बहुत छोटा है।
नियमकोश समान नहीं थे
यहाँ मामला दिलचस्प हो जाता है। भले ही संदर्भ मार्गदर्शिकाओं ने समग्र स्कोर में सुधार नहीं किया, लेकिन अलग-अलग नियमकोशों ने AI को बिल्कुल अलग तरह से व्यवहार करने के लिए प्रेरित किया।
- "डिटेल्स" (विवरण) वाला नियमकोश: वह सिद्धांत जो कहता है कि "ईमानदार लोग अधिक विवरण और जटिलताएं देते हैं," सबसे अच्छा काम करता था। यह उन सभी में सबसे सटीक था।
- "वेरिफिएबिलिटी" (सत्यापनीयता) वाला नियमकोश: यह सिद्धांत कहता है कि "ईमानदार लोग ऐसे तथ्य देते हैं जिन्हें जांचा जा सके।" इस नियमकोश का उपयोग करने वाला AI अत्यंत संदिग्ध हो गया, और केवल 32.2% बयानों को ही सत्य मान रहा था। यह "लाई-बायस्ड" (झूठ के प्रति पूर्वाग्रही) था।
- "ट्रुथ-डिफ़ॉल्ट" वाला नियमकोश: यह सिद्धांत कहता है कि "मनुष्य आमतौर पर मानते हैं कि लोग ईमानदार होते हैं।" इस नियमकोश का उपयोग करने वाला AI अत्यंत भरोसेमंद हो गया, और 88.1% मामलों को सच मान रहा था। यह अत्यधिक "ट्रुथ-बायस्ड" था।
अध्ययन बताता है कि जबकि सिद्धांत ने AI को सच देखने में बेहतर नहीं बनाया, लेकिन इसने एक डायल की तरह काम किया जिसने AI के विश्वास के स्तर को ऊपर या नीचे कर दिया।
AI की "सोचने" की शैली
शोधकर्ताओं ने यह भी देखा कि AI अपने निर्णयों को कैसे समझा रहा है। उन्होंने पाया कि जो AI मॉडल सबसे अधिक "संज्ञानात्मक प्रयास" (cognitive effort) (ऐसे शब्द जो दिखाते हैं कि वह गहराई से सोच रहा है, जैसे "क्योंकि", "समझना", या "जानना") का उपयोग करते थे, वे वही थे जो सबसे सटीक परिणाम प्राप्त करते थे। ऐसा लगता है कि जब AI वास्तव में समस्या पर "काम" करता था, तो वह थोड़ा बेहतर प्रदर्शन करता था, लेकिन यह एक अवलोकन था, कोई गारंटीकृत समाधान नहीं।
निष्कर्ष (The Bottom Line)
पेपर यह निष्कर्ष निकालता है कि थ्योरी-गाइडेड AI अभी एक पेशेवर झूठ पकड़ने वाली मशीन बनने के लिए तैयार नहीं है। एक मानव जासूस की तरह, AI भी गलतियाँ करने के प्रति प्रवृत्त है और इस बात से बहुत प्रभावित होता है कि वह स्वाभाविक रूप से भरोसेमंद है या संदिग्ध।
अध्ययन स्पष्ट रूप से इस विचार को खारिज करता है कि केवल AI को धोखे के सिद्धांत खिलाने से वह झूठ पकड़ने के लिए एक "सिल्वर बुलेट" (जादुई हथियार) बन जाएगा। सटीकता 54.5% के आसपास ही अटकी रही, जो कोर्टरूम या सुरक्षा जांच जैसे गंभीर वास्तविक उपयोग के लिए पर्याप्त नहीं है। लेखक सुझाव देते हैं कि भले ही AI स्मार्ट नहीं हुआ, फिर भी प्रयोग मूल्यवान था क्योंकि इसने हमें दिखाया कि विभिन्न सिद्धांत AI के सोचने के तरीके को बदलते हैं, भले ही वे उसके सोचने की क्षमता को न बदलें। फिलहाल, AI के साथ झूठ पकड़ना अभी अपने शुरुआती चरण में है, और हमें उम्मीद नहीं करनी चाहिए कि कोई रोबोट अभी रहस्य सुलझा देगा।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।