Hallucinations in AI Chatbots: A Comparative Analysis

पिछले कुछ वर्षों में, लिखने, कोडिंग करने और जानकारी खोजने के लिए एक नए प्रकार का कंप्यूटर प्रोग्राम एक सामान्य उपकरण बन गया है। ये प्रोग्राम, जिन्हें लार्ज लैंग्वेज मॉडल्स (बड़े भाषा मॉडल) के रूप में जाना जाता है, इंटरनेट से प्राप्त टेक्स्ट की विशाल मात्रा पर प्रशिक्षित होते हैं। उन्हें यह अनुमान लगाने के लिए डिज़ाइन किया गया है कि वाक्य में अगला शब्द क्या होना चाहिए, जिससे वे प्रश्नों के मानवीय उत्तर उत्पन्न कर सकें। हालांकि वे अविश्वसनीय रूप से उपयोगी हैं, लेकिन उनमें एक अजीब दोष है: वे कभी-कभी पूरी तरह से गलत बातें पूरी आत्मविश्वास के साथ कहते हैं। शोधकर्ता इन त्रुटियों को "हैलुसिनेशन" (भ्रम) कहते हैं। एक हैलुसिनेशन एक वास्तविक तथ्य, किसी पुस्तक का वास्तविक उद्धरण, या कोड की एक काम करने वाली पंक्ति जैसा दिख सकता है, लेकिन वह वास्तव में एक बनावट होता है। यह केवल एक मामूली गड़बड़ी नहीं है; जब इन प्रोग्रामों का उपयोग स्कूल के काम, चिकित्सा सलाह या पेशेवर अनुसंधान के लिए किया जाता है, तो एक मनगढ़ंत तथ्य वास्तविक दुनिया में भ्रम या खतरे का कारण बन सकता है। वैज्ञानिकों और उपयोगकर्ताओं के सामने सवाल यह नहीं है कि ये त्रुटियाँ होती हैं या नहीं, बल्कि यह है कि वे कितनी बार होती हैं, कौन से प्रोग्राम इनके प्रति अधिक संवेदनशील हैं, और लोग परेशानी होने से पहले उन्हें कैसे पहचान सकते हैं।

उस्मान इंस्टीट्यूट ऑफ टेक्नोलॉजी के शोधकर्ताओं की एक टीम ने आज उपलब्ध चार सबसे लोकप्रिय एआई चैटबॉट्स: GPT-4, Gemini, Claude और Microsoft Copilot का अध्ययन करके इस समस्या को समझने का प्रयास किया। मशीनों का केवल लैब में परीक्षण करने के बजाय, शोधकर्ताओं ने 80 वास्तविक उपयोगकर्ताओं से उनके वास्तविक दुनिया के अनुभवों के बारे में पूछा। वे जानना चाहते थे कि इन उपयोगकर्ताओं ने कितनी बार गलत जानकारी का सामना किया, उन्होंने त्रुटियों को कैसे पहचाना, और उन्हें ठीक करने के लिए उन्होंने क्या किया। अध्ययन उन कार्यों पर केंद्रित था जिनमें उच्च सटीकता की आवश्यकता होती है, जैसे शैक्षणिक शोध पत्र लिखना, कंप्यूटर कोड लिखना और अनुसंधान करना। इसका लक्ष्य तकनीकी बेंचमार्क से आगे बढ़कर यह देखना था कि इन उपकरणों का आम लोगों के हाथों में कैसा व्यवहार होता है जो महत्वपूर्ण कार्यों के लिए उन पर निर्भर हैं।

सर्वेक्षण के परिणामों से पता चला कि हैलुसिनेशन एक निरंतर बनी रहने वाली समस्या है, यहाँ तक कि सबसे उन्नत प्रणालियों में भी। सर्वेक्षण में भाग लेने वाले अधिकांश लोगों ने कहा कि वे इन एआई टूल्स का उपयोग प्रतिदिन या दिन में कई बार करते हैं। वे कोडिंग, अनुसंधान और लेखन के लिए उन पर निर्भर हैं। हालाँकि, अधिकांश ने यह भी बताया कि वे अक्सर मनगढ़ंत जानकारी या फर्जी संदर्भों का सामना करते हैं। शोधकर्ताओं ने पाया कि ये त्रुटियाँ यादृच्छिक रूप से नहीं होती हैं; वे अक्सर बातचीत लंबी होने पर अधिक दिखाई देती हैं। एक बार जब उपयोगकर्ता बॉट के साथ पाँच से बीस संदेशों का आदान-प्रदान कर लेता है, तो प्रोग्राम के फिसलने और असंगत या गलत विवरण प्रदान करने की संभावना बढ़ जाती है। इससे पता चलता है कि आप मशीन से जितनी लंबी बात करेंगे, उसके सत्य से हाथ से निकल जाने की संभावना उतनी ही अधिक होगी।

जब उपयोगकर्ताओं को एहसास हुआ कि कुछ गलत है, तो उन्होंने कंप्यूटर पर भरोसा नहीं किया। इसके बजाय, उन्होंने अपने स्वयं के ज्ञान का उपयोग किया। हैलुसिनेशन को पहचानने का सबसे आम तरीका यह था कि एआई का उत्तर उस चीज़ के विपरीत था जिसे वे पहले से ही सत्य जानते थे। एक अन्य बड़ा संकेत फर्जी उद्धरणों की उपस्थिति थी। यदि प्रोग्राम ने ऐसी पुस्तक, अध्ययन या वेबसाइट सूचीबद्ध की जो मिल नहीं सकती थी या अस्तित्व में नहीं थी, तो उपयोगकर्ता तुरंत जान गए कि जानकारी मनगढ़ंत थी। अध्ययन ने दिखाया कि इन त्रुटियों का पता लगाना अभी भी काफी हद तक मानव का काम है। यह उपयोगकर्ता की तथ्यों को सत्यापित करने की क्षमता और मशीन पर सवाल उठाने की इच्छा पर निर्भर करता है, न कि स्वयं सॉफ्टवेयर में निर्मित किसी स्वचालित सुरक्षा स्विच पर।

शोधकर्ताओं ने चार अलग-अलग चैटबॉट्स की तुलना भी की ताकि यह देखा जा सके कि कौन सा अन्य की तुलना में अधिक सुरक्षित या विश्वसनीय है। उन्होंने पाया कि प्रत्येक प्रणाली की अपनी ताकत और कमजोरियां हैं। GPT-4 को जटिल समस्याओं के माध्यम से तर्क करने की अपनी क्षमता के लिए सराहा गया, जबकि Gemini को खोज परिणामों से जानकारी निकालने की मजबूत क्षमता के लिए नोट किया गया, जो उसके उत्तरों को वास्तविकता में जमीन से जोड़े रखने में मदद करता है। Claude ने स्वास्थ्य जैसे संवेदनशील क्षेत्रों में सुरक्षा और ईमानदारी पर अपने ध्यान के लिए विशिष्ट पहचान बनाई, जहाँ इसने उच्च सटीकता दिखाई। Microsoft Copilot को अन्य सॉफ्टवेयर टूल्स के साथ इसके गहरे एकीकरण के लिए पहचाना गया, जो उत्पादकता के लिए उपयोगी है। हालाँकि, चारों में से कोई भी मॉडल पूर्ण नहीं था। वे सभी समय-समय पर गलत उद्धरण और अविश्वसनीय कोड भी उत्पन्न करते थे। अध्ययन ने निष्कर्ष निकाला कि हालांकि ये उपकरण शक्तिशाली हैं, लेकिन वे अभी तक मानवीय निरीक्षण के बिना उपयोग किए जाने के लिए पर्याप्त भरोसेमंद नहीं हैं, विशेष रूप से चिकित्सा या शैक्षणिक अनुसंधान जैसे उच्च-दांव वाले क्षेत्रों में।

तो, इसे ठीक करने के लिए क्या किया जा सकता है? सर्वेक्षण प्रतिभागियों ने एक स्पष्ट उत्तर दिया। वे यह नहीं मानते थे कि समाधान केवल एआई को स्मार्ट बनाने में निहित है। इसके बजाय, उन्होंने कहा कि त्रुटियों को कम करने का सबसे प्रभावी तरीका यह है कि एआई को अपना काम दिखाना पड़े। उपयोगकर्ताओं ने उन प्रतिक्रियाओं को अत्यधिक पसंद किया जिनमें सत्यापित उद्धरण शामिल थे, जिसका अर्थ है कि प्रोग्राम को अपने द्वारा दावा किए गए प्रत्येक तथ्य के लिए एक वास्तविक, मौजूदा स्रोत की ओर संकेत करना चाहिए। मानव समीक्षा दूसरा सबसे लोकप्रिय समाधान था, जिसके बाद स्वचालित तथ्य-जांच प्रणाली का स्थान था। इस टूल का उपयोग करने वाले लोग पारदर्शिता चाहते हैं; वे चाहते हैं कि जानकारी कहाँ से आती है ताकि वे स्वयं इसकी जाँच कर सकें। शोधकर्ता सुझाव देते हैं कि भविष्य के सुधारों को केवल अधिक टेक्स्ट उत्पन्न करने के बजाय, एआई को अपने स्रोतों को समझाने और अनिश्चित होने पर स्वीकार करने पर ध्यान केंद्रित करना चाहिए।

अंततः, यह अध्ययन कृत्रिम बुद्धिमत्ता की वर्तमान स्थिति के बारे में एक महत्वपूर्ण वास्तविकता को उजागर करता है। ये उपकरण अधिक परिष्कृत हो रहे हैं और अधिक जटिल कार्यों के लिए उपयोग किए जा रहे हैं, लेकिन चीजें बनाने (मनगढ़ंत बातें बनाने) की समस्या समाप्त नहीं हुई है। शोधकर्ताओं ने पाया कि उपयोगकर्ता जोखिम के प्रति जागरूक हैं और तथ्यों की दोबारा जाँच करके और साक्ष्य मांगकर इससे बचने के लिए सक्रिय रूप से काम कर रहे हैं। इन प्रणालियों को वास्तव में विश्वसनीय बनाने के लिए, विशेष रूप से स्वास्थ्य सेवा और शिक्षा जैसे महत्वपूर्ण क्षेत्रों में, उन्हें अपने उत्तरों के लिए स्पष्ट, सत्यापन योग्य स्रोत प्रदान करने के लिए विकसित होना चाहिए। तब तक, सटीकता की जिम्मेदारी पूरी तरह से मानव हाथों में रहती है, जिसमें एआई एक सहायक के रूप में कार्य करता है न कि अंतिम अधिकार के रूप में।