कल्पना कीजिए कि आप अंतरिक्ष यात्रा के इतिहास पर एक स्कूल रिपोर्ट लिख रहे हैं। आप स्मार्ट दिखने के लिए नीचे स्रोतों की एक सूची जोड़ना चाहते हैं। लेकिन क्या होगा अगर उनमें से कुछ स्रोत बनावटी हों? क्या होगा अगर किताब का शीर्षक असली लगे, लेखक का नाम किसी प्रसिद्ध वैज्ञानिक का हो, और प्रकाशक एक वास्तविक स्थान हो, लेकिन वह किताब कभी अस्तित्व में ही न रही हो? इसे "हलुसिनेशन" (hallucination) या भ्रम कहा जाता है। आर्टिफिशियल इंटेलिजेंस (AI) की दुनिया में, लार्ज लैंग्वेज मॉडल्स (LLMs) उन बहुत बुद्धिमान छात्रों की तरह हैं जो तुरंत निबंध और सारांश लिख सकते हैं। हालाँकि, वे कभी-कभी इतने आत्मविश्वासी हो जाते हैं कि अच्छा दिखने के लिए फर्जी संदर्भ (references) गढ़ लेते हैं। यह विज्ञान के लिए एक बड़ी समस्या है क्योंकि यदि शोधकर्ता इन फर्जी उद्धरणों का उपयोग करते हैं, तो ज्ञान की पूरी श्रृंखला टूट जाती है। इसे ठीक करने के लिए, वैज्ञानिक "साइटेशन वेरीफायर" (citation verifiers) बना रहे हैं—ऐसे डिजिटल उपकरण जिन्हें यह जांचने के लिए डिज़ाइन किया गया है कि कोई संदर्भ वास्तविक है या झूठ। लेकिन अब तक, यह परीक्षण करने का कोई निष्पक्ष तरीका नहीं था कि कौन सा टूल सबसे अच्छा जासूस है, क्योंकि हर कोई अपने टूल्स को अलग-अलग, अव्यवस्थित नकली कागजातों पर टेस्ट कर रहा था।

यहाँ HALLMARK आता है, एक नया अध्ययन जो इन साइटेशन-चेकिंग टूल्स के लिए एक विशाल, व्यवस्थित "परीक्षा" की तरह कार्य करता है। शोधकर्ताओं ने 2,526 फर्जी और वास्तविक संदर्भों का एक विशाल टेस्ट बैंक बनाया, जिसमें स्पष्ट झूठ (जैसे कि वर्ष 3000 में प्रकाशित एक पुस्तक) से लेकर चालाकी भरे धोखे (जैसे कि एक वास्तविक लेखक को फर्जी शीर्षक के साथ जोड़ना) तक शामिल हैं। इसके बाद उन्होंने 13 अलग-अलग टूल्स की परीक्षा ली, जिनमें साधारण डेटाबेस चेकर्स से लेकर उन्नत AI मॉडल शामिल थे। अध्ययन ने एक आश्चर्यजनक सत्य का पता लगाया: एक साइटेशन चेकर के लिए सबसे महत्वपूर्ण बात यह नहीं है कि वह कितने झूठ पकड़ता है, बल्कि यह है कि वह कितनी बार एक वास्तविक पेपर को झूठ होने का झूठा आरोप लगा देता है। यदि कोई टूल बहुत अधिक आक्रामक है, तो वह इतने अधिक वास्तविक पेपर्स को फर्जी घोषित कर देता है कि कोई भी उसकी चेतावनियों पर भरोसा नहीं कर पाता। शोध पत्र ने यह भी पाया कि अधिकांश AI टूल्स अपने "ट्रेनिंग कटऑफ" (वह तारीख जब उनका ज्ञान समाप्त होता है) के बाद प्रकाशित पेपर्स द्वारा भ्रमित हो जाते हैं, और अक्सर नए, वास्तविक पेपर्स को फर्जी मान लेते हैं क्योंकि वे उन्हें पहचान नहीं पाते। जबकि बेहतरीन टूल्स फर्जी को पकड़ सकते हैं, अध्ययन बताता है कि असली चुनौती एक ऐसे संतुलन को खोजने में है जहाँ टूल इतना स्मार्ट हो कि वह झूठ को पकड़ सके, लेकिन वह हर उस चीज़ पर "फेक!" चिल्लाना शुरू न कर दे जिसे वह नहीं जानता।

बड़ी समस्या: "नकली संदर्भ" की महामारी

कल्पना कीजिए कि आप एक लाइब्रेरियन हैं। कोई आपको किताबों का एक ढेर थमाता है और कहता है, "ये मेरे शोध के स्रोत हैं।" आप पहले एक की जाँच करते हैं, और वह बिल्कुल सही दिखता है। आप दूसरे की जाँच करते हैं, और वह भी बहुत अच्छा है। लेकिन फिर आपको एहसास होता है कि तीसरा किताब लाइब्रेरी में मौजूद ही नहीं है, और चौथा तो अगले साल प्रकाशित होने वाला है। AI मॉडल जब टेक्स्ट जनरेट करते हैं, तो ठीक यही होता है। वे इतने आत्मविश्वासी दिखने में माहिर होते हैं कि वे कभी-कभी ऐसे संदर्भ गढ़ देते हैं जो वास्तविक लगते हैं लेकिन पूरी तरह से मनगढ़ंत होते हैं। इसे साइटेशन हलुसिनेशन (citation hallucination) कहा जाता है।

अतीत में, इंसान इन संदर्भों की जाँच करते थे। लेकिन अब, जब AI इतना कुछ लिख रहा है, हमें इसकी जाँच करने के लिए स्वचालित उपकरणों की आवश्यकता है। समस्या यह है कि हर टूल दावा करता है कि वह सबसे अच्छा है, लेकिन वे सभी अलग-अलग चीजों पर टेस्ट किए जाते हैं। यह तीन अलग-अलग घरों में अलग-अलग तरह के धुएं के साथ तीन अलग-अलग फायर अलार्मों के परीक्षण जैसा है; आप तब तक यह नहीं जान सकते कि कौन सा अलार्म वास्तव में सबसे अच्छा है जब तक कि आप उन सभी को एक ही इमारत में एक ही धुएं के साथ टेस्ट न करें।

समाधान: HALLMARK (महान साइटेशन परीक्षा)

इस शोध पत्र के लेखकों ने HALLMARK बनाया, जिसका अर्थ है "हलुसिनेशन बेंचमार्क" (Hallucination benchmark)। इसे एक विशाल, मानकीकृत परीक्षा की तरह समझें। उन्होंने टूल्स पर केवल रैंडम फर्जी पेपर नहीं फेंके; उन्होंने कठिनाई के तीन स्तरों के साथ एक संरचित परीक्षा बनाई:

1. टियर 1 (आसान): ये स्पष्ट झूठ हैं। जैसे कि एक DOI (एक पेपर के लिए डिजिटल आईडी) जो काम नहीं करता, या एक कॉन्फ्रेंस का नाम जो बनावटी था। एक साधारण खोज इन्हें पकड़ लेनी चाहिए।
2. टियर 2 (मध्यम): ये अधिक चालाकी भरे हैं। कल्पना कीजिए कि एक वास्तविक लेखक और एक वास्तविक कॉन्फ्रेंस है, लेकिन पेपर का शीर्षक फर्जी है। या एक वास्तविक पेपर को गलत कॉन्फ्रेंस में उद्धृत किया गया है। इन्हें पकड़ने के लिए आपको विवरणों की क्रॉस-चेकिंग करनी होगी।
3. टियर 3 (कठिन): ये झूठ के "मास्टरपीस" हैं। पेपर पूरी तरह से मनगढ़ंत है लेकिन इतना वास्तविक लगता है कि एक इंसान भी इस पर विश्वास कर सकता है। या शीर्षक एक वास्तविक पेपर से केवल एक शब्द अलग है (जैसे, "Attention is All You Need" बनाम "Attention is All You Want")।

टेस्ट बैंक में 2,526 प्रविष्टियाँ हैं। कुछ वास्तविक पेपर्स हैं जिन्हें डेटाबेस से निकाला गया है, और अन्य फर्जी हैं जिन्हें इंसानों द्वारा, AI द्वारा, या वास्तविक पेपर्स को व्यवस्थित रूप से बदलकर बनाया गया है। महत्वपूर्ण रूप से, उन्होंने यह सुनिश्चित किया कि "फर्जी" पेपर उन AI टूल्स के ट्रेनिंग डेटा में न हों जिनका वे परीक्षण कर रहे हैं, ताकि टूल्स केवल "उत्तर याद" न कर सकें।

तीन बड़ी खोजें

शोधकर्ताओं ने सरल डेटाबेस लुकअप से लेकर इंटरनेट खोजने वाले उन्नत AI एजेंटों तक 13 अलग-अलग टूल्स का परीक्षण किया। यहाँ उन्हें क्या मिला:

1. "फॉल्स अलार्म" का जाल

सबसे बड़ा आश्चर्य यह था कि फॉल्स पॉजिटिव रेट (FPR) सबसे महत्वपूर्ण संख्या है, न कि वह संख्या जितने झूठ टूल पकड़ता है (Recall)।

• उपमा: कल्पना कीजिए कि एक कॉन्सर्ट में एक सुरक्षा गार्ड है। यदि गार्ड टिकट चेक करने के लिए 100 लोगों को रोकता है, और उनमें से 99 वास्तव में वैध टिकट वाले प्रशंसक हैं, तो गार्ड बेकार है, भले ही उसने एक ऐसे व्यक्ति को पकड़ा हो जिसके पास टिकट नहीं था।
• निष्कर्ष: कुछ टूल्स उस अति-उत्साही गार्ड की तरह थे। उन्होंने लगभग सभी फर्जी पेपर्स को पकड़ लिया (उच्च रिकॉल), लेकिन उन्होंने इतने अधिक वास्तविक पेपर्स को भी फर्जी घोषित कर दिया (उच्च फॉल्स पॉजिटिव) कि परिणाम बेकार हो गए। अध्ययन में पाया गया कि फर्जी पेपर्स की एक वास्तविक दर (लगभग 2%) पर, एक ऐसा टूल जिसका फॉल्स-पॉजिटिव रेट अधिक है, वह हर 36 बार अलार्म बजाने पर 35 बार गलत होगा। सबसे अच्छे टूल्स वे थे जो सावधान थे और केवल उन्हीं चीजों को फ्लैग करते थे जिनके बारे में वे सुनिश्चित थे कि वे गलत हैं, भले ही वे कुछ झूठ पकड़ने से चूक जाते।

2. "एजेंट" का विरोधाभास (The Agent Paradox)

शोधकर्ताओं ने AI टूल्स को सर्च इंजन और डेटाबेस का उपयोग करके संदर्भों की जाँच करने की अनुमति देकर उन्हें "सुपरपावर" देने की कोशिश की (जिसे "एजेंटिक लुकाप्स" कहा जाता है)।

• निष्कर्ष: आप सोच सकते हैं कि टूल को अधिक जानकारी देने से वह अधिक स्मार्ट हो जाएगा। लेकिन अक्सर, इसने उन्हें सटीक होने में और भी खराब बना दिया। जब AI को कई डेटाबेस खोजने के लिए कहा गया, तो इसने एक पेपर को फर्जी घोषित करना शुरू कर दिया यदि किसी भी एक डेटाबेस में वह नहीं मिला। चूंकि वास्तविक पेपर्स हर डेटाबेस में नहीं होते, इसलिए AI ने वास्तविक पेपर्स को फर्जी घोषित करना शुरू कर दिया। यह एक ऐसे जासूस की तरह था जो किसी को सिर्फ इसलिए गिरफ्तार कर लेता है क्योंकि एक गवाह ने उसे नहीं पहचाना, जबकि अन्य गवाहों ने उसकी बेगुनाही की बात कही थी। अध्ययन ने दिखाया कि इन "एजेंटिक" टूल्स ने अपने स्वयं के ज्ञान का उपयोग करने की तुलना में अपने फॉल्स अलार्म को लगभग 5 गुना बढ़ा दिया।

3. "ट्रेनिंग कटऑफ" की अंधापन

AI मॉडल एक निश्चित तारीख (उनके कटऑफ) तक के डेटा पर प्रशिक्षित होते हैं। वे उन चीजों के बारे में नहीं जानते जो उस तारीख के बाद हुई हैं।

• निष्कर्ष: जब शोधकर्ताओं ने टूल्स का परीक्षण 2024 और 2025 में प्रकाशित पेपर्स पर किया (अधिकांश मॉडल्स के ट्रेनिंग कटऑफ के बाद), तो टूल्स पागल हो गए। उन्होंने लगभग हर नए पेपर को फर्जी घोषित करना शुरू कर दिया क्योंकि वे लेखकों या प्रकाशन स्थलों को नहीं पहचानते थे। यह एक ऐसे लाइब्रेरियन की तरह था जो केवल 2020 से पहले प्रकाशित पुस्तकों को जानता है और अचानक किसी भी नई पुस्तक के अस्तित्व को मानने से इनकार कर देता है। केवल नवीनतम मॉडल्स (जिनका ट्रेनिंग डेटा सबसे हालिया है) ही शांत रहने और नए पेपर्स को ओवर-फ्लैग न करने में सफल रहे।

भविष्य के लिए इसका क्या अर्थ है

शोध पत्र निष्कर्ष निकालता है कि कोई एक "परफेक्ट" टूल नहीं है। सही टूल स्थिति पर निर्भर करता है:

• त्वरित जाँच के लिए: एक सरल, नियम-आधारित टूल (जैसे कि लेखकों द्वारा बनाया गया bibtex-updater) बहुत अच्छा है क्योंकि यह शायद ही कभी गलत चेतावनी देता है, भले ही यह कुछ जटिल झूठ पकड़ने में चूक जाए।
• गहन विश्लेषण के लिए: यदि आपको हर एक झूठ को पकड़ने की आवश्यकता है और आप बाद में फॉल्स अलार्म की समीक्षा करने के लिए मानव संसाधन का खर्च उठा सकते हैं, तो एक अधिक आक्रामक AI टूल बेहतर हो सकता है।

अध्ययन इस बात पर जोर देता है कि विज्ञान में विश्वास इस बात पर निर्भर करता है कि ये टूल्स न केवल झूठ पकड़ें, बल्कि सच्चाई के बारे में झूठ भी न बोलें। यदि कोई टूल बहुत अधिक वास्तविक पेपर्स को फर्जी घोषित करता है, तो शोधकर्ता उसके निर्देशों का पालन करना बंद कर देंगे, और फर्जी पेपर निकल जाएंगे। लेखक सुझाव देते हैं कि भविष्य के साइटेशन चेकिंग टूल्स के लिए चुनौती यह है कि वे सावधान, कैलिब्रेटेड और अपनी सीमाओं के प्रति जागरूक हों, न कि केवल शोर मचाने वाले और आक्रामक।

संक्षेप में, HALLMARK ने केवल विजेता नहीं खोजा; इसने हमें न्यायाधीशों को कैसे परखना है, यह सिखाया। इसने हमें दिखाया कि फर्जी संदर्भों की लड़ाई में, सावधानी बरतना अक्सर तेज़ होने से अधिक महत्वपूर्ण है, और कभी-कभी, यह जानना कि आप क्या नहीं जानते, सबसे शक्तिशाली उपकरण होता है।