A multilingual hallucination benchmark: MultiWikiQHalluA

कल्पना कीजिए कि आपके पास एक बहुत ही स्मार्ट, बहुभाषी रोबोट है जिसे विकिपीडिया लेख पढ़ना और उन पर सवालों के जवाब देना बहुत पसंद है। आप उससे पूछते हैं, "आइसलैंड की राजधानी क्या है?" और वह जवाब देता है, "रेकजाविक।" बहुत बढ़िया! लेकिन कभी-कभी, यह रोबोट थोड़ा ज़्यादा रचनात्मक हो जाता है। यह कह सकता है, "रेकजाविकिक चंद्रमा पर स्थित है," या "राजधानी 'आइस-बर्ग' नामक शहर है।" भले ही वाक्य सुनने में सहज और आत्मविश्वास से भरा लगे, लेकिन यह पूरी तरह से मनगढ़ंत है। एआई (AI) की दुनिया में, हम इसे हैलुसिनेशन (hallucination) कहते हैं।

यह पेपर एक नए "झूठ पकड़ने वाले यंत्र" (lie detector) की तरह है, लेकिन केवल अंग्रेजी की जाँच करने के बजाय, शोधकर्ताओं ने एक ऐसा परीक्षण बनाया है जो 306 अलग-अलग भाषाओं के लिए काम करता है, जिनमें कुछ ऐसी भाषाएँ भी शामिल हैं जिन्हें कंप्यूटर बहुत कम देख पाता है (जैसे आइसलैंडिक)।

यहाँ बताया गया है कि उन्होंने इसे कैसे किया, सरल शब्दों में:

1. समस्या: "सुंदर बोलने वाला झूठा" (The "Fluent Liar")

रोबोट की ईमानदारी के अधिकांश परीक्षण केवल अंग्रेजी की जाँच करते हैं। यह एक ड्राइवर का लाइसेंस केवल एक शहर में टेस्ट करने जैसा है और यह मान लेना कि वे हर जगह सुरक्षित रूप से गाड़ी चला सकते हैं। शोधकर्ता यह जानना चाहते थे: क्या रोबोट उन भाषाओं में अधिक झूठ बोलते हैं जिन्हें वे उतनी अच्छी तरह नहीं जानते?

उन्होंने "हैलुसिनेशन" को विशेष रूप से विश्वसनीयता (faithfulness) के रूप में परिभाषित किया। इसका मतलब है: क्या रोबोट ने उस कहानी का पालन किया जो आपने उसे बताई थी?

• अच्छा रोबोट: एक बिल्ली के बारे में कहानी पढ़ता है, और फिर कहता है, "बिल्ली नारंगी है।"
• हैलुसिनेट करने वाला रोबोट: बिल्ली के बारे में कहानी पढ़ता है, और फिर कहता है, "बिल्ली वास्तव में एक ड्रैगन है।" (यह सुनने में तर्कसंगत लगता है, लेकिन यह कहानी में नहीं है)।

2. समाधान: एक "फेक न्यूज़" फैक्ट्री बनाना

अपने झूठ पकड़ने वाले यंत्र को सिखाने के लिए, शोधकर्ताओं को उदाहरणों के एक विशाल ढेर की आवश्यकता थी जहाँ रोबोट ने वास्तव में झूठ बोला हो। लेकिन वे रोबोट के स्वाभाविक रूप से झूठ बोलने का इंतज़ार नहीं करना चाहते थे; इसमें बहुत समय लगता।

इसलिए, उन्होंने एक सिंथेटिक फैक्ट्री बनाई:

• उन्होंने वास्तविक प्रश्नों और उत्तरों (MultiWikiQA) का एक विशाल डेटासेट लिया जो 306 भाषाओं में फैला हुआ था।
• उन्होंने एक सुपर-स्मार्ट एआई (GPT-5) का उपयोग करके जानबूझकर सही उत्तरों को फिर से लिखा, जिससे वे विश्वसनीय लगें लेकिन स्रोत टेक्स्ट के आधार पर तथ्यात्मक रूप से गलत हों।
• उन्होंने यह 306 भाषाओं के लिए किया, जिससे "गलत उत्तरों" का एक विशाल पुस्तकालय तैयार हुआ।
• इसके बाद उन्होंने एक छोटे, विशिष्ट एआई (एक "टोकन-लेवल क्लासिफायर") को इन झूठों को पहचानने के लिए प्रशिक्षित किया। इस क्लासिफायर को सत्य के स्पेल-चेकर (spell-checker for truth) के रूप में समझें। यह जाँचने के बजाय कि शब्द सही लिखा है या नहीं, यह जाँचता है कि वाक्य में एक विशिष्ट शब्द मूल कहानी का हिस्सा है या वह एक मनगढ़ंत आविष्कार है।

उन्होंने इन "सत्य-स्पेल-चेकर्स" को 30 यूरोपीय भाषाओं के लिए प्रशिक्षित किया और उन्हें चार भाषाओं में टेस्ट किया: अंग्रेजी, जर्मन, डेनिश और आइसलैंडिक।

3. प्रयोग: रोबोट का परीक्षण

शोधकर्ताओं ने पाँच अलग-अलग एआई मॉडल (एक बहुत छोटे से लेकर एक विशाल मॉडल तक) को लिया और उनसे उन चार भाषाओं में प्रश्न पूछने के लिए कहा। फिर, उन्होंने उत्तरों को अपने नए "सत्य-स्पेल-चेकर" के माध्यम से चलाया ताकि यह देखा जा सके कि टेक्स्ट में कितने झूठ छिपे हुए हैं।

4. परिणाम: आकार मायने रखता है, लेकिन भाषा अधिक मायने रखती है

यहाँ उन्हें कुछ सरल उपमाओं का उपयोग करते हुए क्या मिला, यह बताया गया है:

• "छोटा रोबोट" संघर्ष करता है: सबसे छोटा एआई मॉडल (Qwen3-0.6B) सबसे बुरा झूठा था। यह उस छात्र की तरह था जिसने पर्याप्त पढ़ाई नहीं की और बस अनुमान लगा रहा था। आइसलैंडिक में, इसके 60% उत्तरों में कम से कम एक झूठ था।
• "बड़े रोबोट" बेहतर हैं: बड़े, अधिक शक्तिशाली मॉडल (जैसे 70-बिलियन पैरामीटर वाले) तथ्यों पर टिके रहने में बहुत बेहतर थे। वे समूह के "ऑनर्स स्टूडेंट" (मेधावी छात्र) थे।
• "भाषा का अंतर": यह सबसे महत्वपूर्ण खोज है। रोबोट उन भाषाओं में बहुत अधिक झूठ बोलते थे जिन्हें वे कम जानते थे।
  • अंग्रेजी और जर्मन (भाषाएँ जिन्हें रोबोट बहुत अच्छी तरह जानता है): बहुत कम झूठ।
  • डेनिश और आइसलैंडिक (भाषाएँ जिन्हें वे कम जानते हैं): बहुत अधिक झूठ।
  • आइसलैंडिक सबसे कठिन था। सबसे अच्छे रोबोट भी यहाँ अंग्रेजी की तुलना में अधिक झूठ बोलते थे। यह एक शेफ को वह व्यंजन बनाने के लिए कहने जैसा है जिसे उसने पहले कभी नहीं देखा है; उसके द्वारा सामग्री का गलत अनुमान लगाने की संभावना अधिक होती है।

5. एक आश्चर्यजनक मोड़

आप सोच सकते हैं, "जितना बड़ा रोबोट होगा, उतना ही कम वह झूठ बोलेगा।" लेकिन यह इतना सरल नहीं है। कभी-कभी एक मध्यम आकार का रोबोट एक विशाल रोबोट से बेहतर होता है, भाषा के आधार पर। यह बताता है कि रोबोट को कैसे प्रशिक्षित किया गया (किन भाषाओं का उसने अध्ययन किया) यह उतना ही महत्वपूर्ण है जितना कि वह कितना बड़ा है।

6. एक पेच (The "Token" Issue)

शोधकर्ताओं ने एक तकनीकी विचित्रता भी नोट की। आइसलैंडिक जैसी भाषाओं में, कंप्यूटर शब्दों को समझने के लिए उन्हें कई छोटे टुकड़ों (टोकन) में तोड़ देता है। अंग्रेजी में, यह एक शब्द को एक टुकड़े के रूप में देख सकता है। आइसलैंडिक में, वही शब्द पाँच टुकड़ों में बँटा हो सकता है।

• उपमा: कल्पना कीजिए कि आप त्रुटियों के लिए एक वाक्य की जाँच कर रहे हैं। यदि आप शब्द-दर-शब्द जाँच करते हैं, तो आपको 1 त्रुटि मिल सकती है। यदि आप अक्षर-दर-अक्षर जाँच करते हैं, तो आपको 5 त्रुटियाँ मिल सकती हैं क्योंकि शब्द लंबा है।
• शोधकर्ताओं ने चेतावनी दी है कि आइसलैंडिक के लिए उनका "झूठ की संख्या" (lie count) अधिक दिख सकती है क्योंकि शब्दों को अधिक टुकड़ों में विभाजित किया गया है, जिससे डिटेक्टर को "झूठ" खोजने के अधिक अवसर मिलते हैं, भले ही अर्थ वही हो।

सारांश

यह पेपर एक नया, ओपन-सोर्स टूल पेश करता है जो यह पता लगा सकता है कि एआई मॉडल 306 भाषाओं में कब मनगढ़ंत बातें बना रहे हैं। उन्होंने पाया कि हालांकि बड़े मॉडल आम तौर पर अधिक ईमानदार होते हैं, लेकिन रोबोट उन भाषाओं में अधिक склон (prone) होते हैं जिनसे वे कम परिचित हैं, जैसे कि आइसलैंडिक। उन्होंने अपने "फेक न्यूज़" डेटासेट और अपने "सत्य डिटेक्टर" को किसी के भी उपयोग के लिए जारी कर दिया है।