BenHalluEval: A Multi-Task Hallucination Evaluation Framework for Large Language Models on Bengali
यह शोध पत्र BenHalluEval को प्रस्तुत करता है, जो बंगाली बड़े भाषा मॉडलों (LLMs) के लिए पहला व्यापक मतिभ्रम (hallucination) मूल्यांकन ढांचा है, जो चार कार्यों में प्रदर्शन का आकलन करने और मतिभ्रम का पता लगाने की क्षमताओं में महत्वपूर्ण विविधताओं को प्रकट करने के लिए एक दोहरी-ट्रैक प्रोटोकॉल और एक नए अंशांकन (calibration) मीट्रिक का उपयोग करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक बहुत ही बुद्धिमान, बहुभाषी रोबोट है जो बंगाली बोल सकता है। आप उससे सवाल पूछते हैं, समाचारों का सारांश बनाने के लिए कहते हैं, या गणित की समस्याएँ हल करने को कहते हैं। कभी-कभी, यह रोबोट शानदार होता है। अन्य समय में, यह आत्मविश्वास के साथ मनगढ़ंत बातें बनाता है—जैसे कि यह कहना कि एक प्रसिद्ध लेखक की माँ का नाम "कैथलीन" था, जबकि उनका असली नाम "ऐन" था। AI की दुनिया में, हम इन आत्मविश्वासपूर्ण झूठों को हैलुसिनेशन (hallucinations) कहते हैं।
अब तक, किसी ने विशेष रूप से बंगाली के लिए एक उचित "झूठ पकड़ने वाला यंत्र" (lie detector) नहीं बनाया था। इस शोध पत्र के लेखकों ने, BenHalluEval, इसे ठीक करने का निर्णय लिया। उन्होंने इसे कैसे किया, यहाँ सरल भाषा में समझाया गया है:
1. बड़ी समस्या: "खामोश झूठ" (The Silent Lie)
अधिकांश परीक्षण केवल यह जाँचते हैं कि क्या रोबोट ने सही उत्तर दिया है। लेकिन क्या होगा यदि रोबोट गलती से सही उत्तर दे देता है, या इतनी सहजता से झूठ बोलता है कि आप उसे पकड़ ही न पाएं?
- उपमा: कल्पना कीजिए कि एक छात्र परीक्षा दे रहा है। यदि आप केवल अंतिम ग्रेड की जाँच करते हैं, तो आप यह मिस कर सकते हैं कि उन्होंने आधे सवालों में नकल की थी। आपको यह जाँचने की आवश्यकता है कि उन्होंने कैसे उत्तर दिया, न कि केवल यह कि उन्होंने क्या उत्तर दिया।
2. समाधान: एक "दो-ट्रैक" परीक्षण
शोधकर्ताओं ने एक विशेष परीक्षा बनाई जिसमें दो अलग-अलग लेन (ट्रैक) थे ताकि विभिन्न प्रकार की गलतियों को पकड़ा जा सके:
- ट्रैक A (सत्य की जाँच): उन्होंने रोबोट को सही उत्तरों वाले प्रश्न दिए। वे यह देखना चाहते थे कि क्या रोबोट एक सही उत्तर को झूठा बताने के लिए गलत तरीके से आरोप लगाता है। (क्या उसने तब भेड़िया चिल्लाया जब वहाँ कोई भेड़िया था ही नहीं?)
- ट्रैक B (झूठ पकड़ने वाला यंत्र): उन्होंने रोबोट को नकली, मनगढ़ंत उत्तरों वाले प्रश्न दिए। वे यह देखना चाहते थे कि क्या रोबोट झूठ को पकड़ पाता है। (क्या उसने भेड़िये को पकड़ा?)
स्कोर (BenHalluScore):
उन्होंने BenHalluScore नामक एक नया स्कोर बनाया। इसे एक "विश्वास मीटर" (Trust Meter) की तरह समझें।
- यदि एक रोबोट हर चीज़ के लिए कहता है "हाँ, यह झूठ है!" तो वह सभी नकली उत्तरों को पकड़ लेता है लेकिन सभी वास्तविक उत्तरों पर भी गलत आरोप लगा देता है।
- यदि वह हर चीज़ के लिए कहता है "नहीं, यह ठीक है" तो वह सभी झूठों को मिस कर देता है लेकिन सत्य पर कभी आरोप नहीं लगाता।
- लक्ष्य: एक आदर्श रोबति को इतना स्मार्ट होना चाहिए कि वह सत्य पर आरोप लगाए बिना झूठ को पकड़ सके। स्कोर जितना कम होगा, रोबोट सत्य और कल्पना के बीच अंतर करने में उतना ही बेहतर होगा।
3. उन्होंने परीक्षा कैसे बनाई
उन्होंने केवल प्रश्न नहीं लिखे; उन्होंने "नकली" उत्तर बनाने के लिए एक विशाल कारखाना बनाया।
- कारखाना: उन्होंने एक अत्यंत बुद्धिमान AI (GPT-5.4) का उपयोग करके चार अलग-अलग कार्यों में 12,000 नकली उत्तर उत्पन्न किए:
- प्रश्नों के उत्तर देना: (जैसे, "मेयर कौन है?")
- कोड-मिक्स्ड प्रश्न: (बंगाली और अंग्रेजी का मिश्रण, जैसे लोग सोशल मीडिया पर टेक्स्ट करते हैं: "Kothay jabe?" बजाय "কোথায় যাবে?" के)
- सारांश बनाना: (एक लंबे लेख को छोटे पैराग्राफ में समेटना)।
- तर्क करना (Reasoning): (गणित की समस्याओं को चरण-दर-चरण हल करना)।
- झूठ के प्रकार: उन्होंने AI को विशिष्ट तरीकों से झूठ बोलने के लिए प्रेरित किया, जैसे तारीख बदलना, किसी व्यक्ति का नाम गढ़ना, या गणित गलत करना।
4. परिणाम: कौन पास हुआ?
उन्होंने 7 अलग-अलग AI रोबोटों का परीक्षण किया (कुछ बहुत बड़े और सामान्य हैं, कुछ छोटे और बंगाली में विशेषज्ञ हैं)।
- विजेता: एक छोटा, विशेष रूप से बंगाली के लिए बनाया गया रोबोट TigerLLM-9B आश्चर्यजनक रूप से अच्छा प्रदर्शन करता है, और बड़े, सामान्य रोबोटों को भी पीछे छोड़ देता है। यह एक स्थानीय गाइड की तरह है जो एक महंगे, विशाल GPS से बेहतर अपने शहर को जानता है।
- हारने वाले: कुछ बहुत प्रसिद्ध, बड़े रोबोट बुरी तरह विफल रहे। एक रोबोट (Mistral-nemo) इतना भ्रमित था कि उसने हर एक सही उत्तर पर झूठ का आरोप लगाया। दूसरा (LLaMA) इतना आलसी था कि उसने कहा कि कुछ भी झूठ नहीं है, भले ही वह स्पष्ट रूप से झूठ हो।
- स्क्रिप्ट का सरप्राइज: जब प्रश्न "बांग्लिश" (अंग्रेजी अक्षरों में लिखी गई बंगाली) में लिखे गए थे, तो कुछ रोबोटों ने मानक बंगाली लिपि की तुलना में वास्तव में बेहतर प्रदर्शन किया। यह ऐसा है जैसे कुछ रोबोट औपचारिक पत्र की तुलना में टेक्स्ट मैसेज पढ़ने में अधिक सहज महसूस करते हैं।
5. "सोचो और बोलो" (Think Aloud) का तरीका हमेशा काम नहीं आया
लोग अक्सर AI को झूठ बोलने से रोकने के लिए "चरण-दर-चरण सोचें" (Chain-of-Thought) कहते हैं। शोधकर्ताओं ने इस तरकीब को आजमाया।
- परिणाम: यह लगातार काम नहीं आया। कभी-कभी इसने मदद की, लेकिन अक्सर इसने रोबोट को बिना वास्तव में झूठ पकड़ने की क्षमता सुधारे, अपना विचार बदलने के लिए मजबूर किया। यह एक झूठे को "ज़्यादा गहराई से सोचने" के लिए कहने जैसा है—कभी-कभी वे केवल एक बेहतर झूठ गढ़ लेते हैं, सच नहीं।
मुख्य निष्कर्ष (The Bottom Line)
यह पत्र पहली बार है जब किसी ने बंगाली भाषा के लिए समर्पित "झूठ पकड़ने वाला यंत्र" बनाया है। उन्होंने पाया कि:
- आकार सब कुछ नहीं है: एक छोटा, बंगाली-केंद्रित रोबोट एक विशाल, सामान्य रोबोट की तुलना में अधिक भरोसेमंद हो सकता है।
- एकतरफा परीक्षण खतरनाक हैं: यदि आप केवल यह परीक्षण करते हैं कि क्या एक रोबोट झूठ पकड़ सकता है, तो आप यह मिस कर सकते हैं कि वह सत्य से भी नफरत करता है। आपको दोनों का परीक्षण करने की आवश्यकता है।
- कम संसाधन वाली भाषाओं को प्रेम की आवश्यकता है: सिर्फ इसलिए कि किसी भाषा के डिजिटल संसाधन कम हैं, इसका मतलब यह नहीं है कि हम उनके लिए बेहतर उपकरण नहीं बना सकते।
लेखकों ने अपने "परीक्षा प्रश्न" और "नकली उत्तर" सभी के उपयोग के लिए उपलब्ध करा दिए हैं, ताकि हम इन रोबोटों का परीक्षण और सुधार जारी रख सकें और यह सुनिश्चित कर सकें कि वे बंगाली में सच बोलें।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।