Halluverse-M^3: A multitask multilingual benchmark for hallucination in LLMs
यह शोध पत्र Halluverse-M^3 प्रस्तुत करता है, जो एक बहुभाषी और बहु-कार्य बेंचमार्क डेटासेट है जो अंग्रेजी, अरबी, हिंदी और तुर्की को कवर करता है और बड़े भाषा मॉडलों (large language models) में एंटिटी, रिलेशन और सेंटेंस-लेवल के मतिभ्रम (hallucinations) के बीच व्यवस्थित रूप से मूल्यांकन और अंतर करता है, जो भाषाओं और कार्यों के बीच महत्वपूर्ण प्रदर्शन अंतराल को प्रकट करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास बहुत बुद्धिमान, सुशिक्षित रोबोटों (लार्ज लैंग्वेज मॉडल्स) का एक समूह है जो कई अलग-अलग भाषाओं में कहानियाँ लिख सकते हैं, सवालों के जवाब दे सकते हैं और बातचीत का सारांश बना सकते हैं। ये रोबोट अद्भुत हैं, लेकिन उनकी एक अजीब आदत है: कभी-कभी वे आत्मविश्वास के साथ मनगढ़ंत बातें बना लेते हैं। वे एक नकली व्यक्ति का आविष्कार कर सकते हैं, यह गड़बड़ कर सकते हैं कि किसने क्या किया, या एक पूरी नई घटना जोड़ सकते हैं जो कभी हुई ही नहीं थी। तकनीकी दुनिया में, हम इसे "हैलुसिनेशन" (hallucination) कहते हैं।
यह शोध पत्र आपको एक नए टूल से परिचित कराता है जिसे HalluVerse-M3 कहा जाता है। इस टूल को एक विशाल, बहुभाषी "अंतर पहचानो" (spot the difference) खेल के रूप में समझें, जिसे विशेष रूप से यह परीक्षण करने के लिए डिज़ाइन किया गया है कि ये रोबोट अपने ही झूठ को पकड़ने में कितने अच्छे हैं।
यहाँ एक सरल उपमाओं का उपयोग करके बताया गया है कि शोधकर्ताओं ने क्या किया और क्या पाया:
1. समस्या: "आत्मविश्वासी झूठा" (The Confident Liar)
पहले, शोधकर्ता मुख्य रूप से इन रोबोटों का परीक्षण अंग्रेजी में करते थे और उनसे केवल सरल हाँ/ना वाले सवाल पूछते थे या केवल यह देखते थे कि क्या कोई पूरी कहानी सच है या झूठ। यह एक शेफ का परीक्षण करने जैसा था कि वह प्याज कितनी अच्छी तरह काट सकता है, लेकिन उससे कभी केक बनाने के लिए नहीं पूछा गया। हमें यह नहीं पता था कि क्या वे जटिल कार्यों को संभाल सकते हैं या क्या वे अरबी, हिंदी या तुर्की जैसी अन्य भाषाओं में अलग तरह से झूठ बोलते हैं।
2. समाधान: HalluVerse-M3 (द "लाई डिटेक्टर" डेटासेट)
लेखकों ने इसे ठीक करने के लिए एक विशाल डेटासेट (परीक्षण मामलों का एक संग्रह) बनाया।
- चार भाषाएँ: उन्होंने अंग्रेजी, अरबी, हिंदी और तुर्की में इन रोबोटों का परीक्षण किया।
- दो कार्य: उन्होंने केवल सवाल नहीं पूछे; उन्होंने रोबोटों से लंबी बातचीत का सारांश भी बनाने को कहा (जैसे किसी मीटिंग के नोट्स लेना)।
- तीन प्रकार के झूठ: उन्होंने केवल यह नहीं कहा कि "यह एक झूठ है।" उन्होंने झूठों को तीन विशिष्ट श्रेणियों में विभाजित किया:
- गलत नाम (Entity): रोबोट कहता है "एलन मस्क ने ट्विटर खरीदा" जबकि वास्तव में वह "जैक डॉर्सी" था। (व्यक्ति गलत है)।
- गलत संबंध (Relation): रोबोट कहता है "एलन मस्क ने ट्विटर बनाया" जबकि वास्तव में उन्होंने इसे खरीदा था। (क्रिया गलत है)।
- बनाई गई कहानी (Sentence): रोबोट एलन मस्क के नोबेल पुरस्कार जीतने के बारे में एक पूरा नया पैराग्राफ जोड़ देता है, जो कभी हुआ ही नहीं। (पूरी अवधारणा फर्जी है)।
इसे कैसे बनाया गया: उन्होंने वास्तविक, सत्य उत्तर लिए और एक कंप्यूटर का उपयोग करके सावधानीपूर्वक एक नाम बदला, एक क्रिया बदली, या एक फर्जी वाक्य जोड़ा। फिर, वास्तविक मानव विशेषज्ञों ने काम की जाँच की ताकि यह सुनिश्चित हो सके कि "झूठ" स्पष्ट है और "सत्य" ठोस है।
3. परीक्षण: रोबोटों को काम पर लगाना
शोधकर्ताओं ने उपलब्ध सबसे स्मार्ट रोबोटों (दोनों मुफ्त, ओपन-सोर्स और GPT-4 जैसे महंगे, निजी मॉडल) को लिया और उन्हें टेक्स्ट का एक जोड़ा देखने के लिए कहा: मूल सत्य और "हैलुसिनेटेड" (मनगढ़ंत) संस्करण। रोबोटों को यह पहचानना था कि: "यह किस प्रकार का झूठ है?"
4. परिणाम: रोबोटों ने क्या सही (और गलत) किया
परिणाम एक रिपोर्ट कार्ड की तरह थे:
- सबसे आसान कार्य: प्रश्नोत्तर (Question Answering)। जब रोबोट केवल एक विशिष्ट प्रश्न का उत्तर दे रहे थे, तो वे झूठ पकड़ने में काफी अच्छे थे। यह एक छोटे टेक्स्ट मैसेज में टाइपो (लिखने की गलती) खोजने जैसा है।
- सबसे कठिन कार्य: बातचीत का सारांश बनाना (Summarizing Conversations)। जब रोबोटों को एक लंबी बातचीत का सारांश बनाना था, तो उन्हें बहुत अधिक संघर्ष करना पड़ा। यह एक जटिल सूप में एक गलत सामग्री को खोजने की कोशिश करने जैसा है; झूठ लंबे वाक्यों के बीच में छिप जाते हैं।
- सबसे कठिन झूठ: वाक्य-स्तर के हैलुसिनेशन (Sentence-Level Hallucinations)। सबसे स्मार्ट रोबोटों को भी तब परेशानी हुई जब एक पूरी नई, फर्जी कहानी जोड़ी गई। वे एक गलत नाम को आसानी से पकड़ सकते थे, लेकिन एक ऐसी घटना का आविष्कार करना जो सुनने में तर्कसंगत लगे, उनके लिए पकड़ना बहुत कठिन था।
- भाषा का अंतर (The Language Gap): रोबोट अंग्रेजी (उनकी "मूल" भाषा) में सबसे अच्छे थे। जैसे-जैसे भाषाएँ कठिन हुईं या उनके पास प्रशिक्षण संसाधन कम हुए, वे खराब होते गए। हिंदी उनके लिए सबसे कठिन थी; उन्होंने हिंदी में झूठ पकड़ने में सबसे अधिक गलतियाँ कीं।
- ओपन बनाम क्लोज्ड: सुपर-महंगे, निजी रोबेंट (जैसे GPT-4) आमतौर पर मुफ्त, ओपन-सोर्स वाले रोबोटों की तुलना में बेहतर प्रदर्शन करते थे, लेकिन सरल प्रश्नों पर यह अंतर बहुत बड़ा नहीं था। हालाँकि, सारांश बनाने के मामले में, महंगे रोबोट काफी आगे निकल गए।
5. यह क्यों महत्वपूर्ण है
शोध पत्र निष्कर्ष निकालता है कि हालांकि ये रोबोट स्मार्ट हो रहे हैं, लेकिन वे अभी भी अपनी सूक्ष्म गलतियों को पकड़ने में पूर्ण नहीं हैं, विशेष रूप से जब वे जटिल जानकारी का सारांश बना रहे हों या गैर-अंग्रेजी भाषा बोल रहे हों।
HalluVerse-M3 अब एक सार्वजनिक टूल है जिसे अन्य शोधकर्ता बेहतर "झूठ पकड़ने वाले यंत्र" (lie detectors) बनाने के लिए उपयोग कर सकते हैं। यह इन रोबोटों के लिए एक वास्तविक, चुनौतीपूर्ण जिम है जहाँ वे प्रशिक्षित होकर झूठ बोलना बंद कर सकते हैं, जिससे यह सुनिश्चित हो सके कि जब वे हमसे बात करें, तो वे सच बोल रहे हों।
संक्षेप में: लेखकों ने एक बहुभाषी "नकली पहचानो" खेल बनाया है ताकि यह दिखाया जा सके कि AI सरल त्रुटियों को पकड़ने में तो अच्छा है लेकिन जटिल झूठ, विशेष रूप से सारांश और गैर-अंग्रेजी भाषाओं में, पकड़ने में संघर्ष करता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।