FFE-Hallu:Hallucinations in Fixed Figurative Expressions:Benchmark of Idioms and Proverbs in the Persian Language
यह शोध पत्र FFE-Hallu प्रस्तुत करता है, जो फारसी भाषा के भीतर निश्चित लाक्षणिक अभिव्यक्तियों में मतिभ्रम (hallucinations) का मूल्यांकन करने के लिए पहला बेंचमार्क है, जो यह प्रकट करता है कि वर्तमान बड़े भाषा मॉडल सांस्कृतिक आधार (cultural grounding) के साथ संघर्ष करते हैं और अक्सर निर्मित मुहावरों और लोकोक्तियों को उत्पन्न करते हैं या उन्हें पहचानने में विफल रहते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट को मानव भाषा बोलना सिखा रहे हैं। आपको लग सकता है कि यदि रोबोट "kick" और "bucket" जैसे शब्दों की शब्दकोश परिभाषाओं को जानता है, तो वह वाक्यांश "kick the bucket" को समझ सकता है। लेकिन वास्तव में, यह वाक्यांश शाब्दिक रूप से एक बाल्टी को लात मारने का अर्थ नहीं है; यह "मरने" के लिए एक निश्चित, सांस्कृतिक कोड है।
यह शोध पत्र, FFE-HALLU, AI के लिए एक विशेष "झूठ पकड़ने वाले टेस्ट" की तरह है, जिसे यह देखने के लिए डिज़ाइन किया गया है कि क्या ये रोबोट वास्तव में अपने स्वयं के सांस्कृतिक कोड बना रहे हैं या वे वास्तव में वास्तविक कोड को समझते हैं।
यहाँ इसका विवरण दिया गया है कि शोधकर्ताओं ने सरल उपमाओं का उपयोग करते हुए क्या किया:
1. समस्या: "नकली मुहावरे" का जाल (The "Fake Idiom" Trap)
लार्ज लैंग्वेज मॉडल्स (LLMs) ऐसे वाक्य लिखने में बहुत अच्छे होते हैं जो सुनने में सही लगते हैं। लेकिन जब बात फिक्स्ड फिगुरेटिव एक्सप्रेशंस (FFEs) की आती है—जैसे मुहावरे ("break a leg") और लोकोक्तियाँ ("a stitch in a time")—तो वे अक्सर भ्रमित हो जाते हैं।
शोधकर्ता एक विशिष्ट प्रकार की त्रुटि को परिभाषित करते हैं जिसे फिगुरेटिव हैलुसिनेशन (Figurative Hallucination) कहा जाता है।
- उपमा: कल्पना कीजिए कि एक रोबोट चुटकुला सुनाने की कोशिश कर रहा है। वह कहता है, "क्यों डरावना पुतला (scarecrow) पुरस्कार जीता? क्योंकि वह अपने खेत में 'आउटस्टैंडिंग' (outstanding in his field) था!" यह एक असली चुटकुला है।
- हैलुसिनेशन: रोबोट फिर कहता है, "क्यों टोस्टर ने पुरस्कार जीता? क्योंकि वह अपने खेत में 'क्रिस्पी' (crispy in his field) था!"
- यह एक चुटकुला लगता है। यह व्याकरण के नियमों का पालन करता है। लेकिन यह नकली है। यह मानव संस्कृति में अस्तित्व में नहीं है।
- खतरा यह है कि यदि कोई गैर-देशी वक्ता इसे सुनता है, तो वह सोच सकता है, "ओह, यह एक वास्तविक फारसी कहावत है!" और इसका उपयोग करके मूर्ख दिख सकता है या गलत जानकारी फैला सकता है।
2. समाधान: "FFE-HALLU" परीक्षा
लेखकों ने फारसी भाषा (Persian language) के लिए विशेष रूप से FFE-HALLU नामक एक परीक्षण बनाया। उन्होंने AI के सांस्कृतिक कौशल का परीक्षण करने के लिए 600 अभ्यासों वाला एक "जिम" बनाया। इस परीक्षण के तीन मुख्य स्टेशन हैं:
स्टेशन 1: "अर्थ-से-वाक्यांश" चुनौती (The "Meaning-to-Phrase" Challenge)
- कार्य: AI को एक परिभाषा दी जाती है (जैसे, "एक गलती पर पछताना और दोबारा न करने का वादा करना") और उससे वास्तविक फारसी मुहावरा बोलने को कहा जाता है।
- जाल: वास्तविक मुहावरे को बोलने के बजाय, AI एक नकली मुहावरा बना सकता है जो विश्वसनीय लगता है लेकिन कभी भी किसी इंसान द्वारा उपयोग नहीं किया गया है।
- परिणाम: कुछ शीर्ष मॉडल्स (जैसे GPT-4.1) लगभग 60% सही थे। अन्य (जैसे Qwen) बहुत खराब थे, जो लगभग 70% मामलों में नकली मुहावरे बना रहे थे।
स्टेशन 2: "असली या नकली?" जासूसी खेल (The "Fake or Real?" Detective Game)
- कार्य: AI को एक वाक्यांश दिखाया जाता है और पूछा जाता है, "क्या यह एक वास्तविक फारसी मुहावरा है?"
- जाल: शोधकर्ताओं ने 200 "नकली" मुहावरे बनाए जो बिल्कुल असली जैसे दिखते और सुनाई देते हैं (जैसे, एक वास्तविक वाक्यांश में एक शब्द को बदलना या अर्थ को मोड़ देना)।
- परिणाम: यह सबसे कठिन हिस्सा था। स्मार्ट मॉडल भी भ्रमित हो गए। जब उनसे पूछा गया "क्या यह नकली है?", तो कई मॉडल्स ने "नहीं" कहा (यह सोचकर कि यह असली है) जबकि वह वास्तव में एक झूठ था। यह एक सुरक्षा गार्ड की तरह है जो एक बेहतरीन नकली आईडी को असली समझ लेता है क्योंकि वह बहुत अच्छी दिखती है।
स्टेशन 3: "अनुवादक" परीक्षण (The "Translator" Test)
- कार्य: AI को एक अंग्रेजी मुहावरा दिया जाता है (जैसे, "It's raining cats and dogs") और उसे समतुल्य फारसी मुहावरा खोजना होता है, न कि शब्द-दर-शब्द अनुवाद।
- जाल: यदि AI इसका शाब्दिक अनुवाद करता है ("यह बिल्ली और कुत्तों की बारिश है"), तो यह एक हैलुसिनेशन है क्योंकि फारसी बोलने वाले इस तरह से बात नहीं करते हैं।
- परिणाम: अधिकांश मॉडल्स सांस्कृतिक समकक्ष खोजने में संघर्ष करते रहे, अक्सर नए वाक्यांशों का आविष्कार करते हैं या बहुत अधिक शाब्दिक अनुवाद करते हैं।
3. निष्कर्ष: कौन पास हुआ और कौन फेल?
शोधकर्ताओं ने छह अलग-अलग AI मॉडल्स का परीक्षण किया:
- शीर्ष प्रदर्शन करने वाले: GPT-4.1 और Claude 3.7 सबसे अच्छे थे। वे आमतौर पर वास्तविक मुहावरे खोज सकते थे और नकली को खारिज कर सकते थे, हालांकि वे अभी भी कुछ गलतियाँ करते थे।
- संघर्ष करने वाले: DeepSeek, Gemma, और Qwen जैसे मॉडल्स अक्सर विफल रहे। वे "ओवर-जेनरेट" करने की प्रवृत्ति रखते थे, जिसका अर्थ है कि वे आत्मविश्वास के साथ ऐसे नकली मुहावरे बनाते थे जो बहुत वास्तविक लगते थे लेकिन पूरी तरह से मनगढ़ंत थे।
- "हाँ-में-हाँ मिलाने वाला" (Yes-Man) समस्या: कुछ मॉडल्स इतने उत्सुक थे कि जब उनसे पूछा गया "क्या यह नकली है?", तो वे "नहीं" कह देते थे (जिसका अर्थ है "हाँ, यह असली है") भले ही वह पूरी तरह से एक रचना हो।
4. "जज" की समस्या (The "Judge" Problem)
शोध पत्र ने यह भी पूछा: क्या एक AI दूसरे AI के काम का न्याय कर सकता है?
उन्होंने एक AI का उपयोग दूसरे AI के उत्तरों को ग्रेड करने के लिए किया।
- उपमा: यह एक छात्र से दूसरे छात्र के निबंध को ग्रेड करने के लिए कहने जैसा है।
- परिणाम: यह आसान सवालों के लिए ठीक काम करता था, लेकिन जब सूक्ष्म "नकली मुहावरों" को पहचानने की बात आई, तो AI जज अक्सर चूक गए। वे "गलत उत्तर" और "बनाए गए (मनगढ़ंत) उत्तर" के बीच अंतर नहीं कर सके। शोधकर्ताओं ने पाया कि मानव विशेषज्ञ (मूल निवासी फारसी भाषी) ही एकमात्र थे जो इन सूक्ष्म झूठों को विश्वसनीय रूप से पकड़ सकते थे।
सारांश
यह शोध पत्र AI के लिए एक चेतावनी लेबल है। यह दिखाता है कि हालांकि AI धाराप्रवाह वाक्य लिख सकता है, लेकिन इसमें अक्सर सांस्कृतिक आधार (cultural grounding) की कमी होती है। यह ऐसा दिखा सकता है जैसे कि वह किसी संस्कृति के मुहावरों को जानता है, लेकिन वास्तव में वह केवल मौके पर उन्हें बना रहा होता है।
शोधकर्ताओं ने यह साबित करने के लिए एक परीक्षण बनाया, जिससे पता चला कि सबसे स्मार्ट AI मॉडल भी "फिगुरेटिव हैलुसिनेशन" के प्रति प्रवृत्त हैं—यानी सांस्कृतिक झूठ बोलना जो सच की तरह लगते हैं। जब तक AI वास्तविक सांस्कृतिक कहावत और एक विश्वसनीय नकली के बीच अंतर करना नहीं सीख जाता, हम सांस्कृतिक समझ की आवश्यकता वाले कार्यों के लिए पूरी तरह से उन पर भरोसा नहीं कर सकते।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।