Unmasking the Factual-Conceptual Gap in Persian Language Models
यह शोधपत्र DivanBench को प्रस्तुत करता है, जो फारसी भाषा के मॉडलों के लिए एक नैदानिक बेंचमार्क है जो सांस्कृतिक तथ्यों को पुनः प्राप्त करने और अंतर्निहित सामाजिक मानदंडों के बारे में तर्क करने के बीच एक महत्वपूर्ण अंतर को प्रकट करता है, यह प्रदर्शित करते हुए कि वर्तमान मॉडल 'एक्वीसेन्स बायस' (स्वीकृति पूर्वाग्रह) से ग्रस्त हैं और निरंतर प्रीट्रेनिंग के बावजूद सांस्कृतिक स्कीमा को आत्मसात करने में विफल रहते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट को मानवीय संस्कृति समझना सिखा रहे हैं। आप उसे अरबों फारसी (Persian) किताबों, लेखों और कहानियों से भरी एक लाइब्रेरी देते हैं। आप रोबोट से पूछते हैं: "क्या तुम समझते हो कि ईरानी व्यवहार कैसे करते हैं?"
रोबोट कहता है, "हाँ! मैं सभी शब्दों को जानता हूँ। मैं जानता हूँ कि जब भोजन पेश किया जाता है, तो ईरानी 'ताआरुफ़' (विनम्रता से मना करना) करते हैं। मैं जानता हूँ कि वे बुरी किस्मत को दूर करने के लिए 'एस्फंद' (Esfand) के बीजों को जलाते हैं।"
लेकिन फिर, आप रोब tersebut रोबोट को एक वास्तविक जीवन की स्थिति में डालते हैं। आप एक अतिथि को भोजन पेश करते हैं, और वे मना कर देते हैं। आप फिर से पेश करते हैं, वे मना कर देते हैं। आप तीसरी बार पेश करते हैं, और वे अंततः स्वीकार कर लेते हैं। हालाँकि, रोबोट भ्रमित हो जाता है। वह सोचता है, "ठहरिए, पहली बार जब उन्होंने मना किया, तो वह एक उल्लंघन था! उन्हें तुरंत स्वीकार कर लेना चाहिए था!" या, वह एक ऐसे अतिथि को देखता है जो मना नहीं करता है और सोचता है, "यह पूरी तरह से सामान्य है!"
यह बिल्कुल वही है जिसके बारे में शोध पत्र "Unmasking the Factual-Conceptual Gap in Persian Language Models" है। शोधकर्ताओं ने DIVANBENCH (एक पारंपरिक फारसी छोटी मेज का नाम) नामक एक परीक्षण बनाया ताकि यह देखा जा सके कि क्या AI मॉडल वास्तव में फारसी संस्कृति को समझते हैं या वे केवल इसकी नकल (parroting) कर रहे हैं।
यहाँ उनके निष्कर्षों का सरल उपमाओं (analogies) का उपयोग करके विवरण दिया गया है:
1. "हाँ में हाँ मिलाने वाला" समस्या (Acquiescence Bias)
उपमा: कल्पना कीजिए कि एक छात्र परीक्षा दे रहा है। जब शिक्षक पूछता है, "क्या यह विनम्र है कि जब कोई बुजुर्ग प्रवेश करे तो खड़ा होना चाहिए?" तो छात्र सही उत्तर देता है "हाँ!" लेकिन जब शिक्षक पूछता है, "क्या यह विनम्र है कि बुजुर्ग को अनदेखा करके बैठे रहना?" तो छात्र फिर भी "हाँ!" कहता है क्योंकि वह किसी भी ऐसी चीज़ से सहमत होने के लिए बहुत उत्सुक है जो सांस्कृतिक नियम जैसा लगता है।
निष्कर्ष: परीक्षण किए गए अधिकांश AI मॉडल बहुत खराब "हाँ में हाँ मिलाने वाले" थे। वे पहचान सकते थे कि क्या सही है (84–92% सटीकता), लेकिन वे यह पहचानने में बहुत खराब थे कि क्या गलत है (केवल 19–48% सटीकता)। वे केवल "बुजुर्ग" या "भोजन" जैसे कीवर्ड्स के पैटर्न को मिला रहे थे और कह रहे थे "हाँ, यह फारसी लगता है," बिना वास्तव में तर्क के बारे में सोचे।
2. "अधिक डेटा, कम समझ" का विरोधाभास
उपमा: मूल AI मॉडल (Llama 3.1) को एक बुद्धिमान विदेशी के रूप में सोचें जिसने फारसी व्याकरण और संस्कृति का पाठ्यपुस्तक से अध्ययन किया है। वे संदेही और सावधान हैं। अब, कल्पना कीजिए कि आप उसी व्यक्ति को लेते हैं और उन्हें एक वर्ष तक ईरान में रहने के लिए मजबूर करते हैं, जहाँ वे केवल फारसी सोशल मीडिया और समाचार पढ़ते हैं (Continuous Pretraining)।
आप उम्मीद कर सकते हैं कि वे सांस्कृतिक जीनियस बन जाएंगे। इसके बजाय, वे एक अंधभक्त (mindless conformist) बन गए। उन्होंने सांस्कृतिक वाक्यांशों को पूरी तरह से दोहराना सीख लिया, लेकिन उन्होंने उन पर सवाल उठाने की अपनी क्षमता खो दी।
निष्कर्ष: जब शोधकर्ताओं ने एक मानक मॉडल को लिया और उसे अतिरिक्त फारसी प्रशिक्षण दिया (एक मॉडल बनाया जिसे Dorna2 कहा गया), तो मॉडल तर्क करने में और भी खराब हो गया। सांस्कृतिक उल्लंघनों को पहचानने की उसकी क्षमता 43% गिर गई। वह संस्कृति की "ध्वनि" में तो कुशल हो गया लेकिन उसके "भाव" को खो बैठा। उसने नियमों को समझने के बजाय केवल संस्कृति के "वाइब" (vibe) की नकल करना सीख लिया।
3. "तथ्य बनाम भावना" का अंतर
उपमा: कल्पना कीजिए कि आपके पास एक जटिल व्यंजन की रेसिपी बुक है।
- तथ्यात्मक ज्ञान (Factual Knowledge): आप सामग्री को पूरी तरह से सुना सकते हैं। "मैं जानता हूँ कि सर्द (ठंडी) चीजें बुखार में बुरी होती हैं।"
- वैचारिक तर्क (Conceptual Reasoning): आप एक बीमार मित्र के साथ रसोई में हैं। आप एक खरबूजा देखते हैं। क्या आप उन्हें यह देंगे?
- केवल "तथ्यात्मक ज्ञान" वाला रोबोट कह सकता है, "खरबूजे में विटामिन होते हैं! उन्हें इसे दें!"
- एक सांस्कृतिक रूप से सक्षम मानव जानता है: "नहीं! फारसी चिकित्सा में, खरबूजे सर्द (ठंडे) होते हैं। बीमार व्यक्ति को ठंडी चीज़ देना एक बड़ी गलती है।"
निष्कर्ष: AI मॉडल "रेसिपी बुक" (Factual MCQs) में बहुत अच्छे थे। लेकिन जब उन्हें वास्तविक जीवन के परिदृश्य (Scenario-Based MCQs) में उस ज्ञान को लागू करने के लिए कहा गया, तो उनका प्रदर्शन औसतन 21% गिर गया। वे तथ्यों को जानते थे, लेकिन वे उनका उपयोग सामाजिक दुनिया को समझने के लिए नहीं कर सके।
4. बड़ा होना हमेशा बेहतर नहीं होता
उपमा: आप सोच सकते हैं कि एक बड़ी लाइब्रेरी (एक बड़ा AI मॉडल) का अर्थ है एक अधिक बुद्धिमान लाइब्रेरियन।
निष्कर्ष: परीक्षण किया गया सबसे बड़ा मॉडल (Gemma3-12B) तथ्यों को याद रखने में सबसे अच्छा था, लेकिन सांस्कृतिक उल्लंघनों को पकड़ने में भी सबसे खराब में से एक था। यह एक विशाल विश्वकोश की तरह था जो हर नियम को जानता था लेकिन आपको यह नहीं बता सकता था कि इस विशिष्ट क्षण के लिए कौन सा नियम लागू होता है। बड़े मॉडल केवल संस्कृति के "पैटर्न" को याद करने में बेहतर हो गए, उसके "तर्क" में नहीं।
मुख्य निष्कर्ष
शोध पत्र निष्कर्ष निकालता है कि संस्कृति केवल याद किए जाने वाले तथ्यों की सूची नहीं है। यह इस बारे में नियमों का एक जटिल, अदृश्य सेट है कि चीज़ें कब करनी हैं, उन्हें कैसे करना है, और वे क्यों महत्वपूर्ण हैं।
वर्तमान AI मॉडल उन पर्यटकों की तरह हैं जिन्होंने एक वाक्यांश पुस्तिका (phrasebook) रट ली है। वे सही शब्द बोल सकते हैं, लेकिन यदि आप उन्हें एक पेचीदा सामाजिक स्थिति में रखते हैं, तो वे संभवतः सभी को नाराज कर देंगे क्योंकि वे उस अंतर्निहित "स्कीमा" (मानसिक मानचित्र) को नहीं समझते हैं कि संस्कृति वास्तव में कैसे काम करती है।
संक्षेप में: एक ऐसा AI बनाने के लिए जो वास्तव में एक संस्कृति को समझता हो, हम उसे केवल अधिक टेक्स्ट नहीं खिला सकते। हमें उसे यह सिखाने की आवश्यकता है कि एक इंसान की तरह सोचना कैसे है, न कि केवल एक इंसान की तरह बोलना कैसे है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।