Rethinking the Idiomaticity Decomposability Hypothesis: Evidence from Distributional Learning
यह शोध पत्र भाषा मॉडलों में नियंत्रित वितरण संबंधी शिक्षण (controlled distributional learning) के माध्यम से यह प्रदर्शित करते हुए पारंपरिक इडियोमैटिकिटी डिकम्पोज़ेबिलिटी हाइपोथीसिस (Idiomaticity Decomposability Hypothesis) को चुनौती देता है कि डिकम्पोज़ेबिलिटी (decomposability), मानवीय निर्णयों और वाक्यात्मक लचीलेपन के साथ दुर्बल रूप से सहसंबंधित है, जबकि यह प्रकट करता है कि प्रीट्रेनिंग के दौरान इडियम प्रतिनिधित्व का स्थिरीकरण केवल आवृत्ति के बजाय आवृत्ति, सरप्राइज़ल (surprisal) और डिकम्पोज़ेबिलिटी के एक जटिल परस्पर प्रभाव द्वारा संचालित होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
मुख्य प्रश्न: क्या मुहावरे लेगो (Lego) की तरह हैं या जादू के मंत्रों की तरह?
कल्पना कीजिए कि आपके पास लेगो ब्रिक्स का एक डिब्बा है। यदि आप एक किला बनाते हैं, तो आप उसे अलग कर सकते हैं, एक मीनार को हटा सकते हैं, या लाल ईंट को नीली ईंट से बदल सकते हैं, और वह फिर भी स्पष्ट रूप से एक किला ही रहेगा। डिकम्पोजेबल (decomposable - जिन्हें अलग किया जा सके) मुहावरे इसी तरह काम करते हैं। उदाहरण के लिए, "spill the beans" (मतलब राज खोलना)। आप "beans" को रहस्यों के रूप में और "spilling" को प्रकट करने के रूप में देख सकते हैं। क्योंकि इसके हिस्से अर्थपूर्ण हैं, यह शोधपत्र सुझाव देता है कि हम वाक्य की संरचना को बदल भी सकते हैं (जैसे इसे पैसिव बनाना: "The beans were spilled") बिना अर्थ खोए।
अब, एक जादू के मंत्र की कल्पना करें। "Kick the bucket" का अर्थ है मर जाना। यदि आप इसे बदलकर "The bucket was kicked" करने की कोशिश करते हैं, तो यह अजीब लगता है और इसका अर्थ (मरना) खो जाता है। यह एक नॉन-डिकम्पोजेबल (non-decomposable - जिसे अलग न किया जा सके) मुहावरा है। इसके हिस्से ("kick" और "bucket") वास्तव में अर्थ की व्याख्या नहीं करते; वे बस एक साथ एक एकल, अपरिवर्तनीय इकाई के रूप में काम करते हैं।
दशकों तक, भाषाविदों ने इडियम डिकम्पोजेबिलिटी हाइपोथीसिस (IDH - मुहावरा विखंडन परिकल्पना) में विश्वास किया। उनका सिद्धांत सरल था:
- नियम: यदि किसी मुहावरे के हिस्से अर्थपूर्ण हैं (डिकम्पोजेबल), तो उसे कई तरीकों से मोड़ा और बदला जा सकता है (सिंटैक्टिक लचीलापन)।
- नियम: यदि हिस्से अर्थपूर्ण नहीं हैं (नॉन-डिकम्पोजेबल), तो उसे कठोर और स्थिर रहना चाहिए।
नया दृष्टिकोण: एक रोबोट को पढ़ना सिखाना
इस शोधपत्र के लेखकों ने इस नियम का परीक्षण करना चाहा, लेकिन उन्होंने केवल यह नहीं पूछा कि मनुष्य क्या सोचते हैं (क्योंकि मनुष्य असंगत हो सकते हैं)। इसके बजाय, उन्होंने लार्ज लैंग्वेज मॉडल्स (LLMs) का उपयोग किया—जैसे चैटबॉट्स के पीछे की एआई (AI)—एक "नियंत्रित शिक्षार्थी" के रूप में।
इन एआई मॉडल्स को ऐसे छात्रों के रूप में सोचें जिन्होंने पूरा इंटरनेट पढ़ लिया है लेकिन उन्हें कभी व्याकरण के नियम नहीं सिखाए गए और न ही कभी पूछा गया कि कोई चीज़ क्यों समझ में आती है। वे केवल इस पैटर्न से सीखते हैं कि शब्द एक-दूसरे के बगल में कैसे दिखाई देते हैं।
शोधकर्ताओं ने पूछा: "यदि हम एक एआई को केवल उदाहरण दिखाकर सिखाते हैं (डिस्ट्रिब्यूशनल लर्निंग), तो क्या वह स्वाभाविक रूप से यह समझ पाएगा कि 'डिकम्पोजेबल' मुहावरे लचीले होते हैं और 'नॉन-डिकम्पोजेबल' मुहावरे कठोर होते हैं? या वह कुछ और ही सीखता है?"
प्रयोग: मुहावरों को तोड़ना
इसकी जांच करने के लिए, शोधकर्ताओं ने एआई के लिए एक विशेष परीक्षण बनाया:
- "मीनिंग मैच" (अर्थ मिलान): उन्होंने एआई को एक मुहावरा दिखाया (जैसे, "spill the beans") और उसका सरल अंग्रेजी अर्थ ("reveal the secret") दिखाया। उन्होंने यह मापा कि एआई की समझ इन दोनों के बीच कितनी समान थी।
- "मोल टेस्ट" (Mole Test): उन्होंने मुहावरे की एआई की समझ में से गुप्त रूप से एक शब्द (जैसे, "beans") हटा दिया। यदि पूरे वाक्यांश की एआई की समझ नाटकीय रूप से बदल गई, तो वह शब्द महत्वपूर्ण था (डिकम्पोजेबल)। यदि समझ वैसी ही रही, तो वह शब्द ज्यादा मायने नहीं रखता था (नॉन-डिकम्पोजेबल)।
- "फ्लेक्सिबिलिटी चेक" (लचीलापन जांच): उन्होंने वास्तविक दुनिया के डेटा को देखा कि लोग वास्तव में इन मुहावरों की संरचना को कितनी बार बदलते हैं (जैसे, क्या किसी ने कभी "The beans were spilled" कहा?)।
चौंकाने वाले परिणाम
शोधपत्र में पाया गया कि पुराना "लेगो बनाम जादू का मंत्र" सिद्धांत काम नहीं करता है जब आप देखते हैं कि ये एआई मॉडल वास्तव में कैसे सीखते हैं।
1. मानव बनाम रोबोट का अंतर
जब शोधकर्ताओं ने एआई के "डिकम्पोजेबिलिटी स्कोर" की तुलना मानव रेटिंग से की, तो उन्होंने पाया कि उनके बीच केवल एक कमजोर संबंध था।
- उपमा: कल्पना कीजिए कि दो लोग एक पेंटिंग को देख रहे हैं। एक को इसमें परिदृश्य (landscape) दिखता है; दूसरे को एक चेहरा। वे कुछ चीजों पर सहमत होते हैं, लेकिन ज्यादातर वे अलग-अलग चीजें देखते हैं। एआई और मनुष्य मुहावरों को आंकने के लिए अलग-अलग "चश्मे" का उपयोग कर रहे हैं।
2. लचीलेपन का मिथक
सबसे बड़ा झटका यह था कि एआई का डिकम्पोजेबिलिटी मापने का तरीका यह पूर्वानुमान नहीं लगा सका कि कोई मुहावरा कितना लचीला है।
- निष्कर्ष: शोधपत्र ने पाया कि एक छोटा, निरंतर नकारात्मक संबंध था। कुछ मामलों में, एआई जितना अधिक मुहावरे को "डिकम्पोजेबल" मानता था, वास्तविक भाषा में वह उतना ही कम लचीला था।
- उपमा: पुराना सिद्धांत कहता था, "यदि ईंटें ढीली हैं, तो आप कुछ भी बना सकते हैं।" डेटा कहता है, "वास्तव में, ईंटें जितनी अधिक ढीली दिखती हैं, लोग उन्हें उतना ही अधिक चिपका देते हैं और उन्हें हिलाने से मना कर देते हैं।"
3. असली चालक: फ्रीक्वेंसी (आवृत्ति) और सरप्राइज़ल (आश्चर्य)
तो, यदि डिकम्पोजेबिलिटी यह तय करने वाला मुख्य कारण नहीं है कि मुहावरे कैसे व्यवहार करते हैं, तो वह क्या है?
- फ्रीक्वेंसी (आप इसे कितनी बार सुनते हैं): एक मुहावरा जितनी बार आता है, एआई उसे एक एकल, अपरिवर्तनीय ब्लॉक के रूप में उतना ही अधिक मानता है। उच्च-आवृत्ति वाले मुहावरे "होलिस्टिक" (जुड़े हुए) हो जाते हैं।
- सरप्राइज़ल (कितना अप्रत्याशित है): एआई सीखता है कि यदि कोई वाक्यांश आश्चर्यजनक या कठिन-से-अनुमान लगाने योग्य है, तो उसे विशिष्ट शब्दों पर अधिक ध्यान देने की आवश्यकता होती है।
- उपमा: एक गाने के बारे में सोचें। यदि आप एक आकर्षक कोरस को लाखों बार सुनते हैं, तो आप उसे हर बार बिल्कुल उसी तरह गाते हैं (यह एक निश्चित इकाई बन जाता है)। यदि आप एक जटिल, दुर्लभ जैज़ इम्प्रोवाइजेशन सुनते हैं, तो आप नोट्स को बदलने की कोशिश कर सकते हैं क्योंकि आप व्यक्तिगत हिस्सों पर ध्यान दे रहे होते हैं। एआई मुहावरों को एक आकर्षक कोरस की तरह सीखता है: दोहराव उन्हें कठोर बनाता है, न कि उनका आंतरिक अर्थ।
"लर्निंग कर्व" की खोज
शोधकर्ताओं ने यह भी देखा कि एआई समय के साथ कैसे सीखता है (इसके प्रशिक्षण चरण के दौरान)।
- प्रारंभिक सीखना: शुरुआत में, एआई इस बात के प्रति बहुत संवेदनशील होता है कि शब्द एक साथ कैसे फिट बैठते हैं (डिकम्पोजेबिलिटी) और वाक्यांश कितना आश्चर्यजनक है।
- देर से सीखना: जैसे-जैसे एआई अधिक डेटा देखता है, "डिकम्पोजेबिलिटी" का प्रभाव कम होता जाता है। एआई इस बात की परवाह करना छोड़ देता है कि हिस्से अर्थपूर्ण हैं या नहीं और वह मुख्य रूप से इस बात पर ध्यान केंद्रित करता है कि उसने उस वाक्यांश को कितनी बार देखा है।
- निष्कर्ष: एआई मुहावरों को उनके "आंतरिक तर्क" को समझकर नहीं सीखता। वह उन्हें उनके "अभ्यस्त उपयोग" को याद करके सीखता है।
निचोड़ (The Bottom Line)
शोधपत्र निष्कर्ष निकालता है कि इडियम डिकम्पोजेबिलिटी हाइपोथीसिस (यह विचार कि अर्थ की संरचना व्याकरणिक लचीलेपन को निर्धारित करती है) संभवतः गलत है या कम से कम यह मुख्य चालक नहीं है।
इसके बजाय, उपयोग-आधारित कारक (usage-based factors) ही असली बॉस हैं।
- पुराना दृष्टिकोण: "हम इस वाक्य को बदल सकते हैं क्योंकि शब्द अर्थपूर्ण हैं।"
- नया दृष्टिकोण (इस शोधपत्र के अनुसार): "हम इस वाक्य को नहीं बदलते क्योंकि हमने इसे लाखों बार सुना है, और यह हमारी स्मृति में एक एकल, ठोस वस्तु की तरह महसूस होता है।"
अध्ययन बताता है कि मुहावरे इसलिए विशेष नहीं हैं क्योंकि उनका छिपा हुआ अर्थ है; वे इसलिए विशेष हैं क्योंकि उनका उपयोग कितनी बार किया जाता है। केवल एक्सपोज़र (एक्सपोज़र) से प्रशिक्षित एआई ने सिद्ध कर दिया कि परिचितता कठोरता पैदा करती है, लचीलापन नहीं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।