Surprisal and Metaphor Novelty Judgments: Moderate Correlations and Divergent Scaling Effects Revealed by Corpus-Based and Synthetic Datasets
यह अध्ययन प्रदर्शित करता है कि जहाँ भाषा मॉडल सरप्राइज़ल (surprisal) रूपक नवीनता (metaphor novelty) एनोटेशन के साथ मध्यम सहसंबंध दिखाता है, वहीं यह विचलित स्केलिंग व्यवहार प्रदर्शित करता है—कॉर्पस-आधारित डेटा पर बड़े मॉडलों के साथ इसकी भविष्य कहने वाली शक्ति घटती है लेकिन सिंथेटिक डेटा पर बढ़ती है—जो भाषाई रचनात्मकता के लिए एक व्यापक मीट्रिक के रूप में इसकी सीमाओं को रेखांकित करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक वाक्य में अगले शब्द का अनुमान लगाने की कोशिश कर रहे हैं। यदि वाक्य है "The cat sat on the..." (बिल्ली बैठी थी...), तो आपका मस्तिष्क (और एक कंप्यूटर प्रोग्राम) आसानी से "mat" (चटाई) का अनुमान लगा सकता है। यह अनुमान लगाना बहुत आसान था, इसलिए यह बहुत आश्चर्यजनक नहीं था। लेकिन यदि वाक्य है "The cat sat on the... jellyfish" (बिल्ली बैठी थी... जेलीफ़िश पर), तो आपका मस्तिष्क चौंक जाता है। वह शब्द अनुमान लगाना कठिन था, इसलिए उसमें "surprisal" (आश्चर्य/अप्रत्यशितता) अधिक थी।
यह शोध पत्र एक सरल प्रश्न पूछता है: क्या यह "आश्चर्य" का अहसास हमें एक उबाऊ, पुराने रूपक (metaphor) और एक नए, रचनात्मक रूपक के बीच अंतर करने में मदद कर सकता है?
मुख्य विचार: पूर्वानुमान बनाम रचनात्मकता
रूपक मानसिक पुलों की तरह होते हैं। कभी-कभी पुल एक सुजला हुआ रास्ता होता जिसे हर कोई जानता है, जैसे कहना "I attacked his argument" (मैंने उसके तर्क पर हमला किया)। हर कोई जानता है कि आप भाषण पर हथियार का उपयोग नहीं करते हैं; यह एक मानक वाक्यांश है। यह एक रूढ़िगत रूपक (conventional metaphor) है।
अन्य समय में, पुल बिल्कुल नया और डगमगाता हुआ होता है, जैसे कहना "The arrested water" (रुकी हुई/गिरफ्तार पानी)। आपको रुककर सोचना पड़ता है: पानी कैसे गिरफ्तार हो सकता है? यह शब्दकोश में नहीं है। यह एक नया रूपक (novel metaphor) है।
शोधकर्ता यह देखना चाहते थे कि क्या कंप्यूटर प्रोग्राम (जिन्हें लैंग्वेज मॉडल कहा जाता है) अपने "सरप्राइज मीटर" (आश्चर्य मापने के यंत्र) का उपयोग करके इन नए, रचनात्मक पुलों को पहचान सकते हैं। सिद्धांत यह था: यदि कोई शब्द अनुमान लगाना कठिन है, तो शायद वह एक रचनात्मक रूपक है।
प्रयोग: दो अलग-अलग दुनियाएँ
टीम ने इस विचार का परीक्षण दो बहुत ही अलग प्रकार के डेटा का उपयोग करके किया, और परिणाम दो शहरों की कहानी की तरह थे:
1. "वास्तविक दुनिया" का शहर (Corpus-Based Data)
उन्होंने किताबों, समाचारों और बातचीत से लिए गए वास्तविक वाक्यों को देखा।
- परिणाम: यहाँ, "सरप्राइज मीटर" ठीक-ठाक काम करता था, लेकिन एक मोड़ के साथ। छोटे, सरल कंप्यूटर मॉडल वास्तव में बड़े, सुपर-स्मार्ट मॉडलों की तुलना में रचनात्मक रूपकों को पहचानने में बेहतर थे।
- उपमा: कल्पना कीजिए कि एक छोटा, स्थानीय जासूस जो मोहल्ले को अच्छी तरह जानता है। वे अजीब, नई चीजों को इसलिए नोटिस करते हैं क्योंकि वे बहुत अधिक गहराई में नहीं सोचते। विशाल जासूस (बड़ा AI) ने इतना अधिक डेटा देखा है कि वह हर जगह अजीब चीजों की उम्मीद करने लगता है, जिससे वह किसी विशिष्ट वाक्य में वास्तव में "नया" क्या है, उसे पहचानने में कम संवेदनशील हो जाता है। मॉडल जितना बड़ा होता गया, वह इस विशिष्ट कार्य में उतना ही खराब होता गया।
2. "खिलौना फैक्ट्री" का शहर (Synthetic Data)
उन्होंने प्रयोगशाला में (या किसी अन्य AI द्वारा) सावधानीपूर्वक बनाए गए वाक्यों का भी उपयोग किया जहाँ एकमात्र अंतर यह था कि रूपक पुराना था या नया।
- परिणाम: यहाँ नियम बदल गए। बड़े, स्मार्ट मॉडल रचनात्मक रूपकों को पहचानने में बहुत बेहतर हो गए।
- उपमा: एक नियंत्रित खिलौना फैक्ट्री में, विशाल जासूस चमकता है। क्योंकि खिलौने पूर्ण हैं और नियम सख्त हैं, विशाल मस्तिष्क अपनी बड़ी शक्ति का उपयोग उन सूक्ष्म अंतरों को देखने के लिए कर सकता है जिन्हें छोटा जासूस छोड़ देता है।
"क्लोज़" (Cloze) ट्रिक: दोनों दिशाओं में देखना
शोधकर्ताओं ने एक नया तरीका भी आजमाया। मानक "सरप्राइज" केवल लक्ष्य शब्द से पहले के शब्दों को देखता है (जैसे बाएं से दाएं पढ़ना)। लेकिन एक रूपक को समझने के लिए, आपको अक्सर उसके बाद के शब्दों को भी देखने की आवश्यकता होती है।
उन्होंने एक "क्लोज़" विधि बनाई (रिक्त स्थान भरने वाले खेल की तरह)। उन्होंने रूपक वाले शब्द को छिपा दिया, मॉडल को पूरा वाक्य दिखाया (अंत सहित), और पूछा, "यहाँ कौन सा शब्द आएगा?"
- परिणाम: इस "दोनों दिशाओं में देखने" वाले दृष्टिकोण ने आमतौर पर कंप्यूटर को रूपकों को पहचानने में स्मार्ट बनाया। यह ऐसा था जैसे जासूस को केवल उस कोने के बजाय जहाँ वह खड़ा है, पूरे सड़क का नक्शा दे दिया गया हो। हालाँकि, यह ट्रिक "वास्तविक दुनिया" के वाक्यों के लिए सबसे अच्छा काम करती थी और कभी-कभी "खिलौना फैक्ट्री" के वाक्यों पर मॉडलों को भ्रमित कर देती थी।
क्या AI को इंसान की तरह बात करना सिखाने के बारे में?
टीम ने "इंस्ट्रक्शन-ट्यून्ड" (Instruction-Tuned) मॉडलों का भी परीक्षण किया (ऐसे AI जिन्हें निर्देश मानने और अच्छी तरह से चैट करने के लिए सिखाया गया है)।
- परिणाम: आश्चर्यजनक रूप से, AI को अधिक मानवीय बनाने से वह रचनात्मक रूपकों को पहचानने में बेहतर नहीं हुआ। वास्तव में, कुछ मॉडलों के लिए, इसने उन्हें इस विशिष्ट गणितीय समस्या में और भी खराब बना दिया। "बातूनी" होना उन्हें "रचनात्मक" होने में मदद नहीं कर सका।
निष्कर्ष
शोध पत्र निष्कर्ष निकालता है कि "सरप्राइज" (एक शब्द कितना अप्रत्याशित है) रचनात्मक रूपकों को खोजने के लिए एक ठीक-ठाक उपकरण है, लेकिन यह कोई जादुई छड़ी नहीं है।
- यह मध्यम रूप से अच्छा काम करता है (लगभग 40-50% सहसंबंध), जिसका अर्थ है कि यह सहायक है लेकिन पूर्ण नहीं है।
- संदर्भ मायने रखता है: चाहे AI अव्यवस्थित वास्तविक दुनिया के टेक्स्ट को देख रहा हो या साफ-सुथरे, लैब-निर्मित टेक्स्ट को, सब कुछ बदल जाता है।
- आकार मायने रखता है: बड़ा हमेशा बेहतर नहीं होता; कभी-कभी छोटा अधिक सटीक होता है, यह डेटा पर निर्भर करता है।
संक्षेप में, जबकि कंप्यूटर यह मापकर कि वे कितने "आश्चर्यचकित" हैं, मानव रचनात्मकता का एक संकेत प्राप्त कर सकते हैं, वे अभी भी एक वास्तव में नए रूपक के जादू को पूरी तरह से समझने के लिए संघर्ष करते हैं। उन्हें भाषा की कला को समझने के लिए केवल एक 'सरप्राइज मीटर' से अधिक की आवश्यकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।