Do Large Language Models Perform Well on Comprehending Poetic Logic in Modern Chinese Poetry?
यह शोध पत्र पीयनी (Peony) को प्रस्तुत करता है, जो छंद, पंक्ति और बिंब स्तरों पर आधुनिक चीनी कविता के "काव्यात्मक तर्क" का मूल्यांकन करने के लिए डिज़ाइन किया गया पहला बेंचमार्क है, जो समग्र तर्क के माध्यम से ऐसे ग्रंथों को समझने में वर्तमान बड़े भाषा मॉडलों की महत्वपूर्ण सीमाओं को प्रकट करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
भाषा केवल तथ्यों के आदान-प्रदान का एक उपकरण नहीं है; यह भावनाओं, कल्पनाओं और उन सूक्ष्म, अक्सर अतार्किक संबंधों का एक पात्र है जो मानवीय अनुभव को परिभाषित करते हैं। दशकों से, आर्टिफिशियल इंटेलिजेंस ने समाचार लेखों, वैज्ञानिक शोध पत्रों और रोजमर्रा की बातचीत के विशाल पुस्तकालयों का अध्ययन करके पढ़ना और लिखना सीखा है। इन ग्रंथों में, अर्थ आमतौर पर एक सीधी रेखा का अनुसरण करता है: एक कारण किसी प्रभाव की ओर ले जाता है, एक कथन के बाद प्रमाण आता है, और लक्ष्य स्पष्टता होता है। लेकिन एक अलग प्रकार का लेखन भी है जहाँ नियम उलट जाते हैं। कविता, विशेष रूप से आधुनिक चीनी कविता, अक्सर मौन, समय के अचानक बदलाव और ऐसी छवियों पर निर्भर करती है जो वास्तविक दुनिया में एक साथ फिट नहीं होतीं, लेकिन पाठक के मन में पूर्णतः सार्थक होती हैं। यह शैली एक अद्वितीय प्रकार के तर्क की मांग करती है, जो उन अंशों से एक संपूर्ण कहानी को जोड़ती है जो सतह पर एक-दूसरे से असंबंधित प्रतीत होते हैं।
हाल तक, यह स्पष्ट नहीं था कि क्या सबसे उन्नत कंप्यूटर प्रोग्राम इस तरह के लेखन को समझ सकते हैं। ये प्रोग्राम, जिन्हें लार्ज लैंग्वेज मॉडल्स (large language models) के रूप में जाना जाता है, समाचारों का सारांश लिखने या कोड लिखने में अविश्वसनीय रूप से कुशल हो गए हैं, लेकिन उनका परीक्षण कविता के जटिल, भावनात्मक तर्क पर शायद ही कभी किया गया है। प्रश्न केवल यह नहीं था कि क्या एक मशीन कविता का पाठ कर सकती है, बल्कि यह था कि क्या वह उस छिपे हुए सूत्र को पकड़ सकती है जो एक मुरझाए हुए फूल की पंक्ति को गहरे दुख की भावना से जोड़ता है, या यह समझ सकती है कि एक कवि धरती से रात के उदय का वर्णन क्यों कर सकता है। इसका उत्तर देने के लिए, चीन और जापान के विश्वविद्यालयों के शोधकर्ताओं के एक दल ने इन मशीनों को परखने का एक नया तरीका बनाने के लिए एक विशेष चुनौती तैयार की, जिसे आधुनिक चीनी छंदों के अनूठे तर्क को समझने की उनकी क्षमता को मापने के लिए डिज़ाइन किया गया था।
शोधकर्ताओं ने 'पियोनी' (Peony) नामक एक नया परीक्षण स्थल बनाया, जिसका नाम एक ऐसे फूल के नाम पर रखा गया है जो अक्सर कविता में पाया जाता है, ताकि यह देखा जा सके कि क्या आर्टिफिशियल इंटेलिजेंस वास्तव में आधुनिक चीनी कविताओं की छिपी हुई संरचनाओं को समझ सकता है। उन्होंने समकालीन कवियों द्वारा लिखी गई 800 उच्च-गुणवत्ता वाली कविताएँ एकत्र कीं, यह सुनिश्चित करते हुए कि सामग्री इतनी ताज़ा हो कि कंप्यूटरों ने अपने प्रशिक्षण डेटा से उत्तरों को केवल रटा न हो। इसके बजाय, शोधकर्ताओं ने चार विशिष्ट पहेलियाँ बनाईं जिन्होंने मॉडल्स को एक पाठक की तरह सोचने के लिए मजबूर किया। पहली दो पहेलियों ने कंप्यूटरों को कविता के बिखरे हुए हिस्सों को सही क्रम में, या तो पंक्ति दर पंक्ति या छंद दर छंद वापस जोड़ने के लिए कहा। अन्य दो पहेलियों ने मॉडल्स को लुप्त शब्दों या वाक्यों को भरने के लिए कहा, जिसमें उन्हें उस विकल्प को चुनना था जो रचना के भावनात्मक और तार्किक प्रवाह में फिट बैठता हो, जबकि उन अन्य विकल्पों को खारिज करना था जो सुनने में समान लग सकते थे लेकिन कविता के आंतरिक तर्क को तोड़ते थे।
जब शोधकर्ताओं ने इन परीक्षणों को उपलब्ध छह सबसे शक्तिशाली भाषा मॉडलों पर चलाया, तो परिणामों ने मानवीय समझ और मशीन प्रसंस्करण के बीच एक महत्वपूर्ण अंतर को प्रकट किया। जबकि कुछ मॉडल्स ने सरल छवियों को मिलाने वाले कार्यों पर काफी अच्छा प्रदर्शन किया, वे कविता की गहरी कथा या भावनात्मक यात्रा का अनुसरण करने के मामले में बुरी तरह संघर्ष करते रहे। सबसे सक्षम मॉडल्स, जो किसी समस्या को चरण-दर-चरण तर्क के माध्यम से हल करने के लिए एक "सोचने" की प्रक्रिया का उपयोग करते हैं, तुरंत उत्तर देने वाले मॉडल्स की तुलना में बेहतर प्रदर्शन करते हैं, लेकिन सर्वश्रेष्ठ प्रदर्शन करने वाले भी लगातार तर्क को सही पकड़ने में विफल रहे। सबसे कठिन कार्यों में, जहाँ मॉडल को कविता की दो दूरस्थ पंक्तियों के बीच संबंध का अनुमान लगाना था, सफलता दर आश्चर्यजनक रूप से कम थी। डेटा ने दिखाया कि जबकि ये मशीनें अक्सर अकेले में एक सही शब्द या पंक्ति की पहचान कर सकती थीं, लेकिन जब वे पूरी कविता को एक साथ अपने मन में रखने का प्रयास करती थीं, तो वे अक्सर सूत्र खो देती थीं। वे व्यक्तिगत ईंटों को देख सकती थीं लेकिन अक्सर इमारत के आकार को समझने में विफल रहती थीं।
अध्ययन ने यह भी रेखांकित किया कि ये मॉडल्स उस "काव्यात्मक तर्क" को संभालने में कितने कमजोर हैं जो इस विधा को परिभाषित करता है। आधुनिक चीनी कविता अक्सर विरोधाभासी लगने वाली छवियों को एक साथ रखने पर निर्भर करती है, जैसे कि जमीन से रात का उदय होना या एक चेहरा जो कमल के खिलने और मुरझाने जैसा हो। शोधकर्ताओं ने पाया कि मॉडल्स गहरे, अक्सर अमूर्त भावनात्मक संबंधों के बजाय सतही अर्थों और सामान्य धारणाओं पर निर्भर रहने की प्रवृत्ति रखते थे, जो एक मानव पाठक करता। उदाहरण के लिए, जब किसी कविता में किसी प्रसिद्ध ऐतिहासिक व्यक्तित्व या सांस्कृतिक अवधारणा का संदर्भ दिया गया, तो मॉडल्स अक्सर उस संदर्भ और कविता के विषय के बीच सूक्ष्म संबंध को समझने में चूक गए, और शब्दों को केवल डेटा पॉइंट के रूप में माना। यह सुझाव देता है कि जबकि आर्टिफिशियल इंटेलिजेंस ने भाषा के यांत्रिकी में महारत हासिल कर ली है, फिर भी इसमें उन अमूर्त, भावनात्मक परिदृश्यों को नेविगेट करने की सहज क्षमता की कमी है जिनमें कवि निवास करते हैं।
शोधकर्ताओं ने निष्कर्ष निकाला कि वर्तमान आर्टिफिशियल इंटेलिजेंस सिस्टम अभी तक आधुनिक चीनी कविता के काव्यात्मक तर्क को पूरी तरह से समझने के लिए तैयार नहीं हैं। मॉडल्स रूप की नकल कर सकते हैं और संयोगवश या परिचित पैटर्न को पहचानकर सही उत्तर भी दे सकते हैं, लेकिन वे उस समग्र अर्थ को पुनर्गठित करने के लिए संघर्ष करते हैं जो छवियों, भावनाओं और मौन के परस्पर प्रभाव से उभरता है। "पियोनी" बेंचमार्क इन प्रणालियों की वर्तमान स्थिति का एक स्पष्ट मानचित्र के रूप में कार्य करता है, जो यह दर्शाता है कि शब्दों को संसाधित करने से लेकर कविता की आत्मा को समझने तक की छलांग अभी भी एक विशाल दूरी है। जैसे-जैसे ये तकनीकें विकसित होती रहेंगी, यह नया परीक्षण न केवल यह मापने का एक तरीका प्रदान करता है कि एक मशीन कितनी अच्छी तरह बोल सकती है, बल्कि यह भी कि वह उन अनकहे संबंधों को कितनी गहराई से महसूस कर सकती है जो कविता को एक विशिष्ट मानवीय कला रूप बनाते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।