Evaluating the Creativity of LLMs in Persian Literary Text Generation
यह शोध पत्र एक टोरेन्स-आधारित ढांचे का उपयोग करते हुए विविध विषयों और अलंकारिक युक्तियों के माध्यम से फारसी साहित्यिक ग्रंथों को उत्पन्न करने में बड़े भाषा मॉडल (LLM) की रचनात्मकता का मूल्यांकन करता है, जो यह प्रदर्शित करता है कि स्वचालित LLM निर्णायक मानव मूल्यांकनों की तुलना में मौलिकता, प्रवाह, लचीलापन और विस्तार का विश्वसनीय रूप से आकलन कर सकते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक रोबोट शेफ है। आपने उसे बेहतरीन बर्गर और फ्राइज़ बनाते हुए देखा है (मानक तथ्य और डेटा), लेकिन अब आप उससे एक ऐसा व्यंजन बनाने के लिए कहते हैं जिसमें 'रूह' (soul) की आवश्यकता हो: जैसे कि बारिश के एक उदास दिन पर एक फारसी कविता, या नए साल के जश्न की खुशी पर एक कहानी।
यह पेपर एक फूड क्रिटिक (खाद्य समीक्षक) की तरह है जो छह अलग-अलग रोबोट शेफ के किचन में जाकर यह टेस्ट कर रहा है कि क्या वे वास्तव में रचनात्मकता के साथ "खाना पका" सकते हैं, या वे सिर्फ बचे हुए खाने को दोबारा गर्म कर रहे हैं।
यहाँ उनके प्रयोग का विवरण सरल भाषा में दिया गया है:
1. समस्या: "अंग्रेजी-मात्र" वाला किचन
लंबे समय से, वैज्ञानिक परीक्षण कर रहे हैं कि ये एआई (AI) रोबोट कितने रचनात्मक हैं, लेकिन उन्होंने ज्यादातर केवल अंग्रेजी में लिखने के लिए ही उनसे सवाल पूछे हैं। यह एक मास्टर शेफ को केवल पिज्जा बनाने की क्षमता के आधार पर आंकने जैसा है, और उसकी सुशी, करी या डंपलिंग बनाने की क्षमता को नजरअंदाज करने जैसा है।
लेखक जानना चाहते थे: क्या ये एआई सुंदर और सांस्कृतिक रूप से गहरी फारसी साहित्य लिख सकते हैं? फारसी साहित्य अपने समृद्ध रूपकों (metaphors), गहरे भावों और बोलने के विशिष्ट तरीकों के लिए प्रसिद्ध है, जो अंग्रेजी से बहुत अलग हैं।
2. रेसिपी बुक: "CPers" डेटासेट
शेफों को टेस्ट करने के लिए, शोधकर्ताओं को एक मेनू की आवश्यकता थी। चूंकि ऐसा कोई मेनू मौजूद नहीं था, इसलिए उन्होंने CPers नाम का एक मेनू बनाया।
- उन्होंने वास्तविक फारसी लोगों द्वारा लिखे गए 4,371 छोटे और सुंदर वाक्यों को इकट्ठा किया।
- विषयों में सार्वभौमिक भावनाएं (प्रेम, आशा, दुख) से लेकर सांस्कृतिक विशिष्टताएं (नौरोज़/फारसी नया साल, फादर्स डे) तक शामिल थे।
- इसे एक "घर के स्वाद" वाली कुकबुक की तरह समझें जिसे रोबोट्स को दोहराना था।
3. स्कोरकार्ड: "स्वाद के चार स्तंभ"
आप एक कविता को कैसे ग्रेड देंगे? आप केवल गणितीय सूत्र का उपयोग नहीं कर सकते। शोधकर्ताओं ने एक पुराने मानव मनोविज्ञान परीक्षण (टोरेंस टेस्ट) को अपनाया और इसे चार स्तंभों वाले स्कोरकार्ड में बदल दिया:
- मौलिकता (Originality - "वाह" फैक्टर): क्या यह वाक्य एक घिसा-पिटा (cliché) विचार है, या यह कुछ नया और आश्चर्यजनक है? क्या यह एक नई खोज जैसा लगता है?
- प्रवाह (Fluency - "स्मूथनेस"): क्या यह ऐसा लगता है जैसे इसे किसी इंसान ने लिखा है? क्या व्याकरण एकदम सही है और क्या यह स्वाभाविक रूप से बहता है, या यह एक रोबोट की तरह लगता है जो बोलने की कोशिश कर रहा है?
- लचीलापन (Flexibility - "परिप्रेक्ष्य"): क्या वाक्य विषय को किसी अजीब या नए कोण से देखता है? क्या यह एक साथ मजाकिया, उदास और दार्शनिक हो सकता है?
- विस्तार (Elaboration - "विवरण"): क्या यह आपके मन में एक जीवंत चित्र उकेरता है? क्या यह आपको कुछ विशिष्ट महसूस कराता है?
4. जज: इंसान बनाम रोबोट
रोबोट्स को ग्रेड देने के लिए, उन्हें एक जज की आवश्यकता थी।
- मानव जज: दो वास्तविक लोगों ने वाक्यों को पढ़ा और उन्हें स्कोर दिया। वे अधिकांश समय एक-दूसरे से सहमत थे, जिससे यह सिद्ध हुआ कि परीक्षण निष्पक्ष था।
- रोबोट जज: उन्होंने काम को ग्रेड करने के लिए एक अन्य एआई (Claude 3.7 Sonnet) का उपयोग करने की कोशिश की। उन्होंने पाया कि यह विशिष्ट रोबोट फारसी साहित्य के "वाइब" (vibe) को समझने में आश्चर्यजनक रूप से अच्छा था और मानव जजों के साथ बहुत करीब से मेल खाता था। यह एक बड़ी बात है क्योंकि इसका मतलब है कि भविष्य में हमें एआई कला को ग्रेड करने के लिए मानव सेनाओं को काम पर रखने की आवश्यकता नहीं होगी।
5. परिणाम: कौन जीता कुकिंग कॉन्टेस्ट?
उन्होंने छह प्रसिद्ध एआई मॉडल (जैसे GPT-4, DeepSeek, Qwen, आदि) का परीक्षण किया। यहाँ उन्हें क्या मिला:
- "DeepThink" शेफ (DeepSeek-R1): यह मॉडल समग्र विजेता था। क्यों? क्योंकि इसे "बोलने से पहले सोचने" के लिए प्रशिक्षित किया गया था। इसने ऐसे वाक्य बनाए जो विस्तृत, लचीले और जीवंत कल्पनाओं से भरपूर थे। यह एक ऐसे शेफ की तरह था जिसने परोसने से पहले वास्तव में सामग्री को चख लिया था।
- "स्मूथ टॉकर" (GPT-4.1): इस मॉडल ने बहुत ही व्याकरणिक रूप से सटीक और सहज वाक्य लिखे। इन्हें पढ़ना आसान था, लेकिन कभी-कभी ये थोड़े उबाऊ थे। यह बहुत अधिक सुरक्षित और सामान्य वाक्यांशों पर निर्भर था।
- "वाइल्ड कार्ड" (Qwen2.5): यह मॉडल बहुत रचनात्मक और आश्चर्यजनक (उच्च मौलिकता) था, लेकिन कभी-कभी इसके वाक्य भ्रमित करने वाले या समझने में कठिन (कम प्रवाह) थे। यह एक ऐसे शेफ की तरह था जिसने अजीब और अद्भुत सामग्री का उपयोग तो किया, लेकिन उसे ठीक से पकाना भूल गया।
- "कॉपीकैट" (नकलची) समस्या: लगभग सभी रोबोट्स एक ही तरह के कुछ रूपकों का बार-बार उपयोग करते हुए दिखाई दिए (जैसे "प्रकाश बनाम अंधकार" या "आशा बनाम निराशा")। हालांकि, वास्तविक इंसान बहुत अधिक विविध शब्दों और छवियों का उपयोग करते हैं। रोबर्स एक पैटर्न का पालन कर रहे थे; इंसान उस पैटर्न को तोड़ रहे थे।
6. सीक्रेट सॉस: साहित्यिक उपकरण (Literary Devices)
शोधकर्ताओं ने यह भी जांचा कि क्या रोबोट्स "उपकरणों" जैसे कि उपमा (similes) (तुलना करना), रूपक (metaphors) (कहना कि कुछ और है), और अतिशयोक्ति (hyperbole) (बढ़ा-चढ़ाकर कहना) का उपयोग करना जानते हैं।
- निष्कर्ष: रोबोट उपमा और रूपक का उपयोग करने में ठीक थे, लेकिन वे उन्हें संतुलित करने में संघर्ष करते थे। वे अक्सर एक ही तरह के मसाले का बहुत अधिक उपयोग करते थे, जिससे व्यंजन एकरस (one-note) हो जाता था। वास्तविक इंसान जटिल स्वाद बनाने के लिए मसालों को पूरी तरह से मिलाते हैं।
- विडंबना: जब शोधकर्ताओं ने रोबोट्स से टेक्स्ट में इन "मसालों" की पहचान करने के लिए कहा, तो वे भ्रमित हो गए! वे उपमा और रूपक के बीच अंतर बहुत अच्छी तरह से नहीं कर सके। यह दर्शाता है कि वे रचनात्मकता की नकल तो कर सकते हैं, लेकिन वे साहित्य के नियमों को वास्तव में अभी तक समझ नहीं पाए हैं।
निचोड़ (The Bottom Line)
यह पेपर हमें बताता है कि एआई फारसी कविता लिखने में अच्छा हो रहा है, लेकिन यह अभी पूरी तरह से वहां नहीं पहुँचा है।
- अच्छी बात: कुछ मॉडल सुंदर, सांस्कृतिक रूप से प्रासंगिक वाक्य लिख सकते हैं जो मानवीय लगते हैं।
- बुरी बात: वे बार-बार एक ही तरह के विचारों को दोहराते हैं और उनमें मानवीय अनुभव से आने वाली गहरी, सूक्ष्म "रूह" की कमी होती है।
- भविष्य: हमें इन रोबोट्स को पैटर्न का पालन करना बंद करने और अधिक गहराई से सोचना शुरू करने की आवश्यकता है, ठीक वैसे ही जैसे "DeepThink" मॉडल ने किया।
संक्षेप में: रोबोट पेंटिंग सीख रहे हैं, लेकिन वे अभी भी ज्यादातर 'पेंट-बाय-नंबर' किट का उपयोग कर रहे हैं। उन्हें अपने स्वयं के रंग मिलाना सीखना होगा।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।