How Human-Like Are Large Language Models? A Register-Aware Linguistic Evaluation Framework
यह शोध पत्र मैक्सिमम मीन डिसक्रीपेंसी और बाइबर के लेक्सिको-ग्रामैटिकल फीचर्स का उपयोग करते हुए एक रजिस्टर-जागरूक मूल्यांकन ढांचे को प्रस्तुत करता है ताकि यह प्रदर्शित किया जा सके कि जबकि लार्ज लैंग्वेज मॉडल्स लगातार मानवीय भाषाई पैटर्न से विचलित होते हैं, उनकी मानव-समानता की डिग्री संचारत्मक रजिस्टर के अनुसार भिन्न होती है और मॉडल के आकार द्वारा निर्धारित नहीं होती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट को कहानी लिखना, टेक्स्ट मैसेज भेजना या समाचार रिपोर्ट लिखना सिखाने की कोशिश कर रहे हैं। आप शायद पूछेंगे, "जो रोबोट ने लिखा है क्या वह सच है?" या "क्या उसने कार्य पूरा किया?" लेकिन यह शोध एक अलग, अधिक सूक्ष्म प्रश्न पूछता है: "रोबोट ने जो लिखा है, क्या वह ऐसा महसूस होता है जैसे किसी इंसान ने लिखा हो?"
लेखक तर्क देते हैं कि केवल इसलिए कि एक रोबोट का टेक्स्ट तथ्यात्मक रूप से सही है, इसका मतलब यह नहीं है कि वह स्वाभाविक लगता है। मनुष्यों के लिए, भाषा स्थिति के अनुसार बदल जाती है। एक दोस्त को भेजा गया टेक्स्ट मैसेज एक वैज्ञानिक शोध पत्र या समाचार लेख से बहुत अलग सुनाई देता है। लेखक इन विभिन्न स्थितियों को "रजिस्टर्स" (registers) कहते हैं।
यहाँ उनके अध्ययन का एक सरल विवरण दिया गया है:
1. समस्या: रोबोट की "अनकैनी वैली" (Uncanny Valley)
भाषा को एक कॉस्ट्यूम पार्टी (वेशभूषा पार्टी) की तरह समझें।
- इंसान वेशभूषा बदलने में माहिर होते हैं। यदि आप एक पुस्तकालय में जाते हैं, तो आप फुसफुसाते हैं और औपचारिक शब्दों का उपयोग करते हैं। यदि आप एक बार में जाते हैं, तो आप चिल्लाते हैं और स्लैंग (बोलचाल की भाषा) का उपयोग करते हैं। आप सहजता से जानते हैं कि किस कमरे के लिए कौन सी "वेशभूषा" (रजिस्टर) उपयुक्त है।
- लार्ज लैंग्वेज मॉडल्स (LLMs) उन अभिनेताओं की तरह हैं जो लाइनें याद करने में तो बहुत अच्छे हैं, लेकिन कभी-कभी अपनी वेशभूषा बदलना भूल जाते हैं। वे एक ऐसी समाचार रिपोर्ट लिख सकते हैं जो अनौपचारिक बातचीत जैसी लगे, या एक ऐसी कहानी जो पाठ्यपुस्तक जैसी लगे। भले ही तथ्य सही हों, लेकिन "वाइब" (vibe) गलत होती है, जिससे वह एक मानव पाठक को अप्राकृतिक लगता है।
2. समाधान: एक "स्टाइल डिटेक्टर" (Style Detector)
शोधकर्ताओं ने इन रोबोट्स का परीक्षण करने का एक नया तरीका बनाया। यह पूछने के बजाय कि क्या कोई टेक्स्ट असली है या नहीं (जो धीमा और व्यक्तिपरक है), उन्होंने एक गणितीय "स्टाइल डिटेक्टर" बनाया।
- 67 विशेषताएं: उन्होंने एक क्लासिक भाषाई उपकरण (एक शोधकर्ता बिबर द्वारा विकसित) का उपयोग किया जो भाषा को 67 विशिष्ट "सामग्रियों" में तोड़ देता है। ये केवल शब्द नहीं हैं; ये पैटर्न हैं जैसे कि "लोग कितनी बार भूतकाल (past tense) का उपयोग करते हैं?" "क्या वे छोटे शब्दों का उपयोग करते हैं या लंबे शब्दों का?" "क्या वे पैसिव वॉइस का उपयोग करते हैं?"
- मानवीय आधार (Human Baseline): उन्होंने पांच अलग-अलग "कमरों" (रजिस्टर्स) के लिए वास्तविक मानवीय लेखन का एक विशाल संग्रह एकत्र किया:
- कैजुअल चैट (Casual Chat): लोगों के बीच वास्तविक बातचीत।
- अकादमिक पेपर (Academic Papers): कंप्यूटर साइंस अनुसंधान की प्रस्तावना।
- हाउ-टू गाइड्स (How-To Guides): चरण-दर-चरण निर्देश (जैसे WikiHow)।
- रचनात्मक कहानियाँ (Creative Stories): उपयोगकर्ताओं द्वारा लिखी गई काल्पनिक कथाएँ।
- समाचार रिपोर्ट (News Reports): बीबीसी (BBC) के समाचार लेख।
- परीक्षण: उन्होंने सात अलग-अलग AI मॉडल्स को इन पांचों शैलियों में लिखने के लिए कहा। फिर, उन्होंने AI के लेखन की शैली और मानव लेखन की शैली के बीच की "दूरी" को मापने के लिए एक गणितीय सूत्र (MMD) का उपयोग किया।
उपमा: कल्पना कीजिए कि आपके पास असली ब्लूबेरी का एक जार (मानव लेखन) और कृत्रिम ब्लूबेरी कैंडी का एक जार (AI लेखन) है। शोधकर्ता केवल उन्हें चखते नहीं हैं; वे नीले रंग के सटीक शेड, बनावट और चीनी की मात्रा को मापते हैं। वे गणना करते हैं कि कैंडी असली फल से कितनी दूर है। यदि दूरी बहुत अधिक है, तो कैंडी नकली लगती है।
3. उन्हें क्या मिला
परिणाम स्पष्ट और आश्चर्यजनक थे:
- कोई भी रोबोट पूर्ण नहीं है: प्रत्येक परीक्षण में, AI लेखन सांख्यिकीय रूप से इस बात से "दूर" था कि मनुष्य वास्तव में कैसे लिखते हैं। कोई भी रोबोट मानवीय शैली की पूरी तरह से नकल नहीं कर सका।
- आकार मायने नहीं रखता: आप सोच सकते हैं कि एक बड़ा, अधिक शक्तिशाली रोबोट अधिक मानवीय लगेगा। अध्ययन ने पाया कि बड़े मॉडल्स जरूरी नहीं कि बेहतर हों। एक छोटा मॉडल (Qwen 8B) कभी-कभी एक विशाल मॉडल (Llama 70B) की तुलना में अधिक मानवीय लग सकता है, जो विषय पर निर्भर करता है।
- संदर्भ ही सर्वोपरि है (Context is King): एक रोबोट समाचार रिपोर्ट लिखने में बहुत अच्छा हो सकता है लेकिन कैजुअल चैट लिखने में बहुत बुरा। आप एक रोबोट की "मानवीयता" को एक एकल स्कोर के साथ नहीं आंक सकते; आपको इसे हर विशिष्ट स्थिति में टेस्ट करना होगा।
- "पारिवारिक" विशेषता: एक ही "परिवार" के रोबोट (जैसे Llama परिवार या Gemma परिवार) एक दूसरे के समान सुनाई देने वाले होते थे, चाहे उनका आकार कुछ भी हो। उनमें एक साझा "लहजा" या "व्यक्तित्व" था जो उनके साथ बना रहता था।
4. यह क्यों महत्वपूर्ण है (शोधपत्र के अनुसार)
शोधपत्र निष्कर्ष निकालता है कि हमें AI को केवल एक "कार्य-पूरा करने वाले" (task-completer) के रूप में देखना बंद करना चाहिए और इसे एक "शैली-मिलानकर्ता" (style-matcher) के रूप में देखना शुरू करना चाहिए।
यदि AI का उपयोग वास्तविक दुनिया में किया जाना है (जैसे चैटबॉट्स या कंटेंट क्रिएशन में), तो इसे उस विशिष्ट "कमरे" में फिट होना चाहिए जिसमें यह है। लेखक सुझाव देते हैं कि भविष्य में, हम इस "दूरी" के माप का उपयोग रोबोट को अधिक स्वाभाविक दिखने के लिए प्रशिक्षित करने हेतु कर सकते हैं, जो अनिवार्य रूप रूप से उन्हें सही पार्टी के लिए सही वेशभूषा पहनने के बारे में सिखाता है।
संक्षेप में: शोधपत्र यह सिद्ध करता है कि हालांकि AI स्मार्ट हो रहा है, लेकिन इसने अभी तक हर स्थिति में इंसान की तरह लगने की कला में महारत हासिल नहीं की है। यह एक बहुत ही पढ़े-लिखे छात्र की तरह है जो तथ्यों को तो जानता है, लेकिन अपने दोस्तों के साथ चैट करने की कोशिश करते समय थोड़ा औपचारिक और अप्राकृतिक लगता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।