PersonalBench: Measuring the Authorship Gap in LLM Personalization
यह शोधपत्र PersonalBench प्रस्तुत करता है, जो यह दर्शाता है कि हालांकि वर्तमान इन्फरेंस-टाइम पर्सनलाइजेशन विधियां एलएलएम (LLM) के आउटपुट को लेखक-विभेदित बनाने के लिए मॉड्युलेट कर सकती हैं, वे वास्तविक मानव लेखकत्व के महत्वपूर्ण अंतर को पाटने में विफल रहती हैं, क्योंकि उत्पन्न पाठ मानव शैलियों से उतना दूर रहता है जितना मनुष्य एक-दूसरे से होते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
एक ऐसी दुनिया की कल्पना करें जहाँ एक कंप्यूटर आपकी दादी जैसा दिखने वाला पत्र लिख सके, या किसी विशिष्ट पत्रकार के काम से मिलता-जुलता समाचार लेख तैयार कर सके। यह व्यक्तिगत आर्टिफिशियल इंटेलिजेंस (AI) का वादा है: मशीन को एक वास्तविक इंसान की अनूठी आवाज़, लय और आदतों को अपनाने के लिए सिखाना। वर्षों से, शोधकर्ता कंप्यूटर को किसी व्यक्ति के लेखन के उदाहरण दिखाकर इसे हासिल करने का प्रयास कर रहे हैं और इसे उस शैली की नकल करने के लिए कह रहे हैं। लक्ष्य यह है कि मशीन का आउटपुट एक सामान्य रोबोट जैसा नहीं, बल्कि एक विशिष्ट व्यक्ति जैसा महसूस हो। लेकिन एक महत्वपूर्ण प्रश्न अनुत्तरित रह गया है: क्या कंप्यूटर वास्तव में उस व्यक्ति की तरह बोल रहा है, या वह केवल दिखावा कर रहा है?
इसका उत्तर देने के लिए, एक शोधकर्ता ने इन प्रणालियों का परीक्षण करने का एक नया तरीका बनाया, जो केवल इस बात की जांच से आगे बढ़ता है कि पाठ व्याकरण की दृष्टि से सही है या निर्देशों का पालन करता है। उन्होंने मानव लेखन के गहरे, लगभग अदृश्य 'फिंगरप्रिंट' पर ध्यान केंद्रित किया—शब्दों के चयन, वाक्य की लंबाई और विराम चिह्नों के सूक्ष्म पैटर्न जो एक व्यक्ति की आवाज़ को दूसरे से अलग बनाते हैं। उनका अन्वेषण आर्टिफिशियल इंटेलिजेंस की वर्तमान स्थिति के बारे में एक आश्चर्यजनक सत्य प्रकट करता है: हालांकि इन प्रमारों को एक-दूसरे से थोड़ा अलग दिखने के लिए प्रेरित किया जा सकता है, लेकिन वे वास्तव में एक वास्तविक मानव लेखक की तरह दिखने के लिए उस अदृश्य रेखा को पार नहीं कर सकते।
शोधकर्ता ने PERSONALBENCH नामक एक परीक्षण क्षेत्र बनाया, जिसे यह मापने के लिए डिज़ाइन किया गया था कि क्या एक आर्टिफिशियल इंटेलिजेंस वास्तव में एक मानव की लेखन शैली को अपना सकता है। उन्होंने पचास अलग-अलग लोगों के लेखन नमूने एकत्र किए, जिनमें व्यक्तिगत ब्लॉग पोस्ट से लेकर विचारपूर्ण लेख तक शामिल थे, और AI को प्रत्येक व्यक्ति की शैली में नया पाठ उत्पन्न करने के लिए कहा। उन्होंने चार अलग-अलग तरीकों का परीक्षण किया कि कौन सा सबसे अच्छा काम करता है। एक तरीका बस AI को उस व्यक्ति के लेखन के पाँच उदाहरण दिखाता था। दूसरे ने AI को उस व्यक्ति की शैली का लिखित सारांश बनाने के लिए कहा, और फिर उस सारांश का उपयोग करके लिखने के लिए कहा। तीसरे तरीके ने AI को व्यक्ति की लेखन आदतों के बारे में विशिष्ट डेटा बिंदु दिए, जैसे औसत वाक्य की लंबाई। चौथा तरीका AI को कोई व्यक्तिगत जानकारी नहीं देता था, जो यह देखने के लिए एक नियंत्रण (control) के रूप में कार्य करता था कि मशीन अपने आप में कैसी सुनाई देती है।
परिणामों का निर्णय लेने के लिए, शोधकर्ता ने तीन अलग-अलग उपकरणों का उपयोग किया। सबसे महत्वपूर्ण एक विशेष कंप्यूटर प्रोग्राम था जिसे लेखकत्व (authorship) को पहचानने के लिए लाखों ऑनलाइन पोस्ट पर प्रशिक्षित किया गया था। यह उपकरण एक फॉरेंसिक विशेषज्ञ की तरह कार्य करता है, जो पाठ का विश्लेषण करता है ताकि यह तय किया जा सके कि क्या दो लेखन के टुकड़े संभवतः एक ही व्यक्ति के हैं। उन्होंने एक अन्य बड़े लैंग्वेज मॉडल का भी उपयोग एक जज के रूप में किया, जिससे यह पूछा गया कि क्या विशिष्ट शैलीगत लक्षण मौजूद हैं। अंत में, उन्होंने कुछ सामान्य शब्दों और विराम चिह्नों के कितनी बार उपयोग किया, यह देखने के लिए पारंपरिक गणना विधियों का उपयोग किया।
परिणाम सभी तरीकों में स्पष्ट और सुसंगत थे। जब शोधकर्ता ने फॉरेंसिक टूल से AI द्वारा उत्पन्न पाठ की वास्तविक लेखक के वास्तविक लेखन के साथ तुलना करने के लिए कहा, तो स्कोर कम थे। AI का लेखन लगातार दो यादृच्छिक (random) मनुष्यों के बीच के अंतर से भी अधिक दूर था। वास्तव में, AI का अपना अनूठा "फिंगरप्रिंट" इतना मजबूत था कि इसने आउटपुट पर प्रभुत्व जमा लिया। यहाँ तक कि जब AI को किसी विशिष्ट व्यक्ति की नकल करने के लिए सर्वोत्तम संभव निर्देश और उदाहरण दिए गए, तब भी परिणामी पाठ उस मानव की तुलना में अधिक मशीन जैसा ही लगा जिसकी वह नकल करने की कोशिश कर रहा था। AI की आवाज़ और मानव की आवाज़ के बीच का अंतर चौड़ा और अप्राप्य बना रहा।
दिलचस्प बात यह है कि अन्य निर्णायक उपकरणों ने एक अलग, भ्रामक कहानी बताई। AI ने एक जज के रूप में उच्च स्कोर दिया कि जिस पद्धति ने लिखित शैली सारांश बनाया था, वह सबसे सफल था, जिससे पता चला कि वह सबसे प्रभावी था। हालाँकि, फॉरेंसिक टूल ने ऐसा कोई लाभ नहीं दिखाया। शोधकर्ता ने इस विसंगति का पता इस दोष से लगाया कि जज कैसे काम कर रहा था: जज ठीक उन्हीं शैलीगत लक्षणों को देख रहा था जिन्हें शामिल करने के लिए पद्धति को बताया गया था, जिससे एक गोलाकार लूप (circular loop) बन गया जहाँ AI केवल निर्देशों का पालन कर रहा था, न कि वास्तव में अपनी आवाज़ बदल रहा था। फॉरेंसिक टूल, जो लेखन की गहरी संरचना को देखता था, ने कोई वास्तविक परिवर्तन नहीं देखा।
यह अध्ययन पुष्टि करता है कि जबकि वर्तमान आर्टिफिशियल इंटेलिजेंस को विभिन्न विषयों पर लिखने या विभिन्न लहजे (tones) का उपयोग करने के लिए निर्देशित किया जा सकता है, यह एक विशिष्ट मानव की मूल आवाज़ को मिलाने के लिए मौलिक रूप से नहीं बदल सकता। मशीन की शैली उसके डिज़ाइन में गहराई से निहित है, न कि केवल एक सतही परत जिसे प्रॉम्प्ट के माध्यम से हटाया जा सके। शोधकर्ता ने पाया कि AI अपने स्वयं के आउटपुट की तुलना करते समय विभिन्न लक्षित लेखकों के बीच अंतर कर सकता है, जिससे यह सिद्ध होता है कि वैयक्तिकरण (personalization) का कुछ प्रभाव पड़ता है। हालाँकि, यह प्रभाव मशीन के अपने ही 'स्टाइल स्पेस' के भीतर होता है। पाठ एक "जनरेटेड-टेक्स्ट रेजीम" (generated-text regime) में फंसा रहता है, जो वास्तविक लोगों के बीच पाई जाने वाली प्राकृतिक भिन्नता से अलग है।
यह निष्कर्ष बताता है कि एक ऐसा AI जो एक मानव लेखक की पूर्ण नकल कर सके, वह सरल निर्देशों के माध्यम से अभी तक पहुंच के भीतर नहीं है। मानव और मशीन लेखन के बीच का अंतर वास्तविक और मापने योग्य है। इसे वास्तव में पाटने के लिए, शोधकर्ता का सुझाव है कि बदलाव मशीन के प्रशिक्षण के दौरान होने चाहिए, न कि केवल तब जब उससे लिखने के लिए कहा जाता है। फिलहाल, उनके द्वारा विकसित उपकरण एक सटीक मापने वाले पैमाने के रूप में कार्य करते हैं, जो दिखाते हैं कि वर्तमान तकनीक ने कितना सफर तय किया है और उसे अभी कितना आगे जाना है। निष्कर्ष यह नहीं है कि वैयक्तिकरण पूरी तरह से विफल है, बल्कि यह है कि यह सख्त सीमाओं के भीतर संचालित होता है, जिससे सतह के नीचे मशीन की वास्तविक आवाज़ बरकरार रहती है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।