Towards Simulating Social Media Users with LLMs: Evaluating the Operational Validity of Conditioned Comment Prediction
यह अध्ययन एलएलएम (LLMs) को सामाजिक विज्ञान के विषयों के रूप में मूल्यांकन करने के लिए 'कंडीशन्ड कमेंट प्रेडिक्शन' (CCP) प्रस्तुत करता है, जो यह प्रकट करता है कि जबकि सुपरवाइज्ड फाइन-ट्यूनिंग (Supervised Fine-Tuning) आउटपुट संरचना को संरेखित करती है, यह अर्थ संबंधी ग्राउंडिंग (semantic grounding) को कम करती है और उच्च-सटीकता वाले उपयोगकर्ता सिमुलेशन के लिए स्पष्ट जीवनी संबंधी कंडीशनिंग के बजाय लेटेंट व्यवहार संबंधी अनुमान (latent behavioral inference) को प्राथमिकता देती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट को सोशल मीडिया पर किसी विशिष्ट व्यक्ति की तरह व्यवहार करना सिखाने की कोशिश कर रहे हैं। आप चाहते हैं कि रोबोट एक समाचार पोस्ट पढ़े और एक ऐसी टिप्पणी लिखे जो बिल्कुल उस व्यक्ति जैसी लगे।
यह शोध पत्र इस बात की रिपोर्ट कार्ड है कि वर्तमान AI मॉडल (विशेष रूप से "लार्ज लैंग्वेज मॉडल्स" या "LLMs") यह काम कितनी अच्छी तरह कर सकते हैं। शोधकर्ताओं ने, नील्स श्वागर और उनकी टीम के नेतृत्व में, केवल यह नहीं पूछा, "क्या यह किसी इंसान जैसा लगता है?" बल्कि उन्होंने पूछा, "क्या यह इस विशिष्ट इंसान जैसा लगता है?"
यहाँ उनके निष्कर्षों का विवरण दिया गया है, जिसे रोजमर्रा की भाषा और कुछ सहायक उपमाओं के साथ अनुवादित किया गया है।
बड़ी समस्या: "नाइव" (Naive) दृष्टिकोण
लंबे समय से, लोग AI को एक जीवनी (biography) देकर उसे किसी व्यक्ति की तरह व्यवहार करने के लिए प्रेरित करते रहे हैं।
- पुराना तरीका: आप AI को बताते हैं, "आप एक 45 वर्षीय रूढ़िवादी मतदाता हैं जिन्हें बिल्लियाँ पसंद हैं और ट्रैफिक से नफरत है।" फिर आप उससे एक पोस्ट पर टिप्पणी करने के लिए कहते हैं।
- परिणाम: AI कुछ ऐसा लिखता है जो एक रूढ़िवादी जैसा लगता है, लेकिन वह आपके विशिष्ट रूढ़िवादी जैसा नहीं लगता। यह एक ऐसे अभिनेता को काम पर रखने जैसा है जो स्क्रिप्ट तो जानता है लेकिन उसने चरित्र से कभी मुलाकात नहीं की है। वे वेशभूषा तो सही पहन लेते हैं, लेकिन आत्मा गायब होती है।
नया प्रयोग: "कंडीशन्ड कमेंट प्रेडिक्शन" (Conditioned Comment Prediction - CCP)
शोधकर्ताओं ने एक अलग दृष्टिकोण का परीक्षण किया जिसे कंडीशन्ड कमेंट प्रेडिक्शन (CCP) कहा जाता है। केवल एक जीवनी पढ़ने के बजाय, उन्होंने AI को उस व्यक्ति का "इतिहास का पन्ना" दिया जो उसने वास्तव में अतीत में लिखा था।
उन्होंने तीन भाषाओं में इसका परीक्षण किया: अंग्रेजी (अत्यधिक समृद्ध भाषा), जर्मन (मध्यम वर्ग की भाषा), और लक्समबर्गिश (छोटी, संसाधन-विहीन भाषा)।
तीन बड़ी खोजें
1. "रूप बनाम सामग्री" का जाल (कम संसाधन वाली समस्या)
उन भाषाओं में जिनमें बहुत अधिक डेटा है (जैसे अंग्रेजी), AI यह सीख जाता है कि क्या कहना है और कैसे कहना है।
लेकिन कम डेटा वाली भाषाओं (जैसे लक्समबर्गिश) में, जब उन्होंने AI को "फाइन-ट्यून" करने की कोशिश की (यानी उसे विशेष रूप से उपयोगकर्ता के इतिहास से सिखाने की कोशिश की), तो कुछ अजीब हुआ।
- उपमा: कल्पना कीजिए कि आप एक छात्र को कवि की तरह लिखना सिखा रहे हैं।
- लक्ष्य: उन्हें मूल कवि की तरह ही गहरे अर्थ और भावना के साथ कविता लिखनी चाहिए।
- क्या हुआ: AI ने ऐसी कविताएँ लिखना सीखा जो बिल्कुल समान लंबाई की थीं और जिनका तुकबंदी का पैटर्न (rhyme scheme) भी समान था (रूप/Form), लेकिन वास्तविक शब्द निरर्थक थे या उनमें वही अर्थ नहीं था (सामग्री/Content)।
- सीख: कम संसाधन वाली भाषाओं में, AI किसी के लेखन के आकार की नकल तो पूरी तरह से कर सकता है, लेकिन वह अर्थ खो देता है। यह एक ऐसे तोते की तरह है जो भाषण की लय की तो सटीक नकल कर सकता है लेकिन वह बिना किसी सार के बोलता है।
2. "जीवनी" अनावश्यक है (स्मृति का जादू)
शोधकर्ताओं ने दो तरीकों की तुलना की:
- विधि A: AI को एक लिखित जीवनी देना (जैसे, "वह एक चिड़चिड़ा बूढ़ा आदमी है")।
- विधि B: AI को उन 30 चीजों की सूची देना जो उस व्यक्ति ने वास्तव में अतीत में कही थीं।
आश्चर्य: एक बार जब AI "फाइन-ट्यून" (डेटा पर प्रशिक्षित) हो गया, तो विधि A बेकार हो गई।
- उपमा: जीवनी को एक मानचित्र (map) के रूप में और इतिहास को एक GPS के रूप में सोचें। यदि आप एक ऐसी कार चला रहे हैं जो पहले कभी सड़क पर नहीं उतरी है (एक बेस मॉडल), तो आपको मानचित्र की आवश्यकता है। लेकिन यदि आपके पास एक स्व-चालित कार (self-driving car) है जिसने पहले से ही सड़कों को सीख लिया है, तो मानचित्र केवल कचरा है। कार स्वयं इतिहास के GPS को "पढ़" सकती है और चालक के व्यक्तित्व को खुद समझ सकती है।
- सीख: आपको यह बताने के लिए लंबी व्याख्या लिखने की आवश्यकता नहीं है कि उपयोगकर्ता कौन है। बस AI को दिखा दें कि उन्होंने क्या किया। AI कार्यों से व्यक्तित्व का अनुमान लगाने में सक्षम है।
3. "कोल्ड स्टार्ट" (Cold Start) की समस्या
जब आप AI को किसी व्यक्ति के पिछले लेखन के शून्य उदाहरण देते हैं, तो वह अनियंत्रित हो जाता है। वह ऐसे निबंध लिखता है जो 5 गुना अधिक लंबे होते हैं या गलत लहजे का उपयोग करते हैं।
- समाधान: AI को स्थिर करने के लिए आपको केवल 5 से 10 उदाहरणों की आवश्यकता है कि उस व्यक्ति ने पहले क्या कहा था। उसके बाद, AI उपयोगकर्ता की शैली को पकड़ लेता है।
- उपमा: यह एक नए दोस्त से मिलने जैसा है। यदि आप उनसे एक बार बात करते हैं, तो आप उन्हें नहीं जानते। यदि आप उनसे 5 बार बात करते हैं, तो आप उनका अंदाज़ (vibe) समझने लगते हैं। 10वीं बार तक, आप जानते हैं कि वे मजाक पर कैसी प्रतिक्रिया देंगे।
शोधकर्ताओं को अब क्या करना चाहिए? (चेकलिस्ट)
इन निष्कर्षों के आधार पर, लेखक व्यावहारिक सलाह देते हैं:
- जीवनी लिखना बंद करें: विस्तृत प्रॉम्प्ट लिखने में समय बर्बाद न करें जैसे कि "आप एक 30 वर्षीय शिक्षक हैं।" यह अक्षम है।
- वास्तविक डेटा का उपयोग करें: AI को वे वास्तविक टिप्पणियाँ दें जो उस व्यक्ति ने अतीत में की थीं। यही "गोल्ड स्टैंडर्ड" है।
- छोटी भाषाओं से सावधान रहें: यदि आप कम डेटा वाली भाषाओं (जैसे लक्समबर्गिश) में उपयोगकर्ताओं का अनुकरण कर रहे हैं, तो सावधान रहें। AI सतह पर तो एकदम सही दिख सकता है (सही लंबाई, सही व्याकरण), लेकिन वह वास्तव में उस व्यक्ति के विश्वासों के बारे में पूरी तरह से गलत हो सकता है।
- फाइन-ट्यूनिंग एक दोधारी तलवार है: अंग्रेजी में, उपयोगकर्ता डेटा पर AI को प्रशिक्षित करना इसे अद्भुत बना देता है। छोटी भाषाओं में, यह केवल शैली (style) की बेहतर नकल बना सकता है, बिना अर्थ (meaning) की समझ में सुधार किए।
नैतिक चेतावनी ( "डरावना" हिस्सा)
शोध पत्र एक गंभीर नोट के साथ समाप्त होता है। यदि हम AI को किसी विशिष्ट व्यक्ति की लेखन शैली की इतनी अच्छी तरह नकल करने में सक्षम बना सकते हैं, तो बुरे तत्व इसका उपयोग कर सकते हैं:
- ऐसे नकली खाते बनाने के लिए जो बिल्कुल वास्तविक लोगों की तरह दिखते हों।
- ऐसी गलत सूचना फैलाने के लिए जो व्यक्तिगत और प्रामाणिक महसूस होती हो।
- बिना उनके अकाउंट को हैक किए, केवल उनके सार्वजनिक ट्वीट्स को निकालकर किसी का "रूप धारण" (impersonate) करने के लिए।
संक्षेप में: AI हमारे होने का ढोंग करने में बहुत अच्छा होता जा रहा है। इसे ऐसा करने के लिए जीवनी की आवश्यकता नहीं है; इसे बस हमारे पिछले शब्दों के कुछ उदाहरणों की आवश्यकता है। लेकिन कुछ भाषाओं में, यह अभी भी बातचीत की "आत्मा" की नकल करने के बजाय केवल दिखावा कर रहा है, भले ही उसका "शरीर" एकदम सही दिखता हो।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।