SocialPersona: Benchmarking Personalized Profiling and Response with Multimodal Social-Media Context
यह शोधपत्र SocialPersona को प्रस्तुत करता है, जो 171 उपयोगकर्ताओं के दीर्घकालिक सोशल-मीडिया टाइमलाइन्स से प्राप्त एक मल्टीमॉडल बेंचमार्क है, जिसका उद्देश्य प्रकट प्राथमिकताओं (revealed preferences) का अनुमान लगाने और व्यक्तिगत प्रतिक्रियाएं उत्पन्न करने की लार्ज लैंग्वेज मॉडल्स की क्षमता का मूल्यांकन करना है, जिससे यह पता चलता है कि हालांकि मॉडल व्यापक रुचियों की पहचान कर सकते हैं, लेकिन वे सूक्ष्म विवरणों, हालिया अपडेट और इन अंतर्दृष्टि को संवाद में लागू करने में संघर्ष करते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक नए दोस्त को जानने की कोशिश कर रहे हैं। आपके पास इसे करने के दो तरीके हैं:
"मेमोरी टेस्ट" (स्मृति परीक्षण): आप उनसे पूछते हैं, "आपको क्या पसंद है?" और वे बताते हैं, "मुझे हाइकिंग बहुत पसंद है।" आप इसे याद रखते हैं, और अगली बार जब आप किसी यात्रा की योजना बनाते हैं, तो आप हाइकिंग का सुझाव देते हैं।
"डिटेक्टिव वर्क" (जासूसी कार्य): आप उन्हें सीधे नहीं पूछते। इसके बजाय, आप उनके पुराने फोटो एल्बम देखते हैं, उनकी डायरी के प्रविष्टियाँ पढ़ते हैं, और पिछले दो वर्षों की उनकी सोशल मीडिया पोस्ट्स की जाँच करते हैं। आपको यह पता लगाने के लिए सुरागों को जोड़ना पड़ता है कि उन्हें क्या पसंद है, जैसे कि एक टेंट की फोटो, एक नए ट्रेल के बारे में एक टेक्स्ट, या एक कैंपफायर की तस्वीर।
यह शोध पत्र, SocialPersona, दूसरे तरीके के बारे में है। यह एक बड़ा सवाल पूछता है: क्या AI असिस्टेंट खुद से "डिटेक्टिव वर्क" करने के लिए पर्याप्त स्मार्ट हो सकते हैं?
समस्या: AI याद रखने में अच्छा है, लेकिन अंतर्दृष्टि (Insight) में बुरा है
वर्तमान में, अधिकांश AI असिस्टेंट उन छात्रों की तरह हैं जो तथ्यों को रटने में तो माहिर हैं लेकिन लाइनों के बीच छिपे अर्थ को पढ़ने में कच्चे हैं। यदि आप AI को बताते हैं, "मुझे कैंपिंग पसंद है," तो वह इसे याद रखता है। लेकिन अगर आपने इसे कभी बताया ही नहीं, और यह केवल आपकी पुरानी सोशल मीडिया पोस्ट्स देखता है, तो क्या यह अनुमान लगा सकता है कि आपको कैंपिंग पसंद है?
लेखकों ने यह देखने के लिए एक नया टेस्ट बनाया है कि क्या AI "डिटेक्टिव वर्क" कर सकता है। उन्होंने 171 सामान्य लोगों (सेलेब्रिटी या ब्रांड नहीं) के वास्तविक, दीर्घकालिक सोशल मीडिया टाइमलाइन्स एकत्र किए। उनकी टाइमलाइन में टेक्स्ट, फोटो और तारीखों का मिश्रण है।
टेस्ट: दो चुनौतियाँ
यह पेपर AI को दो विशिष्ट चुनौतियों के माध्यम से परखता है:
प्रोफाइल बिल्डर (Profile Builder): AI व्यक्ति के पूरे सोशल मीडिया इतिहास को देखता है और एक "यूजर प्रोफाइल" लिखना होता है। इसे स्थिर रुचियों (Stable Interests) (वे चीजें जिन्हें वे वर्षों से पसंद करते आए हैं, जैसे "मुझे कुत्ते पसंद हैं") से हालिया रुचियों (Recent Interests) (वे चीजें जो उन्होंने पिछले महीने ही शुरू की हैं, जैसे "मैं कयाकिंग आजमा रहा हूँ") को अलग करना होता है।
कन्वर्सेशन पार्टनर (Conversation Partner): AI को फिर उपयोगकर्ता के साथ बातचीत करनी होती है। यदि उपयोगकर्ता पूछता है, "मुझे इस वीकेंड क्या करना चाहिए?", तो AI को व्यक्तिगत उत्तर देने के लिए उस प्रोफाइल का उपयोग करना चाहिए (जैसे, "आप आजकल कयाकिंग का आनंद ले रहे हैं, तो शायद एक रिवर ट्रिप पर जा सकते हैं," बजाय इसके कि केवल "सैर पर जाएं" कहे)।
परिणाम: AI अभी भी एक नौसिखिया जासूस है
शोधकर्ताओं ने कई अलग-अलग AI मॉडल (दोनों प्रसिद्ध व्यावसायिक और ओपन-सोर्स) का परीक्षण किया। यहाँ उन्होंने कुछ सरल रूपकों का उपयोग करते हुए जो पाया, वह दिया गया है:
"धुंधला लेंस" (ओवर-जनरलाइजेशन/अति-सामान्यीकरण):
AI एक ऐसे फोटोग्राफर की तरह है जिसका लेंस बहुत धुंधला है। यदि कोई उपयोगकर्ता "हाइकिंग," "रॉक क्लाइंबिंग," और "कैंपिंग" के बारे में पोस्ट करता है, तो AI तीन अलग-अलग शौक नहीं देख पाता। वह इसे केवल एक बड़ा, अस्पष्ट समूह देखता है जिसे "आउटडोर" कहा जाता है। वह उन विशिष्ट विवरणों को मिस कर देता है जो एक सुझाव को वास्तव में व्यक्तिगत बनाते हैं। यह एक वेटर की तरह है जो, आपसे यह पूछने के बजाय कि आपको स्टेक चाहिए या चिकन, बस कहता है, "यहाँ कुछ मांस है।""विजुअल बायस" (दृश्य पूर्वाग्रह/मोडैलिटी एसिमेट्री):
AI इस बात के प्रति अत्यधिक पक्षपाती है जो वह देख सकता है। यदि कोई उपयोगकर्ता अपनी बिल्ली की एक स्पष्ट फोटो पोस्ट करता है, तो AI तुरंत जान जाता है, "उन्हें बिल्लियाँ पसंद हैं!" लेकिन यदि कोई उपयोगकर्ता जैज़ संगीत के प्रति अपने प्रेम के बारे में एक लंबा टेक्स्ट लिखता है लेकिन कभी भी रिकॉर्ड की तस्वीर नहीं डालता, तो AI अक्सर इसे पूरी तरह से मिस कर देता है। यह एक ऐसे जासूस की तरह है जो केवल तभी सबूतों पर विश्वास करता है जब वे बड़े, बोल्ड अक्षरों में लिखे हों, और टेक्स्ट में छिपी सूक्ष्म बातों को अनदेखा कर देता है।"टाइम ट्रैवलर का भ्रम" (टेम्पोरल ब्लाइंडनेस/समय के प्रति अंधापन):
AI को समय समझने में संघर्ष करना पड़ता है। उसे यह बताने में कठिनाई होती है कि कोई शौक जिसे किसी ने पाँच साल से रखा है और वह शौक जिसे उसने पिछले हफ्ते ही अपनाया है, के बीच क्या अंतर है। यह सब कुछ "स्थिर रुचियों" में मिला देता है, जिससे उपयोगकर्ता की वर्तमान सनक (obsession) छूट जाती है। यह एक ऐसे दोस्त की तरह है जो आपको वह टीवी शो देखने का सुझाव देता रहता है जिसे आप 2010 में पसंद करते थे, भले ही आप कल से शुरू किए गए एक नए शो के बारे में बात कर रहे हों।"टूटी हुई कड़ी" (संवाद की विफलता):
जब AI अपने अपूर्ण प्रोफाइल का उपयोग करके चैट करने की कोशिश करता है, तो बातचीत प्रभावित होती है। क्योंकि प्रोफाइल बहुत सामान्य थी या इसमें हाल की रुचियां छूट गई थीं, इसलिए AI के सुझाव बहुत साधारण या गलत महसूस होते हैं। यह एक कमजोर नींव पर घर बनाने की कोशिश करने जैसा है; दीवारें (बातचीत) टेढ़ी-मेढ़ी हो जाती हैं।
निष्कर्ष
पेपर यह निष्कर्ष निकालता है कि हालांकि AI सोशल मीडिया को पढ़ने में बेहतर हो रहा है, लेकिन मानवीय व्यक्तित्व को वास्तव में समझने के लिए इसे अभी लंबा रास्ता तय करना है। यह स्पष्ट, बड़े-चित्र वाली रुचियों को पहचान सकता है, लेकिन यह बारीक विवरणों, हालिया बदलावों, और केवल टेक्स्ट वाले सुरागों के साथ संघर्ष करता है जो एक सुझाव को वास्तव में "मानवीय" महसूस कराते हैं।
SocialPersona अब शोधकर्ताओं के लिए एक उपकरण है जिससे वे यह माप सकें कि AI को वास्तव में एक व्यक्तिगत सहायक बनने के लिए कितनी दूर जाना है, जो हमें हमसे बेहतर जानता हो।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।