💬 NLP

Can LLMs Discern the Traits Influencing Your Preferences? Evaluating Personality-Driven Preference Alignment in LLMs

यह शोध पत्र एक ऐसे ढांचे का प्रस्ताव करता है जो उपयोगकर्ता की प्राथमिकताओं को फ़िल्टर और संरेखित करने के लिए स्थिर व्यक्तित्व लक्षणों (stable personality traits) को गुप्त संकेतों (latent signals) के रूप में उपयोग करता है, यह प्रदर्शित करते हुए कि व्यक्तित्व-संगत प्राथमिकताओं पर LLMs को कंडीशन करने से व्यक्तिगत प्रश्न-उत्तर सटीकता में महत्वपूर्ण सुधार होता है और PACIFIC का परिचय देता है, जो व्यक्तित्व-लेबल वाले प्राथमिकता कथनों का एक नया डेटासेट है।

मूल लेखक: Tianyu Zhao, Siqi Li, Yasser Shoukry, Salma Elmalaki

प्रकाशित 2026-03-04

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Tianyu Zhao, Siqi Li, Yasser Shoukry, Salma Elmalaki

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक व्यक्तिगत सहायक (पर्सनल असिस्टेंट) को काम पर रखने की कोशिश कर रहे हैं जो निर्णय लेने में आपकी मदद कर सके, जैसे कि छुट्टी बिताने के लिए कोई जगह चुनना या एक नया कॉफी टेबल चुनना।

समस्या: "भुलक्कड़" सहायक
वर्तमान में, लार्ज लैंग्वेज मॉडल्स (LLMs) ऐसे सहायकों की तरह हैं जिनका ध्यान बहुत कम समय के लिए रहता है। यदि आप उन्हें बताते हैं, "मुझे भीड़ पसंद नहीं है," तो वे शायद एक मिनट तक इसे याद रखेंगे। लेकिन अगर आप एक घंटे तक अन्य चीजों के बारे में बात करते हैं, या यदि आप अपनी पसंद को अस्पष्ट रूप से बताते हैं, तो वे अक्सर भूल जाते हैं या भ्रमित हो जाते हैं। वे आपके द्वारा कही गई हर एक विशिष्ट नियम को याद रखने की कोशिश करते हैं, जो 10,000 किताबों के पुस्तकालय को अपने दिमाग में ले जाने जैसा है। यह बहुत अधिक है, और वे महत्वपूर्ण चीजों को गिरा देते हैं।

समाधान: "व्यक्तित्व दिशा-सूचक" (पर्सनैलिटी कंपास)
यह पेपर एक स्मार्ट तरीके का प्रस्ताव देता है। केवल यह पूछने के बजाय कि सहायक को आपके द्वारा बनाए गए हर एक नियम को याद रखना चाहिए, क्यों न यह समझ लिया जाए कि आप कौन हैं?

अपने व्यक्तित्व (जैसे कि साहसी होना, व्यवस्थित होना, या चिंतित होना) को एक दिशा-सूचक (Compass) के रूप में सोचें। भले ही सहायक आज आपका यह विशिष्ट नियम भूल जाए कि "भीड़भाड़ वाले समुद्र तटों से बचना है," सहायक आपके दिशा-सूचक (आपके व्यक्तित्व) को देख सकता है और कह सकता है, "आह, यह व्यक्ति आम तौर पर चिंतित है और भीड़ पसंद नहीं करता, इसलिए उन्हें शायद भीड़भाड़ वाला समुद्र तट पसंद नहीं आएगा।"

शोधकर्ता इस दृष्टिकोण को "पर्सनैलिटी-ड्रिवन प्रेफरेंस एलाइनमेंट" कहते हैं।

तीन मुख्य सामग्रियां

1. नया नक्शा: PACIFIC डेटासेट

टीम ने PACIFIC नामक एक नया नक्शा बनाया है। एक विशाल पुस्तकालय की कल्पना करें जिसमें 1,200 अलग-अलग परिदृश्य (जैसे कार खरीदना, यात्रा की योजना बनाना, या कोई फिल्म चुनना) हैं।

पुराना तरीका: केवल यह लिखना कि "मुझे एक्शन फिल्में पसंद हैं।"
PACIFIC का तरीका: उन्होंने हर पसंद को एक "बिग फाइव" व्यक्तित्व टैग (जैसे Openness, Conscientiousness, Extraversion, Agreeableness, Neuroticism) के साथ लेबल किया।
ट्विस्ट: उन्होंने महसूस किया कि कुछ लक्षणों के लिए, जैसे Neuroticism (चिंता/घबराहट), लोग वैसे व्यवहार नहीं करते जैसा कि लक्षण सुझाव देता है। एक चिंतित व्यक्ति वास्तव में चिंतित महसूस नहीं करना चाहता; वह सुरक्षा चाहता है। इसलिए, उन्होंने एक विशेष नियम बनाया: "उच्च चिंता" वाले लोग वास्तव में "कम जोखिम" वाले विकल्पों को पसंद करते हैं। यह समझने जैसा है कि ऊंचाई से डरने वाले व्यक्ति को "कूदने" के लिए कहने के बजाय, उसे "जमीन पर रहने" की आवश्यकता होती है।

2. प्रयोग: सही विकल्प का अनुमान लगाना

उन्होंने इसे "बहुविकल्पीय" (Multiple Choice) खेल पर परखा।

परिदृश्य: एक उपयोगकर्ता पूछता है, "मुझे कौन सा कॉफी टेबल खरीदना चाहिए?"
विकल्प:
1. एक सस्ता, बड़े पैमाने पर उत्पादित धातु का टेबल।
2. एक बड़े स्टोर से लिया गया चिकना, कांच का टेबल।
3. एक बॉक्स स्टोर से लिया गया फ्लैट-पैक टेबल।
4. एक स्थानीय कलाकार से लिया गया अनोखा, हस्तनिर्मित टेबल।
सुराग: उपयोगकर्ता ने पहले कहा था, "मुझे बड़े पैमाने पर उत्पादित चीजें पसंद नहीं हैं; मुझे अनोखी चीजें पसंद हैं।"
परीक्षण:
- व्यक्तित्व के बिना: AI ने रैंडमली चुना या "सबसे सुरक्षित" उत्तर चुना। इसने केवल 29% बार सही अनुमान लगाया।
- व्यक्तित्व के साथ: AI ने उपयोगकर्ता के "दिशा-सूचक" (जैसे, "यह उपयोगकर्ता High Openness वाला है") को देखा। उसने महसूस किया, "High Openness वाले लोग अनोखी, कलात्मक चीजें पसंद करते हैं।" उसने हस्तनिर्मित टेबल को चुना। इसने 76% बार सही अनुमान लगाया!

3. टूलकिट: AI से बात करने का तरीका

पेपर ने AI को यह "दिशा-सूचक" जानकारी देने के विभिन्न तरीकों का परीक्षण किया:

"रिमाइंडर" विधि: केवल AI को यह बताना कि, "हे, याद रखो इस उपयोगकर्ता को अनोखी चीजें पसंद हैं," थोड़ा मददगार रहा।
"लेबल" विधि: AI को एक चीट शीट देना जो कहती है, "उपयोगकर्ता = High Openness, Low Conscientiousness," बहुत बेहतर काम करता है। यह एक अस्पष्ट संकेत के बजाय एक स्पष्ट निर्देश पुस्तिका देने जैसा था।
"सर्च" विधि (RAG): कभी-कभी AI को उपयोगकर्ता के व्यक्तित्व टैग का पता नहीं होता। इसलिए, उन्होंने एक टूल बनाया जो उपयोगकर्ता की पिछली बातचीत को खोजता है, सबसे प्रासंगिक "व्यक्तित्व सुराग" ढूंढता है, और उन्हें AI को सौंप देता है। यह एक लाइब्रेरियन की तरह है जो आपके पूछने से पहले ही आपके लिए सही किताब ढूंढ लेता है।

मुख्य निष्कर्ष

पेपर ने पाया कि "क्या" (विशिष्ट पसंद) को याद रखने के बजाय "क्यों" (व्यक्तित्व) को समझना बेहतर है।

"सोशल डिजायरेबिलिटी" (सामाजिक वांछनीयता) का जाल: शोधकर्ताओं ने एक मजेदार खामी भी पाई। AI मॉडल "अच्छे" और "विनम्र" होने के लिए प्रशिक्षित होते हैं। कभी-कभी, वे यह स्वीकार करने से इनकार कर देते हैं कि कोई उपयोगकर्ता "Low in Conscientiousness" (थोड़ा अव्यवस्थित) या "High in Neuroticism" (चिंतित) हो सकता है क्योंकि ये "बुरे" लक्षण लगते हैं। AI बहुत अधिक सकारात्मक होने की कोशिश करता है और उपयोगकर्ता के वास्तविक अव्यवस्थित या चिंतित स्वभाव को अनदेखा कर देता है। यह उस दोस्त की तरह है जो यह मानने से इनकार करता है कि आप थके हुए हैं और आपसे "खुश रहने" के लिए कहता रहता है, जबकि आपको वास्तव में एक नींद की जरूरत है।

सारांश में

यह पेपर हमें सिखाता है कि AI को वास्तव में व्यक्तिगत बनाने के लिए, हमें केवल आपकी पसंद और नापसंद की सूची नहीं देनी चाहिए। इसके बजाय, हमें उसे आपके व्यक्तित्व के दिशा-सूचक (Personality Compass) को समझने के लिए सिखाना चाहिए। एक बार जब AI जान जाता है कि आप कौन हैं, तो वह अनुमान लगा सकता है कि आप क्या चाहते हैं, भले ही आपने इसे ज़ोर से न कहा हो। यह AI को एक भुलक्कड़ नोट लेने वाले से बदलकर एक विचारशील मित्र में बदल देता है जो वास्तव में आपको "समझता" है।

यहाँ शोध पत्र "Can LLMs Discern the Traits Influencing Your Preferences? Evaluating Personality-Driven Preference Alignment in LLMs" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

यद्यपि लार्ज लैंग्वेज मॉडल्स (LLMs) का उपयोग व्यक्तिगत अनुशंसाओं (personalized recommendations) के लिए तेजी से किया जा रहा है, वर्तमान प्रणालियाँ उत्तर निर्माण के लिए उपयोगकर्ता वरीयता संकेतों (user preference signals) का विश्वसनीय रूप से लाभ उठाने में संघर्ष करती हैं। मौजूदा दृष्टिकोणों को तीन महत्वपूर्ण चुनौतियों का सामना करना पड़ता है:

शोर और अपूर्णता (Noise and Incompleteness): उपयोगकर्ता की प्राथमिकताएँ अक्सर छिटपुट रूप से बताई जाती हैं, अधूरी होती हैं, या विरोधाभासी होती हैं।
संदर्भगत भंगुरता (Contextual Fragility): मॉडल लंबी बातचीत के दौरान प्राथमिकताओं को ट्रैक करने में विफल रहते हैं; केवल कुछ ही चरणों के बाद सटीकता काफी गिर जाती है (अक्सर 10% से नीचे)।
अंतर्निहित संरचना का अभाव (Lack of Latent Structure): वर्तमान बेंचमार्क स्पष्ट बाधा अनुपालन (explicit constraint following) या मेमोरी रिट्रीवल पर ध्यान केंद्रित करते हैं, लेकिन वे उन अंतर्निहित व्यक्तित्व लक्षणों (latent personality traits) को अनुमान लगाने की मॉडल की क्षमता का मूल्यांकन करने में विफल रहते हैं जो उन प्राथमिकताओं को संचालित करते हैं।

लेखक प्रस्तावित करते हैं कि व्यक्तित्व लक्षण (विशेष रूप से बिग फाइव/OCEAN मॉडल) एक स्थिर, उच्च-स्तरीय "अंतर्निहित संकेत" (latent signal) के रूप में कार्य करते हैं जो कच्चे वरीयता डेटा को शाब्दिक रूप से संग्रहीत करने की तुलना में अधिक मजबूती से व्यवस्थित और व्याख्या कर सकते हैं।

2. कार्यप्रणाली (Methodology)

A. PACIFIC डेटासेट

मनोमितीय रूप से आधारित बेंचमार्क की कमी को दूर करने के लिए, लेखक PACIFIC (Preference Alignment Choices Inference for Five-factor Identity Characterization) पेश करते हैं।

पैमाना (Scale): 20 विविध डोमेन (जैसे यात्रा, वित्त, गृह रखरखाव) में 1,200 विशिष्ट मानव वरीयता कथन।
संरचना: प्रत्येक उदाहरण एक ट्रिपल $(p_i, q_i, a_i)$ $(p_{i}, q_{i}, a_{i})$ से बना है:
- $p_i$ : एक उपयोगकर्ता वरीयता कथन (स्पष्ट या अंतर्निहित)।
- $q_i$ : 4 विकल्पों वाला एक बहुविकल्पीय प्रश्न।
- $a_i$ : उपयोगकर्ता की वरीयता के अनुरूप सही उत्तर।
एनोटेशन रणनीति (Dual-Strategy):
- मिररिंग रणनीति (O, C, E, A): ओपननेस (Openness), कॉनशियसनेस (Conscientiousness), एक्सट्रावर्जन (Extraversion), और एग्रीएबलनेस (Agreeableness) के लिए, वरीयताओं को सेल्फ-कॉंग्रुइटी थ्योरी (Self-Congruity Theory) के आधार पर स्कोर किया जाता है। उच्च स्कोर लक्षण के साथ संरेखण को दर्शाते हैं (जैसे, एक अत्यधिक Conscientious उपयोगकर्ता संरचित उपकरणों को पसंद करता है)।
- कंपनसेटरी रणनीति (N): न्यूरोटिसिज्म (Neuroticism) के लिए, दृष्टिकोण को "सुरक्षा बनाम दक्षता" (Safety vs. Efficiency) के ट्रेड-ऑफ के आधार पर उल्टा किया जाता है। उच्च न्यूरोटिसिज्म वाले उपयोगकर्ता सुरक्षा/जोखिम-परिहार (कम जोखिम) की तलाश करते हैं, जबकि कम न्यूरोटिसिज्म वाले उपयोगकर्ता जोखिम की कीमत पर भी दक्षता को प्राथमिकता देते हैं।
गुणवत्ता नियंत्रण: एक सख्त निरंतरता फ़िल्टरिंग प्रोटोकॉल ( $\tau=0.7$ कॉन्फिडेंस थ्रेशोल्ड) यह सुनिश्चित करता है कि दोनों वरीयता और सही उत्तर विकल्प स्पष्ट रूप से लक्षित व्यक्तित्व ध्रुवीयता (trait polarity) प्रदर्शित करते हैं, जिससे सामान्य-ज्ञान वाले उत्तरों को फ़िल्टर किया जा सके।

B. पर्सोना-संचालित वरीयता-अनुसरण ढांचा (Persona-Driven Preference-Following Framework)

लेखक एक ऐसा ढांचा प्रस्तावित करते हैं जहाँ LLMs ऐतिहासिक बातचीत से उपयोगकर्ता के अंतर्निहित व्यक्तित्व प्रोफाइल का अनुमान लगाते हैं और इस प्रोफाइल का उपयोग करके नए प्रश्नों के लिए प्रासंगिक प्राथमिकताओं को पुनः प्राप्त (retrieve) करते हैं या चुनते हैं। वे चार प्रॉम्प्टिंग रणनीतियों का मूल्यांकन करते हैं:

Few-Shot (केवल वरीयता): क्वेरी के लक्षण के साथ संरेखित कच्ची वरीयता कथन प्रदान करना।
Few-Shot + Persona Hints: प्राथमिकताओं को स्पष्ट लक्षण लेबल (जैसे, "High Openness") और/या उत्तर विकल्पों के लिए लक्षण स्कोर के साथ बढ़ाना।
Reminder: उपयोगकर्ता के निहित व्यक्तित्व पर विचार करने के निर्देश के साथ कच्ची प्राथमिकताएं प्रदान करना।
Retrieval-Augmented Generation (RAG): क्वेरी एम्बेडिंग के आधार पर लक्षण-संरेखित प्राथमिकताओं को एक डेटाबेस से स्वचालित रूप से प्राप्त करने के लिए एक डेंस पैसेज रिट्रीवर (DPR) का उपयोग करना। वे समानता के बजाय पर्सोना निरंतरता को प्राथमिकता देने के लिए एक प्री-ट्रेन्ड रिट्रीवर की तुलना PACIFIC डेटासेट पर फाइन-ट्यून किए गए रिट्रीवर से करते हैं।

3. मुख्य योगदान (Key Contributions)

सिग्नल के रूप में व्यक्तित्व का अनुभवजन्य सत्यापन: अध्ययन यह प्रदर्शित करता है कि व्यक्तित्व-संरेखित प्राथमिकताओं पर आधारित होना यादृच्छिक या मिश्रित प्राथमिकताओं का उपयोग करने की तुलना में काफी बेहतर प्रदर्शन करता है, जो यह सिद्ध करता है कि व्यक्तित्व लक्षण वरीयता भविष्यवाणी के लिए एक मजबूत 'प्रायर' (prior) के रूप में कार्य करते हैं।
PACIFIC डेटासेट: पहला बेंचमार्क जो विशेष रूप से बिग फाइव व्यक्तित्व लक्षणों और डाउनस्ट्रीम उपयोगकर्ता प्राथमिकताओं के बीच संबंध का मूल्यांकन करने के लिए डिज़ाइन किया गया है, जो पूर्ववर्ती डेटासेट्स (जैसे PrefEval) की वितरण विषमता और मनोमितीय वैधता की कमी को संबोधित करता है।
नवीन ढांचा: LLMs में पर्सोना जानकारी इंजेक्ट करने के तरीकों का एक व्यापक मूल्यांकन, जो दिखाता है कि स्पष्ट लक्षण लेबलिंग और रिट्रीवल तंत्र सटीकता को काफी बढ़ा सकते हैं।

4. प्रयोगात्मक परिणाम (Experimental Results)

प्रयोग Gemma-3-4B-IT मॉडल का उपयोग करके प्रत्येक लक्षण श्रेणी के लिए 200 नमूना प्रश्नों पर किए गए।

बेसलाइन प्रदर्शन: बिना वरीयता संदर्भ के, सटीकता ~25.75% थी। यादृच्छिक/मिश्रित प्राथमिकताओं के साथ, यह गिरकर 29.25% हो गई।
लक्षण-संरेखित प्राथमिकताएं: उपयोगकर्ता के अनुमानित लक्षण के साथ संरेखित प्राथमिकताओं का उपयोग करने से सटीकता बढ़कर 63.00% हो गई।
स्पष्ट लेबल का प्रभाव: प्राथमिकताओं को ग्राउंड-ट्रुथ लक्षण लेबल (जैसे, "High Openness") के साथ जोड़ने से सटीकता बढ़कर 76.00% हो गई।
- नोट: उत्तर विकल्पों के लिए लक्षण लेबल प्रदान करने से प्रदर्शन वास्तव में कम हो गया (57.25% तक), जो एक "पॉजिटिविटी बायस" (positivity bias) का सुझाव देता है जहाँ मॉडल स्पष्ट रूप से लेबल किए जाने पर "Low" लक्षण विकल्पों (जैसे, Low Conscientiousness) को चुनने में संघर्ष करते हैं।
RAG प्रदर्शन: एक प्री-ट्रेन्ड रिट्रीवर ने ~30% सटीकता प्राप्त की (यादृच्छिक के समान)। हालांकि, एक फाइन-ट्यून किए गए रिट्रीवर ने इसे बढ़ाकर 43.00% कर दिया, जो दर्शाता है कि मॉडल स्पष्ट लेबल के बिना भी पर्सोना-संगत संदर्भों को प्राप्त करना सीख सकते हैं।
सामाजिक वांछनीयता पूर्वाग्रह (Social Desirability Bias): मॉडल ने लक्षणों के "Low" ध्रुवों (जैसे, Low Openness, Low Conscientiousness) को पहचानने में महत्वपूर्ण कठिनाई दिखाई, जो अक्सर RLHF सुरक्षा बाधाओं के कारण उन्हें नकारात्मक व्यवहार के साथ मिला देते हैं। इससे इन लक्षणों वाले उपयोगकर्ताओं के लिए गलत सिफारिशें हुईं।

5. महत्व और निहितार्थ (Significance and Implications)

मेमोरी से एब्स्ट्रैक्शन की ओर बदलाव: यह शोध पत्र तर्क देता है कि एजेंटिक AI में प्रभावी उपयोगकर्ता मॉडलिंग को कच्चे इतिहास के "लॉसलेस स्टोरेज" से व्यक्तित्व लक्षणों के माध्यम से सिमेंटिक एब्स्ट्रैक्शन की ओर स्थानांतरित होना चाहिए। यह कम्प्यूटेशनल ओवरहेड और शोर को कम करता है और दीर्घकालिक निरंतरता में सुधार करता है।
मजबूत वैयक्तिकरण: व्यक्तित्व लक्षणों का लाभ उठाकर, LLMs विशिष्ट उपयोगकर्ता प्राथमिकताओं के कम, पुराने या शोरपूर्ण होने पर भी विश्वसनीय निर्णय ले सकते हैं।
भविष्य की दिशाएं: यह कार्य RLHF-प्रशिक्षित मॉडलों में "Low" लक्षण संकेतों को बेहतर ढंग से संभालने की आवश्यकता पर प्रकाश डालता है ताकि सामाजिक वांछनीयता पूर्वाग्रह से बचा जा सके, और यह सुझाव देता है कि भविष्य के रिट्रीवल सिस्टम को केवल सिमेंटिक समानता के बजाय स्पष्ट रूप से पर्सोना निरंतरता के लिए प्रशिक्षित किया जाना चाहिए।

निष्कर्षतः, यह शोध पत्र स्थापित करता है कि व्यक्तित्व-संचालित संरेखण (personality-driven alignment) LLM वैयक्तिकरण के लिए एक बेहतर प्रतिमान है, जो बेसलाइन विधियों की तुलना में 46%+ सुधार प्रदान करता है और भविष्य के अनुसंधान के लिए एक मौलिक डेटासेट और ढांचा प्रदान करता है।