तकनीकी सारांश: बड़े भाषा मॉडलों (LLMs) में व्यक्तिपरक विकल्पों से भुगतान करने की इच्छा (Willingness to Pay) का अनुमान लगाना

समस्या विवरण

जैसे-जैसे बड़े भाषा मॉडल (LLMs) यात्रा सहायता और खरीदारी समर्थन जैसे डोमेन में स्वायत्त एजेंटों के रूप में तैनात किए जा रहे हैं, उन्हें अक्सर ऐसी व्यक्तिपरक निर्णय लेने की आवश्यकता होती है जहाँ कोई वस्तुनिष्ठ सही उत्तर मौजूद नहीं होता। वर्तमान शोध में एक महत्वपूर्ण अंतर यह समझना है कि क्या इन मॉडलों में मजबूत, व्याख्या योग्य निर्णय सीमाएँ (decision boundaries) हैं और वे प्रॉम्प्ट इंजीनियरिंग या उपयोगकर्ता संदर्भ के माध्यम से हेरफेर के प्रति कितने संवेदनशील हैं। विशेष रूप $\text{यह}$ स्पष्ट नहीं है कि क्या LLMs निरंतर अंतर्निहित प्राथमिकताओं (latent preferences) को प्रदर्शित कर सकते हैं जिन्हें मात्रात्मक रूप से मापा जा सके और मानव आर्थिक बेंचमार्क के साथ तुलना किया जा सके, और क्या इन प्राथमिकताओं को सरल प्रॉम्प्ट विविधताओं द्वारा व्यवस्थित रूप से बदला जा सकता है।

कार्यप्रणाली

यह अध्ययन अंतर्निहित प्राथमिकताओं को अनुमानित करने के लिए डिस्क्रीट चॉइस मॉडलिंग पर आधारित एक आर्थिक ढांचे को अपनाता है। कार्यप्रणाली निम्नलिखित चरणों में आगे बढ़ती है:

1. दुविधा निर्माण (Dilemma Generation): लेखकों ने होटल रूम चयन के संबंध में मासिएरो एट अल (2015) के एक पूर्व अध्ययन के आधार पर 240 चॉइस दुविधाओं का निर्माण किया। प्रत्येक दुविधा दो विकल्पों (A और B) को प्रस्तुत करती है जो सात विशेषताओं द्वारा परिभाषित हैं: दृश्य (View), मंजिल (Floor), होटल क्लब तक पहुंच (Access to Hotel Club), फ्री मिनी बार (Free Mini Bar), गेस्ट स्मार्टफोन (Guest Smartphone), रद्दीकरण नीति (Cancellation Policy), और प्रति रात मूल्य (Price per night)।
2. प्रायोगिक डिजाइन: अध्ययन तीन अत्याधुनिक LLMs का मूल्यांकन करता है: Llama 3.3 70B, GPT-4o, और Gemini-3.1-Pro। कम व्याख्यात्मक शक्ति और व्यवस्थित पूर्वाग्रहों के कारण छोटे मॉडलों को बाहर रखा गया था। प्रयोग स्टोकेस्टिक शोर (stochastic noise) को न्यूनतम करने के लिए तापमान 0 पर किए गए थे, हालांकि 0.7 पर मजबूती की जाँच (robustness checks) भी की गई थी।
3. प्रॉम्प्टिंग रणनीतियाँ: लेखक परिकल्पना 2 (संदर्भ-संचालित बदलाव) का परीक्षण करने के लिए चार अलग-अलग प्रॉम्प्टिंग कॉन्फ़िगरेशन का परीक्षण करते हैं:
   • बेसलाइन (Baseline): कोई उपयोगकर्ता जानकारी प्रदान नहीं की गई।
   • इन-कॉन्टेक्स्ट लर्निंग (ICL): पिछले उपयोगकर्ता विकल्पों के उदाहरण प्रदान करना (जैसे, लगातार सस्ते या महंगे विकल्प चुनना)।
   • पर्सोना प्रॉम्प्टिंग (Persona Prompting): एक विशिष्ट उपयोगकर्ता प्रोफ़ाइल असाइन करना (जैसे, बजट के प्रति सचेत छात्र बनाम एक कंपनी द्वारा भुगतान किया गया बिजनेस ट्रैवलर)।
   • संयुक्त (Combined): पर्सोना और ICL उदाहरणों का संयोजन।
4. डेटा मॉडलिंग: सिम्युलेटेड चॉइस का विश्लेषण मल्टीनोमियल लॉजिट मॉडल का उपयोग करके किया गया। उपयोगिता फलन (utility function) को $U_c^{(i)} = \epsilon_c^{(i)} + \alpha_c + \beta_c \cdot x_c^{(i)}$ के रूप में परिभाषित किया गया था। अनुमानित गुणांकों ($\beta$) से, लेखकों ने प्रत्येक विशेषता के लिए भुगतान करने की इच्छा (WTP) मानों को सूत्र $WTP_k = \frac{\beta_k \cdot \sigma_{price}}{\beta_{price} \cdot \sigma_k}$ का उपयोग करके निकाला।
5. मजबूती विश्लेषण (Robustness Analysis): अध्ययन में ऑर्डर बायस (विकल्प A और B को बदलना), प्रॉम्प्ट पैराफ्रेसिंग, मुद्रा रूपांतरण (HKD बनाम USD), और तापमान भिन्नता के लिए व्यापक जाँच शामिल थी।

प्रमुख योगदान

यह शोध AI प्राथमिकता निष्कर्षण (preference elicitation) के साहित्य में चार प्राथमिक योगदान देता है:

• LLM प्राथमिकताओं का परिमाणीकरण: यह प्रदर्शित करता है कि बड़े LLMs के लिए सार्थक, आर्थिक रूप से व्याख्या योग्य WTP अनुमान निकाले जा सकते हैं, जो मानक सटीकता मेट्रिक्स से परे मॉडल निर्णय प्रवृत्तियों का एक संरचित दृश्य प्रदान करते हैं।
• संदर्भ संवेदनशीलता (Contextual Sensitivity): यह अनुभवजन्य रूप से दिखाता है कि LLM निर्णय व्यवहार अत्यधिक लचीला है। उपयोगकर्ता-विशिष्ट संदर्भ (पिछले विकल्प या पर्सोना) को शामिल करने से WTP मूल्यों में व्यवस्थित और दिशात्मक बदलाव आता है, जो अक्सर उन्हें महत्वपूर्ण रूप से बढ़ा देता है।
• प्रॉम्प्ट भंगुरता (Prompt Fragility): अध्ययन इस बात पर प्रकाश डालता है कि WTP मान प्रतिनिधित्व परिवर्तनों के प्रति संवेदनशील हैं, जिसमें प्रॉम्प्ट की लंबाई, विशेषता फ्रेमिंग (सकारात्मक बनाम तटस्थ), प्रस्तुति का क्रम और मुद्रा शामिल है।
• ब्रेकडाउन मामलों की पहचान: लेखक उन विशिष्ट परिदृश्यों की पहचान करते हैं जहाँ WTP अनुमान विफल हो जाता है, जैसे कि जब मॉडल अत्यधिक ऑर्डर बायस प्रदर्शित करते हैं, कठोर नियम-आधारित निर्णय सीमाओं (ट्रेड-ऑफ की अनदेखी करते हुए) का पालन करते हैं, या सकारात्मक मूल्य गुणांक के कारण नकारात्मक WTP उत्पन्न करते हैं।

मुख्य परिणाम

संरचनात्मक प्राथमिकता उद्भव (परिकल्पना 1)

बड़े मॉडल (Llama 3.3 70B, GPT-4o, Gemini-3.1-Pro) आम तौर पर उच्च स्यूडो-$R^2$ मानों के साथ व्याख्या योग्य WTP अनुमान प्रदर्शित करते हैं, जो यह संकेत देता है कि उनके विकल्पों को एक मानक डिस्क्रीट चॉइस मॉडल द्वारा तर्कसंगत बनाया जा सकता है। हालांकि, मानव बेंचमार्क (Masiero et al., 2015) से व्यवस्थित विचलन देखे गए:

• अल्पमूल्यांकन (Undervaluation): मॉडलों ने मानव प्रतिभागियों की तुलना में "दृश्य" (View) और "मंजिल" (Floor) विशेषताओं को आम तौर पर कम WTP दिया।
• अतिमूल्यांकन (Overvaluation): मॉडलों ने लगातार "होटल क्लब तक पहुंच" का अधिक मूल्यांकन किया, जिसके अनुमान मानव बेंचमार्क की तुलना में 2x से 4x अधिक थे।
• मॉडल भिन्नता: GPT-4o और Gemini-3.1-Pro ने आमतौर पर Llama 3.3 70B की तुलना में उच्च व्याख्यात्मक शक्ति ($R^2$) दिखाई, हालांकि सभी मॉडलों ने कुछ स्तर का ऑर्डर बायस प्रदर्शित किया।

संदर्भ-संचालित मूल्य परिवर्तन (परिकल्पना 2)

उपयोगकर्ता संदर्भ प्रदान करने से WTP अनुमानों में महत्वपूर्ण बदलाव आया:

• ऊर्ध्वगामी बदलाव (Upward Shifts): मॉडलों को "महंगे" प्राथमिकताओं (महंगे विकल्पों के ICL उदाहरणों या "बिजनेस" पर्सोना के माध्यम से) पर अनुकूलित करने से WTP में नाटकीय वृद्धि हुई। उदाहरण के लिए, तीन महंगे उदाहरण जोड़ने से "एक्सेस क्लब" के लिए WTP में बेसलाइन के सापेक्ष 6.4x (Llama), 8.5x (GPT-4o), और 10.07x (Gemini) की वृद्धि हुई।
• अधोगामी बदलाव (Downward Shifts): "सस्ते" प्राथमिकताओं (छात्र पर्सोना या सस्ते उदाहरण) पर अनुकूलित करने से Wط WTP आम तौर रूप से कम हो गया। चरम मामलों में (छात्र पर्सोना के साथ Gemini-3.1-Pro), मॉडल एक एकल-विशेषता निर्णय नियम में ढह गया, जिससे वह अन्य विशेषताओं की परवाह किए बिना सबसे कम कीमत वाला कमरा चुन रहा था, जिससे WTP अनुमान असंभव हो गया।
• इंटरेक्शन प्रभाव (Interaction Effects): पर्सोना को ICL उदाहरणों के साथ मिलाने से अक्सर ये प्रभाव बढ़ गए, जिससे बिजनेस पर्सोना के लिए अधिक चरम मूल्यांकन और Llama 3.3 70B में अधिक यथार्थवादी (हालांकि अभी भी स्थानांतरित) मूल्यांकन हुआ।

प्रॉम्प्ट-निर्भर बदलाव (परिकल्पना 3)

अध्ययन ने पुष्टि की कि WTP मान प्रॉम्प्ट विविधताओं के बीच स्थिर नहीं हैं:

• फ्रेमिंग संवेदनशीलता: "क्लब एक्सेस" के विवरण को छोटा करने से इसके WTP में लगभग 50% की कमी आई, जबकि "व्यू" के विवरण को विस्तारित करने से मॉडल के आधार पर इसका WTP दोगुना या चार गुना हो गया।
• ऑर्डर बायस: हालांकि छोटे मॉडलों की तुलना में बड़े मॉडलों में यह कम हुआ, फिर भी ऑर्डर बायस बना रहा, जिसमें विकल्प-विशिष्ट स्थिरांक (alternative-specific constants) सांख्यिकीय रूप से महत्वपूर्ण बने रहे।
• मुद्रा और तापमान: मॉडल मुद्रा परिवर्तन (USD बनाम HKD) और तापमान भिन्नता (0 बनाम 0.7) के प्रति सापेक्ष मजबूती दिखाते हैं, हालांकि Llama 3.3 70B ने Gemini-3.1-Pro की तुलना में अधिक भिन्नता प्रदर्शित की।

महत्व और व्यावहारिक निहितार्थ

लेखक निष्कर्ष निकालते हैं कि हालांकि बड़े LLMs व्याख्या योग्य WTP मान उत्पन्न कर सकते हैं, वे सुरक्षा उपायों के बिना व्यक्तिपरक निर्णय लेने के लिए विश्वसनीय, स्वायत्त प्राथमिकता अनुकूलक (preference optimizers) नहीं हैं। इन निष्कर्षों का महत्व निम्नलिखित व्यावहारिक निहितार्थों में निहित है:

1. पारदर्शिता और ऑडिटिंग: प्रस्तावित कार्यप्रणाली LLM निर्णय व्यवहार का ऑडिट करने के लिए एक उपकरण प्रदान करती है, जो यह प्रकट करती है कि सिफारिशें विशेषता प्राथमिकताओं द्वारा संचालित हैं या ऑर्डर बायस जैसे ह्यूरिस्टिक्स द्वारा।
2. मॉडल चयन: चिकित्सकों को व्यक्तिपरक निर्णय सहायता के लिए छोटे मॉडलों के उपयोग से बचना चाहिए क्योंकि वे ऑर्डर बायस और निम्न व्याख्यात्मक शक्ति के प्रति संवेदनशील होते हैं। यहाँ तक कि बड़े मॉडलों की भी सावधानीपूर्वक निगरानी की आवश्यकता है।
3. संदर्भ प्रबंधन: उपयोगकर्ता जानकारी (पर्सोना या इतिहास) को जोड़ने को अत्यंत सावधानी से संभाला जाना चाहिए, क्योंकि यह अत्यधिक मूल्यांकन व्यवहार को प्रेरित कर सकता है जो मानव मानदंडों से काफी भिन्न होता है।
4. फ्रेमिंग भेद्यता (Framing Vulnerability): सकारात्मक फ्रेमिंग के प्रति संवेदनशीलता यह सुझाव देती है कि LLM-आधारित सहायकों को विशिष्ट विशेषताओं को अधिक मूल्यवान बनाने के लिए आपूर्तिकर्ताओं द्वारा हेरफेर किया जा सकता है। सिस्टम को ऐसे फ्रेमिंग के विरुद्ध "हेज" (hedge) किया जाना चाहिए।
5. ह्यूमन-इन-द-लूप (Human-in-the-Loop): पहचाने गए ब्रेकडाउन मामलों (जैसे, नकारात्मक WTP, कठोर नियम-पालन) को देखते हुए, लेखक पूर्ण स्वायत्तता के बजाय मानव हस्तक्षेप के पक्ष में तर्क देते हैं। इसके बजाय, तैनाती में गार्डरेल्स, ऑर्डर रैंडमाइजेशन और विसंगतिपूर्ण ट्रेड-ऑफ का पता लगाने के लिए मानवीय निरीक्षण शामिल होना चाहिए।

अध्ययन इस बात पर जोर देता है कि LLM-व्युत्पन्न प्राथमिकताएं मॉडल-निर्भर और प्रॉम्प्ट डिज़ाइन के प्रति अत्यधिक संवेदनशील हैं, जो यह सुझाव देता है कि एजेंटिक सेटिंग्स में भविष्य के नियोजन में अनियंत्रित प्रतिनिधिमंडल के बजाय मजबूती की जाँच और मानव-इन-द-लूप तंत्र को प्राथमिकता दी जानी चाहिए।