तकनीकी सारांश: LLM-SAA: निर्णय लेने के लिए LLM-पर्सोना जनरेटेड डिस्ट्रीब्यूशन (वितरण)

1. समस्या विवरण

कई परिचालन निर्णय लेने वाली समस्याओं (जैसे, असॉर्टमेंट ऑप्टिमाइजेशन, प्राइसिंग, इन्वेंटरी मैनेजमेंट) में, इष्टतम कार्रवाई (optimal action) परिणामों के अज्ञात संभाव्यता वितरण (probability distribution) $F$ पर निर्भर करती है (जैसे, ग्राहक प्राथमिकताएं, भुगतान करने की इच्छा, मांग)। हालांकि ऐतिहासिक डेटा $F$ का अनुमान लगाने के लिए मानक स्रोत है, लेकिन नए उत्पादों और विकसित होते बाजारों के लिए यह अक्सर विरल (sparse), महंगा या अस्तित्वहीन होता है।

लार्ज लैंग्वेज मॉडल्स (LLMs) एक संभावित विकल्प प्रदान करते हैं, जो विश्व ज्ञान (world knowledge) के आधार पर सिंथेटिक डेटा जनरेट कर सकते हैं या वितरणों का वर्णन कर सकते हैं। यह शोध LLM-SAA (LLM Sample Average Approximation) पाइपलाइन की जांच करता है: एक LLM का उपयोग करके एक अनुमानित वितरण $\hat{F}$ (सिंथेटिक सैंपल्स या विवरणों के माध्यम से) का निर्माण करना और फिर $\hat{F}$ को वास्तविक सत्य (ground truth) मानकर उस पर आधारित निर्णय को अनुकूलित (optimize) करना।

केंद्रीय चुनौती मूल्यांकन (evaluation) है: हम यह कैसे निर्धारित करें कि एक LLM-जनरेटेड वितरण $\hat{F}$ निर्णय लेने के लिए "अच्छा" है, जब वास्तविक वितरण $F$ अज्ञात हो? लेखक तर्क देते हैं कि सांख्यिकीय दूरी (जैसे, Wasserstein distance) मापने वाले पारंपरिक मेट्रिक्स अपर्याप्त हैं क्योंकि एक वितरण सांख्यिकीय रूप से दूर होने के बावजूद इष्टतम निर्णय दे सकता है, या सांख्यिकीय रूप से निकट होने के बावजूद खराब निर्णय दे सकता है।

2. कार्यप्रणाली (Methodology)

2.1 निर्णय-जागरूक मूल्यांकन मेट्रिक्स (Decision-Aware Evaluation Metrics)

यह शोध $\hat{F}$ का मूल्यांकन सांख्यिकीय संरेखण के बजाय परिणामी निर्णयों की गुणवत्ता के आधार पर करने का प्रस्ताव करता है।

• प्रतिस्पर्धी अनुपात (Competitive Ratio - CR): कार्रवाई $\hat{a}$ (जो $\hat{F}$ के तहत अनुकूलित है) के प्रदर्शन की तुलना इष्टतम कार्रवाई $a^*$ (जो वास्तविक सत्य $F$ के तहत अनुकूलित है) से की जाती है।
  $$C_\theta(F, \hat{F}) := \frac{\min\{|R_\theta(a^*)|, |R_\theta(\hat{a})|\}}{\max\{|R_\theta(a^*)|, |R_\theta(\hat{a})|\}}$$
  जहाँ $R_\theta$ अपेक्षित रिवॉर्ड (expected reward) है। अनुपात 1 के जितना करीब हो, निर्णय की गुणवत्ता उतनी ही बेहतर होती है।
• वर्स्ट-केस कॉम्पिटिटिव रेश्यो (Worst-Case Competitive Ratio - WorstCR): "लकी गेस" (भाग्यशाली अनुमान) से बचने के लिए, जहाँ $\hat{F}$ गलत कारण से सही निर्णय देता है, लेखक समस्या के मापदंडों $\theta$ (जैसे, उत्पाद लागत, बजट बाधाएं) की पहचान करते हैं जो प्रतिस्पर्धी अनुपात को न्यूनतम करते हैं। इसमें एक अनुकूलन समस्या को हल करना शामिल है जहाँ 'एडवर्सरी' (adversary) $\theta$ का चयन इस प्रकार करता है कि LLM-आधारित निर्णय इष्टतम निर्णय की तुलना में यथासंभव खराब प्रदर्शन करे।
• एवरेज-केस कॉम्पिटिटिव रेश्यो (Average-Case Competitive Ratio - AvgCR): समस्या के मापदंडों के वितरण पर अपेक्षित प्रतिस्पर्धी अनुपात।

2.2 जनरेशन विधियाँ (Generation Methods)

अध्ययन $\hat{F}$ उत्पन्न करने के लिए विभिन्न प्रॉम्प्टिंग रणनीतियों का मूल्यांकन करता है:

1. सैंपलिंग (Sampling): LLM व्यक्तिगत परिणामों (जैसे, रैंकिंग, भुगतान करने की इच्छा) को बार-बार जनरेट करता है।
2. पर्सोना-सैंपलिंग (Persona-sampling): LLM विशिष्ट ग्राहक पर्सोना (जैसे, जनसांख्यिकी, प्राथमिकताएं) की नकल करते हुए परिणाम जनरेट करता है।
3. बैच-जनरेशन (Batch-generation): LLM एक ही क्वेरी में परिणामों का एक बैच जनरेट करता है।
4. विवरण (Description): LLM कच्चे सैंपल्स के बजाय वितरण का वर्णन करता है (जैसे, माध्य, मानक विचलन, या प्रोबेबिलिटी मास पॉइंट्स)।

इन विधियों का परीक्षण रैंडम (यूनिफॉर्म डिस्ट्रीब्यूशन) और $d$ रियल डेटा ($d$ वास्तविक नमूनों के एम्पिरिकल डिस्ट्रीब्यूशन) सहित बेसलाइन्स के विरुद्ध किया जाता है।

2.3 समस्या डोमेन (Problem Domains)

कार्यप्रणाली को तीन कैनोनिकल ऑपरेशंस रिसर्च समस्याओं पर लागू किया गया है:

1. असॉर्टमेंट ऑप्टिमाइजेशन (Assortment Optimization): ग्राहक रैंकिंग के आधार पर अपेक्षित उपयोगिता (utility) को अधिकतम करने के लिए वस्तुओं के एक उपसमुच्चय (subset) का चयन करना।
2. प्राइसिंग (Pricing): भुगतान करने की इच्छा के वितरण को देखते हुए लाभ को अधिकतम करने के लिए कीमत निर्धारित करना।
3. न्यूज़वेंडर (Newsvendor): अपेक्षित ओवरेज और अंडरेज लागतों को कम करने के लिए इन्वेंटरी स्तर निर्धारित करना।

प्रत्यට, लेखक इष्टतम निर्णय नियमों (जैसे, प्राइसिंग के लिए पीसवाइज़-लीनियर प्रॉफिट फंक्शन्स, असॉर्टमेंट में मोनोटोनिसिटी) की गणितीय संरचना का लाभ उठाते हुए WorstCR की गणना करने के लिए कुशल एल्गोरिदम निकालते हैं।

3. मुख्य परिणाम

3.1 कम-डेटा परिदृश्य में प्रदर्शन (Performance in Low-Data Regimes)

• LLM-SAA बनाम रैंडम: LLM-जनरेटेड वितरण तीनों डोमेन में अनभिज्ञ रैंडम बेसलाइन्स की तुलना में लगातार बेहतर प्रदर्शन करते हैं।
• LLM-SAA बनाम छोटा वास्तविक डेटा: कम-डेटा परिदृश्यों (जैसे, $d=5$ या $d=15$ वास्तविक नमूने) में, LLM-SAA अक्सर सीमित वास्तविक डेटा से प्राप्त एम्पिरिकल डिस्ट्रीब्यूशन के प्रतिस्पर्धी होता है, और कभी-कभी उनसे बेहतर भी होता है।
• पर्सोना-स्टीयरिंग (Persona-Steering): हालांकि "पर्सोना-सैंपलिंग" ने व्यक्तिगत प्रतिक्रियाओं की सटीक नकल नहीं की (उच्च PersonaMAE), इसने डाउनस्ट्रीम निर्णय गुणवत्ता में महत्वपूर्ण सुधार किया (उच्च CR)। यह सुझाव देता है कि पर्सोना, व्यक्तिगत निष्ठा (individual fidelity) के बजाय जनसंख्या के वितरण की विविधता को पकड़ने में LLM की मदद करते हैं।

3.2 निर्णय-अज्ञेयवादी मेट्रिक्स की विफलता (Failure of Decision-Agnostic Metrics)

शोध पत्र दिखाता है कि मानक वितरण दूरियां (distributional distances) निर्णय की गुणवत्ता के भ्रामक संकेतक हैं:

• Wasserstein/Kolmogorov दूरियां: कई प्रयोगों में, Random बेसलाइन ने LLM विधियों की तुलना में सबसे कम (सर्वश्रेष्ठ) Wasserstein दूरी प्राप्त की, फिर भी Random बेसलाइन ने सबसे खराब निर्णय दिए। इसके विपरीत, उच्च सांख्यिकीय दूरियों वाले LLM विधियों ने लगभग इष्टतम निर्णय दिए।
• निष्कर्ष: सांख्यिकीय निकटता अच्छे निर्णय लेने की गारंटी नहीं देती है; अनुकूलन के लिए प्रासंगिक विशिष्ट संरचनात्मक विशेषताओं (जैसे, सर्वाइवल फंक्शन में तीव्र गिरावट) को पकड़ना अधिक महत्वपूर्ण है।

3.3 डोमेन के अनुसार विशिष्ट निष्कर्ष

• असॉर्टमेंट: LLMs ने सरल लोकप्रियता स्कोर की तुलना में जटिल आइटम एफिनिटी (जैसे, प्रतिस्थापन क्षमता) और "ध्रुवीकरण करने वाली" वस्तुओं को बेहतर ढंग से कैप्चर किया, विशेष रूप से "हार्ड" परिदृश्यों में जहाँ आइटम का आकार लोकप्रियता से सह-संबंधित था।
• प्राइसिंग: LLMs ने भुगतान करने की इच्छा में राउंड नंबर (5 या 0 के गुणक) रिपोर्ट करने की मानवीय प्रवृत्ति को सफलतापूर्वक दोहराया। इस संरचनात्मक संरेखण ने LLM को सर्वाइवल फंक्शन के "ड्रॉप्स" पर स्थित इष्टतम कीमतों की पहचान करने में सक्षम बनाया, भले ही समग्र वितरण पूरी तरह से संरेखित न हो।
• न्यूज़वेंडर: LLMs ने रैंडम बेसलाइन्स की तुलना में वर्स्ट-केस प्रदर्शन में महत्वपूर्ण सुधार किया, हालांकि कुछ सेटिंग्स में एवरेज-केस प्रदर्शन रैंडम बेसलाइन्स के बराबर था।

4. महत्व और योगदान

यह शोध तीन प्राथमिक योगदान देता है:

1. LLM-SAA पाइपलाइन: यह डेटा-दुर्लभ वातावरण में डाउनस्ट्रीम ऑप्टिमाइजेशन के लिए वितरण उत्पन्न करने हेतु LLM के उपयोग को औपचारिक रूप देता है, जो LLM को केवल निर्णय लेने वाले या सर्वे सिम्युलेटर के रूप में उपयोग करने से आगे बढ़ता है।
2. निर्णय-जागरूक मूल्यांकन: यह सांख्यिकीय समानता के बजाय निर्णय की गुणवत्ता (प्रतिस्पर्धी अनुपात) के आधार पर LLM-जनरेटेड वितरणों का मूल्यांकन करने के लिए एक कठोर ढांचा पेश करता है। यह विशिष्ट परिचालन समस्याओं के लिए वर्स्ट-केस कॉम्पिटिटिव रेश्यो की गणना करने के लिए सैद्धांतिक एल्गोरिदम प्रदान करता है।
3. अनुभवजन्य सत्यापन (Empirical Validation): यह प्रदर्शित करता है कि LLM-जनरेटेड वितरण कम-डेटा परिदृश्यों में व्यावहारिक रूप से उपयोगी हैं, जो अक्सर अनभिज्ञ बेसलाइन्स से बेहतर प्रदर्शन करते हैं और छोटे वास्तविक डेटासेट के साथ प्रतिस्पर्धा करते हैं। महत्वपूर्ण रूप से, यह दिखाता है कि उच्च-निष्ठा व्यक्तिगत सिमुलेशन (high-fidelity individual simulation) अच्छी निर्णय लेने के लिए एक पूर्व शर्त नहीं है; जनसंख्या-स्तर की विविधता और संरचनात्मक विशेषताओं को पकड़ना पर्याप्त है।

लेखक निष्कर्ष निकालते हैं कि हालांकि LLM-SAA आशाजनक है, लेकिन इसके परिनियोजन (deployment) के लिए डोमेन-विशिष्ट सत्यापन और निष्पक्षता ऑडिट की आवश्यकता है, क्योंकि पक्षपाती वितरण खराब या अनुचित परिचालन निर्णय ले सकते हैं। यह कार्य परिचालन निर्णय लेने के संदर्भों में LLMs के मूल्यांकन के लिए एक नया बेंचमार्क स्थापित करता है।