UtilityMax Prompting: A Formal Framework for Multi-Objective Large Language Model Optimization

यहाँ शोध पत्र "UtilityMax Prompting: A Formal Framework for Multi-Objective Large Language Model Optimization" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

वर्तमान लार्ज लैंग्वेज मॉडल (LLM) प्रॉम्प्टिंग तकनीकें (जैसे, Chain-of-Thought, Program of Thoughts) और अनुकूलन विधियाँ (जैसे, Optimization by Prompting) मुख्य रूप से कार्य उद्देश्यों को निर्दिष्ट करने के लिए प्राकृतिक भाषा (natural language) पर निर्भर करती हैं। एकल-उद्देश्य वाले कार्यों के लिए प्रभावी होने के बावजूद, जब कई, अक्सर प्रतिस्पर्धी, उद्देश्यों को एक साथ संतुष्ट करना होता है, तो प्राकृतिक भाषा स्वाभाविक रूप से अस्पष्ट (ambiguous) हो जाती है।

• चुनौती: बहु-उद्देश्य वाले परिदृश्यों में (जैसे, "मध्यम जोखिम के अधीन लाभ को अधिकतम करें"), "मध्यम" जैसे शब्द व्यक्तिपरक होते हैं। LLM को इन अस्पष्ट बाधाओं की व्याख्या करनी पड़ती है, जिससे तर्क में विसंगति और उद्देश्यों के बीच उप-इष्टतम (suboptimal) संतुलन पैदा होता है।
• अंतराल (Gap): मौजूदा विधियाँ बिना किसी बाहरी उदाहरणों (few-shot) या पुनरावृत्ति अनुकूलन के लिए महंगी स्कोरिंग फंक्शनों की आवश्यकता के, इस अस्पष्टता को समाप्त करने के लिए कोई तंत्र प्रदान नहीं करती हैं।

2. कार्यप्रणाली: UtilityMax प्रॉम्प्टिंग (Methodology: UtilityMax Prompting)

लेखक UtilityMax प्रॉम्प्टिंग का प्रस्ताव करते हैं, जो एक जीरो-शॉट फ्रेमवर्क (zero-shot framework) है जो प्राकृतिक भाषा के उद्देश्यों को एक औपचारिक गणितीय विशिष्टता (formal mathematical specification) से बदल देता है। मूल विचार कार्य को एक इन्फ्लुएंस डायग्राम (influence diagram) के रूप में मॉडल करना है जहाँ LLM एक निर्णय लेने वाला (decision-maker) के रूप में कार्य करता है जो अपेक्षित उपयोगिता (expected utility) को अधिकतम करता है।

A. इन्फ्लुएंस डायग्राम फ्रेमवर्क (The Influence Diagram Framework)

कार्य को निम्नलिखित घटकों का उपयोग करके पुनर्गठित किया जाता है:

• ज्ञान (Knowledge - $K$): LLM के आंतरिक पैरामीटर और बाहरी संदर्भ।
• निर्णय नोड (Decision Node - $A$): उन सभी संभावित उत्तरों का स्थान जो LLM $K$ के दिए जाने पर उत्पन्न कर सकता है।
• चांस नोड्स (Chance Nodes - $X_1, ..., X_n$): उद्देश्य के घटकों (जैसे, शैली मिलान, अनुमानित स्कोर) का प्रतिनिधित्व करने वाले यादृच्छिक चर (random variables)।
• उपयोगिता नोड (Utility Node - $U$): चांस नोड्स पर परिभाषित एक गुणात्मक उपयोगिता फलन (multiplicative utility function): $U(X_1, ..., X_n) = \prod f_i(X_i)$।

उद्देश्य: LLM को वह उत्तर $a^*$ खोजने का निर्देश दिया जाता है जो अपेक्षित उपयोगिता को अधिकतम करता है:
$$a^* = \arg\max_{a \in A} E[U | A=a]$$

निर्णय $A$ के दिए जाने पर चांस नोड्स की सशर्त स्वतंत्रता (conditional independence) के कारण, अपेक्षित उपयोगिता का गुणनखंड (factorize) किया जा सकता है:
$$E[U | A] = \prod_{i=1}^{n} E[f_i(X_i) | A]$$

B. निर्भरताओं को संभालना (Handling Dependencies - Binary Chance Nodes)

यह फ्रेमवर्क एक विशेष मामले को संबोधित करता है जहाँ चांस नोड्स बाइनरी और आश्रित होते हैं। एक गेटिंग मैकेनिज्म (gating mechanism) पेश करके, लेखक सख्त सशर्त स्वतंत्रता धारणा को शिथिल करते हैं। यदि एक चाइल्ड नोड $X_i$, पैरेंट नोड्स $pa(X_i)$ पर निर्भर है, तो नोड तभी सक्रिय होता है जब सभी पैरेंट सक्रिय हों ($X_j=1$)। यह पूर्ण संयुक्त वितरण (joint distribution) मॉडलिंग की आवश्यकता के बिना अपेक्षित उपयोगिता की गणना करने की अनुमति देता है, जिससे गणनात्मक सुगमता (tractability) बनी रहती है।

C. प्रॉम्प्टिंग टेम्पलेट (The Prompting Template)

फ्रेमवर्क एक विशिष्ट प्रॉम्प्ट संरचना का उपयोग करता है जो LLM को निम्नलिखित निर्देश देता है:

1. ज्ञान आधार $K$ को परिभाषित करना।
2. उद्देश्य घटकों का प्रतिनिधित्व करने वाले यादृच्छिक चरों ($X_1, X_2, ...$) की पहचान करना।
3. संभावित उत्तर उत्पन्न करना।
4. प्रत्येक उम्मीदवार के लिए प्रत्येक घटक के लिए अपेक्षित मान (या प्रायिकता) का स्पष्ट रूप से अनुमान (explicitly estimate) लगाना।
5. संयुक्त उपयोगिता $O(a)$ की गणना करना और अधिकतम करने वाले उत्तर का चयन करना।

3. प्रयोगात्मक सेटअप (Experimental Setup)

• डेटासेट: MovieLens 1M।
• कार्य: बहु-उद्देश्य वाली मूवी अनुशंसा (Multi-objective movie recommendation)। उपयोगकर्ता के इतिहास को देखते हुए, टेस्ट सेट से शीर्ष 10 फिल्में सुझाएं।
• बाधाएं (Constraints): उपयोगकर्ता कॉमेडी (Comedy) और रोमांस (Romance) शैलियों में रुचि रखता है, और फिल्में उच्च अनुमानित रेटिंग वाली होनी चाहिए।
• परीक्षण किए गए मॉडल: तीन फ्रंटियर मॉडल:
  • Claude Sonnet 4.6
  • GPT-5.4
  • Gemini 2.5 Pro
• बेसलाइन्स (Baselines):
  1. Basic: प्राकृतिक भाषा प्रॉम्प्ट ("User likes comedy and romance")।
  2. Harsh: सख्त प्राकृतिक भाषा प्रॉम्प्ट ("Only suggest comedy and romance; do not suggest others")।
  3. UtilityMax: औपचारिक गणितीय प्रॉम्प्ट जो $E[\text{Score}] \times P(\text{Comedy}) \times P(\text{Romance})$ को अधिकतम करता है।
• मेट्रिक्स: Precision@10 और Normalized Discounted Cumulative Gain (NDCG@10)।

4. मुख्य परिणाम (Key Results)

UtilityMax ने तीनों मॉडलों और दोनों मेट्रिक्स में प्राकृतिक भाषा बेसलाइन्स की तुलना में निरंतर श्रेष्ठता प्रदर्शित की।

• प्रदर्शन लाभ (Claude Sonnet 4.6):
  • Precision@10: Basic से +12.7%; Harsh से +11.9%।
  • NDCG@10: Basic से +16.5%; Harsh से +18.8%।
• प्रदर्शन लाभ (GPT-5.4):
  • हालांकि GPT-5.4 ने उच्चतम पूर्ण स्कोर प्राप्त किया (संभवतः प्रशिक्षण डेटा ओवरलैप के कारण), फिर भी UtilityMax ने दोनों बेसलाइन्स को महत्वपूर्ण रूप से पीछे छोड़ दिया।
• सांख्यिकीय महत्व (Statistical Significance):
  • वन-साइडेड पेअर्ड विल्कोक्सन साइन्ड-रैंक टेस्ट (one-sided paired Wilcoxon signed-rank tests) ने पुष्टि की कि UtilityMax ने सभी मॉडलों में दोनों बेसलाइन्स से काफी बेहतर प्रदर्शन किया ($p < 0.01$)।
• बेसलाइन पर अवलोकन: "Harsh" प्राकृतिक भाषा प्रॉम्प्ट ने "Basic" प्रॉम्प्ट की तुलना में लगातार बेहतर प्रदर्शन नहीं किया, जो यह सुझाव देता है कि केवल प्राकृतिक भाषा निर्देशों की कठोरता बढ़ाने से बहु-उद्देश्य भारण (multi-objective weighting) की अस्पष्टता हल नहीं होती है।

5. मुख्य योगदान (Key Contributions)

1. औपचारिक फ्रेमवर्क: UtilityMax का परिचय, जो एक जीरो-शॉट विधि है जो बहु-उद्देश्य LLM कार्यों को इन्फ्लुएंस डायग्राम का उपयोग करके औपचारिक अनुकूलन समस्याओं में परिवर्तित करती है।
2. अस्पष्टता उन्मूलन: यह फ्रेमवर्क LLM को प्रत्येक उद्देश्य घटक (जैसे, विशिष्ट प्रायिकताओं की गणना करना) के बारे में स्पष्ट रूप से तर्क करने के लिए मजबूर करता है, बजाय इसके कि वे व्यक्तिपरक प्राकृतिक भाषा व्याख्या पर निर्भर रहें।
3. सुगम निर्भरता प्रबंधन: एक अभिनव गेटिंग मैकेनिज्म जो वर्तमानीय गणनात्मक सुगमता बनाए रखते हुए बाइनरी चांस नोड्स के बीच निर्भरताओं को संभालने की अनुमति देता है।
4. अनुभवजन्य सत्यापन: तीन अत्याधुनिक मॉडलों में व्यापक सत्यापन, जो दिखाता है कि औपचारिक विशिष्टता जटिल बाधाओं वाले लक्ष्यों के साथ बेहतर संरेखण (alignment) प्रदान करती है।

6. महत्व और भविष्य की दिशाएं (Significance and Future Directions)

• महत्व: यह कार्य जटिल कार्यों के लिए प्रॉम्प्ट इंजीनियरिंग में प्राकृतिक भाषा के प्रभुत्व को चुनौती देता है। यह प्रदर्शित करता है कि औपचारिक गणितीय विशिष्टता LLM के लिए एक मजबूत संकेत के रूप में कार्य करती है, जो उन्हें बाहरी स्कोरिंग फंक्शन या फ्यू-शॉट उदाहरणों की आवश्यकता के बिना सटीक अनुकूलन लक्ष्यों की ओर ले जाती है।
• सीमाएँ और भविष्य का कार्य:
  • मॉडल क्षमता: यह फ्रेमवर्क LLM की अच्छी तरह से कैलिब्रेटेड (well-calibrated) प्रायिकता अनुमान लगाने की क्षमता पर निर्भर करता है। कमजोर मॉडल लाभान्वित नहीं हो सकते या खराब प्रदर्शन कर सकते हैं।
  • स्वचालन (Automation): भविष्य के शोध का ध्यान प्राकृतिक भाषा विवरणों से चरों के निष्कर्षण और UtilityMax प्रॉम्प्ट के निर्माण को स्वचालित करने पर होना चाहिए।
  • जटिल निर्भरताएं: वर्तमान गेटिंग मैकेनिज्म से परे चांस नोड्स के बीच अधिक जटिल निर्भरताओं को संभालने के लिए फ्रेमवर्क का विस्तार करना।

निष्कर्षतः, UtilityMax प्रॉम्प्टिंग एक मजबूत, गणितीय रूप से आधारित विकल्प प्रदान करता है, जो प्राकृतिक भाषा के निर्देशों की अंतर्निहित अस्पष्टता को हटाकर बहु-उद्देश्य परिदृश्यों में LLM प्रदर्शन में सुधार करता है।