तकनीकी सारांश: मूल्यांकनकर्ता क्या महत्व देते हैं, यह सीखना

समस्या विवरण

विभिन्न डोमेन में—जिसमें अकादमिक पीयर रिव्यू, चिकित्सा निदान, प्रवेश प्रक्रिया और उत्पाद रेटिंग शामिल हैं—मूल्यांकनकर्ता कई मानदंडों (जैसे कि सुदृढ़ता, नवीनता, स्वच्छता) के आकलन को एक समग्र स्कोर या अनुशंसा (recommendance) में मैप करते हैं। इस शोध पत्र में संबोधित मौलिक चुनौती उस वरीयता फलन (preference function) को सीखना है जो इस मैपिंग को नियंत्रित करता है।

वर्तमान दृष्टिकोण आमतौर पर मजबूत पैरामीट्रिक धारणाओं पर निर्भर करते हैं, विशेष रूप से रैखिकता (linearity) (या इंटरैक्शन वाले सामान्यीकृत योगात्मक मॉडल जैसे विस्तार)। लेखक तर्क देते हैं कि ये धारणाएं व्यवहार में अक्सर खंडित होती हैं। जोन्स एट अल. (2025) का हवाला देते हुए, वे नोट करते हैं कि शोधकर्ता अक्सर रैखिकता की धारणाओं को सत्यापित करने में विफल रहते हैं, और केसवानी एट अल. (2025) प्रदर्शित करते हैं कि मानवीय नैतिक प्राथमिकताएं अक्सर थ्रेशोल्ड (thresholds) और गैर-रैखिकता (non-linearities) से जुड़ी होती हैं जिन्हें रैखिक मॉडल कैप्चर नहीं कर सकते। यह शोध पत्र प्रतिपादित करता है कि गलत कार्यात्मक रूप (functional form) मानने से तीन महत्वपूर्ण विफलताएं होती हैं:

1. वरीयताओं को सीखने में असमर्थता: अनुमानित फलन वास्तविक वरीयता फलन का अनुमान लगाने में विफल हो सकता है, जिससे उच्च अनुमान त्रुटि (estimation error) होती है।
2. रैंकिंग त्रुटियां: अनुमानित फलन वस्तुओं (जैसे कि शोध पत्र, आवेदक) की ऐसी रैंकिंग उत्पन्न कर सकता है जो वास्तविक रैंकिंग से काफी भिन्न हो।
3. मानदंडों के महत्व को समझने में चूक: रैखिक मॉडलों में प्रतिगमन गुणांक (regression coefficients) मानदंडों के सापेक्ष भार का गलत निष्कर्ष निकाल सकते हैं, विशेष रूप से जब नमूना वितरण असंतुलित हो।

कार्यप्रणाली

सैद्धांतिक ढांचा

लेखक एक गैर-पैरामीट्रिक (non-parametric) दृष्टिकोण अपनाते हैं, जिसमें केवल एक न्यूनतम धारणा ली गई है: वरीयता फलन आइसोटोनिक (isotonic) (निर्देशांक-वार गैर-घटता हुआ) है। इसका अर्थ है कि यदि अन्य कारकों को स्थिर रखते हुए एक मानदंड स्कोर बढ़ता है, तो समग्र स्कोर कम नहीं होना चाहिए। यह वर्ग, जिसे $\mathcal{F}_{ISO}$ के रूप में सूचित किया गया है, इंटरैक्शन, थ्रेशोल्ड और गैर-रैखिक रूपांतरणों को कैप्चर करने के लिए पर्याप्त अभिव्यंजक है।

शोध पत्र पहले सामान्य पैरामीट्रिक मॉडलों ($\mathcal{F}_{GENINT}$, जिसमें रैखिक, सामान्यीकृत योगात्मक और इंटरैक्शन मॉडल शामिल हैं) के लिए नकारात्मक परिणाम स्थापित करता है:

• अनुमान त्रुटि (Estimation Error): ऐसे आइसोटोनिक वरीयता फलन मौजूद हैं जहाँ $\mathcal{F}_{GENINT}$ के भीतर सर्वोत्तम संभव अनुमानक भी वास्तविक फलन की तुलना में एक निरंतर-कारक त्रुटि (रैंडम गेसिंग तक) का सामना करता है।
• रैंकिंग त्रुटि (Ranking Error): कुछ आइसोटोनिक फलनों के लिए, एक सामान्यीकृत योगात्मक मॉडल द्वारा उत्पादित रैंकिंग और वास्तविक रैंकिंग के बीच केंडल टॉ डिस्टेंस (Kendall tau distance) शून्य से दूर (गलत रैंक किए गए जोड़ों का एक निरंतर अंश) होता है।
• गुणांक पूर्वाग्रह (Coefficient Bias): असंतुलित डेटासेट में, साधारण न्यूनतम वर्ग (OLS) यह निष्कर्ष निकाल सकता है कि एक मानदंड दूसरे की तुलना में अधिक महत्वपूर्ण है, भले ही इसके विपरीत सत्य हो या अंतर्निहित प्रक्रिया सममित (symmetric) हो।

प्रस्तावित एल्गोरिदम

इन समस्याओं को हल करने के लिए, बिना प्रदर्शन से समझौता किए (जब रैखिकता वास्तव में लागू होती है), लेखक एक नियमित आइसोटोनिक रिग्रेशन (Regularized Isotonic Regression) एल्गोरिदम (एल्गोरिदम 1) का प्रस्ताव करते हैं। मुख्य विचार क्रॉस-वैलिडेशन के माध्यम से दो उद्देश्यों को संतुलित करना है:

1. डेटा से फिट होना: प्रशिक्षण सेट पर वर्ग त्रुटि (squared error) को कम करना।
2. मॉडल मिसमैच पेनल्टी: सीखे गए आइसोटोनिक फलन और सर्वोत्तम-फिटिंग रैखिक फलन के बीच की दूरी को कम करना।

एल्गोरिदम के चरण:

1. नियमितीकरण (Regularization): एल्गोरिदम आइसोटोनिक फलनों ($\mathcal{F}_{ISO}$) और रैखिक फलनों ($\mathcal{F}_{LIN}$) के सेट पर एक नियमितकृत न्यूनतम वर्ग समस्या को हल करता है। यह एक नियमितीकरण पैरामीटर $\lambda$ पेश करता है जो शुद्ध आइसोटोनिक रिग्रेशन ($\lambda=0$) और रैखिक रिग्रेशन ($\lambda=\infty$) के बीच मध्यस्थता करता है।
   $$\min_{\hat{f} \in \mathcal{F}_{ISO}} \min_{g_{LIN} \in \mathcal{F}_{LIN}} \frac{1}{|S'|} \sum_{j \in S'} (\hat{f}(x^{(j)}) - y^{(j)})^2 + \frac{\lambda}{|X_{S'}|} \sum_{x \in X_{S'}} (\hat{f}(x) - g_{LIN}(x))^2$$
2. पोस्ट-प्रोसेसिंग: आउटपुट फलन को वैध रेंज $[0, 1]$ में ट्रंकेट किया जाता है और अनदेखे इनपुट्स के लिए इंटरपोलेट किया जाता है ताकि मोनोटोनिसिटी सुनिश्चित हो सके।
3. क्रॉस-वैलिडेशन: अनुकूलतम $\lambda$ को वैलिडेशन रिस्क को कम करने के लिए एक होल्ड-आउट वैलिडेशन सेट का उपयोग करके $\Lambda$ के सेट से चुना जाता है।

सैद्धांतिक गारंटी

लेखक सिद्ध करते हैं कि उनका एल्गोरिदम दो प्रतिस्पर्धी लक्ष्यों को पूरा करता है:

1. मजबूती (Robustness): किसी भी मोनोटोनिक वरीयता फलन के लिए, उनके एल्गोरिदम की अनुमान त्रुटि नमूना आकार $N \to \infty$ होने पर लुप्त हो जाती है (दर $O(N^{-1/d})$ के साथ अभिसरण करती है)।
2. दक्षता (Efficiency): यदि वास्तविक वरीयता फलन रैखिक है, तो एल्गोरिदम गैर-ऋणात्मक न्यूनतम वर्ग (रैखिक रिग्रेशन) के लगभग समान प्रदर्शन करता है, जिसका जोखिम रैखिक रिग्रसन के जोखिम से एक लॉगरिदमिक कारक तक सीमित है।

मुख्य परिणाम

सिंथेटिक सिमुलेशन

एल्गोरिदम का परीक्षण तीन यूटिलिटी मॉडलों: लीनियर (Linear), लियोन्टीफ (Leontief - पूर्ण पूरक), और कॉब-डग्लस (Cobb-Douglas) से उत्पन्न सिंथेटिक डेटा पर किया गया।

• रैखिक प्राथमिकताएं (Linear Preferences): प्रस्तावित एल्गोरिदम और रैखिक रिग्रेशन दोनों ने तुलनीय अनुमान त्रुटियां प्राप्त कीं।
• गैर-रैखिक प्राथमिकताएं (Non-Linear Preferences): लियोन्टीफ और कॉब-डग्लस यूटिलिटीज के लिए, रैखिक रिग्रेशन एक निश्चित नमूना आकार के बाद त्रुटि कम करने में विफल रहा (पूर्वाग्रह दिखाया), जबकि प्रस्तावित एल्गोरिदम फलन को सीखना जारी रखता है, हालांकि धीमी दर से। $N=1000$ पर, लियोन्टीफ प्राथमिकताओं के लिए रैखिक रिग्रेशन की त्रुटि प्रस्तावित एल्गोरिदम की तुलना में 13 गुना से अधिक थी।

वास्तविक दुनिया की मानवीय प्राथमिकताएं (Tripadvisor)

एल्गोरिदम को ट्रिपएडवाइजर से होटल रेटिंग पर लागू किया गया, जो छह मानदंडों (वैल्यू, कमरे, स्थान, स्वच्छता, सेवा, नींद की गुणवत्ता) से समग्र स्कोर की भविष्यवाणी करता है।

• भविष्यवाणी त्रुटि (Prediction Error): प्रस्तावित एल्गोरिदम ने रैखिक रिग्रेशन की तुलना में मामूली लेकिन सांख्यिकीय रूप से महत्वपूर्ण सुधार (लगभग 8-11% की कमी) दिखाया।
• न्यूनीकरण योग्य त्रुटि (Reducible Error): अधिक महत्वपूर्ण रूप से, एल्गोरिदम ने रैखिक रिग्रेशन की तुलना में 50% से 69% तक न्यूनीकरण योग्य त्रुटि (एक अनुमान त्रुटि का प्रॉक्सी, जिसे अपचयी शोर घटाकर निकाला गया है) को कम किया। यह इंगित करता है कि एल्गोरिदम अंतर्निहित सामुदायिक वरीयता फलन को बहुत अधिक सटीकता से सीखता है।
• अंतर्दृष्टि: सीखे गए फलनों ने गैर-रैखिकताओं को प्रकट किया, जैसे कि उच्च स्कोर के लिए घटते प्रतिफल (concavity) और कम स्कोर का महत्वपूर्ण प्रभाव, जिन्हें रैखिक मॉडल (जो निरंतर सीमांत परिवर्तनों को मानते हैं) कैप्चर नहीं कर सके।

LLM बनाम मानव प्राथमिकताएं (ICLR पीयर रिव्यू)

ICLR 2024 के शोध पत्रों के लिए मानव और LLM (GPT-4o, Llama 3.1 70b) समीक्षाओं के डेटासेट का उपयोग करके:

• निरंतरता (Consistency): GPT-4o ने Llama और मानव मूल्यांकनकर्ताओं की तुलना में काफी कम अपचयी त्रुटि (उच्च आंतरिक निरंतरता) प्रदर्शित की।
• संरेखण (Alignment): GPT-4o का वरीयता फलन Llama की तुलना में मानव वरीयताओं के काफी करीब था।
• आकार में अंतर: सीखे गए वरीयता फलनों ने दिखाया कि GPT-4o का मानदंडों से समग्र स्कोर का मैपिंग गैर-रैखिक था (अन्य स्कोर के आधार पर अवतल या उत्तल), जबकि मानव प्राथमिकताएं देखे गए प्लॉट्स में रैखिक के करीब दिखाई दीं।

महत्व और दावे

यह शोध पत्र दावा करता है कि यह एक विश्वसनीय, मजबूत दृष्टिकोण प्रदान करता है जो मॉडल मिसस्पेसिफिकेशन के खतरों से बचता है।

• सैद्धांतिक योगदान: यह स्थापित करता है कि सामान्य पैरामीट्रिक धारणाएं रैंकिंग और अनुमान के लिए रैंडम गेसिंग के बराबर सबसे खराब स्थिति की त्रुटियों का कारण बन सकती हैं, और रैखिक मॉडल मानदंडों के महत्व की मौलिक रूप से गलत व्याख्या कर सकते हैं।
• व्यावहारिक योगदान: प्रस्तावित एल्गोरिदम एक "सर्वश्रेष्ठ ऑफ बोथ वर्ल्ड्स" समाधान प्रदान करता है: यह जटिल, गैर-रैखिक वरीयताओं के प्रति प्रमाणित रूप से मजबूत है और जब रैखिकता लागू होती है तो रैखिक रिग्रेशन के समान प्रदर्शन बनाए रखता है।
• अनुप्रयोग: लेखक प्रदर्शित करते हैं कि यह विधि मानव और LLM निर्णय लेने (जैसे घटते प्रतिफल, थ्रेशोल्ड प्रभाव) के सूक्ष्म अंतर्दृष्टि को प्रकट कर सकती है, जो मानक रैखिक मॉडलों के लिए अदृश्य है। वे सुझाव देते हैं कि यह डाउनस्ट्रीम कार्यों जैसे कि रैंकिंग या AI सिस्टम को मानवीय मूल्यों के साथ संरेखित करने के लिए विशेष रूप से मूल्यवान है, जहाँ केवल भविष्यवाणी सटीकता के बजाय वरीयता फलन की संरचना को समझना अधिक महत्वपूर्ण है।

लेखक शोर वाले वास्तविक दुनिया के डेटासेट में भविष्यवाणी सटीकता में लाभ के संबंध में विनम्र रहते हैं, यह नोट करते हुए कि प्राथमिक लाभ केवल स्कोर की भविष्यवाणी करने के बजाय अंतर्निहित वरीयता फलन के निष्ठापूर्ण अनुमान में निहित है। वे निष्कर्ष निकालते हैं कि उनकी विधि शोधकर्ताओं को यह सीखने में सक्षम बनाती है कि "मूल्यांकनकर्ता क्या महत्व देते हैं", बिना उनके विश्वासों के नैतिक या व्यावहारिक रूप से प्रासंगिक गैर-रैखिक घटकों को छोड़े।