Mitigating Rubric Interference in LLM Judges via On-Policy Self-Distillation
यह शोध पत्र मल्टी-रुब्रिक एलएलएम (LLM) मूल्यांकन में एक निरंतरता संबंधी समस्या के रूप में "रुब्रिक इंटरफेरेंस" की पहचान करता है और सेल्फ-एंकोर्ड रुब्रिक एलाइनमेंट (SARA) का प्रस्ताव करता है, जो एक ऑन-पॉलिसी सेल्फ-डिस्टिलेशन विधि है जो बाहरी पर्यवेक्षण के बिना डेटासेट और मॉडल परिवारों के बीच मूल्यांकन निरंतरता में महत्वपूर्ण सुधार करने के लिए सिंगल-रुब्रिक निर्णयों को स्थिर एंकर के रूप में उपयोग करती है।
मूल पेपर CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/) के तहत सार्वजनिक डोमेन को समर्पित है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आधुनिक आर्टिफिशियल इंटेलिजेंस के परिदृश्य में, लार्ज लैंग्वेज मॉडल्स (LLMs) सरल टेक्स्ट जनरेटर से विकसित होकर परिष्कृत मूल्यांकनकर्ताओं (evaluators) के रूप में उभर आए हैं। उन्हें तेजी से अन्य मशीनों के कार्य को ग्रेड देने का कार्य सौंपा जा रहा है, जो चिकित्सा सलाह से लेकर वैज्ञानिक तर्क तक, सब कुछ के लिए स्वचालित न्यायाधीश (automated judges) के रूप में कार्य करते हैं। इन निर्णयों को निष्पक्ष और विस्तृत बनाने के लिए, शोधकर्ताओं ने एक एकल समग्र स्कोर देने के बजाय चेकलिस्ट का उपयोग करना शुरू कर दिया है, जिन्हें 'रुब्रिक्स' (rubrics) कहा जाता है, जो एक प्रतिक्रिया को सुरक्षा, सटीकता या पूर्णता जैसे विशिष्ट, सत्यापन योग्य मदों में विभाजित करती हैं। लक्ष्य यह है कि मॉडल सूची के प्रत्येक मद की स्वतंत्र रूप से जांच करे, जिससे यह सुनिश्चित हो सके कि एक प्रतिक्रिया सुरक्षित है भले ही वह पूरी तरह से सटीक न हो, या सटीक है भले ही वह पूरी तरह से सुरक्षित न हो। यह दृष्टिकोण एक ऐसे नैदानिक स्पष्टता का वादा करता है जो एक एकल संख्या प्रदान नहीं कर सकती, जिससे डेवलपर्स यह देख पाते हैं कि एक सिस्टम कहाँ सफल या विफल होता है।
हालाँकि, एक नया अध्ययन प्रकट करता है कि जब ये स्वचालित न्यायाधीश एक साथ कई चेकलिस्ट मदों का सामना करते हैं, तो उनके संचालन में एक सूक्ष्म लेकिन महत्वपूर्ण दोष होता है। जबकि मॉडल अकेले एक मद का मूल्यांकन करने में उत्कृष्ट हैं, यदि उन्हें एक ही बार में कई मदों का मूल्यांकन करने के लिए कहा जाता है, तो उनका निर्णय बदल जाता है। शोधकर्ताओं ने पाया कि चेकलिस्ट पर अन्य मदों की उपस्थिति किसी भी एकल मद के मूल्यांकन में हस्तक्षेप करती है। सुरक्षा पर एक निर्णय केवल इसलिए बदल सकता है क्योंकि सटीकता संबंधी प्रश्न को सूची में जोड़ा गया था, या प्रश्नों का क्रम बदल दिया गया था। यह घटना, जिसे लेखक 'रुब्रिक इंटरफेरेंस' (rubric interference) कहते हैं, का अर्थ है कि एक ही प्रतिक्रिया को पूछे गए अन्य प्रश्नों के संदर्भ के आधार पर अलग-अलग ग्रेड मिल सकते हैं, जो स्वचालित मूल्यांकन प्रणाली की विश्वसनीयता को कमजोर करता है।
इसे संबोधित करने के लिए, पेकिंग यूनिवर्सिटी और टेनसेंट के शोधकर्ताओं की एक टीम ने मॉडल्स को इन विकर्षणों को अनदेखा करने के लिए प्रशिक्षित करने की एक विधि विकसित की। उन्होंने पाया कि जबकि एक मॉडल एक साथ कई मदों का निर्णय लेने में संघर्ष करता है, लेकिन जब वह प्रत्येक मद का अकेले निर्णय लेता है, तो वह उल्लेखनीय रूप से स्थिर और सुसंगत रहता है। उन्होंने इस स्थिरता को एक मार्गदर्शक के रूप में उपयोग किया। शोधकर्ताओं ने एक प्रशिक्षण प्रक्रिया बनाई जहाँ मॉडल एक ही बार में सभी मदों का पूर्ण मूल्यांकन उत्पन्न करता है, लेकिन फिर अपने प्रत्येक मद के तर्क की तुलना अपने ही एक "शिक्षक" (teacher) संस्करण से करता है जिसने उसी मद का पृथक रूप से मूल्यांकन किया था। अपने संयुक्त तर्क को अपने ही स्थिर, पृथक निर्णयों के साथ संरेखित करके, उन्होंने मॉडल को अन्य मदों की उपस्थिति से विचलित हुए बिना प्रत्येक मद के विशिष्ट मानदंडों पर ध्यान केंद्रित करने के लिए सिखाया। यह तकनीक, जिसे वे 'सेल्फ-एंकोर्ड रुब्रिक अलाइनमेंट' (self-anchored rubric alignment) कहते हैं, मॉडल को एक एकीकृत रिपोर्ट तैयार करने की अनुमति देती है जो उतनी ही सुसंगत है जितनी कि उसने प्रत्येक बॉक्स को अलग-अलग चेक किया होता।
इस दृष्टिकोण के परिणामों का परीक्षण चिकित्सा बातचीत, सामान्य निर्देश पालन और वैज्ञानिक प्रश्नों को कवर करने वाले तीन अलग-अलग डेटासेट पर, कई अलग-अलग मॉडल परिवारों का उपयोग करके किया गया। निष्कर्षों ने निरंतरता में उल्लेखनीय सुधार दिखाया। उदाहरण के लिए, वैज्ञानिक प्रश्नों से जुड़े एक डेटासेट पर, मॉडल्स द्वारा मदों को एक साथ या अलग-अलग चेक करने पर बिल्कुल समान निर्णय देने वाले नमूनों का प्रतिशत प्रशिक्षण के बाद लगभग तीन गुना बढ़ गया। मॉडल चेकलिस्ट पर मदों की संख्या के प्रति बहुत कम संवेदनशील हो गए; जहाँ अनट्रेन्ड (untrained) मॉडल सूची लंबी होने पर अपना निर्णय बदल देते थे, वहीं प्रशिक्षित मॉडल्स ने एक स्थिर मानक बनाए रखा। वे प्रश्नों के क्रम के प्रति भी अधिक मजबूत हो गए, और केवल इसलिए अपना निर्णय नहीं बदलते क्योंकि चेकलिस्ट को पुनर्व्यवस्थित किया गया था।
महत्वपूर्ण रूप से, शोधकर्ताओं ने पुष्टि की कि यह बढ़ी हुई निरंतरता सटीकता की कीमत पर नहीं आई। प्रशिक्षित मॉडल केवल मूल मॉडल्स की तरह सहमत होने के लिए रोबोटिक नहीं बने; वे वास्तव में यह निर्धारित करने में उतने ही अच्छे रहे कि एक प्रतिक्रिया वास्तव में सहायक या सही थी या नहीं। वास्तव में, हस्तक्षेप के कारण होने वाले भ्रम को हटाकर, वे कभी-कभी बाहरी मानकों के विरुद्ध और भी बेहतर प्रदर्शन करते हैं। अध्ययन ने यह भी प्रदर्शित किया कि सीखा गया कौशल सामान्य था। एक मॉडल जिसे एक प्रकार के डेटासेट पर प्रशिक्षित किया गया था, वह बिना किसी अतिरिक्त प्रशिक्षण के पूरी तरह से अलग डेटासेट पर इस नई क्षमता को लागू कर सकता था, जो यह सुझाव देता है कि इसने केवल विशिष्ट उत्तरों को याद करने के बजाय तर्क को अलग करने का एक मौलिक तरीका सीखा है।
इस सुधार के पीछे के तंत्र का पता मॉडल के आंतरिक 'अटेंशन पैटर्न' (attention patterns) के माध्यम से लगाया गया। जब अनट्रेन्ड मॉडल कई मदों का मूल्यांकन करता था, तो उसका ध्यान एक मद से दूसरे मद में लीक हो जाता था, जिससे एक बिंदु का विश्लेषण दूसरे बिंदु के तर्क से प्रभावित होता था। प्रशिक्षण के बाद, यह लीकेज काफी कम हो गया। मॉडल ने वर्तमान में विश्लेषण किए जा रहे विशिष्ट मद पर लगभग विशेष रूप से अपना ध्यान केंद्रित करना सीख लिया, जिससे सूची के अन्य मदों के शोर को प्रभावी ढंग से ब्लॉक कर दिया गया। इस बदलाव ने मॉडल को प्रत्येक मानदंड के लिए एक स्पष्ट, स्वतंत्र तर्क बनाए रखने में सक्षम बनाया, भले ही वह उन सभी को एक साथ प्रोसेस कर रहा हो।
इस कार्य के निहितार्थ इस बात पर निर्भर करते हैं कि आर्टिफिशियल इंटेलिजेंस सिस्टम का मूल्यांकन और सुधार कैसे किया जाता है। जैसे-जैसे इन मॉडल्स का उपयोग अन्य सिस्टम को प्रशिक्षित करने के लिए फीडबैक देने के लिए किया जा रहा है, उस फीडबैक की विश्वसनीयता सर्वोपरि है। यदि न्यायाधीश असंगत है, तो प्रशिक्षण संकेत शोर भरा और अविश्वसनीय हो जाता है। यह दिखाते हुए कि 'रुब्रिक इंटरफेरेंस' एक वास्तविक और व्यवस्थित समस्या है, और बिना किसी मानव एनोटेटर की मदद के इसे ठीक करने की विधि प्रदान करके, यह अध्ययन एक व्यावहारिक मार्ग प्रस्तुत करता है। यह सुझाव देता है कि स्वचालित मूल्यांकन को अधिक मजबूत और विश्वसनीय बनाया जा सकता है, यह सुनिश्चित करते हुए कि अगली पीढ़ी के आर्टिफिशियल इंटेलिजेंस को चलाने वाला फीडबैक लूप स्थिर और सुसंगत निर्णय की नींव पर बना हो।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।