🤖 AI

Beyond Routing Weights: Faithful Response-Level Interpretation of Mixture-of-Experts Reward Models via Contribution Contrast

यह शोध पत्र कॉन्ट्रिब्यूशन-कॉन्ट्रास्ट (CoCo) को प्रस्तुत करता है, जो मिक्सचर-ऑफ-एक्सपर्ट्स रिवॉर्ड मॉडल्स के लिए एक नवीन रिस्पॉन्स-लेवल इंटरप्रिटेशन विधि है, जो रूटिंग-वेट-आधारित विश्लेषण की सीमाओं को पार करते हुए सबसे बड़े योगदान विरोधाभासों वाले चुने गए-अस्वीकृत रिस्पॉन्स पेयर्स के माध्यम से विशेषज्ञों की भूमिकाओं की पहचान करती है, जिससे प्रतिस्पर्धी सटीकता बनाए रखते हुए अधिक निष्ठावान और विशिष्ट व्याख्याएँ प्रदान की जा सकती हैं।

मूल लेखक: Yifan Wang, Jinyi Mu, Mayank Jobanputra, Yu Wang, Soyoung Oh, Isabel Valera, Vera Demberg

प्रकाशित 2026-08-10

📖 8 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Yifan Wang, Jinyi Mu, Mayank Jobanputra, Yu Wang, Soyoung Oh, Isabel Valera, Vera Demberg

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को मददगार, दयालु और बुद्धिमान बनना सिखाने की कोशिश कर रहे हैं। आप इसे केवल एक कठोर नियम पुस्तिका के साथ प्रोग्राम नहीं कर सकते क्योंकि मानवीय प्राथमिकताएं अव्यवस्थित और जटिल होती हैं। इसके बजाय, आप रोबोट को "अच्छे" उत्तरों बनाम "बुरे" उत्तरों के हजारों उदाहरण दिखाते हैं, जिससे वह सीख सके कि इंसान क्या पसंद करते हैं। यह रिनफोर्समेंट लर्निंग फ्रॉम ह्यूमन फीडबैक (RLHF) की दुनिया है, एक ऐसी तकनीक जो विशाल AI चैटबॉट्स को हमारे मूल्यों के अनुरूप बनाने में मदद करती है। इसे करने के लिए, AI एक "रिवॉर्ड मॉडल" का उपयोग करता है, जो एक सख्त शिक्षक की तरह रोबोट के होमवर्क को ग्रेड देता है। लेकिन यहाँ पेचीदा बात यह है कि कभी-कभी यह शिक्षक एक "ब्लैक बॉक्स" होता है। हम जानते हैं कि यह एक अच्छे उत्तर को उच्च स्कोर देता है, लेकिन हमें यह नहीं पता कि इसने ऐसा निर्णय क्यों लिया। क्या इसलिए कि उत्तर मजेदार था? क्या इसलिए कि वह विनम्र था? या इसलिए कि उसने एक विशिष्ट प्रारूप का पालन किया?

इसे हल करने के लिए, शोधकर्ताओं ने हाल ही में एक "मिक्सचर-ऑफ-एक्सपर्ट्स" (MoE) रिवॉर्ड मॉडल बनाने की कोशिश की। इसे एक विशाल शिक्षक के रूप में नहीं, बल्कि 20 अलग-अलग विशेषज्ञों की एक कक्षा के रूप में सोचें। जब कोई प्रश्न आता है, तो एक "राउटर" (एक प्रिंसिपल की तरह) प्रश्न को देखता है और तय करता है कि किसे ग्रेड देना चाहिए। हो सकता है कि एक विशेषज्ञ गणित में अच्छा हो, दूसरा रचनात्मक लेखन में, और तीसरा कानूनी सलाह देने में। इसका लक्ष्य इन विशेषज्ञों को उनके द्वारा प्राप्त किए गए प्रश्नों को देखकर समझना बनाना था। लेकिन, जैसा कि वह शोध पत्र बताता है जिसे हम अभी एक्सप्लोर करने जा रहे हैं, केवल यह जानना कि किसे प्रश्न मिला, आपको यह नहीं बताता कि उन्होंने उत्तर को कैसे ग्रेड किया।

इस समस्या को हल करने के लिए, इस पेपर का शीर्षक "बियॉन्ड राउटिंग वेट्स" (Beyond Routing Weights), इन AI विशेषज्ञों के दिमाग में झांकने का एक नया तरीका पेश करता है। लेखक, जो सारलैंड यूनिवर्सिटी और अन्य संस्थानों की एक टीम है, तर्क देते हैं कि केवल यह देखना कि किसी विशेषज्ञ को कौन से प्रश्न मिलते हैं, वैसा ही है जैसे किसी शेफ का न्याय केवल उन सामग्रियों से करना जो उन्हें दी गई थीं, बिना व्यंजन चखे। इसके बजाय, वे कंट्रीब्यूशन-कॉन्ट्रास्ट (CoCo) नामक एक विधि प्रस्तावित करते हैं। CoCo यह देखता है कि विशेषज्ञ का मत किन विशिष्ट क्षणों में एक "अच्छे" उत्तर और एक "बुरे" उत्तर के बीच सबसे बड़ा अंतर पैदा करता है। इन जोड़ों की तुलना करके, CoCo स्पष्ट रूप से प्रकट करता है कि विशेषज्ञ वास्तव में किस बात पर ध्यान देता है—चाहे वह "संक्षिप्त होना" हो या "चरण-दर-चरण तर्क का उपयोग करना"—न कि केवल उस विषय पर जिसे वह आमतौर पर संभालता है। शोधकर्ताओं ने इन परीक्षणों को दो बड़े डेटासेट पर किया और पाया कि CoCo इन विशेषज्ञों के बारे में बहुत अधिक स्पष्ट, ईमानदार और विस्तृत चित्र प्रदान करता है, बिना AI को उसके काम में कम सटीक बनाए।

समस्या: "प्रिंसिपल" बनाम "शेफ"

AI रिवॉर्ड मॉडल की दुनिया में, "मिक्सचर-ऑफ-एक्सपर्ट्स" सेटअप एक प्रिंसिपल और कई शिक्षकों वाले स्कूल की तरह है। प्रिंसिपल (राउटर) छात्र के प्रश्न को पढ़ता है और तय करता है कि कौन सा शिक्षक इसे ग्रेड देने के लिए सबसे उपयुक्त है। यदि प्रश्न खाना पकाने के बारे में है, तो प्रिंसिपल उसे "कुलिनरी एक्सपर्ट" (पाक विशेषज्ञ) के पास भेज देता है। यदि यह कोडिंग के बारे में है, तो यह "प्रोग्रामिंग एक्सपर्ट" के पास जाता है।

कुछ समय के लिए, शोधकर्ताओं को लगा कि वे इन विशेषज्ञों को केवल प्रिंसिपल के नोट्स देखकर समझ सकते हैं। वे कहते थे, "आह, कुलिनरी एक्सपर्ट ज्यादातर बेकिंग के बारे में प्रश्न प्राप्त करता है, इसलिए वे निश्चित रूप से 'बेकिंग एक्सपर्ट' होंगे।" इसे राउटिंग वेट्स देखना कहा जाता है।

लेकिन इस पेपर के लेखकों ने महसूस किया कि यह एक शेफ को उनके द्वारा पकाए गए भोजन के बजाय उन्हें दी गई सामग्रियों से आंकने जैसा है। सिर्फ इसलिए कि कुलिनरी एक्सपर्ट को बेकिंग के बारे में एक प्रश्न मिला, इससे यह पता नहीं चलता कि उन्होंने उत्तर का निर्णय कैसे लिया। क्या उन्होंने विस्तृत रेसिपी को पसंद किया? क्या उन्हें लंबे स्पष्टीकरण पसंद नहीं आए? क्या उन्हें सुरक्षा चेतावनियों की परवाह थी? राउटिंग वेट्स केवल यह बताते हैं कि काम किसे मिला, न कि उन्होंने इसे कैसे किया। यह एक अधूरा विवरण है जो सबसे महत्वपूर्ण हिस्से को छोड़ देता है: वास्तविक निर्णय लेने की प्रक्रिया।

समाधान: CoCo (कंट्रीब्यूशन-कॉन्ट्रास्ट)

इसे ठीक करने के लिए, टीम ने CoCo का आविष्कार किया, जिसका अर्थ है कंट्रीब्यूशन-कॉन्ट्रास्ट। केवल यह पूछने के बजाय कि "इस प्रश्न को किस विशेषज्ञ ने प्राप्त किया?", CoCo पूछता है, "किस विशेषज्ञ ने यह तय करने में सबसे बड़ा अंतर पैदा किया कि यह उत्तर दूसरे से बेहतर क्यों है?"

कल्प hãng करें कि आप एक कुकिंग प्रतियोगिता में जज हैं। आपके पास दो व्यंजन हैं: एक उत्तम लासग्ना है, और दूसरा थोड़ा जला हुआ है।

पुराना तरीका (राउटिंग वेट्स): आप स्कोरकार्ड देखते हैं और देखते हैं कि इस राउंड को जज करने के लिए "इटालियन एक्सपर्ट" को नियुक्त किया गया था। आप निष्कर्ष निकालते हैं, "इटालियन एक्सपर्ट पास्ता पसंद करता है।" लेकिन आप यह नहीं जानते कि उन्हें लासग्ना इसलिए पसंद आया क्योंकि वह चीज़ से भरा था, क्योंकि वह गर्म था, या क्योंकि उसमें बेसिल (तुलसी) था।
CoCo का तरीका: आप स्कोरकार्ड देखते हैं और देखते हैं कि "इटालियन एक्सपर्ट" ने जले हुए व्यंजन की तुलना में लासग्ना को अंकों में भारी बढ़त दी, जबकि अन्य विशेषज्ञ काफी तटस्थ थे। CoCo फिर कहता है, "आहा! इटालियन एक्सपर्ट विशेष रूप से चीज़ी, गर्म और बेसिल-टॉप वाला पास्ता पसंद करता है।"

CoCo यह जानकर काम करता है कि विशेषज्ञ का मत किन जोड़ों में निर्णायक कारक था। यह दो चीजों को आपस में गुणा करता है:

विशेषज्ञ के प्रश्न प्राप्त करने की संभावना कितनी थी (राउटिंग वेट)।
विशेषज्ञ के स्कोर ने अंतिम परिणाम को कितना बदला (अच्छे उत्तर और बुरे उत्तर के बीच का अंतर)।

इन उच्च-प्रभाव वाले क्षणों पर ध्यान केंद्रित करके, CoCo विशेषज्ञ के वास्तविक व्यवहार के प्रति वफादार एक विवरण उत्पन्न कर सकता है। यह केवल यह नहीं कहता कि "यह विशेषज्ञ खाना पकाने के प्रश्न संभालता है"; यह कहता है "यह विशेषज्ञ अस्पष्ट सुझावों के बजाय विस्तृत, चरण-दर-चरण खाना पकाने के निर्देशों को पसंद करता है।"

उन्होंने क्या पाया: एक स्पष्ट तस्वीर

शोधकर्ताओं ने CoCo का परीक्षण अन्य विधियों के विरुद्ध किया, जिसमें पुराना "राउटिंग वेट" तरीका और कुछ अन्य उन्नत तकनीकें शामिल थीं जो "स्पार्स ऑटोएनकोडर्स" (जो डेटा के ढेर में छिपे पैटर्न खोजने जैसा है) का उपयोग करती हैं। उन्होंने इन परीक्षणों को दो विशाल डेटासेट पर किया: एक जिसमें 7,000,000 उदाहरण थे और दूसरा रेडिट (Reddit) से।

परिणाम काफी स्पष्ट थे। CoCo ने ऐसे व्याख्यात्मक विवरण तैयार किए जो थे:

अधिक वफादार (More Faithful): विवरणों ने वही किया जो विशेषज्ञों ने AI की निर्णय लेने की प्रक्रिया में वास्तव में किया था। जब शोधकर्ताओं ने AI से उस विशेषज्ञ को हटाया, तो AI का व्यवहार बिल्कुल वैसा ही बदला जैसा CoCo ने भविष्यवाणी की थी।
अधिक विशिष्ट (More Specialized): CoCo द्वारा वर्णित विशेषज्ञों के व्यक्तित्व बहुत अलग थे। एक "सख्त व्याकरण पुलिस" हो सकता है, जबकि दूसरा "रचनात्मक कहानीकार"। अन्य विधियाँ अक्सर अस्पष्ट या दोहराव वाले विवरण देती थीं।
उतनी ही सटीक (Just as Accurate): महत्वपूर्ण बात यह है कि विशेषज्ञों को समझने के लिए CoCo का उपयोग करने से AI अपने काम में कमज़ोर नहीं हुआ। रिवॉर्ड मॉडल सर्वश्रेष्ठ उत्तर चुनने में उतना ही अच्छा बना रहा।

मानवीय परीक्षणों में, जहाँ लोगों ने विशेषज्ञों के विवरण पढ़े, उन्होंने CoCo के विवरणों को सबसे सुसंगत और उपयोगी बताया। वे वास्तव में समझ सके कि कक्षा में प्रत्येक "शिक्षक" किस काम में कुशल था।

यह क्यों महत्वपूर्ण है

यह पेपर सुझाव देता है कि यदि हम वास्तव में समझना चाहते हैं कि AI निर्णय कैसे लेता है, तो हमें सतह से परे देखना होगा। केवल यह जानना कि एक AI विशेषज्ञ किस विषय को संभालता है पर्याप्त नहीं है; हमें यह जानने की आवश्यकता है कि वे प्रतिक्रिया की गुणवत्ता का मूल्यांकन कैसे करते हैं। CoCo बिना AI को फिर से प्रशिक्षित किए या जटिल नए स्तर जोड़े बिना ऐसा करने का एक तरीका प्रदान करता है। यह AI के "ऑडिट" करने का एक उपकरण है, जो हमें यह देखने में मदद करता है कि हमारे डिजिटल शिक्षक वास्तव में वही सिखा रहे हैं जो हम सोचते हैं।

लेखक सावधानीपूर्वक नोट करते हैं कि यह कोई जादुिक छड़ी नहीं है जो AI के "वास्तविक" छिपे हुए विचारों को प्रकट कर दे। व्याख्या की गुणवत्ता इस बात पर निर्भर करती है कि AI को कितनी अच्छी तरह प्रशिक्षित किया गया था। यदि प्रशिक्षण डेटा अव्यवस्थित है, तो विशेषज्ञ भी अव्यवस्थित हो सकते हैं। हालांकि, वर्तमान तकनीक की सीमाओं के भीतर, CoCo इन विशिष्ट AI रिवॉर्ड मॉडल के दिमाग में झांकने के लिए सबसे ईमानदार और विस्तृत खिड़की प्रदान करता है। यह हमें यह अनुमान लगाने से कि विशेषज्ञ किससे बात करते हैं, सीधे यह समझने की ओर ले जाता है कि वे किए गए कार्य का मूल्यांकन कैसे करते हैं।

तकनीकी सारांश: रूटिंग वेट्स से परे: कॉन्ट्रिब्यूशन कॉन्ट्रास्ट के माध्यम से मिक्स्चर-ऑफ-एक्सपर्ट्स रिवॉर्ड मॉडल्स का निष्ठावान रिस्पॉन्स-लेवल इंटरप्रिटेशन

1. समस्या विवरण

रिवॉर्ड मॉडल्स, मानव प्राथमिकताओं (human preferences) के साथ लार्ज लैंग्वेज मॉडल्स (LLMs) को संरेखित करने और 'रिनफोर्समेंट लर्निंग फ्रॉम ह्यूमन फीडबैक' (RLHF) में केंद्रीय भूमिका निभाते हैं। हालाँकि, उनके भविष्यवाणियों को संचालित करने वाले विशिष्ट गुणों को समझना चुनौतीपूर्ण बना हुआ है। जबकि हालिया स्पार्स मिक्स्चर-ऑफ-एक्सपर्ट्स (MoE) रिवॉर्ड मॉडल्स, प्रॉम्प्ट्स को विशिष्ट विशेषज्ञों (specialized experts) तक रूट करके व्याख्यात्मकता (interpretability) में सुधार करने का प्रयास करते हैं, वर्तमान व्याख्या विधियाँ अपर्याप्त हैं।

मौजूदा दृष्टिकोण, जैसे कि वांग एट अल. (2026) द्वारा प्रस्तुत किए गए, उच्चतम रूटिंग वेट्स (routing weights) वाले उदाहरणों का उपयोग करके विशेषज्ञों का लक्षण वर्णन करते हैं। यह विधि बताती है कि विशेषज्ञ को कौन से प्रॉम्प्ट प्राप्त होते हैं (प्रॉम्प्ट-लेवल डोमेन), लेकिन यह समझाने में विफल रहती है कि विशेषज्ञ रिस्पॉन्स (responses) का निर्णय कैसे लेता है। फलस्वरूप, ये व्याख्याएँ विशेषज्ञ के व्यवहार का केवल एक आंशिक विवरण प्रदान करती हैं, जो इनपुट असाइनमेंट के संदर्भ को तो पकड़ती हैं, लेकिन उन रिस्पॉन्स-लेवल प्रेफरेंस आयामों (preference dimensions) को नहीं, जो मॉडल के निर्णयों की सीधे व्याख्या करते हैं। इसके अलावा, स्कोर-आधारित रैंकिंग जैसे वैकल्पिक तरीके रूटिंग वेट्स को अनदेखा करते हैं, जिससे संभावित रूप से ऐसे उदाहरण हाइलाइट हो सकते हैं जहाँ विशेषज्ञ का स्कोर वेरिएंस अधिक है लेकिन अंतिम रिवॉर्ड पर उसका समग्र प्रभाव कम है।

2. कार्यप्रणाली: कॉन्ट्रिब्यूशन-कॉन्ट्रास्ट (CoCo)

लेखक कॉन्ट्रिब्यूशन-कॉन्ट्रास्ट (CoCo) का प्रस्ताव करते हैं, जो एक रिस्पॉन्स-लेवल इंटरप्रिटेशन विधि है जिसे MoE रिवॉर्ड मॉडल्स में विशेषज्ञों की भूमिकाओं को निष्ठापूर्वक चरित्रित करने के लिए डिज़ाइन किया गया है।

मुख्य अवधारणा

CoCo केवल रूटिंग वेट्स या कच्चे स्कोर अंतर से आगे बढ़ता है। इसके बजाय, यह कॉन्ट्रिब्यूशन कॉन्ट्रास्ट को प्राथमिक व्याख्या संकेत (interpretation signal) के रूप में उपयोग करता है। एक दिए गए प्रेफरेंस पेयर $(x, y_w, y_l)$ और विशेषज्ञ $k$ के लिए, हस्ताक्षरित योगदान विषमता (signed contribution contrast) को इस प्रकार परिभाषित किया गया है:
$\Delta c_k(x, y_w, y_l) = \pi_{\phi,k}(x) [r_{\theta_k}(x, y_w) - r_{\theta_k}(x, y_l)]$
जहाँ $\pi_{\phi,k}(x)$ रूटिंग वेट है और $[r_{\theta_k}(x, y_w) - r_{\theta_k}(x, y_l)]$ चुने गए और अस्वीकृत रिस्पॉन्स के बीच स्कोर का अंतर है। परिमाण (magnitude) $c_k$ यह मापता है कि विशेषज्ञ रिस्पॉन्स के बीच कितनी मजबूती से अंतर करता है, जबकि चिह्न (sign) यह दर्शाता है कि विशेषज्ञ किस रिस्पॉन्स का समर्थन करता है।

व्याख्या निष्कर्षण (Interpretation Extraction)

एक विशेषज्ञ की व्याख्या करने के लिए, CoCo सबसे बड़े कॉन्ट्रिब्यूशन कॉन्ट्रास्ट परिमाण वाले शीर्ष 10 वैलिडेशन उदाहरणों का चयन करता है। इसके बाद एक LLM को इन जोड़ों में साझा कॉन्ट्रैस्टिव पैटर्न (contrastive patterns) को सारांशित करने के लिए प्रॉम्प्ट दिया जाता है, जिससे यह पहचान की जा सके कि क्या पैटर्न एक साझा संदर्भ (shared context) से संबंधित है, एक सुसंगत प्राथमिकता आयाम (consistent preference dimension) से, या दोनों से।

रेगुलराइजेशन (Regularization)

स्पार्स और विविध योगदान पैटर्न को प्रोत्साहित करने के लिए, लेखक वांग एट अल. (2026) से मौजूदा व्याख्यात्मक रेगुलराइजर्स (स्थानीय स्पर्सिटी, वैश्विक संतुलन और विशेषज्ञ विविधता) को अनुकूलित करते हैं। रूटिंग वेट्स पर लागू करने के बजाय, वे इन्हें प्रेफरेंस पेयर्स के कॉन्ट्रिब्यूशन कॉन्ट्रास्ट प्रोफाइल पर लागू करते हैं। यह हल्का अनुकूलन अंतर्निहित MoE आर्किटेक्चर को बदले बिना व्याख्यात्मक बाधाओं को कॉन्ट्रैस्टिव योगदान सिग्नल के साथ संरेखित करता है।

बेसलाइन्स (Baselines)

यह पेपर CoCo की तुलना निम्नलिखित से करता है:

रूटर-आधारित (Router-based): रूटिंग वेट द्वारा उदाहरणों को रैंक करता है (प्रॉम्प्ट-लेवल डोमेन कैप्चर करता है)।
स्कोर-आधारित (Score-based): पूर्ण विशेषज्ञ स्कोर अंतर द्वारा उदाहरणों को रैंक करता है (रिस्पॉन्स-लेवल आयामों को कैप्चर करता है लेकिन रूटिंग प्रभाव को अनदेखा करता है)।
SAE-आधारित: SARM और WIMHF जैसी विधियाँ जो फीचर्स निकालने के लिए स्पार्स ऑटोएनकोडर्स (Sparse Autoencoders) का उपयोग करती हैं।

3. प्रमुख योगदान

नया व्याख्या संकेत (Novel Interpretation Signal): यह पेपर कॉन्ट्रिब्यूशन कॉन्ट्रास्ट को एक संकेत के रूप में पेश करता है जो रूटिंग व्यवहार और प्रेफरेंस व्यवहार को संयुक्त रूप से कैप्चर करता है, जिससे उस अंतर को भरा जाता है जहाँ अकेले रूटिंग वेट्स रिस्पॉन्स-लेवल निर्णयों को समझाने में विफल रहते हैं।
रिस्पॉन्स-लेवल लक्षण वर्णन: रूटर-आधारित विधियों के विपरीत जो प्रॉम्प्ट डोमेन की पहचान करती हैं, CoCo रिस्पॉन्स-लेवल प्रेफरेंस आयामों (जैसे, "लंबी सूचियों के बजाय संक्षिप्त सिफारिशें") की पहचान करता है जो मॉडल की वास्तविक निर्णय लेने की प्रक्रिया के प्रति निष्ठावान हैं।
व्यवस्थित अध्ययन: यह कार्य विशेष रूप से MoE रिवॉर्ड मॉडल्स के लिए व्याख्या विधियों का पहला व्यवस्थित अध्ययन प्रस्तुत करता है, जिसमें रूटर-आधारित, स्कोर-आधारित और SAE-आधारित विकल्पों की तुलना की गई है।
रेगुलराइजेशन अनुकूलन: लेखक प्रदर्शित करते हैं कि कैसे स्पर्सिटी और विविधता रेगुलराइजर्स को रूटिंग वेट्स के बजाय कॉन्ट्रिब्यूशन कॉन्ट्रास्ट पर संचालित होने के लिए अनुकूलित किया जा सकता है, जिससे विशेषज्ञों की भूमिकाओं की विशिष्टता बढ़ती है।

4. प्रयोगात्मक परिणाम

लेखकों ने एक 3B पैरामीटर MoE रिवॉर्ड मॉडल का उपयोग करके दो डेटासेट्स: 700K (डोंग एट अल., 2024) और Reddit (एथयाराजह एट अल., 2022) पर CoCo का मूल्यांकन किया।

स्वचालित मूल्यांकन

CoCo ने कई मेट्रिक्स पर मौजूदा बेसलाइन्स (SARM, WIMHF, SMoE) और वैकल्पिक संकेतों (रूटर-आधारित, स्कोर-आधारित) को पछाड़ दिया:

व्याख्या की गुणवत्ता (Interpretation Quality): CoCo ने उच्चतम फिडेलिटी (संकेत और LLM निर्णयों के बीच सहसंबंध कि क्या उदाहरण व्याख्या का पालन करते हैं) प्राप्त की। हालांकि SMoE ने 700K डेटासेट पर कम रेडंडेंसी (Redundancy) प्राप्त की, CoCo ने उच्च फिडेलिटी और निष्ठा के साथ मजबूत समग्र व्याख्यात्मकता प्रदर्शित करते हुए विशिष्टता को संतुलित किया।
निर्णय की निष्ठा (Decision Faithfulness): CoCo ने बेहतर एक्सपर्ट-मॉडल एग्रीमेंट (उन शीर्ष उदाहरणों का अनुपात जहाँ विशेषज्ञ और पूर्ण मॉडल सहमत होते हैं) और रिमूवल फ्लिप रेट (वह अनुपात जहाँ विशेषज्ञ को हटाने से मॉडल की भविष्यवाणी बदल जाती है) दिखाया।
विशेषज्ञ विशेषज्ञता (Expert Specialization): अन्य विधियों की तुलना में CoCo विशेषज्ञों ने अपने शीर्ष-रैंक वाले उदाहरणों पर उच्च एक्सपर्ट एक्यूरेसी और रिलेटिव एक्सपर्ट एडवांटेज प्रदर्शित किया।

मानव मूल्यांकन

पाँच एंनोटेटर्स ने Reddit डेटासेट पर प्रत्येक विधि के पाँच विशेषज्ञों के लिए शीर्ष 10 उदाहरणों का मूल्यांकन किया। CoCo को पैटर्न कोहेरेंस (Pattern Coherence) और डिस्क्रिप्शन क्वालिटी (Description Quality) दोनों के लिए उच्चतम रेटिंग मिली, जो यह दर्शाता है कि इसकी व्याख्याएँ रूटर-आधारित या SAE-आधारित विधियों की तुलना में अधिक सुसंगत थीं और विशेषज्ञ की भूमिका का बेहतर वर्णन करती थीं।

एब्लेशन स्टडीज (Ablation Studies)

विभिन्न रेगुलराइजेशन उद्देश्यों के साथ प्रशिक्षित एक ही MoE मॉडल के भीतर तुलनाओं ने पुष्टि की कि कॉन्ट्रिब्यूशन कॉन्ट्रास्ट सिग्नल सबसे सूचनात्मक उदाहरण सेट चुनने के लिए सबसे प्रभावी है। यहाँ तक कि रूटर-आधारित या स्कोर-आधारित उद्देश्यों के साथ प्रशिक्षित मॉडल्स पर लागू होने पर भी, CoCo की व्याख्याएँ अन्य संकेतों से प्राप्त व्याख्याओं की तुलना में अधिक निष्ठावान और विशिष्ट रहीं।

5. महत्व और दावे

पेपर का दावा है कि CoCo मौजूदा विकल्पों की तुलना में MoE रिवॉर्ड मॉडल विशेषज्ञों की अधिक सुसंगत, निष्ठावान और विशिष्ट व्याख्या प्रदान करता है। रूटिंग और प्रेफरेंस व्यवहार को संयुक्त रूप से कैप्चर करके, CoCo अकेले रूटिंग वेट या विशेषज्ञ स्कोर की तुलना में मॉडल निर्णयों को समझने के लिए अधिक सूचनात्मक आधार प्रदान करता है।

लेखक अपने दावों के संबंध में एक मध्यम रुख बनाए रखते हैं:

वे स्वीकार करते हैं कि CoCo अंतर्निहित MoE मॉडल द्वारा सीखी गई संरचना पर निर्भर करता है और यह गारंटी नहीं दे सकता कि सीखे गए विशेषज्ञ "साफ" या अर्थपूर्ण प्रेफरेंस आयामों के अनुरूप हैं।
वे नोट करते हैं कि एक डेटा-केंद्रित दृष्टिकोण के रूप में, CoCo उन पैटर्न को रिकवर करने में विफल हो सकता है जो प्रशिक्षण डेटा में अनुपस्थित या कमजोर रूप से प्रतिनिधित्व किए गए हैं।
वे स्पष्ट करते हैं कि उनके मेट्रिक्स (फिडेलिटी, निष्ठा, आदि) व्यवहारिक सुसंगतता और निर्णय संरेखण के प्रमाण के रूप में कार्य करते हैं, न कि ग्राउंड-ट्रुथ डिसेंटैंगलमेंट (ground-truth disentanglement) के प्रमाण के रूप में।
नैतिक रूप से, वे CoCo को एक ऑडिटिंग टूल के रूप में देखते हैं न कि वांछनीय मानवीय मूल्यों के वैलिडेटर के रूप में, यह देखते हुए कि व्याख्याएँ अंतर्निहित डेटासेट्स में मौजूद पूर्वाग्रहों को दर्शा सकती हैं।

निष्कर्षतः, यह पेपर कॉन्ट्रिब्यूशन कॉन्ट्रास्ट को MoE रिवॉर्ड मॉडल्स की व्याख्या करने के लिए एक बेहतर संकेत के रूप में स्थापित करता है, जो यह समझने के लिए एक मार्ग प्रदान करता है कि ये मॉडल मानव प्राथमिकताओं के साथ कैसे संरेखित होते हैं।