💬 NLP

TEXAS: Task-Expert-Aware Supervision for Downstream Mixture-of-Experts LLM Adaptation

यह शोध पत्र TEXAS को प्रस्तुत करता है, जो Mixture-of-Experts भाषा मॉडलों के लिए एक नवीन अनुकूलन विधि है, जो सफल बनाम विफल उदाहरणों पर उनके सक्रियण (activations) की तुलना करके कार्य-प्रासंगिक विशेषज्ञों की पहचान करता है और इस खोज का लाभ फाइन-ट्यूनिंग के दौरान उत्तर टोकन पर पर्यवेक्षण (supervision) को गतिशील रूप से अधिक भार देने के लिए उठाता है, जिससे विशेषज्ञ उपसमुच्चयों (expert subsets) को प्रतिबंधित किए बिना कई बेंचमार्क में अत्याधुनिक प्रदर्शन प्राप्त किया जाता है।

मूल लेखक: Guanzhi Deng, Haibo Wang, Kuan Wu, Xiangru Jian, Shing Yin Wong, Sichun Luo, Zhuoran Wang, Linqi Song

प्रकाशित 2026-08-10

📖 7 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Guanzhi Deng, Haibo Wang, Kuan Wu, Xiangru Jian, Shing Yin Wong, Sichun Luo, Zhuoran Wang, Linqi Song

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक विशाल, अत्यंत बुद्धिमान रोबोट मस्तिष्क है जो हजारों छोटे, विशिष्ट श्रमिकों से बना है। यह आधुनिक "मिक्सचर-ऑफ-एक्सपर्ट्स" (MoE) एआई मॉडल के काम करने का तरीका है। एक विशाल मस्तिष्क के बजाय जो सब कुछ करता है, मॉडल के पास एक "राउटर" होता है जो एक ट्रैफिक पुलिस की तरह काम करता है, जो वाक्य के प्रत्येक शब्द को सबसे उपयुक्त कुछ "विशेषज्ञों" (एक्सपर्ट्स) के पास भेजने के लिए निर्देशित करता है। कुछ विशेषज्ञ गणित में माहिर होते हैं, अन्य कोडिंग में, और कुछ चुटकुले सुनाने में। मुख्य सवाल जो शोधकर्ता पूछ रहे हैं, वह यह है कि जब हम इस रोबोट को एक नया कौशल सिखाना चाहते हैं, जैसे जटिल गणितीय समस्याओं को हल करना, तो हमें कैसे पता चलेगा कि वास्तव में कौन से श्रमिक इस काम के लिए जीनियस हैं?

आमतौर पर, लोग यह जानने के लिए कि कौन से श्रमिक सबसे अच्छे हैं, इस बात को गिनते हैं कि उन्हें कितनी बार उपयोग किया गया है। यह ऐसा ही है जैसे यह मान लेना कि किसी कंपनी में सबसे लोकप्रिय कर्मचारी ही नए प्रोजेक्ट के लिए सबसे अच्छा है। लेकिन क्या होगा यदि वह कर्मचारी किसी और चीज़ में व्यस्त है, या वास्तव में उस नए कार्य के लिए बुरा है? यह पेपर, जिसका शीर्षक TEXAS है, सुझाव देता है कि लोकप्रियता गिनना पर्याप्त नहीं है। इसके बजाय, हमें यह देखना चाहिए कि जब रोबोट उत्तर सही देता है बनाम जब वह गलत देता है, तो कौन से श्रमिक सामने आते हैं। लेखक एक नया तरीका प्रस्तावित करते हैं जो "जीतने वाले" श्रमिकों की बात को अधिक ध्यान से सुनता है, जिससे रोबोट अपने पूरे मस्तिष्क को फिर से बनाए बिना तेजी से और बेहतर तरीके से सीख पाता है।

समस्या: लोकप्रियता गिनना बनाम प्रतिभा खोजना

शोधकर्ताओं ने एक धारणा के साथ शुरुआत की: पुराने तरीके से "कार्य विशेषज्ञ" (वे विशिष्ट श्रमिक जो एक विशिष्ट कार्य में अच्छे हैं) खोजने का तरीका त्रुटिपूर्ण था। अधिकांश पिछले तरीके समग्र सांख्यिकी (aggregate statistics) देखते थे—मूल रूप से, वे पूरे डेटासेट में एक विशिष्ट विशेषज्ञ को कितनी बार चुना गया, इसकी गिनती करते थे। उन्होंने माना कि यदि एक विशेषज्ञ का बहुत उपयोग किया जाता है, तो वे काम के लिए सही होने चाहिए।

हालाँकि, लेखकों ने एक विसंगति पाई। उन्होंने गणित की समस्याओं को हल करने की कोशिश कर रहे एक मॉडल का अध्ययन किया और पाया कि "लोकप्रिय" विशेषज्ञ अक्सर केवल व्यस्त थे, न कि आवश्यक रूप से सहायक। वास्तव में, सबसे अधिक उपयोग किए जाने वाले विशेषज्ञों में से कुछ वास्तव में तब अधिक सक्रिय थे जब मॉडल समस्या को हल करने में विफल हुआ था, बजाय इसके कि जब वह सफल हुआ था! यह एक शेफ को इसलिए काम पर रखने जैसा है क्योंकि वह हमेशा रसोई में रहता है, केवल यह महसूस करने के लिए कि वह वास्तव में हर बार टोस्ट जला रहा है। पेपर का तर्क है कि कार्य विशेषज्ञों को खोजने के लिए समग्र उपयोग सांख्यिकी एक अपूर्ण और कभी-कभी भ्रामक मार्गदर्शिका है।

समाधान: TEXAS (टास्क-एक्सपर्ट-अवेयर सुपरविजन)

इसे ठीक करने के लिए, टीम ने TEXAS नामक एक फ्रेमवर्क पेश किया। केवल यह गिनने के बजाय कि एक विशेषज्ञ का कितनी बार उपयोग किया जाता है, TEXAS सफलता और विफलता के बीच "अंतर पहचानो" (Spot the Difference) का खेल खेलता है।

यह इस प्रकार काम करता है, चरण-दर-चरण:

परीक्षण रन (The Trial Run): सबसे पहले, मॉडल अपने आप में कई समस्याओं को हल करने का प्रयास करता है। शोधकर्ताओं ने इन प्रयासों को दो ढेरों में विभाजित किया: "सफलता का ढेर" (जहाँ मॉडल ने सही उत्तर दिया) और "विफलता का ढेर" (जहाँ उसने गलती की)।
जासूसी कार्य (The Detective Work): इसके बाद वे देखते हैं कि "सफलता के ढेर" बनाम "विफलता के ढेर" के दौरान कौन से विशेषज्ञ सक्रिय थे। वे उन विशेषज्ञों की तलाश कर रहे हैं जो "सफलता के ढेर" के दौरान काफी अधिक दिखाई देते हैं। ये ही वास्तविक "कार्य विशेषज्ञ" (Task Experts) हैं।
प्रशिक्षण प्रोत्साहन (The Training Boost): अब दिलचस्प हिस्सा आता है। जब वे मॉडल को "विफलता के ढेर" (गलतियों) पर प्रशिक्षित करना शुरू करते हैं, तो वे सभी गलतियों के साथ समान व्यवहार नहीं करते हैं। यदि कोई गलती संयोग से उन "वास्तविक कार्य विशेषज्ञों" को सक्रिय करती है, तो TEXAS कहता है, "हे, यह विशेषज्ञ आमतौर पर इस काम में अच्छा है! आइए इस विशिष्ट क्षण पर विशेष ध्यान दें।" वे उस विशिष्ट भाग के "भार" (weight) या महत्व को बढ़ा देते हैं।

इसे एक संगीत शिक्षक की तरह समझें। यदि कोई छात्र गाना गलत बजाता है, तो शिक्षक कह सकता है, "तुमने नोट्स सही बजाए, लेकिन तुम्हारी लय (rhythm) गलत थी।" लेकिन TEXAS के साथ, यदि छात्र गलती करता है लेकिन उसका हाथ एक कठिन कॉर्ड के लिए बिल्कुल सही स्थिति में है, तो शिक्षक कहता है, "हाथ की स्थिति बेहतरीन है! आइए इस विशिष्ट कॉर्ड के लिए पूरी ऊर्जा लय को ठीक करने में लगाएं क्योंकि तुम्हारा हाथ जानता है कि वह क्या कर रहा है।" मॉडल उन रास्तों पर भरोसा करना सीखता है जो सफलता की ओर ले जाते हैं, भले ही वह वर्तमान में विफल हो रहा हो।

उन्हें क्या मिला

टीम ने TEXAS का परीक्षण तीन अलग-अलग बड़े एआई मॉडलों और छह अलग-अलग कार्यों पर किया, जिसमें गणित की समस्याओं (GSM8K, MATH500) से लेकर कोडिंग (HumanEval, MBPP) और जटिल निर्देशों का पालन करना (IFEval) शामिल है।

परिणाम काफी मजबूत थे। 18 में से 17 अलग-अलग परीक्षण परिदृश्यों में, TEXAS का प्रदर्शन सबसे अच्छा था या सबसे अच्छे के साथ बराबरी पर था। औसतन, इसने मौजूदा सबसे मजबूत तरीकों की तुलना में मॉडल के प्रदर्शन में 1.3 से 1.5 अंक का सुधार किया। उदाहरण के लिए, GSM8K गणित बेंचमार्क पर, TEXAS ने DeepSeek मॉडल के स्कोर को 59.9 से बढ़ाकर 62.5 कर दिया।

शोधकर्ताओं ने "एब्लेशन स्टडीज" (जो कि इंजन को खोलकर यह देखने जैसा है कि कौन सा हिस्सा उसे चला रहा है) भी चलाईं ताकि उनके विचारों को सिद्ध किया जा सके। उन्होंने पाया कि:

सटीकता मायने रखती है: यदि उन्होंने केवल लोकप्रियता (आवृत्ति) के आधार पर विशेषज्ञों को चुना होता, तो मॉडल उतना अच्छा प्रदर्शन नहीं करता।
ध्यान केंद्रित करना मायने रखता है: यदि उन्होंने केवल "वास्तविक कार्य विशेषज्ञों" से जुड़े सभी दोषों के लिए सीखने के संकेत को बढ़ाया होता, तो सुधार कम होता।
विशेषज्ञ वास्तविक हैं: जब उन्होंने TEXAS द्वारा खोजे गए विशेषज्ञों को "मास्क" (बंद) किया, तो मॉडल का प्रदर्शन अन्य तरीकों द्वारा खोजे गए विशेषज्ञों को बंद करने की तुलना में बहुत अधिक गिर गया। यह सुझाव देता है कि TEXAS ने वास्तव में कार्यात्मक जीनियस को खोजा था।

यह क्यों काम करता है (और यह क्या नहीं करता)

पेपर सुझाव देता है कि TEXAS इसलिए काम करता है क्योंकि यह एआई के मस्तिष्क में उन "पथों" (pathways) को सुदृढ़ करता है जो चीजों को सही करने से जुड़े होते हैं। विफलता के दौरान जहाँ सही विशेषज्ञ सक्रिय होते हैं, वहाँ सीखने के संकेत को अतिरिक्त भार देकर, मॉडल उन विशिष्ट कनेक्शनों को मजबूत करना सीखता है।

महत्वपूर्ण रूप रूप से, लेखक स्पष्ट करते हैं कि TEXAS क्या नहीं है। यह मॉडल को विशेषज्ञों के एक निश्चित सेट का उपयोग करने के लिए मजबूर नहीं करता है, और न ही यह मॉडल के आंतरिक "ट्रैफिक पुलिस" (राउटर) को बदलने की कोशिश करता है ताकि वह विशिष्ट श्रमिकों को चुनने के लिए मजबूर हो सके। यह केवल मॉडल के स्वाभाविक व्यवहार को सुनता है और जहाँ सबसे अधिक आवश्यकता हो, वहाँ सीखने के संकेत को बढ़ाता है।

पेपर यह भी नोट करता है कि एक छोटा अपवाद है: MMLU बेंचमार्क (एक सामान्य ज्ञान परीक्षण) पर, TEXAS ने अन्य शीर्ष तरीकों के समान प्रदर्शन किया लेकिन उसी तरह की बड़ी छलांग नहीं दिखाई। लेखक सुझाव देते हैं कि ऐसा इसलिए हो सकता है क्योंकि सामान्य ज्ञान इतना व्यापक और बिखरा हुआ है कि यह गणित या कोडिंग की तरह एक ही सुसंगत सेट के "जीनियस" विशेषज्ञों पर निर्भर नहीं करता है।

संक्षेप में, TEXAS सुझाव देता है कि एक जटिल एआई को सिखाते समय, हमें केवल यह नहीं देखना चाहिए कि कौन व्यस्त है; हमें यह देखना चाहिए कि कौन जीत रहा है। जब टीम हार रही हो, तब भी "जीतने वाले" श्रमिकों पर अतिरिक्त ध्यान देकर, हम पूरी टीम को तेजी से और स्मार्ट तरीके से सीखने में मदद कर सकते हैं।

तकनीकी सारांश: TEXAS – डाउनस्ट्रीम मिक्स्चर-ऑफ-एक्सपर्ट्स (MoE) LLM अनुकूलन के लिए टास्क-एक्सपर्ट-अवेयर सुपरविजन

समस्या विवरण

मिक्स्चर-ऑफ-एक्सपर्ट्स (MoE) भाषा मॉडल प्रत्येक टोकन के लिए विशेषज्ञों के एक उपसमूह को सक्रिय करने के लिए स्पार्स रूटिंग का उपयोग करते हैं, जिससे स्केलेबिलिटी और विशेषज्ञ विशिष्टता (expert specialization) सक्षम होती है। जबकि हालिया अध्ययन बताते हैं कि रूटिंग पैटर्न "टास्क एक्सपर्ट्स" (विशिष्ट डाउनस्ट्रीम क्षमताओं के लिए प्रासंगिक विशेषज्ञ) की पहचान करने के लिए उपयोगी संकेतों को एनकोड करते हैं, मौजूदा अनुकूलन विधियाँ दो प्राथमिक सीमाओं से ग्रस्त हैं:

अप्रभावी टास्क एक्सपर्ट पहचान: वर्तमान दृष्टिकोण आमतौर पर कार्य डेटा पर एग्रीगेट रूटिंग सांख्यिकी (जैसे, औसत गेट स्कोर या चयन आवृत्ति) का उपयोग करके टास्क एक्सपर्ट्स की पहचान करते हैं। हालांकि, यह शोध पत्र दर्शाता है कि उच्च एग्रीगेट उपयोग सफल कार्य पूर्णता के साथ विश्वसनीय रूप से सह-संबंधित नहीं होता है। आवृत्ति के आधार पर चुने गए विशेषज्ञ अक्सर मिश्रित या नकारात्मक जुड़ाव प्रदर्शित करते हैं, जो सही आउटपुट को चलाने वाले विशेषज्ञों और जो ऐसा नहीं करते, उनके बीच अंतर करने में विफल रहते हैं।
अल्प-उपयोग किया गया सुपरविजन सिग्नल: मौजूदा विधियाँ मुख्य रूप से पहचाने गए विशेषज्ञों का उपयोग चयनात्मक फाइन-ट्यूनिंग (केवल विशिष्ट विशेषज्ञों को अपडेट करना) या रूटिंग अनुकूलन (विशिष्ट रूटिंग वितरण को मजबूर करना) के लिए करती हैं। वे टोकन स्तर पर मजबूत प्रशिक्षण सुपरविजन आवंटित करने के लिए डायनेमिक सिग्नल के रूप में टास्क-एक्सपर्ट एक्टिवेशन की क्षमता को काफी हद तक अनदेखा करती हैं।

कार्यप्रणाली: TEXAS

लेखक टास्क-एक्सपर्ट-अवेयर सुपरविजन (TEXAS) का प्रस्ताव करते हैं, जो एक फ्रेमवर्क है जो करेक्टनेस-कंडीशनड टास्क एक्सपर्ट डिस्कवरी और टोकन-लेवल सुपरविजन एलोकेशन को जोड़ता है। TEXAS दो मजबूती से जुड़े चरणों में कार्य करता है:

1. करेक्टनेस-कंडीशनड टास्क एक्सपर्ट डिस्कवरी

एग्रीगेट सांख्यिकी पर निर्भर रहने के बजाय, TEXAS उन मामलों की तुलना करके टास्क एक्सपर्ट्स की पहचान करता है जिन्हें बेस मॉडल सफलतापूर्वक हल करता है बनाम वे जिनमें वह विफल रहता है।

डेटा विभाजन: प्रशिक्षण सेट $D$ को एक सफल उपसमूह $D^+$ (जहाँ बेस मॉडल $M_0$ सफलता मानदंड को पूरा करता है) और एक विफल उपसमूह $D^-$ में विभाजित किया गया है।
एक्टिवेशन विश्लेषण: प्रत्येक लेयर-एक्सपर्ट जोड़ी के लिए, विधि दोनों उपसमूहों पर उत्तर-स्तर (answer-level) की एक्टिवेशन दर की गणना करती है।
सांख्यिकीय चयन: सफल इंस्टेंस पर उच्च एक्टिवेशन दर वाले विशेषज्ञों की पहचान करने के लिए एक वन-साइडेड वेलच टी-टेस्ट (one-sided Welch's t-test) किया जाता है ( $H_1: \mu^+ > \mu^-$ )। बेन्जामिनी-होचबर्ग प्रक्रिया का उपयोग करके फॉल्स डिस्कवरी रेट को नियंत्रित किया जाता है।
कैंडिडेट फ़िल्टरिंग: सांख्यिकीय रूप से महत्वपूर्ण लेकिन कम सक्रिय विशेषज्ञों को बाहर करने के लिए, $D^+$ पर औसत एक्टिवेशन दरों के आधार पर शीर्ष- $K$ विशेषज्ञों को रिटेन किया जाता है। अंतिम टास्क-एक्सपर्ट सेट $E_{task}$ , सांख्यिकीय रूप से महत्वपूर्ण विशेषज्ञों और इन उच्च-एक्टिवेशन उम्मीदवारों का प्रतिच्छेदन (intersection) है।

2. टास्क-एक्सपर्ट-अवेयर सुपरविजन

फाइन-ट्यूनिंग के दौरान, TEXAS खोजे गए टास्क एक्सपर्ट्स को सक्रिय करने के आधार पर उत्तर टोकन के सुपरविजन वेट को डायनेमिक रूप से समायोजित करता है।

वेटिंग स्ट्रैटेजी: विफल उपसमूह $D^-$ के इंस्टेंस के लिए, वे उत्तर टोकन जो कम से कम एक खोजे गए टास्क एक्सपर्ट को सक्रिय करते हैं, उन्हें बढ़ा हुआ क्रॉस-एन्ट्रोपी वेट $\alpha$ (जहाँ $\alpha > 1$ ) प्राप्त होता है। सफल इंस्टेंस में या विफल इंस्टेंस में जो टास्क एक्सपर्ट्स को सक्रिय नहीं करते, वे मानक वेट 1 बनाए रखते हैं।
ऑब्जेक्टिव फंक्शन: मॉडल एक मीन वेटेड क्रॉस-एन्ट्रोपी लॉस को ऑप्टिमाइज़ करता है:
$L_{TEXAS} = \frac{1}{N_B} \sum_{i \in B} \sum_{t \in A_i} w_{i,t} CE_{i,t}$
जहाँ $w_{i,t} = \alpha$ यदि टोकन एक विफल इंस्टेंस में टास्क एक्सपर्ट को सक्रिय करता है, और अन्यथा $1$ है।
मुख्य अंतर: उन विधियों के विपरीत जो एक निश्चित विशेषज्ञ उपसमूह तक प्रशिक्षण को सीमित करती हैं या एक लक्षित रूटिंग वितरण लागू करती हैं, TEXAS सभी विशेषज्ञों को अपडेट करने की अनुमति देता है लेकिन उन टोकन के लिए लर्निंग सिग्नल को बढ़ाता है जो बेस मॉडल की विफलताओं द्वारा पहचाने गए टास्क-प्रासंगिक कंप्यूटेशन पाथ्स पर स्थित होते हैं।

मुख्य योगदान

सीमाओं की पहचान: पेपर इस बात पर प्रकाश डालता है कि एग्रीगेट रूटिंग सांख्यिकी सफल कार्य पूर्णता से जुड़े विशेषज्ञों की पहचान करने के लिए एक अपूर्ण प्रॉक्सी है और टास्क-एक्सपर्ड एक्टिवेशन सुपरविजन एलोकेशन के लिए कम उपयोग किया गया है।
TEXAS फ्रेमवर्क: एक विधि पेश करता है जो करेक्टनेस-कंडीशनड एक्टिवेशन तुलना के माध्यम से टास्क एक्सपर्ट्स की खोज करता है और इन खोजों का उपयोग विफल मामलों में विशिष्ट टोकन के लिए सुपरविजन को डायनेमिक रूप से अपवेट करने के लिए करता है।
अनुभवजन्य सत्यापन: तीन MoE मॉडलों (DeepSeek-V2-Lite, OLMoE, Qwen1.5-MoE-A2.7B) और छह बेंचमार्क (गणित, कोड, ज्ञान और इंस्ट्रक्शन फॉलोइंग को कवर करते हुए) पर व्यापक प्रयोग TEXAS की प्रभावशीलता को प्रदर्शित करते हैं।

प्रयोगात्मक परिणाम

TEXAS का मूल्यांकन स्टैंडर्ड सुपरवाइज्ड फाइन-ट्यूनिंग (SFT), एक्सपर्ट-सेलेक्टिव फाइन-ट्यूनिंग (ESFT), और रूटिंग ऑप्टिमाइजेशन (RoMA) सहित बेसलाइन के विरुद्ध किया गया।

प्रदर्शन: TEXAS ने 18 में से 17 मॉडल-टास्क सेटिंग्स में सर्वश्रेष्ठ या समान-सर्वश्रेष्ठ प्रदर्शन किया।
सुधार: औसतन, TEXAS ने सबसे मजबूत बेसलाइन की तुलना में 1.3–1.5 अंक का सुधार किया। मानक SFT की तुलना में, इसने तीनों मॉडलों में औसतन 2.4 से 3.0 अंकों की बढ़त हासिल की।
एब्लेशन स्टडीज:
- करेक्टनेस-कंडीशनड डिस्कवरी को फ्रीक्वेंसी-बेस्ड सिलेक्शन से बदलने पर (TEXAS-Freq) कम लाभ हुआ, जो फ्रीक्वेंसी-बेस्ड दृष्टिकोण के बजाय करेक्टनेस-कंडीशनड दृष्टिकोण के महत्व को प्रमाणित करता है।
- लॉस अपवेटिंग को एक ऑक्जिलरी रूटिंग ऑब्जेक्टिव से बदलने पर (TEXAS-Route) कम सुधार हुआ, जो सुझाव देता है कि डायरेक्ट सुपरविजन एम्प्लीफिकेशन अधिक प्रभावी है।
- सभी इंस्टेंस या विफल इंस्टेंस के सभी टोकन पर वेटिंग लागू करने पर (TEXAS-AllInst, TEXAS-AllTok) कम प्रदर्शन हुआ, जो विशिष्ट टास्क-प्रासंगिक टोकन को लक्षित करने के मूल्य की पुष्टि करता है।
मैकेनिज्म का विश्लेषण:
- SuccessGap: TEXAS द्वारा खोजे गए विशेषज्ञों ने अनसीन बेंचमार्क पर ESFT या रैंडम सिलेक्शन द्वारा चुने गए विशेषज्ञों की तुलना में काफी अधिक "SuccessGap" (सफलता और विफलता के बीच एक्टिवेशन अंतर) दिखाया।
- कार्यात्मक महत्व: TEXAS-डिस्कवर्ड विशेषज्ञों को मास्क करने से ESFT-सेलेक्टेड या रैंडम विशेषज्ञों की तुलना में अधिक प्रदर्शन गिरावट हुई, जो इंगित करता है कि वे कार्यात्मक रूप से महत्वपूर्ण हैं।
- पाथवे सुदृढ़ीकरण: यह दिखाया गया कि TEXAS टास्क-एक्सपर्ट पाथवे के एक्टिवेशन को मजबूत करता है, विशेष रूप से उन इंस्टेंस पर जहाँ बेस मॉडल विफल रहा लेकिन एडेप्टेड मॉडल सफल रहा।
- टोकन प्रासंगिकता: पाया गया कि TEXAS द्वारा अपवेटेड टोकन, हाई-लॉस टोकन या रैंडम टोकन की तुलना में टास्क-प्रासंगिक सामग्री (जैसे, गणितीय ऑपरेटर, कोड सिंटैक्स) से अधिक समृद्ध थे।

महत्व और दावे

पेपर यह तर्क देता है कि आंतरिक कंप्यूटेशन पाथवे, विशेष रूप से टास्क-प्रासंगिक विशेषज्ञों का एक्टिवेशन, अनुकूलन के दौरान लर्निंग रिसोर्स आवंटित करने के लिए एक मूल्यवान सिग्नल प्रदान करते हैं। TEXAS सिद्ध करता है कि:

करेक्टनेस-कंडीशनड डिस्कवरी, उन विशेषज्ञों की पहचान करने के लिए एग्रीगेट सांख्यिकी की तुलना में बेहतर है जो वास्तव में कार्य की सफलता में योगदान देते हैं।
टोकन-लेवल सुपरविजन एलोकेशन, जो इन विशेषज्ञों पर आधारित है, एक व्यवहार्य और प्रभावी रणनीति है, जो निश्चित विशेषज्ञ उपसमूहों या स्पष्ट रूटिंग लक्ष्यों के प्रतिबंधों से बचती है।
यह विधि बिना किसी आर्किटेक्चरल बदलाव या फाइन-ट्यूनिंग चरण के दौरान महत्वपूर्ण कंप्यूटेशनल ओवरहेड के, विविध कार्यों (गणित, कोड, इंस्ट्रक्शन फॉलोइंग) में व्यापक रूप से प्रदर्शन में सुधार करती है (डिस्कवरी लागत एक बार की ऑफलाइन स्टेप है)।

लेखक निष्कर्ष निकालते हैं कि TEXAS MoE अनुकूलन पर एक नया दृष्टिकोण प्रदान करता है: केवल यह चुनने के बजाय कि किन विशेषज्ञों को प्रशिक्षित करना है या कैसे रूट करना है, एक यह उपयोग कर सकता है कि कहाँ (टोकन स्तर पर) विशिष्ट विफलता मोड को ठीक करने के लिए मजबूत सुपरविजन लागू किया जाना चाहिए।