💬 NLP

FOCUS: Decoupling Expert Personas in LLMs to Enhance Domain Expert Capabilities

यह शोध पत्र FOCUS का प्रस्ताव करता है, जो ऑर्थोगोनल डिकंपोजिशन (orthogonal decomposition) और एडेप्टिव गेटिंग (adaptive gating) के माध्यम से लार्ज लैंग्वेज मॉडल्स में डोमेन-विशिष्ट विशेषज्ञ व्यक्तित्वों को अलग करता है ताकि क्रॉस-डोमेन कपलिंग समस्याओं को हल किया जा सके और स्वास्थ्य सेवा और वित्त जैसे उच्च-जोखिम वाले डोमेन में कार्य सटीकता को महत्वपूर्ण रूप से बढ़ाया जा सके।

मूल लेखक: Guanyu Wang, Zidi Zhang, Xu Chu

प्रकाशित 2026-08-07

📖 4 मिनट में पढ़ें☕ कॉफ़ी ब्रेक में पढ़ें

CC BY 4.0

मूल लेखक: Guanyu Wang, Zidi Zhang, Xu Chu

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपका एक सुपर-स्मार्ट रोबोट दोस्त है जिसे सब कुछ थोड़ा-बहुत पता है। वह आपको एक चुटकुला सुना सकता है, समझा सकता है कि कार का इंजन कैसे काम करता है, और यहाँ तक कि एक कविता भी सुना सकता है। लेकिन यहाँ एक पेचीदा बात है: कभी-कभी, जब आप उससे कोई गंभीर सवाल पूछते हैं, तो वह भ्रमित हो जाता है कि उसे कौन बनना चाहिए। यदि आप उससे चिकित्सा सलाह मांगते हैं, तो वह गलती से एक लापरवाह स्टॉक ट्रेडर की तरह व्यवहार करने लग सकता है, जो सावधानी बरतने के बजाय बहुत बड़े जोखिम उठाता है। यदि आप उससे कानून के बारे में पूछते हैं, तो वह बहुत अधिक सतर्क हो सकता है और एक चतुर अवसर को चूक सकता है। ऐसा इसलिए होता है क्योंकि उसके रोबोट के "दिमाग" ने उसकी सभी अलग-अलग शख्सियतों को एक बड़े, उलझे हुए गाँठ में मिला दिया है। वैज्ञानिक इन "पर्सोना" (personas) को कहते हैं—अलग-अलग कामों के आधार पर रोबोट के व्यवहार करने के विभिन्न तरीके। बड़ा सवाल यह है कि हम इन गांठों को कैसे सुलझाएं ताकि रोबोट एक सावधान डॉक्टर, एक साहसी ट्रेडर और एक तेज़ वकील के बीच बिना भ्रमित हुए स्विच कर सके?

शोधकर्ताओं की एक टीम FOCUS नामक एक नए तरीके के साथ ठीक इसी समस्या पर काम कर रही है। इस रोबोट के दिमाग को एक विशाल पुस्तकालय के रूप में सोचें जहाँ हर किताब एक अलग कौशल का प्रतिनिधित्व करती है। अभी, किताबें एक के ऊपर एक अव्यवस्थित ढेर की तरह रखी हैं। यदि आप "मेडिकल" वाली किताब निकालने की कोशिश करते हैं, तो आप गलती से "फाइनेंस" वाली किताब को भी साथ खींच लेते हैं, जिससे गड़बड़ी हो जाती है। शोधकर्ताओं ने पाया कि रोबोट को केवल यह कहना कि "एक डॉक्टर बनो" पर्याप्त नहीं है क्योंकि वह अव्यवस्थित ढेर अभी भी वहीं मौजूद है। इसके बजाय, उन्होंने किताबों को पूरी तरह से अलग करने के लिए एक विशेष उपकरण बनाया। उन्होंने "मेडिकल" की किताब और "फाइनेंस" की किताब को लिया और उन्हें इस तरह अलग किया कि वे पूरी तरह से स्वतंत्र हो गईं। फिर, उन्होंने एक स्मार्ट लाइब्रेरियन (जिसे "गेटिंग मॉड्यूल" कहा जाता है) जोड़ा जो आपके सवाल को देखता है और तय करता है कि ठीक कौन सी किताब निकालनी है, या यदि सवाल पेचीदा है तो किन दो किताबों को मिलाना है।

यह शोध पत्र सुझाव देता है कि "ऑर्थोगोनल डिकंपोजिशन" (orthogonal decomposition) नामक एक गणितीय ट्रिक का उपयोग करके (जो केवल एक फैंसी तरीका है यह कहने का कि "किताबों को इस तरह काटना कि वे एक-दूसरे पर न चढ़ें"), वे रोबोट की शख्सियतों को साफ कर सकते हैं। उन्होंने तीन बहुत अलग दुनियां: पैसा (वित्त), नियम (कानून), और स्वास्थ्य (चिकित्सा) पर इसका परीक्षण किया। उन्होंने पाया कि जब उन्होंने अपने नए तरीके का उपयोग किया, तो रोबोट सवालों के सही उत्तर देने में बहुत बेहतर हो गया। उदाहरण के लिए, एक मेडिकल टेस्ट में, रोबोट ने जोखिम भरे उत्तर देना बंद कर दिया जो एक ट्रेडर दे सकता था। फाइनेंस टेस्ट में, वह गणना किए गए जोखिम लेने से डरना बंद कर गया। शोधकर्ताओं ने यह भी खोजा कि उन्हें रोबोट को दो चरणों में सिखाना पड़ा: पहले, एक क्षेत्र में पूर्ण विशेषज्ञ बनना, और दूसरे, यह सीखना कि कैसे उन विशेषज्ञताओं को मिलाया जाए जब किसी सवाल को दोनों की आवश्यकता हो। इस दो-चरणीय प्रशिक्षण के बिना, रोबोट फिर से भ्रमित हो गया।

परिणाम बताते हैं कि यह "FOCUS" तरीका केवल रोबोट को अपनी पर्सनालिटी बदलने के लिए विनम्रता से कहने या केवल अधिक डेटा पर प्रशिक्षित करने से बेहतर काम करता है। स्टॉक की कीमतों, कानूनी अनुबंधों और चिकित्सा निदान से जुड़े परीक्षणों में, FOCUS का उपयोग करने वाला रोबोट उन अन्य रोबोटों की तुलना में उच्च स्कोर प्राप्त करता है जो केवल "विशेषज्ञ बनने" के निर्देश पर चलते थे। शोधकर्ता काफी आश्वस्त हैं कि यह इसलिए काम करता है क्योंकि उन्होंने वास्तविक दुनिया के डेटासेट पर इसका परीक्षण किया और यह भी जांचा कि रोबोट के दिमाग के अंदर क्या हो रहा है ताकि यह देखा जा सके कि क्या वह वास्तव में काम के लिए सही "व्यक्तित्व" चुन रहा है। उन्होंने यह भी पाया कि यदि उन्होंने व्यक्तित्व का "वॉल्यूम" बहुत अधिक बढ़ा दिया, तो रोबोट गलतियाँ करने लगा, इसलिए उन्हें सही संतुलन बनाना पड़ा। अंततः, यह पेपर दिखाता है कि हमें हर काम के लिए एक नया रोबोट बनाने की आवश्यकता नहीं है; हमें बस उस एक को सुलझाने और उसे सही ढंग से टोपी बदलने (role switch करने) का तरीका सिखाने की आवश्यकता है जिसे हमारे पास पहले से ही है।

तकनीकी सारांश: FOCUS (अनकप्ल्ड पर्सोनाज़ के लिए ऑर्थोगोनल कंट्रोल के साथ फाइन-ट्यूनिंग)

समस्या विवरण
लार्ज लैंग्वेज मॉडल्स (LLMs) में विविध व्यक्तित्व (personas) प्रदर्शित करने की क्षमता होती है, और विशिष्ट "एक्सपर्ट पर्सोना" को सक्रिय करने से गणितीय तर्क और स्वास्थ्य सेवा जैसे डोमेन-विशिष्ट कार्यों में प्रदर्शन को बढ़ाने में मदद मिलती है। हालांकि, पर्सोना नियंत्रण के मौजूदा तरीके अक्सर क्रॉस-डोमेन कपलिंग (cross-domain coupling) से ग्रस्त होते हैं। चूंकि LLMs मिश्रित डेटा पर प्रशिक्षित होते हैं, इसलिए विभिन्न विशेषज्ञ व्यक्तित्वों (जैसे, चिकित्सा, कानूनी, वित्तीय) के आंतरिक प्रतिनिधित्व स्वतंत्र नहीं होते हैं। यह कपलिंग व्यवहार संबंधी संघर्षों (behavioral conflicts) को जन्म देती है: एक डोमेन के लिए अनुकूलित पर्सोना दूसरे डोमेन में अवांछनीय लक्षण प्रदर्शित कर सकता है। उदाहरण के लिए, एक "आक्रामक" वित्तीय ट्रेडिंग पर्सोना, यदि अनजाने में चिकित्सा संदर्भ में सक्रिय हो जाता है, तो अत्यधिक आत्मविश्वासी, उच्च-जोखिम वाले उत्तर दे सकता है जो रोगी की सुरक्षा से समझौता कर सकते हैं। इसके विपरीत, एक चिकित्सा पर्सोना से अत्यधिक सावधानी बरतने से वित्तीय ट्रेडिंग में जोखिम-संवेदनशील तर्क बाधित हो सकता है। वर्तमान दृष्टिकोण, जिनमें प्रॉम्प्ट-आधारित सक्रियण और सरल वेक्टर स्टीयरिंग शामिल हैं, इन परस्पर विरोधी व्यवहारिक कारकों को अलग करने में विफल रहते हैं, जिसके परिणामस्वरूप अस्थिर प्रदर्शन और अपूर्ण डोमेन संरेखण होता है।

कार्यप्रणाली (Methodology)
इन सीमाओं को दूर करने के लिए, लेखक FOCUS का प्रस्ताव करते हैं, जो एक ढांचा (framework) है जिसे तीन चरणों वाली प्रक्रिया के माध्यम से डोमेन-विशिष्ट विशेषज्ञ व्यक्तित्वों को अलग (decouple) करने और नियंत्रित करने के लिए डिज़ाइन किया गया है:

एक्सपर्ट पर्सोना वेक्टर निष्कर्षण (Expert Persona Vector Extraction):
लेखक पहले LLM के रेसिडुअल स्ट्रीम से पर्सोना वेक्टर्स निकालने के लिए एक स्वचालित पाइपलाइन का निर्माण करते हैं। कंट्रास्टिव सिस्टम प्रॉम्प्ट्स (विशेषज्ञ व्यवहार को प्रेरित करने के लिए सकारात्मक प्रॉम्प्ट बनाम इसे दबाने के लिए नकारात्मक प्रॉम्प्ट) और डोमेन-विशिष्ट प्रश्न-उत्तर युग्मों का उपयोग करके, वे सकारात्मक और नकारात्मक रिस्पॉन्स सेट्स के औसत सक्रियण वेक्टर्स के बीच के अंतर की गणना करते हैं। इससे सामान्य विशेषज्ञों ( $v_g$ ) और विशिष्ट डोमेन: वित्त ( $v_f$ ), कानून ( $v_l$ ), और चिकित्सा ( $v_m$ ) के लिए उम्मीदवार वेक्टर्स प्राप्त होते हैं।
ऑर्थोगोनल डिकंपोजिशन (Decoupling - पृथक्करण):
क्रॉस-डोमेन हस्तक्षेप को समाप्त करने के लिए, यह विधि ग्राम-श्मिट ऑर्थोगोनलाइजेशन (Gram-Schmidt orthogonalization) लागू करती है। सामान्य विशेषज्ञ वेक्टर $v_g$ को एक ऑर्थोगोनल बेस के रूप में सामान्यीकृत (normalize) किया जाता है। इसके बाद प्रत्येक डोमेन-विशिष्ट वेक्टर को इस बेस पर प्रोजेक्ट किया जाता है, और प्रोजेक्शन घटक को घटा दिया जाता है। यह प्रक्रिया "सामान्य विशेषज्ञ" और साझा क्रॉस-डोमेन घटकों को विशिष्ट वेक्टर्स से हटा देती है, जिसके परिणामस्वरूप शुद्ध डोमेन विशेषज्ञता का प्रतिनिधित्व करने वाले पृथक, ऑर्थोगोनल पर्सोना वेक्टर्स ( $q_g, q_f, q_l, q_m$ ) का एक सेट प्राप्त होता है।
एक्सपर्ट गेटिंग के साथ दो-चरणीय प्रशिक्षण (Two-Stage Training with Expert Gating):
एक हल्का एक्सपर्ट गेटिंग मॉड्यूल ट्रांसफॉर्मर के फीड-फॉरवर्ड नेटवर्क (FFN) सबलेयर के बाद डाला जाता है। यह मॉड्यूल, जिसमें एक टू-लेयर MLP और एक सॉफ्टमैक्स फंक्शन शामिल है, इनपुट कॉन्टेक्स्ट के आधार पर पर्सोना वेक्टर्स को संयोजित करने के लिए वेट ( $\alpha$ ) को गतिशील रूप से कंप्यूट करता है। प्रशिक्षण दो चरणों वाली रणनीति का पालन करता है:

चरण 1 (सिंगल-डोमेन अलाइनमेंट): मॉडल को एक गेटेड सिलेक्शन रेगुलराइज़र के साथ सिंगल-डोमेन डेटासेट्स पर फाइन-ट्यून किया जाता है। यह लॉस टर्म गेटिंग वेट्स को स्पार्स (सही डोमेन के लिए 1 के करीब और अन्य के लिए 0) बनने के लिए प्रोत्साहित करता है, जिससे यह सुनिश्चित होता है कि मॉडल सिंगल-डोमेन कार्यों के लिए विशिष्ट विशेषज्ञ वेक्टर को सक्रिय करना सीख जाए।
चरण 2 (क्रॉस-डोमेन जनरलाइजेशन): मॉडल को एक मिश्रित डेटासेट पर फाइन-ट्यून किया जाता है जिसमें सिंगल-डोमेन और क्रॉस-डोमेन दोनों नमूने शामिल होते हैं। यहाँ रेगुलराइज़र को हटा दिया जाता है, जिससे मॉडल को बिना किसी स्पष्ट चयन बाधा के, जटिल कार्यों के लिए जो कई विशेषज्ञ दृष्टिकोणों की आवश्यकता रखते हैं, अनुकूल वेट संयोजनों को सीखने की अनुमति मिलती है।

प्रमुख योगदान

कपलिंग अस्थिरता की पहचान: पेपर यह पहचानता है कि युग्मित विशेषज्ञ व्यक्तित्व डोमेन कार्यों में अस्थिर प्रदर्शन और व्यवहार संबंधी संघर्षों की ओर ले जाते हैं क्योंकि उनकी आवश्यकताएं परस्पर विरोधी होती हैं (जैसे, सावधानी बनाम जोखिम लेना)।
FOCUS फ्रेमवर्क: एक नवीन फ्रेमवर्क का प्रस्ताव जो पर्सोना वेक्टर्स को अलग करने के लिए ऑर्थोगोनल डिकंपोजिशन को पर्सोना वेक्टर्स को अनुकूल रूप से सक्रिय करने के लिए एक गेटेड सिलेक्शन मैकेनिज्म के साथ जोड़ता है।
प्रदर्शन में सुधार: यह प्रदर्शन करना कि FOCUS वित्तीय, कानूनी और चिकित्सा डोमेन के साथ-साथ क्रॉस-डोमेन परिदृश्यों में उत्तर सटीकता में सुधार करता है, जो मौजूदा पर्सोना कंट्रोल विधियों और मानक सुपरवाइज्ड फाइन-ट्यूनिंग (SFT) से बेहतर है।

प्रायोगिक परिणाम
प्रयोग स्टॉक प्रेडिक्शन (वित्त), लीगल बेंच (कानून), प्रोफेशनल मेडिसिन (MedQA/MMLU), और क्रॉस-डोमेन डेटासेट्स (MedEthicsQA, CUAD) सहित बेंचमार्क्स पर किए गए।

सटीकता (Accuracy): FOCUS ने बेसलाइन्स, जिनमें प्रॉम्प्ट-आधारित स्टीयरिंग, इन्फरेंस-टाइम स्टीयरिंग और मानक SFT शामिल हैं, को लगातार पछाड़ दिया। विशेष रूप से, इसने बड़े पैमाने पर डोमेन-विशिष्ट प्रशिक्षण डेटा पर निर्भर कई डोमेन-विशिष्ट मॉडल्स (जैसे, Finance-Chat, Law-Chat) को भी पीछे छोड़ दिया।
क्रॉस-डोमेन क्षमता: क्रॉस-डोमेन कार्यों पर, FOCUS ने तुलना की गई सभी विधियों में सर्वश्रेष्ठ परिणाम प्राप्त किए, जो कई पर्सोना वेक्टर्स (जैसे, चिकित्सा और कानूनी तर्क को संयोजित करना) को प्रभावी ढंग से संयोजित करने की इसकी क्षमता को प्रदर्शित करता है।
एब्लेशन स्टडीज (Ablation Studies):
- डिकपलिंग: ऑर्थोगोनल डिकपलिंग चरण को हटाने से निरंतर प्रदर्शन में गिरावट आई, जिससे पुष्टि हुई कि कच्चे निकाले गए वेक्टर्स में हस्तक्षेप करने वाले घटक होते हैं।
- दो-चरणीय प्रशिक्षण: चरण 1 (स्पैरसिटी) या चरण 2 (अनुकूलन) में से किसी को भी हटाने से प्रदर्शन कम हो गया, जो यह दर्शाता है कि केंद्रित सिंगल-डोमेन सक्रियण और लचीला क्रॉस-डोमेन संयोजन दोनों ही आवश्यक हैं।
- गेटिंग स्ट्रेंथ ( $\gamma$ ): एक इष्टतम स्केलिंग फैक्टर ( $\gamma=2$ ) पाया गया; बहुत कम मान पर्सोना विशेषताओं को इंजेक्ट करने में विफल रहे, जबकि बहुत अधिक मान "पर्सोना ओवर-रीइन्फोर्समेंट" का कारण बने, जिससे जनरलाइजेशन का नुकसान हुआ।

महत्व
पेपर का दावा है कि FOCUS LLMs के लिए कुशल डोमेन अनुकूलन के लिए एक नया दृष्टिकोण प्रदान करता है। आंतरिक विशेषज्ञ प्रतिनिधित्व को स्पष्ट रूप से अलग और नियंत्रित करके, यह पुन: प्रशिक्षण के लिए भारी मात्रा में डोमेन-विशिष्ट डेटा की आवश्यकता के बिना क्रॉस-डोमेन कपलिंग से होने वाली अस्थिरता को संबोधित करता है। परिणाम बताते हैं कि पर्सोना वेक्टर्स पर संरचित नियंत्रण मॉडल्स को उच्च-जोखिम वाले डोमेन में उच्च शुद्धता बनाए रखने में सक्षम बनाता है, साथ ही जटिल, बहु-आयामी कार्यों को संभालने के लिए लचीलापन भी प्रदान करता है, जो LLM विश्वसनीयता में सुधार के लिए एक आशाजनक दिशा है।

इसी तरह के और पेपर