💬 NLP

Mix Data or Merge Models? Balancing the Helpfulness, Honesty, and Harmlessness of Large Language Model via Model Merging

यह शोध पत्र RESM को प्रस्तुत करता है, जो एक नवीन रीवेटिंग-एन्हांस्ड टास्क सिंगुलर मर्जिंग विधि है, जो बड़े भाषा मॉडलों (LLMs) में संतुलित संरेखण प्राप्त करने के लिए हेल्पफुलनेस (Helpfulness), ऑनेस्टी (Honesty) और हार्मलेसनेस (Harmlessness) के बीच संघर्षों को प्रभावी ढंग से सुलझाकर मौजूदा डेटा मिश्रण और मॉडल मर्जिंग दृष्टिकोणों से बेहतर प्रदर्शन करता है।

मूल लेखक: Jinluan Yang, Dingnan Jin, Anke Tang, Li Shen, Didi Zhu, Zhengyu Chen, Ziyu Zhao, Daixin Wang, Qing Cui, Zhiqiang Zhang, Jun Zhou, Fei Wu, Kun Kuang

प्रकाशित 2026-02-03

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Jinluan Yang, Dingnan Jin, Anke Tang, Li Shen, Didi Zhu, Zhengyu Chen, Ziyu Zhao, Daixin Wang, Qing Cui, Zhiqiang Zhang, Jun Zhou, Fei Wu, Kun Kuang

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

मुख्य विचार: "तीन सिरों वाला ड्रैगन" समस्या

कल्पना कीजिए कि आप एक विशाल रोबोट (एक लार्ज लैंग्वेज मॉडल, या LLM) को एक आदर्श सहायक बनने के लिए प्रशिक्षित कर रहे हैं। वास्तव में "जिम्मेदार" होने के लिए, इस रोबोट को एक साथ तीन कठिन कौशल में महारत हासिल करनी होगी:

उपयोगिता (Helpfulness): इसे आपके सवालों के सटीक और उपयोगी उत्तर देने चाहिए।
ईमानदारी (Honesty): इसे झूठ नहीं बोलना चाहिए या मनगढ़ंत बातें नहीं बनानी चाहिए (हैलुसिनेशन)।
हानिरहितता (Harmlessness): इसे कुछ भी विषाक्त, खतरनाक या अनैतिक नहीं कहना चाहिए।

समस्या यह है कि ये तीन कौशल अक्सर एक-दूसरे से लड़ते हैं।

यदि आप रोबोट को अत्यधिक उपयोगी बनाने के लिए प्रशिक्षित करते हैं, तो यह आपके प्रश्न का उत्तर देने की बहुत अधिक कोशिश कर सकता है और अनजाने में झूठ बोल सकता है (ईमानदारी को तोड़ना) या कुछ जोखिम भरा सुझाव दे सकता है (हानिरहितता को तोड़ना)।
यदि आप इसे अत्यधिक सुरक्षित बनाने के लिए प्रशिक्षित करते हैं, तो यह इतना सतर्क हो सकता है कि साधारण प्रश्नों के उत्तर देने से भी मना कर दे (उपयोगिता को तोड़ना) या परेशानी से बचने के लिए झूठ बोलने लगे (ईमानदारी को तोड़ना)।

इसे "3H ट्राइलेमा" कहा जाता है। यह पेपर पूछता है: हम एक ऐसा रोबोट कैसे बना सकते हैं जो इन तीनों में अच्छा हो बिना एक-दूसरे को रद्द किए?

दो मुख्य रणनीतियाँ: सामग्री का मिश्रण बनाम सुपरपावर का मेल

यह पेपर इस समस्या को हल करने के दो तरीकों की तुलना करता है।

1. "स्मूदी" दृष्टिकोण (डेटा मिश्रण - Data Mixture)

विचार: आप एक विशाल ब्लेंडर लेते हैं। आप उसमें "उपयोगी" कहानियों की एक बाल्टी, "ईमानदार" तथ्यों की एक बाल्टी और "सुरक्षित" निर्देशों की एक बाल्टी डालते हैं। आप उन सभी को एक बड़े स्मूदी मिश्रण में मिला देते हैं और रोबोट को इस मिश्रित सूप पर प्रशिक्षित करते हैं।
समस्या: सही रेसिपी पाना कठिन है। यदि आप इसमें बहुत अधिक "सुरक्षित" जूस डाल देते हैं, तो रोबोट उबाऊ हो जाता है। यदि आप इसमें बहुत अधिक "उपयोगी" जूस डालते हैं, तो वह लापरवाह हो जाता है। इसके अलावा, इन सभी अलग-अलग बाल्टियों में डेटा इकट्ठा करने के लिए बहुत अधिक मानव विशेषज्ञों और कंप्यूटिंग शक्ति की आवश्यकता होती है। यह आटे, चीनी और नमक के सटीक अनुपात का अनुमान लगाने की कोशिश करके एक आदर्श केक बनाने जैसा है।

2. "फ्रेंकेंस्टीन" दृष्टिकोण (मॉडल मर्जिंग - Model Merging)

विचार: सामग्री को मिलाने के बजाय, आप पहले तीन अलग-अलग रोबोट प्रशिक्षित करते हैं:

रोबोट A उपयोगिता का मास्टर है।
रोबोट B ईमानदारी का मास्टर है।
रोबोट C हानिरहितता का मास्टर है।

फिर, उन्हें फिर से प्रशिक्षित करने के बजाय, आप उनके "मस्तिष्क" (उनके आंतरिक सेटिंग्स, या पैरामीटर्स) को लेते हैं और उन्हें एक नए रोबोट में एक साथ जोड़ देते हैं।
लाभ: यह तेज़ और सस्ता है। आपको इसे शुरू से फिर से प्रशिक्षित करने की आवश्यकता नहीं है। आपको बस यह पता लगाने की ज़रूरत है कि उनके मस्तिष्क को एक साथ कैसे जोड़ा जाए ताकि वे आपस में न लड़ें।

शोधकर्ताओं ने क्या पाया

शोधकर्ताओं ने यह देखने के लिए एक "टेस्ट किचन" बनाया कि कौन सा तरीका बेहतर काम करता है। उन्होंने मस्तिष्क को जोड़ने के 15 अलग-अलग तरीकों को आज़माया और उनकी तुलना "स्मूदी" विधि से की।

बड़ी खोज:
मस्तिष्क को जोड़ना (मॉडल मर्जिंग) आमतौर पर डेटा मिलाने (डेटा मिश्रण) की तुलना में बेहतर काम करता है।

क्यों? जब आप डेटा मिलाते हैं, तो रोबोट विरोधाभासी निर्देशों (जैसे, "सहायक बनो!" बनाम "सुरक्षित रहो!") से भ्रमित हो जाता है। जब आप मॉडल को मर्ज करते हैं, तो आप उन समाधानों को जोड़ रहे होते हैं जो रोबानों ने पहले ही खोज लिए हैं, जो अक्सर संघर्ष को अधिक स्वाभाविक रूप से सुलझा देता है।
परिणाम: मर्ज किए गए रोबोट अधिक संतुलित थे, उन्होंने एक "विन-विन-विन" स्थिति प्राप्त की जहाँ वे एक साथ उपयोगी, ईमानदार और हानिरहित थे, और अक्सर सबसे अच्छे डेटा-मिक्सिंग तरीकों को भी पीछे छोड़ दिया।

नया सीक्रेट सॉस: RESM

मस्तिष्क को जोड़ना अच्छा है, लेकिन शोधकर्ताओं ने पाया कि लोग आमतौर पर इसे करने में दो बड़ी खामियां करते हैं:

खामी 1: "शोर मचाने वाला पड़ोसी" समस्या (पसंदीदा शोर - Preference Noise)
जब आप मस्तिष्क को मिलाते हैं, तो कभी-कभी एक रोबोट के पास कुछ "अजीब" सेटिंग्स होती हैं जो केवल रैंडम गलतियाँ (शोर) होती हैं। यदि आप उन्हें जोड़ते हैं, तो ये गलतियाँ बढ़ जाती हैं, जिससे नया रोबोट और खराब हो जाता है।

समाधान: पेपर एक फ़िल्टर पेश करता है जिसे आउटलियर वेटिंग (Outlier Weighting) कहा जाता है। एक क्लब के बाउंसर की कल्पना करें। नए रोबोट में किसी ब्रेन सेटिंग को प्रवेश देने से पहले, बाउंसर जाँच करता है: "क्या यह एक सामान्य, महत्वपूर्ण सेटिंग है, या यह एक अजीब, शोर वाला आउटलियर है?" यदि यह बहुत अजीब है, तो बाउंसर उस सेटिंग की आवाज़ कम कर देता है ताकि वह पार्टी खराब न करे।

खामी 2: "एक ही आकार सबके लिए" समस्या (लेयर स्पर्सिटी - Layer Sparsity)
एक रोबोट के मस्तिष्क में कई परतें (layers) होती हैं। कुछ परतें बहुत घनी (जानकारी से भरी) होती हैं, जबकि कुछ स्पार्स (ज्यादातर खाली) होती हैं।

समस्या: पुराने तरीकों ने हर परत के साथ एक जैसा व्यवहार किया। वे एक घनी परत और एक स्पार्स परत दोनों से समान मात्रा में जानकारी निकालते थे। यह एक स्टेक और कागज के टुकड़े को एक ही कैंची से काटने जैसा है; आप स्टेक को बहुत अधिक काट सकते हैं या कागज को बहुत कम।
समाधान: पेपर स्पर्सिटी-अवेयर रैंक सिलेक्शन (Sparsity-Aware Rank Selection) पेश करता है। यह एक स्मार्ट दर्जी की तरह है। यदि परत घनी है, तो दर्जी मुख्य संरचना को बनाए रखने के लिए सावधानी से काटता है। यदि परत स्पार्स है, तो दर्जी जानता है कि उन कुछ महत्वपूर्ण धागों को कैसे रखना है जो सब कुछ थामे रखते हैं।

नई विधि: RESM

"बाउंसर" (शोर को फ़िल्टर करना) और "स्मार्ट दर्जी" (परत के आधार पर कट को समायोजित करना) को मिलाने से, लेखकों ने RESM नामक एक नई विधि बनाई।

परिणाम:

RESM चैंपियन था। इसने पुराने "स्टिचिंग" (जोड़ने वाले) तरीकों और "स्मूदी" मिश्रण विधियों को पछाड़ दिया।
इसने बेसलाइन की तुलना में रोबोट के संतुलन में लगभग 15% का सुधार किया, जबकि सबसे अच्छी डेटा-मिक्सिंग विधि केवल लगभग 10% का सुधार कर पाई।
यह अधिक स्थिर भी था। जबकि अन्य तरीके कभी बहुत अच्छे और कभी रैंडम किस्मत के कारण विफल हो जाते थे, RESM लगातार अच्छा प्रदर्शन करता था।

सारांश

यह पेपर तर्क देता है कि एक जिम्मेदार AI बनाने के लिए, विशेषज्ञ मॉडलों को जोड़ना (मॉडल मर्जिंग) अक्सर सभी प्रशिक्षण डेटा को मिलाने (डेटा मिश्रण) से बेहतर होता है। हालाँकि, जोड़ने के काम को पूरी तरह से सफल बनाने के लिए, आपको शोर और AI के मस्तिष्क की विभिन्न संरचनाओं को संभालने के लिए एक स्मार्ट तरीके की आवश्यकता होती है। लेखकों की नई विधि, RESM, बिल्कुल यही करती है, जिससे एक अधिक संतुलित, उपयोगी, ईमानदार और हानिरहित AI बनता है।

तकनीकी सारांश: डेटा मिश्रण या मॉडल विलय? मॉडल विलय के माध्यम से लार्ज लैंग्वेज मॉडल की हेल्पफुलनेस (Helpfulness), ऑनेस्टी (Honesty) और हार्मलेसनेस (Harmlessness) को संतुलित करना

समस्या विवरण

लार्ज लैंग्वेज मॉडल्स (LLMs) की विश्वसनीय तैनाती के लिए तीन महत्वपूर्ण आयामों में संतुलित अनुकूलन की आवश्यकता होती है: हेल्पफुलनेस (सटीक, कार्य-संरेखित प्रतिक्रियाएं), ऑनेस्टी (भ्रम/hallucinations से बचना), और हार्मलेसनेस (विषाक्त आउटपुट को रोकना), जिन्हें सामूहिक रूप से 3H ऑप्टिमाइजेशन कहा जाता है। जबकि मौजूदा अलाइनमेंट तकनीकें जैसे रीइन्फोर्समेंट लर्निंग फ्रॉम ह्यूमन फीडबैक (RLHF) और डायरेक्ट प्रेफरेंस ऑप्टिमाइजेशन (DPO) ने व्यक्तिगत पहलुओं में सुधार किया है, एक साथ संतुलन बनाना एक महत्वपूर्ण चुनौती बनी हुई है; उदाहरण के लिए, हेल्पफुलनेस के लिए अनुकूलन करने से अनजाने में हानिकारक सामग्री उत्पन्न हो सकती है, जबकि हार्मलेसनेस अलाइनमेंट से बेईमान (dishonest) प्रतिक्रियाएं उत्पन्न हो सकती हैं।

टकरावों को हल करने के पारंपरिक दृष्टिकोण डेटा मिश्रण रणनीतियों (data mixture strategies) पर निर्भर करते हैं, जो एक एकल मॉडल को फाइन-ट्यून करने के लिए विविध डेटासेट को जोड़ते हैं। हालांकि, इन विधियों में सीमाएं हैं, जिनमें डेटा क्यूरेशन के लिए विशेषज्ञ ज्ञान पर भारी निर्भरता, उच्च कम्प्यूटेशनल लागत, और फाइन-ट्यूनिंग के दौरान संघर्षपूर्ण अनुकूलन संकेतों (conflicting optimization signals) को प्रबंधित करने में कठिनाई शामिल है। जबकि मॉडल विलय (model merging) (विशेषीकृत मॉडल्स के पैरामीटर्स को एकीकृत करना) कैटास्ट्रोफिक फॉरगेटिंग (catastrophic forgetting) को कम करने और उद्देश्यों को संतुलित करने के लिए एक लागत प्रभावी, पैरामीटर-स्तरीय विकल्प प्रदान करता है, 3H ऑप्टिमाइजेशन के लिए इसकी विशिष्ट प्रभावशीलता और सीमाएं अभी भी कम खोजी गई हैं। इस क्षेत्र में प्रमुख चुनौतियां प्रेफरेंस नॉइज़ एक्यूमुलेशन (preference noise accumulation) (जहाँ कई संरेखित मॉडल्स को मर्ज करने से आउटलियर वेट अपडेट्स उत्पन्न होते हैं जो वास्तविक कार्य दिशाओं को धुंधला कर देते हैं) और लेयर स्पैरसिटी अडैप्टेशन (layer sparsity adaptation) (मौजूदा विधियों का LLM की विभिन्न परतों के बीच अलग-अलग स्पैरसिटी पैटर्न को ध्यान में रखने में विफल रहना) हैं।

कार्यप्रणाली (Methodology)

बेंचमार्किंग और विश्लेषण

लेखकों ने सबसे पहले 3H ऑप्टिमाइजेशन के लिए डेटा मिश्रण और मॉडल विलय तकनीकों की व्यवस्थित तुलना करने के लिए एक व्यापक बेंचमार्क स्थापित किया। इसमें शामिल था:

डेटासेट्स: 5 एनोटेशन आयामों (हेल्पफुलनेस, ऑनेस्टी, हार्मलेसनेस और उनके संयोजन) को कवर करने वाले 10 प्रेफरेंस डेटासेट्स।
बेसलाइन्स: 15 प्रतिनिधि विधियाँ, जिनमें 12 ट्रेनिंग-फ्री मॉडल मर्जन रणनीतियाँ (जैसे Weight Average, Task Arithmetic, TIES, DARE, TSVM) और 3 डेटा मिश्रण रणनीतियाँ (Heuristic, ArmoRM, Hummer) शामिल हैं।
मॉडेल्स: दो इंस्ट्रक्शन-ट्यून्ड LLM परिवार (Llama-3-8B और Mistral-7B) स्टेटिक (सिंगल-स्टेज) और कॉन्टिनुअल (मल्टी-स्टेज) ऑप्टिमाइजेशन सेटिंग्स के तहत।

इस बेंचमार्क के माध्यम से, लेखकों ने 3H आयामों के बीच पहले से अनदेखे सहयोगात्मक और संघर्षपूर्ण संबंधों का खुलासा किया। विशेष रूप से, उन्होंने पाया कि जबकि "Helpful" ट्रेनिंग सभी 3H आयामों को एक साथ लाभ पहुँचाती है, "Honest" और "Harmless" ट्रेनिंग अक्सर एक-दूसरे को कमजोर करती हैं।

प्रस्तावित विधि: RESM

मल्टी-ऑब्जेक्टिव मर्जन में प्रेफरेंस नॉइज़ और लेयर स्पैरसिटी की विशिष्ट चुनौतियों को संबोधित करने के लिए, यह पेपर Reweighting Enhanced task Singular Merging (RESM) का प्रस्ताव करता है। यह विधि टास्क सिंगुलर वेक्टर (TSV) मर्जन पर आधारित है लेकिन दो नवीन तंत्र पेश करती है:

आउटलियर-अवेयर वेटिंग (प्रेफरेंस नॉइज़ को संबोधित करना):
- यह पहचानते हुए कि कई अलाइन मॉडल्स को मर्ज करने से प्रेफरेंस नॉइज़ जमा हो जाती है, RESM प्रत्येक लेयर के लिए वेट डेविएशन ( $\Delta$ ) के 3 $\sigma$ सिद्धांत पर आधारित एक सांख्यिकीय महत्व फ़िल्टरिंग तंत्र का उपयोग करता है।
- यह प्रत्येक लेयर के लिए रो-वाइज मीन ( $\mu$ ) और स्टैंडर्ड डेविएशन ( $\sigma$ ) की गणना करता है।
- एक थ्रेशोल्डिंग फंक्शन लो-मैग्निट्यूड उतार-चढ़ाव (नॉइज़) को दबा देता है और केवल सांख्यिकीय रूप से महत्वपूर्ण डेविएशन को ही रखता है।
- एक एग्रीगेशन वेट ( $\alpha$ ) इन स्पार्स आउटलियर मैग्नीट्यूड्स के L1-नॉर्मलाइजेशन के माध्यम से कंप्यूट किया जाता है, जो विविध कार्यों से संतुलित योगदान सुनिश्चित करता है और हाई-मैग्निट्यूड अपडेट्स को हावी होने से रोकता है।
स्पैरसिटी-एडेप्टिव रैंक सिलेक्शन (लेयर स्पैरसिटी को संबोधित करना):
- पारंपरिक विधियाँ सभी लेयर्स के लिए एक समान रैंक सिलेक्शन थ्रेशोल्ड ( $k$ ) का उपयोग करती हैं, जो पैरामीटर महत्व की विषमता (heterogeneity) को समझने में विफल रहती हैं।
- RESM प्रत्येक लेयर के लिए उसके स्पैरसिटी कंसेंसस (sparsity consensus) ( $\Omega_l$ ) के आधार पर डायनामिक रूप से रैंक ( $k_l$ ) निर्धारित करता है।
- स्पैरसिटी की गणना एक छोटे थ्रेशोल्ड $\epsilon$ से नीचे के पैरामीटर डेविएशन के अनुपात को गिनकर की जाती है।
- डायनामिक रैंक को $k_l = \lfloor d_l(\gamma_0 + \gamma\Omega_l) \rfloor$ के रूप में परिभाषित किया गया है, जहाँ $d_l$ लेयर डायमेंशन है। यह स्पार्स लेयर्स में उच्च रैंक रिटेंशन (महत्वपूर्ण दिशात्मक विशेषताओं को संरक्षित करना) और डेंस लेयर्स में मजबूत डाइमेंशनलिटी रिडक्शन (नॉइज़ को दबाना) की अनुमति देता है।

अंतिम मर्ज की गई लेयर को इन रीवेटेड सिंगुलर वेक्टर्स को एकीकृत करके कंप्यूट किया जाता है:
$\theta^{RESM}_l = \theta^0_l + \sum_{i=1}^n U^{(i)}_{l\perp}[:, : k_l] \cdot (\alpha^{(i)}_l S^{(i)}_l) \cdot V^{(i)\top}_{l\perp}[: k_l, :]$

मुख्य परिणाम

प्रदर्शन तुलना

Llama-3 और Mistral मॉडल्स पर विस्तृत मूल्यांकन से पता चलता है कि मॉडल मर्जन तकनीकें संतुलित 3H ऑप्टिमाइजेशन प्राप्त करने में डेटा मिश्रण विधियों की तुलना में बेहतर प्रदर्शन करती हैं:

स्टेटिक ऑप्टिमाइजेशन: Llama-3 पर, सर्वश्रेष्ठ डेटा मिश्रण विधि (Hummer) ने 10.16% का नॉर्मलाइज्ड गेन प्राप्त किया। इसके विपरीत, मॉडल मर्जन विधियों ने लगातार इसे पीछे छोड़ दिया, जहाँ प्रस्तावित RESM ने 14.97% का गेन प्राप्त किया। TSVM (RESM के लिए बेसलाइन) ने 13.00% प्राप्त किया।
Mistral के परिणाम: इसी तरह के रुझान देखे गए, जहाँ RESM ने बेसलाइन पर 3.36% का गेन प्राप्त किया, जो सर्वश्रेष्ठ डेटा मिश्रण विधि (1.53%) से बेहतर था।
स्थिरता (Stability): रैंडम स्पारसिफिकेशन विधियों (जैसे DARE, DELLA) के विपरीत, जिन्होंने अलग-अलग रैंडम सीड्स के बीच अस्थिर प्रदर्शन दिखाया, RESM ने अपने SVD-आधारित दृष्टिकोण और एडेप्टिव रणनीतियों के कारण मजबूत और सुसंगत परिणाम प्रदर्शित किए।

एब्लेशन स्टडीज (Ablation Studies)

एब्लेशन अध्ययनों ने RESM के दोनों घटकों की आवश्यकता की पुष्टि की:

आउटलियर वेटिंग को हटाने से Llama-3 पर नॉर्मलाइज्ड गेन 14.97% से घटकर 13.60% रह गया।
एडेप्टिव रैंक सिलेक्शन को हटाने से गेन घटकर 13.71% हो गया।
दोनों रणनीतियों का संयोजन उच्चतम प्रदर्शन प्रदान करता है, जो यह प्रमाणित करता है कि नॉइज़ एक्यूमुलेशन और लेयर स्पैरसिटी दोनों को संबोधित करना महत्वपूर्ण है।

कॉन्टिनुअल ऑप्टिमाइजेशन

कॉन्टिनुअल DPO ट्रेनिंग सेटिंग्स (सीक्वेंशियल डेटा के साथ वास्तविक दुनिया के परिदृश्यों का अनुकरण करते हुए) में, RESM ने फाइनल-स्टेज मॉडल्स की तुलना में बेहतर प्रदर्शन बनाए रखा। लेखकों ने देखा कि कैटास्ट्रोफिक फॉरगेटिंग प्रभावों ने इंटरैक्टिव ऑप्टिमाइजेशन के माध्यम से विरोधाभासी रूप से 3H अलाइनमेंट को बढ़ाया, और RESM की फाउंडेशनल चेकपॉइंट (बजाय इंटरमीडिएट चेकपॉइंट्स के) से मर्ज करने की रणनीति ने पिछले उद्देश्यों के ओवरफिटिंग को प्रभावी ढंग से कम किया।

महत्व और दावे

यह पेपर दावा करता है कि यह 3H ऑप्टिमाइजेशन के लिए डेटा मिश्रण और मॉडल मर्जन की तुलना करने वाला पहला व्यवस्थित बेंचमार्क प्रदान करता है। इसके प्राथमिक योगदान हैं:

अनुभवजन्य अंतर्दृष्टि (Empirical Insights): यह प्रकट करता है कि मॉडल मर्जन एक चरणबद्ध अनुकूलन प्रतिमान (phased optimization paradigm) प्रदान करता है जो प्रतिस्पर्धी अलाइनमेंट उद्देश्यों के बीच प्रभावी ढंग से समझौता करता है, और अक्सर डेटा मिश्रण रणनीतियों से बेहतर प्रदर्शन करता है जो संघर्षपूर्ण संकेतों से जूझती हैं।
मेथोडोलॉजिकल एडवांसमेंट: प्रस्तावित RESM एल्गोरिदम आउटलियर वेटिंग और एडेप्टिव रैंक सिलेक्शन के माध्यम से LLM मर्जन की विशिष्ट तकनीकी बाधाओं—प्रेफरेंस नॉइज़ और लेयर स्पैरसिटी—को संबोधित करता है, जिससे अतिरिक्त ट्रेनिंग डेटा के बिना स्टेट-ऑफ-द-आर्ट संतुलित अलाइनमेंट प्राप्त होता है।
सैद्धांतिक आधार: यह कार्य कॉन्फ्लिक्ट प्रोबेबिलिटी (conflict probability) पर सैद्धांतिक सीमाएँ प्रदान करता है, जो दर्शाता है कि एडेप्टिव रैंक सिलेक्शन फिक्स्ड-रैंक दृष्टिकोणों की तुलना में टास्क वेक्टर्स के बीच दिशात्मक संघर्ष की संभावना को कम करता है।

लेखक निष्कर्ष निकालते हैं कि मॉडल मर्जन, विशेष रूप से जब रीवेटिंग और स्पैरसिटी-अवेयर रणनीतियों के साथ उन्नत हो, तो नैतिक रूप से बाधित, मल्टी-ऑब्जेक्टिव अलाइन मॉडल्स के निर्माण के लिए एक व्यवहार्य और कुशल मार्ग है। वे इस बात पर जोर देते हैं कि जबकि RESM, ऑनेस्टी और हार्मलेसनेस में महत्वपूर्ण सुधार करता है, "हेल्पफुलनेस" आयाम अभी भी चुनौतियों का सामना करता है क्योंकि इसमें इंट्रा-डायमेंशनल संघर्ष मौजूद हैं, जो भविष्य के पदानुक्रमित संघर्ष समाधान (hierarchical conflict resolution) ढांचों की आवश्यकता का सुझाव देते हैं।