तकनीकी सारांश: H3Fusion

समस्या विवरण (Problem Statement)

पूर्व-प्रशिक्षित लार्ज लैंग्वेज मॉडल्स (LLMs) का संरेखण (alignment) यह सुनिश्चित करने का लक्ष्य रखता है कि उनके उत्तर Helpful (सहायक), Harmless (हानिरहित), और Honest (ईमानदार) यानी HHH हों। हालाँकि, वर्तमान दृष्टिकोणों के सामने महत्वपूर्ण चुनौतियाँ हैं:

1. समझौते (Trade-offs): एक गुण (जैसे सुरक्षा) के लिए फाइन-ट्यूनिंग करने से अक्सर अन्य गुणों (जैसे सहायकता या सत्यनिष्ठा) में गिरावट आती है। उदाहरण के लिए, अत्यधिक सुरक्षा ट्यूनिंग से मॉडल बहुत अधिक सतर्क हो सकते हैं जो उपयोगकर्ताओं की सहायता करने में विफल रहते हैं, जबकि उच्च सहायकता से मतिभ्रम (hallucinations) बढ़ सकता है।
2. उपयोगकर्ता परिवर्तनशीलता (User Variability): विभिन्न उपयोगकर्ता प्रोफाइल इन आयामों को अलग-अलग प्राथमिकता देते हैं (जैसे, एक डिज़ाइनर सहायकता की तुलना में सुरक्षा को प्राथमिकता दे सकता है), जिससे जटिल प्राथमिकता परिदृश्य (preference landscapes) बनते हैं।
3. मौजूदा फ्यूजन की सीमाएँ:
   • एन्सेम्बल विधियाँ (Ensemble Methods): इन्फरेंस-टाइम एन्सेम्बल (जैसे बहुमत मतदान, सारांश) के लिए अक्सर कई मॉडलों पर एसिंक्रोनस इन्फरेंस की आवश्यकता होती है, जिससे उच्च कम्प्यूटेशनल लागत और विलंबता (latency) होती है।
   • मॉडल मर्जिंग (Model Merging): वेट-मर्जिंग तकनीकें (जैसे Task Arithmetic, DARE) अक्सर एक साथ कई मॉडल वेरिएंट बनाए रखने की आवश्यकता रखती हैं, जिससे पर्याप्त मेमोरी ओवरहेड होता है, और वे अंडर-फिटिंग या ह्यूरिस्टिक चयन समस्याओं से ग्रस्त हो सकती हैं।
   • प्रतिनिधित्व उपस्थान (Representation Subspace): मॉडल के प्रतिनिधित्व उपस्थान में एक ऐसे एकल बिंदु की पहचान करना जो सभी HHH गुणों को एक साथ संतुष्ट करता हो, कठिन बना हुआ है।

कार्यप्रणाली: H3Fusion

H3Fusion व्यक्तिगत रूप से संरेखित मॉडलों (सहायक, हानिरहित, ईमानदार) को एक एकल, सुदृढ़ आर्किटेक्चर में एकीकृत करने के लिए एक Mixture-of-Experts (MoE) आधारित फ्यूजन तंत्र का प्रस्ताव करता है। यह दृष्टिकोण संरेखण को प्रतिनिधित्व उपस्थान के भीतर एक नियंत्रणीय ड्रिफ्ट (controllable drift) के रूप में मानता है।

1. आर्किटेक्चर डिज़ाइन

• आधार ब्लूप्रिंट (Base Blueprint): यह विधि एक मानक पूर्व-प्रशिक्षित LLM (जैसे LLaMA-2, LLaMA-3, Qwen-2) से शुरू होती है।
• MoE एकीकरण: मानक फीड-फॉरवर्ड नेटवर्क (FFN) परतों को Sparsely-Gated MoE परतों से बदल दिया जाता है।
• विशेषज्ञों का आरंभीकरण (Expert Initialization): रैंडम आरंभीकरण के बजाय, विशेषज्ञों ($FFN_1, \dots, FFN_k$) को व्यक्तिगत रूप से संरेखित मॉडलों (एक सहायकता के लिए, एक सुरक्षा के लिए, और एक सत्यनिष्ठा के लिए) के वेट्स के साथ आरंभीकृत किया जाता है।
• रूटर (Router): एक रूटर नेटवर्क इनपुट के आधार पर सक्रिय विशेषज्ञों का गतिशील रूप से चयन करता है। आउटपुट एक भारित योग (weighted sum) है: $\sum G(h)_i \cdot FFN_i(h)$।
• दक्षता (Efficiency): प्रति परत केवल विशेषज्ञों का एक उपसमूह (जैसे, $k=2$) सक्रिय होता है, जिससे मॉडल बिना रैखिक रूप से इन्फरेंस लागत बढ़ाए अपनी क्षमता को स्केल कर सकता है।

2. ऑब्जेक्टिव फंक्शन और लॉस डिज़ाइन

संरेखण को एम्बेडिंग दूरी और एक्टिवेशन कैनालाइजेशन (activation canalization) से जुड़े एक दोहरे उद्देश्य के रूप में तैयार किया गया है, जिसे तीन लॉस घटकों के माध्यम से अनुकूलित किया जाता है:

• ड्रिफ्ट-अवेयर रेगुलराइजेशन ($L_R$):

  • मॉडल संरेखण को मूल प्रोजेक्शन मैट्रिक्स में जोड़े गए एक विक्षेपण (perturbation/drift) $\epsilon$ के रूप में देखता है।
  • यह एक रेगुलराइजेशन टर्म $\sum \gamma_j \|W_j\|^2$ पेश करता है जहाँ $\gamma_j$ प्रत्येक विशेषज्ञ के लिए एक "ट्यूनर" के रूप में कार्य करता है।
  • तंत्र: विशेषज्ञ के प्रोजेक्शन मैट्रिक्स के नॉर्म (norm) को स्केल करके, यह विधि एम्बेडिंग ड्रिफ्ट की मात्रा को नियंत्रित करती है। यह गतिशील रूप से यह समायोजित करने की अनुमति देता है कि अंतिम मॉडल किसी विशिष्ट विशेषज्ञ के व्यवहार से कितना विचलित होता है (जैसे, सहायकता बढ़ाने के लिए "सुरक्षा" ड्रिफ्ट को कम करना)।

• गेटिंग लॉस ($L_G$):

  • इसे रूटर चयन त्रुटियों को दंडित करने के लिए क्रॉस-एन्ट्रॉपी लॉस के रूप में तैयार किया गया है।
  • लक्ष्य: यह सुनिश्चित करना कि दिए गए इनपुट (जैसे, एक सहायक डेटासेट) के लिए, रूटर संबंधित विशेषज्ञ (जैसे, सहायक विशेषज्ञ) को उच्च संभाव्यता के साथ सक्रिय करे।
  • दोहरा उद्देश्य: MoE एन्सेम्बल की एम्बेडिंग और विशिष्ट कार्य के लिए लक्षित संरेखित एम्बेडिंग के बीच की दूरी को कम करना।

• कुल लॉस (Total Loss):
  $$L_{total} = L_{CE} + \lambda L_G + L_R(\gamma_1, \gamma_2, \gamma_3)$$
  जहाँ $L_{CE}$ मानक क्रॉस-एन्ट्रॉपी लॉस है, $\lambda$ गेटिंग वेट है, और $\gamma$ रेगुलराइजेशन कांस्टेंट हैं।

3. प्रशिक्षण प्रक्रिया

• डेटा: मिश्रित डेटासेट $D_{mix} = D_{helpful} \cup D_{safe} \cup D_{truth}$ का उपयोग करता है।
• फाइन-ट्यूनिंग: मॉडल कुछ सीमित फाइन-ट्यूनिंग चरणों से गुजरता है। रूटर वेट्स और विशेषज्ञ प्रोजेक्शन को अपडेट किया जाता है, जबकि मूल आर्किटेक्चर काफी हद तक बरकरार रहता है।
• बूटस्ट्रैपिंग (Bootstrapping): यह विधि मौजूदा संरेखित मॉडलों की विशेषज्ञता से बूटस्ट्रैप करती है, जिससे विशेषज्ञों को शून्य से प्रशिक्षित करने की आवश्यकता नहीं होती।

मुख्य योगदान

1. MoE-आधारित फ्यूजन: एक नवीन कंसेंसस लर्निंग दृष्टिकोण पेश करता है जो तीन स्वतंत्र रूप से संरेखित मॉडलों को एक एकल MoE आर्किटेक्चर में एकीकृत करता है, जो मानक FFN परतों को प्रतिस्थापित करता है।
2. ड्रिफ्ट-रेगुलराइजेशन: संरेखण को एक नियंत्रणीय ड्रिफ्ट के रूप में तैयार करता है, जो विशेषज्ञ कांस्टेंट्स ($\gamma_i$) के साथ एक रेगुलराइजेशन लॉस पेश करता है ताकि प्रतिस्पर्धी संरेखण आयामों को गतिशील रूप से संतुलित किया जा सके।
3. गेटिंग लॉस: रूटर एक्टिवेशन को कैनालाइज करने के लिए एक गेटिंग लॉस प्रस्तावित करता है, जिससे यह सुनिश्चित होता है कि मॉडल इनपुट कॉन्टेक्स्ट के लिए सबसे उपयुक्त विशेषज्ञ का गतिशील रूप से चयन करे।
4. दक्षता: यह पूर्ण एन्सेम्बल या भारी मॉडल मर्जिंग तकनीकों की तुलना में कम कम्प्यूटेशनल जटिलता के साथ उच्च प्रदर्शन प्राप्त करता है।

प्रयोगात्मक परिणाम

लेखकों ने तीन बेंचमार्क डेटासेट पर H3Fusion का मूल्यांकन किया: Alpaca-Eval (सहायकता), BeaverTails (हानिरहितता), और TruthfulQA (ईमानदारी)।

• व्यक्तिगत मॉडलों बनाम प्रदर्शन: H3Fusion ने तीनों आयामों में व्यक्तिगत रूप से संरेखित मॉडल की तुलना में औसतन 11.37% बेहतर प्रदर्शन किया।
• एन्सेम्बल बनाम प्रदर्शन: इसने स्टेट-ऑफ-द-आर्ट LLM एन्सेम्बल दृष्टिकोणों की तुलना में 13.77% अधिक मजबूती प्रदर्शित की।
• मॉडल मर्जिंग बनाम प्रदर्शन: इसने मॉडल-मर्जिंग दृष्टिकोणों (जैसे Task Arithmetic, DARE, Localize-Stitch) को 6.18% से पछाड़ दिया।
• विशिष्ट लाभ:
  • सर्वश्रेष्ठ व्यक्तिगत सहायक मॉडल की तुलना में, H3Fusion ने सहायकता में ~13% सुधार किया।
  • सुरक्षा मॉडल की तुलना में, इसने उच्च सहायकता बनाए रखते हुए सुरक्षा प्रदर्शन में सुधार किया।
  • इसने LLaMA-2-7B पर 30.97% का औसत स्कोर (गणना की गई विधि: $(Helpfulness + Truthfulness - Safety)/3$) प्राप्त किया, जो कम सक्रिय पैरामीटर्स (11.06B बनाम 13.01B) के बावजूद मानक फाइन-ट्यून किए गए LLaMA-2-13B के 27.73% से अधिक है।
• पैरामीटर दक्षता: H3Fusion ने कई मॉडल वेरिएंट की आवश्यकता वाले तरीकों की तुलना में कम मेमोरी फुटप्रिंट (22GB) के साथ ये परिणाम प्राप्त किए।

महत्व और दावे

पेपर का दावा है कि H3Fusion पारंपरिक एन्सेम्बल की कम्प्यूटेशनल ओवरहेड या मॉडल मर्जिंग की मेमोरी लागत के बिना प्रतिस्पर्धी संरेखण उद्देश्यों (सहायक, हानिरहित, ईमानदार) को संतुलित करने की मौलिक चुनौती को संबोधित करता है।

• नियंत्रणीयता (Controllability): यह विधि मॉडल के व्यवहार को "स्टीयर" (steer) करने के लिए एक तंत्र प्रदान करती है। रेगुलराइजेशन कांस्टेंट्स ($\gamma$) को समायोजित करके, उपयोगकर्ता गतिशील रूप से मॉडल के संरेखण प्रोफाइल को बदल सकते हैं (जैसे, इसे अधिक सुरक्षित लेकिन कम सहायक बनाना, या इसके विपरीत) बिना पूरे मॉडल को फिर से प्रशिक्षित किए।
• मजबूती (Robustness): यह दृष्टिकोण एक अधिक मजबूत संरेखण मॉडल बनाता है जो व्यक्तिगत संरेखित मॉडल या सरल वेट-एवरेजिंग तकनीकों की तुलना में ज़ीरो-शॉट प्रॉम्प्ट्स पर बेहतर सामान्यीकरण (generalize) करता है।
• स्केलेबिलिटी (Scalability): स्पार्स गेटिंग का उपयोग करके, यह विधि HHH अनुपालन के लिए मॉडलिंग क्षमता को स्केल करती है और साथ ही एक एकल मॉडल पास के समान इन्फरेंस दक्षता बनाए रखती है।

लेखक पूर्व-संरेखित मॉडलों की आवश्यकता और मूल्यांकन की लागत (विशेष रूप से हेल्पफुलनेस के लिए GPT-4o का उपयोग करके) के संबंध में सीमाओं को स्वीकार करते हैं, लेकिन दावा करते हैं कि उनका दृष्टिकोण LLMs में एकीकृत, बहु-आयामी संरेखण के लिए एक व्यवहार्य मार्ग प्रदान करता है।