💬 NLP

Offline Preference Optimization via Maximum Marginal Likelihood Estimation

यह शोध पत्र MMPO को प्रस्तुत करता है, जो एक स्थिर और सरल ऑफलाइन प्रिफरेंस ऑप्टिमाइज़ेशन विधि है जो मार्जिनल लॉग-लाइक्लीहुड को अधिकतम करके लार्ज लैंग्वेज मॉडल्स को मानवीय प्राथमिकताओं के साथ संरेखित करती है, जिससे स्पष्ट रिवॉर्ड मॉडल्स की आवश्यकता समाप्त हो जाती है और यह एलाइनमेंट गुणवत्ता तथा सामान्य क्षमता संरक्षण में बेसलाइन्स से बेहतर प्रदर्शन करती है।

मूल लेखक: Saeed Najafi, Alona Fyshe

प्रकाशित 2026-01-27

📖 7 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Saeed Najafi, Alona Fyshe

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ एक सरल भाषा और रोज़मर्रा के उदाहरणों का उपयोग करके पेपर की व्याख्या दी गई है।

बड़ी तस्वीर: एक रोबोट को "विनम्र" होना सिखाना

कल्पना कीजिए कि आपके पास एक बहुत ही स्मार्ट रोबोट (एक लार्ज लैंग्वेज मॉडल) है जिसने इंटरनेट पर लगभग सब कुछ पढ़ लिया है। वह कहानियाँ लिख सकता है, गणित की समस्याओं को हल कर सकता है और सवालों के जवाब दे सकता है। हालाँकि, यह एक बहुत बुद्धिमान लेकिन अराजक किशोर (teenager) की तरह है: उसे पता है कि कैसे बोलना है, लेकिन उसे हमेशा यह नहीं पता होता कि इंसान वास्तव में क्या सुनना चाहते हैं। कभी-कभी वह बदतमीज़ होता है, कभी भ्रमित करने वाला, और कभी-कभी वह बस मनगढ़ंत बातें बना देता है।

इसे ठीक करने के लिए, हमें रोबोट को मानवीय प्राथमिकताओं (human preferences) के साथ "अलाइन" (align) करने की आवश्यकता है। इसे करने का वर्तमान मानक तरीका RLHF (रिनफोर्समेंट लर्निंग फ्रॉम ह्यूमन फीडबैक) कहलाता है। इसे एक सख्त कोच को काम पर रखने की तरह समझें जो रोबोट को देखता है, अच्छे उत्तरों के लिए अंक देता है, और बुरे उत्तरों के लिए अंक काट लेता है। लेकिन यह प्रक्रिया अव्यवस्थित, महंगी है, और रोबोट अक्सर कोच के असंगत नियमों से भ्रमित हो जाता है।

हाल ही में, DPO नामक एक सरल विधि खोजी गई। यह कोच को छोड़ने और सीधे रोबोट को दो उत्तर दिखाने जैसा है (एक अच्छा, एक बुरा) और कहने जैसा है, "अच्छे वाले को चुनो।" यह बेहतर काम करता है, लेकिन इसमें अभी भी कुछ कमियां हैं और यदि आप इसकी सेटिंग्स को बहुत अधिक बदलते हैं तो यह अस्थिर हो सकता है।

यह पेपर MMPO नामक एक नई विधि पेश करता है। लेखक कहते हैं, "आइए एक बिल्कुल अलग कोण से कोशिश करते हैं।" रोबोट को विजेता चुनने के लिए सिखाने के बजाय, वे इस समस्या को एक मार्जिनल लाइकलीहुड (marginal likelihood) अनुमान के रूप में देखते हैं।

मूल विचार: "सबसे अच्छा अनुमान" वाला खेल

MMPO को समझने के लिए, कल्पना कीजिए कि आप एक रहस्यमयी कहानी के अंत का अनुमान लगाने की कोशिश कर रहे हैं। आप शुरुआत जानते हैं (प्रॉम्प्ट), और आपके पास दो संभावित अंत हैं:

अच्छा अंत: जिसे इंसान पसंद करते हैं।
बुरा अंत: जिसे इंसान नापसंद करते हैं।

पुराना तरीका (DPO/RLHF):
पुराने तरीके "हॉट एंड कोल्ड" (पास या दूर) के खेल की तरह हैं। वे अच्छे अंत के लिए एक स्कोर की गणना करते हैं, बुरे अंत के लिए एक स्कोर की गणना करते हैं, और फिर अच्छे अंत को ऊपर धकेलने और बुरे अंत को नीचे धकेलने की कोशिश करते हैं। यह एक सी-सॉ (seesaw) को संतुलित करने जैसा है; यदि आप एक तरफ बहुत ज़ोर से धक्का देते हैं, तो पूरी चीज़ पलट जाती है (अस्थिरता)।

नया तरीका (MMPO):
लेखक मैक्सिमम मार्जिनल लाइकलीहुड (MML) पर आधारित एक अलग दृष्टिकोण प्रस्तावित करते हैं।

कल्पना कीजिए कि आप एक जासूस हैं जो यह पता लगाने की कोशिश कर रहे हैं कि यह कितना संभव है कि एक विशिष्ट "अच्छा अंत" उस कहानी का वास्तविक अंत था, यह देखते हुए कि आपके पास केवल कुछ सुराग (वे दो अंत जिन्हें आप देख रहे हैं) हैं।

दोनों अंतों की आपस में सीधे तुलना करने के बजाय, MMPO पूछता है: "यदि हम देखें कि इस कहानी के समाप्त होने के कितने संभावित तरीके हैं, तो यह कितनी संभावना है कि 'अच्छा अंत' वही है जो वास्तव में हुआ?"

इसे करने के लिए, गणित दोनों अंतों को "सैंपल्स" (सुराग) के रूप में देखता है ताकि उस संभावना का अनुमान लगाया जा सके।

इसे यह बताने के लिए किसी अलग "कोच" (रिवॉर्ड मॉडल) की आवश्यकता नहीं है कि क्या अच्छा है।
इसे केवल मनोरंजन के लिए रोबोट को "रचनात्मक" (एंट्रॉपी मैक्सिमाइजेशन) बनने के लिए मजबूर करने की आवश्यकता नहीं है।

जादू का नुस्खा: बिना कोच के यह कैसे काम करता है

पेपर का दावा है कि इस "बेस्ट गेस" (सबसे अच्छा अनुमान) गणित का उपयोग करके, रोबोट परोक्ष रूप से (implicitly) अच्छे उत्तर को पसंद करना सीख जाता है, बिना इसके कि उसे स्पष्ट रूप से बताया जाए।

यहाँ उदाहरण है:
कल्पना कीजिए कि आप एक कुत्ते को बैठना सिखा रहे हैं।

RLHF: आपके पास एक ट्रेनर है जिसके पास क्लिकर और ट्रीट (इनाम) है। जब कुत्ता बैठता है तो आप क्लिक करते हैं, और जब वह नहीं बैठता तो नहीं।
DPO: आप कुत्ते को उसके बैठने की एक तस्वीर और खड़े होने की एक तस्वीर दिखाते हैं, और कहते हैं, "मुझे बैठने वाली तस्वीर अधिक पसंद है।"
MMPO: आप बस "बैठने" की तस्वीर देखते हैं और गणना करते हैं कि उपलब्ध साक्ष्यों के आधार पर यह सही व्यवहार होने की कितनी संभावना है।

पेपर गणितीय रूप से सिद्ध करता है कि जब आप यह गणना करते हैं, तो गणित स्वाभाविक रूप से रोबोट को "अच्छे अंत" को अधिक बार चुनने के लिए प्रेरित करता है। यह ऐसा है जैसे गणित स्वयं रिवॉर्ड सिस्टम के रूप में कार्य करता है। रोबोट अच्छे उत्तर की संभावना को बढ़ाने और बुरे को थोड़ा कम करने का सीखता है, और यह सब एक ही सहज गति में होता है।

यह बेहतर क्यों है? (परिणाम)

लेखकों ने विभिन्न आकार के रोबोटों (छोटे "खिलौना" रोबोट से लेकर बड़े "दिमाग वाले" रोबोट तक) पर इसका परीक्षण किया। उन्हें निम्नलिखित परिणाम मिले:

यह अधिक स्थिर है:
एक रेडियो ट्यून करने के बारे में सोचें। पुराने तरीकों (DPO) के साथ, यदि आप डायल (एक सेटिंग जिसे $\beta$ कहा जाता है) को थोड़ा सा भी घुमाते हैं, तो संगीत शोर में बदल सकता है या पूरी तरह से कट सकता है। MMPO के साथ, रेडियो स्पष्ट रहता है चाहे आप डायल को कैसे भी घुमाएं। प्रशिक्षण को "तोड़ना" बहुत कठिन है।
यह रोबोट को स्मार्ट बनाए रखता है:
कभी-कभी, जब आप रोबोट को विनम्र होना सिखाते हैं, तो वह गणित करना या चुटकुले सुनाना भूल जाता है। वह एक "हाँ में हाँ मिलाने वाला" (yes-man) बन जाता है जो सुरक्षित तो है लेकिन उबाऊ है।
पेपर दिखाता है कि MMPO रोबोट की मूल बुद्धिमत्ता को बनाए रखने में बेहतर है। यह एक सामान्य-उद्देश्यीय सहायक होने के गुण को खोए बिना विनम्र बनना सीखता है।
यह अक्सर जीतता है:
जब उन्होंने एक प्रतियोगिता (AlpacaEval) में अपने नए तरीके को पुराने तरीकों के खिलाफ खड़ा किया, तो MMPO लगातार पहले स्थान पर रहा या उसके लिए टाई हुआ, विशेष रूप से छोटे, अधिक कुशल मॉडलों पर।

"सीक्रेट सॉस" सामग्री

पेपर ने प्रयोग चलाकर यह भी देखा कि उनके रेसिपी के कौन से हिस्से आवश्यक थे। उन्होंने पाया कि दो मुख्य सामग्रियां थीं जिन्होंने जादू को काम करने के योग्य बनाया:

इन-बैच नॉर्मलाइजेशन (In-Batch Normalization): यह एक कक्षा में सभी को एक ही पैमाने पर ग्रेड करने जैसा है। यदि एक छात्र को A+ मिलता है और दूसरे को F, तो शिक्षक स्कोर को समायोजित करता है ताकि तुलना निष्पक्ष हो। यह किसी एक अजीब उदाहरण को पूरे पाठ को खराब करने से रोकता है।
कोई "अतिरिक्त" एंट्रॉपी नहीं: उन्होंने पाया कि रोबोट को "विविध" (एंट्रॉपी मैक्सिमाइजेशन) होने के लिए मजबूर करने से वास्तव में स्थिति और खराब हो गई। उन्होंने गणित को स्वाभाविक रूप से अपना काम करने दिया।

सारांश

संक्षेप में, यह पेपर कहता है: "रोबोट को क्या पसंद है यह सिखाने के लिए एक जटिल रिवॉर्ड सिस्टम बनाने की कोशिश करना बंद करें। इसके बजाय, एक सरल सांख्यिकीय ट्रिक का उपयोग करें जो मानवीय प्राथमिकताओं को सुराग के रूप में देखती है। यह ट्रिक स्वाभाविक रूप से रोबोट को मददगार बनाती है, इसे स्थिर रखती है, और यह सुनिश्चित करती है कि वह स्मार्ट होना न भूले।"

वे इस नई विधि को MMPO (मैक्सिमम मार्जिनल लाइकलीहुड प्रेफरेंस ऑप्टिमाइजेशन) कहते हैं, और उनका मानना है कि यह AI को मानवीय मूल्यों के साथ अलाइन करने का एक सरल और अधिक विश्वसनीय तरीका है।

तकनीकी सारांश: मैक्सिमम मार्जिनल लाइक्लीहुड एस्टीमेशन के माध्यम से ऑफलाइन प्रिफरेंस ऑप्टिमाइजेशन

समस्या विवरण

लार्ज लैंग्वेज मॉडल्स (LLMs) को मानवीय प्राथमिकताओं (human preferences) के साथ संरेखित (align) करना वास्तविक दुनिया में तैनाती के लिए एक महत्वपूर्ण कदम है, जिसे पारंपरिक रूप से रिइन्फोर्समेंट लर्निंग फ्रॉम ह्यूमन फीडबैक (RLHF) के माध्यम से प्राप्त किया जाता है। हालाँकि, मानक RLHF पाइपलाइन जटिल और अस्थिर है, जिसमें एक अलग रिवॉर्ड मॉडल को प्रशिक्षित करने और प्रॉक्सिमल पॉलिसी ग्रेडिएंट एल्गोरिदम जैसे कि प्रॉक्सिमल पॉलिसी ऑप्टिमाइजेशन (PPO) के उपयोग की आवश्यकता होती है। जबकि डायरेक्ट प्रिफरेंस ऑप्टिमाइजेशन (DPO) ने इसे एक वर्गीकरण (classification) समस्या के रूप में पुनर्गठित करके सरल बना दिया, इसका लॉस फंक्शन अभी भी RLHF ऑब्जेक्टिव से व्युत्पन्न है, जो स्पष्ट रूप से लैंग्वेज मॉडल के एंट्रॉपी (entropy) को अनुकूलित करने के लिए प्रोत्साहित करता है। लेखक यह जांचते हैं कि क्या और भी अधिक शिथिल मान्यताओं के तहत प्रभावी संरेखण प्राप्त किया जा सकता है, विशेष रूप से रिवॉर्ड फंक्शन और उस एंट्रॉपी मैक्सिमाइजेशन टर्म की स्पष्ट आवश्यकता को हटाकर जो मानक RLHF ऑब्जेक्टिव्स में निहित है।

कार्यप्रणाली: MMPO

यह शोध पत्र मैक्सिमम मार्जिनल लाइक्लीहुड प्रिफरेंस ऑप्टिमाइजेशन (MMPO) का प्रस्ताव करता है, जो एक नवीन ऑफलाइन प्रिफरेंस अलाइनमेंट एल्गोरिदम है।

सैद्धांतिक आधार

MMPO संरेखण की समस्या को मैक्सिमम मार्जिनल लाइक्लीहुड (MML) एस्टीमेशन के दृष्टिकोण से पुनर्गठित करता है। सीधे तौर पर प्राथमिकताओं के लिए अनुकूलन करने के बजाय, यह विधि इनपुट $x$ दिए जाने पर एक पसंदीदा टेक्स्ट आउटपुट $y$ के मार्जिनल लॉग-लाइक्लीहुड को अधिकतम करती है।

फॉर्मूलेशन: लक्ष्य $P_\theta(y|x) = \sum_z \pi_\theta(z|x) \times P^*(y|x, z)$ को अधिकतम करना है, जहाँ $z$ संभावित टेक्स्ट पूर्णताएँ (completions) हैं और $P^*$ वास्तविक अंतर्निहित वितरण (underlying distribution) है।
अनुमान (Approximation): चूँकि सभी संभावित $z$ पर योग करना अव्यवहार्य (intractable) है, यह विधि प्रदान किए गए प्रिफरेंस पेयर $(z_w, z_l)$ (चुना हुआ और अस्वीकृत रिस्पॉन्स) को सैंपल के रूप में उपयोग करके मार्जिनलाइजेशन का अनुमान लगाती है।
स्थिरता: प्रशिक्षण के दौरान संख्यात्मक स्थिरता सुनिश्चित करने के लिए, ऑब्जेक्टिव को log-sum-exp ऑपरेशन का उपयोग करके पुनर्गठित किया गया है।

प्रिफरेंस ऑप्टिमाइजेशन के साथ सैद्धांतिक संबंध

लेखक प्रदर्शित करते हैं (थ्योरम 3.2) कि प्रिफरेंस डेटासेट पर अनुमानित MML ऑब्जेक्टिव को अनुकूलित करना स्पष्ट रूप से प्रिफरेंस ऑप्टिमाइजेशन करता है।

निहित ग्रेडिएंट (Implicit Gradient): परिणामी ग्रेडिएंट अपडेट को चुने हुए ( $z_w$ ) और अस्वीकृत ( $z_l$ ) रिस्पॉन्स के भारित योग (weighted sum) के बराबर दिखाया गया है।
वेटिंग मैकेनिज्म: यह प्रक्रिया स्वाभाविक रूप से स्कोर अंतर के सिग्मॉइड फंक्शन ( $\sigma(s_w - s_l)$ ) द्वारा नियंत्रित करते हुए, अस्वीकृत रिस्पॉन्स की तुलना में चुने हुए रिस्पॉन्स को अधिक भार देती है।
मुख्य अंतर: यह प्रक्रिया बिना किसी स्पष्ट रिवॉर्ड फंक्शन या एंट्रॉपी-मैक्सिमाइजिंग टर्म के प्रिफरेंस अलाइनमेंट प्राप्त करती है।

एल्गोरिदम कार्यान्वयन

MMPO लॉस फंक्शन कई विशिष्ट डिज़ाइन विकल्पों को शामिल करता है:

स्कोर परिभाषा: $s_w$ और $s_l$ को लॉग-प्रोबेबिलिटीज और एक रिवॉर्ड टर्म के आधार पर परिभाषित किया गया है (जो रेफरेंस मॉडल लॉग-प्रोबेबिलिटीज और एक हाइपरपैरामीटर $\beta$ के माध्यम से अनुमानित है)।
इन-बैच नॉर्मलाइजेशन: ग्रेडिएंट्स पर आउटलेर्स के प्रभुत्व को रोकने और प्रशिक्षण को स्थिर करने के लिए रिवार्ड्स को मिनी-बैच के भीतर नॉर्मलाइज किया जाता है। यह सुनिश्चित करता है कि सापेक्ष स्कोर एक सुसंगत स्केल पर हों।
ऑक्सिलरी ऑब्जेक्टिव: प्रिफरेंस कंस्ट्रेंट ( $s_w \ge s_l$ ) को स्पष्ट रूप से सुदृढ़ करने के लिए एक ऑक्सिलरी टर्म, $\log \sigma(s_w - s_l)$ , जोड़ा गया है, जो एक सीधा सुपरवाइजरी सिग्नल प्रदान करता है। यह DPO के समान है लेकिन SFT मॉडल के सापेक्ष लॉग-प्रोबेबिलिटी रेश्यो के बजाय नॉर्मलाइज्ड स्कोर पर काम करता है।

मुख्य योगदान

एल्गोरिदम का परिचय: MMPO का प्रस्ताव, जो एक नया ऑफलाइन प्रिफरेंस ऑप्टिमाइजेशन एल्गोरिदम है जो प्रिफरेंस पेयर्स को MML एस्टीमेशन के लिए सैंपल के रूप में मानता है।
सैद्धांतिक विश्लेषण: एक प्रमाण जो दिखाता है कि प्रिफरेंस पेयर्स पर MMPO, एक भारित ग्रेडिएंट अपडेट के बराबर है जो स्पष्ट रिवॉर्ड मॉडलिंग या एंट्रॉपी टर्म के बिना स्वाभाविक रूप से पसंदीदा रिस्पॉन्स का पक्ष लेता है।
अनुभवजन्य स्थिरता (Empirical Stability): यह प्रदर्शन कि MMPO, DPO और SimPO की तुलना में हाइपरपैरामीटर $\beta$ के प्रति काफी अधिक स्थिर है।
क्षमता संरक्षण: साक्ष्य कि MMPO, मौजूदा बेसलाइन्स की तुलना में बेस इंस्ट्रक्शन-ट्यून्ड मॉडल्स की सामान्य भाषा क्षमताओं (तर्क और समझ) को बेहतर ढंग से संरक्षित करता है।
बेंचमार्क प्रदर्शन: 135M से 8B पैरामीटर्स तक के मॉडल्स के लिए AlpacaEval-2 बेंचमार्क पर प्रतिस्पर्धी या बेहतर विन-रेट (win-rates) प्राप्त करना।

प्रयोगात्मक परिणाम

लेखकों ने चार मॉडल आकारों (SmolLM2-135M, SmolLM2-360M, Llama3.2-1B, और Llama3-8B) पर Orca DPO Pairs और UltraFeedback-Binarized डेटासेट्स का उपयोग करके MMPO का मूल्यांकन किया।

स्थिरता: DPO और SimPO के विपरीत, जिन्होंने $\beta$ हाइपरपैरामीटर के प्रति महत्वपूर्ण संवेदनशीलता दिखाई, MMPO ने $\beta$ के विभिन्न मानों (0.01, 0.05, 0.5) के बीच सुसंगत प्रदर्शन बनाए रखा।
प्रिफरेंस अलाइनमेंट: MMPO ने AlpacaEval-2 पर मजबूत विन-रेट हासिल किया। उदाहरण के लिए, SmolLM2-135M पर, MMPO ने विन-रेट को 67.3% तक मोनोटोनिक रूप से सुधारा, जबकि DPO ने बहुत कम विन-रेट दिया और SimPO ने ट्रेनिंग एपोक्स के दौरान काफी गिरावट दिखाई।
सामान्य क्षमता प्रतिधारण (General Capability Retention): LM Harness बेंचमार्क (10 विविध भाषा समझ कार्यों) पर मूल्यांकन करने पर, MMPO ने सामान्य भाषा क्षमताओं में न्यूनतम गिरावट देखी। इसके विपरीत, DPO और SimPO ने अक्सर, विशेष रूप से उच्च प्रिफरेंस अलाइनमेंट के लिए ट्यून किए जाने पर, सटीकता में अधिक महत्वपूर्ण गिरावट दिखाई।
पारेटो इष्टतमता (Pareto Optimality): MMPO ने एक अधिक अनुकूल ट्रेड-ऑफ प्रोफाइल प्रदर्शित किया, जो बेसलाइन्स की तुलना में सामान्य तर्क क्षमताओं के न्यूनतम त्याग के साथ उच्च प्रिफरेंस विन-रेट प्रदान करता है।

एब्लेशन स्टडीज (Ablation Studies)

SmolLM2-360M मॉडल पर प्रयोगों से पता चला:

लेंथ नॉर्मलाइजेशन: इसने सामान्य सटीकता में सुधार किया लेकिन प्रिफरेंस विन-रेट में महत्वपूर्ण वृद्धि नहीं की।
एंट्रॉपी मैक्सिमाइजेशन: स्पष्ट रूप से एंट्रॉपी टर्म जोड़ने से दोनों बेंचमार्क पर प्रदर्शन गिर गया, जो सुझाव देता है कि MMPO में निहित अनुकूलन पर्याप्त है और इस संदर्भ में स्पष्ट विविधता प्रोत्साहन हानिकारक है।
ऑक्सिलरी लॉस और नॉर्मलाइजेशन: DPO-शैली के ऑक्सिलरी लॉस या इन-बैच नॉर्मलाइजेशन को हटाने से विन-रेट में थोड़ी वृद्धि हुई लेकिन पीक जनरल सटीकता में गिरावट आई, जो एक ट्रेड-ऑफ का संकेत देता है जहाँ कोर log-sum-exp टर्म प्रदर्शन को संचालित करता है जबकि ऑक्सिलरी घटक सामान्य क्षमताओं को बनाए रखने में मदद करते हैं।

महत्व और दावे

शोध पत्र का दावा है कि MMPO वर्तमान अलाइनमेंट प्रतिमानों के लिए एक सरल, अधिक स्थिर विकल्प प्रदान करता है। अलाइनमेंट को MML एस्टीमेशन समस्या के रूप में पुनर्गठित करके, यह स्पष्ट रिवॉर्ड मॉडल और एंट्रॉपी रेगुलराइजेशन की आवश्यकता को समाप्त करता है और स्पष्ट रूप से वांछित प्रिफरेंस ऑप्टिमाइजेशन प्राप्त करता है। लेखक इस बात पर जोर देते हैं कि MMPO की स्थिरता इसकी फॉर्मूलेशन की एक अंतर्निहित विशेषता है (जो इन-बैच नॉर्मलाइजेशन और log-sum-exp ऑपरेशन से उत्पन्न होती है) न कि जटिल कैलिब्रेशन तंत्र का परिणाम।

यह कार्य सुझाव देता है कि प्रभावी अलाइनमेंट के लिए कड़ाई से RLHF की जटिल मशीनरी या DPO के विशिष्ट प्रतिबंधों की आवश्यकता नहीं है। इसके बजाय, प्रिफरेंस पेयर्स को सैंपल के रूप में उपयोग करके पसंदीदा आउटपुट्स के मार्जिनल लाइक्लीहुड को अधिकतम करना, अलाइनमेंट के लिए एक मजबूत मार्ग प्रदान करता है जो मॉडल की मौलिक भाषा क्षमताओं को सुरक्षित रखता है। लेखक नोट करते हैं कि हालांकि वर्तमान मूल्यांकन संसाधन बाधाओं के कारण ऑफलाइन सेटिंग्स और 8B पैरामीटर्स तक के मॉडल्स तक सीमित है, फिर भी यह विधि LLM अलाइनमेंट पाइपलाइन को सरल बनाने के लिए एक आशाजनक दिशा का प्रतिनिधित्व करती है।