🤖 machine learning

Convex Optimization for Alignment and Preference Learning on a Single GPU

यह शोध पत्र COALA को प्रस्तुत करता है, जो एक नवीन कॉनवेक्स ऑप्टिमाइज़ेशन-आधारित एल्गोरिदम है जो संदर्भ मॉडल (रेफरेंस मॉडल) की आवश्यकता को समाप्त करके और DPO जैसी विधियों की तुलना में प्रतिस्पर्धी प्रदर्शन बनाए रखते हुए कम्प्यूटेशनल लागत को काफी कम करके, बड़े भाषा मॉडलों के कुशल, सिंगल-जीपीयू प्रिफरेंस फाइन-ट्यूनिंग को सक्षम बनाता है।

मूल लेखक: Miria Feng, Mert Pilanci

प्रकाशित 2026-05-25

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Miria Feng, Mert Pilanci

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

बड़ी समस्या: AI को ट्यून करना एक बाथटब में मैराथन दौड़ने जैसा है

कल्पना कीजिए कि आपके पास एक विशाल, अविश्वसनीय रूप से बुद्धिमान रोबोट है (एक लार्ज लैंग्वेज मॉडल, या LLM) जो लिख सकता है, चैट कर सकता है और समस्याओं को हल कर सकता है। हालाँकि, अभी यह थोड़ा अनिश्चित है। कभी यह मददगार होता है, कभी बदतमीज, और कभी-कभी यह अपनी मर्जी से बातें बनाने लगता है।

इसे "अच्छा" बनने (मानवीय प्राथमिकताओं के अनुरूप) के लिए सिखाना, वर्तमान तरीकों के साथ ऐसा है जैसे किसी बच्चे को भारी बैकपैक लेकर मैराथन दौड़ते हुए चलना सिखाना।

पुराना तरीका (RLHF): यह "तीन-चरणीय" विधि है। आप रोबट को प्रशिक्षित करते हैं, फिर आप काम को ग्रेड देने के लिए मानव न्यायाधीशों की एक पूरी टीम को काम पर रखते हैं, फिर आप उन न्यायाधीशों की नकल करने के लिए एक "रिवॉर्ड मॉडल" को प्रशिक्षित करते हैं, और अंत में, आप उस मॉडल के आधार पर रोबोट को सुधारते हैं। यह महंगा है, धीमा है, और इसे करने के लिए एक विशाल सुपरकंप्यूटर (जैसे उच्च श्रेणी के GPUs का एक बेड़ा) की आवश्यकता होती है।
"सरल" तरीका (DPO): इस विधि ने बीच वाले व्यक्ति (रिवॉर्ड मॉडल) को हटाने की कोशिश की। लेकिन यह अभी भी बहुत नाजुक है। इसके लिए अक्सर एक "रेफरेंस रोबोट" (मूल मॉडल की एक प्रति) की आवश्यकता होती है जिसकी तुलना की जा सके, जिससे आवश्यक मेमोरी दोगुनी हो जाती है। यह अस्थिर भी है; कभी-कभी यह गलत सबक सीख लेता है, और इसे काम करने के लिए बहुत विशिष्ट, सूक्ष्म सेटिंग्स (हाइपरपैरामीटर्स) की आवश्यकता होती है, जैसे कि एक पेंसिल को उसकी नोक पर संतुलित करने की कोशिश करना।

समाधान: COALA (एक-जीपीयू वाला जादू का खेल)

लेखकों ने COALA (Convex Optimization for Alignment and Preference Learning Algorithm) का प्रस्ताव दिया है। COALA को एक स्मार्ट, हल्के वजन वाले ट्रेनिंग हार्नेस के रूप में सोचें जो आपको केवल एक सिंगल ग्राफिक्स कार्ड (जैसे उच्च श्रेणी के गेमिंग पीसी में पाया जाने वाला RTX-4090) का उपयोग करके एक विशाल रोबोट को सिखाने की अनुमति देता है, न कि एक विशाल डेटा सेंटर का।

यह कैसे काम करता है, यहाँ तीन सरल उपमाओं का उपयोग किया गया है:

1. "जमी हुई मूर्ति" बनाम "लचीला सिर"

कल्पना कीजिए कि प्री-ट्रेंड AI मॉडल एक विशाल, जमी हुई संगमरमर की मूर्ति है। इसे पहले से ही अविश्वसनीय विवरण के साथ तराशा गया है (यह भाषा, तथ्य और व्याकरण जानता है)।

पुराने तरीके मूर्ति के पूरे हिस्से को तराशने की कोशिश करते हैं ताकि उसके भाव बदले जा सकें। यह खतरनाक है (आप इसे तोड़ सकते हैं) और इसके लिए भारी मशीनरी की आवश्यकता होती है।
COALA मूर्ति को पूरी तरह से जमा हुआ छोड़ देता है। इसके बजाय, यह मूर्ति के ऊपर एक लचीला, नरम मिट्टी का सिर लगा देता है।
लक्ष्य मूर्ति को बदलना नहीं है; इसका लक्ष्य केवल मिट्टी के सिर को सही दिशा में ढालना है (मददगार उत्तरों की ओर)। क्योंकि मूर्ति हिलती नहीं है, इसलिए आपको इसे पकड़ने के लिए एक विशाल क्रेन (GPU मेमोरी) की आवश्यकता नहीं है। आपको बस एक छोटे मूर्तिकार के औजार की आवश्यकता है।

2. "सीधी रेखा" बनाम "रोलर कोस्टर"

AI को प्रशिक्षित करना आमतौर पर एक अंधेरे, धुंधले रोलर कोस्टर पर चलने जैसा है। आप सबसे निचले बिंदु (सबसे अच्छा उत्तर) को खोजने की कोशिश कर रहे हैं, लेकिन ट्रैक मुड़ता और घूमता रहता है। आप एक छोटे से गड्ढे (लोकल मिनिमम) में फंस सकते हैं और सोच सकते हैं कि आपने काम पूरा कर लिया है, या आप दुर्घटनाग्रस्त हो सकते हैं क्योंकि ट्रैक बहुत ऊबड़-खाबड़ है। यह "नॉन-कॉन्वेक्स" ऑप्टिमाइज़ेशन है।

COALA रोलर कोस्टर को एक चिकनी, सीधी स्लाइड में बदल देता है।
"कॉन्वेक्स ऑप्टिमाइज़ेशन" का उपयोग करके, गणित गारंटी देता है कि यदि आप नीचे फिसलते हैं, तो आप हमेशा बिल्कुल नीचे तक पहुँचेंगे। कोई छिपे हुए गड्ढे या बंद रास्ते नहीं हैं। इसका मतलब है कि प्रशिक्षण स्थिर, अनुमानित है, और इसे क्रैश होने से बचाने के लिए सेटिंग्स के साथ लगातार छेड़छाड़ करने की आवश्यकता नहीं है।

3. "क्लासरूम रणनीति" (अल्टरनेटिंग पॉपुलेशन)

रोबोट को सिखाने के लिए, आपको "अच्छा उत्तर" बनाम "बुरा उत्तर" के उदाहरणों की आवश्यकता होती है। आमतौर पर, आपको तुलना करने के लिए "बुरे उत्तर" को उत्पन्न करने के लिए दूसरे AI की आवश्यकता होती है।

COALA का ट्रिक: उन्होंने EduFeedback (एक सिम्युलेटेड क्लासरूम की तरह) नामक एक डेटासेट बनाया है। दूसरे AI से बुरा उत्तर लिखने के लिए पूछने के बजाय, वे बस उसी बातचीत को देखते हैं।
- टर्न 1: छात्र एक प्रश्न पूछता है।
- टर्न 2: ट्यूटर एक सीधा, सटीक उत्तर देता है (चुना हुआ/Chosen वाला)।
- टर्न 3: छात्र अधिक विवरण मांगता है, और ट्यूटर थोड़ा विषय से हटकर या कम सीधा उत्तर देता है (अस्वीकृत/Rejected वाला)।
यह एक ही बातचीत को लेने और उसे कई पाठों में विभाजित करने जैसा है। यह कुशल है और इसके लिए "बुरे" उदाहरण उत्पन्न करने के लिए महंगे बाहरी उपकरणों की आवश्यकता नहीं है।

यह क्यों मायने रखता है (परिणाम)

पेपर का परीक्षण Llama-3.1-8B सहित कई मॉडलों पर किया गया।

गति और लागत: COALA ने मानक विधि (DPO) द्वारा उपयोग किए गए कंप्यूटिंग पावर (TFLOPs) का लगभग 17.6% उपयोग किया। यह एक सिंगल कंज्यूमर GPU पर चला, जबकि अन्य को महंगे एंटरप्राइज कार्डों की आवश्यकता थी।
स्थिरता: जबकि अन्य तरीके डगमगाते थे और सही सेटिंग्स खोजने के लिए संघर्ष करते थे, COALA का "रिवॉर्ड मार्जिन" (कि अच्छे उत्तर कितने बेहतर थे) एक सीधी हाईवे पर तेजी से चलने वाली कार की तरह लगातार और सुचारू रूप से ऊपर गया।
मानवीय स्वीकृति: लेखकों ने केवल कंप्यूटर स्कोर पर भरोसा नहीं किया। उन्होंने 107 वास्तविक मनुष्यों को आउटपुट पढ़ने के लिए कहा। मनुष्यों ने लगातार COALA द्वारा उत्पन्न उत्तरों को अन्य तरीकों की तुलना में पसंद किया।

निचोड़

COALA साबित करता है कि AI को मददगार बनाने के लिए आपको सुपरकंप्यूटर की आवश्यकता नहीं है। समस्या को एक सरल, सीधी रेखा वाले गणितीय पहेली (कॉन्वेक्स ऑप्टिमाइज़ेशन) के रूप में मानकर और मस्तिष्क के भारी हिस्सों को जमा रखकर, आप एक सिंगल मशीन पर स्थिर, अनुमानित परिणामों के साथ एक शक्तिशाली AI को प्रशिक्षित कर सकते हैं। यह एक बुलडोजर से पहाड़ को हिलाने की कोशिश करने बनाम एक पत्थर को उठाने के लिए लीवर का उपयोग करने के बीच का अंतर है।

तकनीकी सारांश: COALA

समस्या विवरण

ChatGPT और Gemini जैसे सिस्टम के लिए लार्ज लैंग्वेज मॉडल्स (LLMs) को मानवीय प्राथमिकताओं (human preferences) के साथ संरेखित (align) करने के लिए फाइन-ट्यूनिंग करना महत्वपूर्ण है, फिर भी वर्तमान पद्धतियां महत्वपूर्ण कम्प्यूटेशनल और स्थिरता संबंधी चुनौतियों का सामना करती हैं।

रिनफोर्समेंट लर्निंग फ्रॉम ह्यूमन फीडबैक (RLHF): हालांकि यह प्रभावी है, लेकिन यह एक जटिल, बहु-चरणीय प्रक्रिया (SFT, रिवॉर्ड मॉडलिंग, पॉलिसी ऑप्टिमाइजेशन) है जो कम्प्यूटेशनल रूप से महंगी है, इसके लिए मानव-इन-द-लूप की आवश्यकता होती है, और यह संसाधन-गहन है।
डायरेक्ट प्रेफरेंस ऑप्टिमाइजेशन (DPO): DPO रिवॉर्ड फंक्शन को सीधे पैरामीटराइज़ करके एक सरल विकल्प प्रदान करता है। हालाँकि, इसकी कई सीमाएँ हैं:
- संसाधन गहनता: इसे ट्रेनिंग को स्थिर करने के लिए एक फ्रोजन रेफरेंस मॉडल की आवश्यकता होती है, जो प्रभावी रूप से मेमोरी लागत को दोगुना कर देता है (दो मॉडल होस्ट करना)।
- अस्थिरता: यह अक्सर असंगत रैंकिंग सटीकता और अस्थिर रिवॉर्ड मार्जिन लाभ प्रदर्शित करता है।
- हाइपरपैरामीटर संवेदनशीलता: यह ह्यूरिस्टिक-संचालित ट्यूनिंग पर बहुत अधिक निर्भर करता है और कन्वर्जेंस के लिए अत्यंत छोटे लर्निंग रेट (जैसे $1\times 10^{-9}$ ) की आवश्यकता होती है।
- हार्डवेयर बाधाएं: ये कारक सिंगल-जीपीयू सेटअप पर ट्रेनिंग को कठिन बनाते हैं, जिससे एक्सेसिबिलिटी सीमित हो जाती है और ऊर्जा की खपत बढ़ जाती है।

कार्यप्रणाली: COALA

लेखक COALA (Convex Optimization for Alignment and Preference Learning Algorithm) का प्रस्ताव करते हैं, जो एक लाइटवेट फ्रेमवर्क है जिसे सिंगल GPU पर कुशल प्राथमिकता संरेखण (preference alignment) सक्षम करने के लिए डिज़ाइन किया गया है।

मुख्य वैचारिक परिवर्तन

COALA प्राथमिकता संरेखण कार्य को नॉन-कॉन्वेक्स (non-convex) के बजाय एक कॉन्वेक्स ऑप्टिमाइजेशन समस्या के रूप में पुनर्गठित करता है। पूरे ऑटोरेग्रेसिव पॉलिसी को ऑप्टिमाइज़ करने के बजाय (जैसा कि DPO में होता है), COALA:

बेस मॉडल को फ्रीज करता है: प्री-ट्रेन्ड LLM ( $f_{\theta_{pre}}$ ) फ्रीज रहता है।
एक कॉन्वेक्स हेड जोड़ता है: एक दो-परत वाला कॉन्वेक्स न्यूरल नेटवर्क (cvxNN) फ्रोजन फीचर्स के ऊपर स्टैक किया जाता है ताकि एक बाइनरी प्रेफरेंस क्लासिफायर के रूप में कार्य किया जा सके।
रेफरेंस मॉडल को समाप्त करता है: कॉन्वेक्स पुनर्गठन का लाभ उठाकर, COALA रेफरेंस मॉडल की आवश्यकता को हटा देता है, जिससे VRAM की खपत काफी कम हो जाती है।

एल्गोरिद्मिक चरण

यह पद्धति दो चरणों में कार्य करती है:

चरण I: कॉन्वेक्स पॉलिसी नेटवर्क को प्रशिक्षित करना

लेखक cvxNN को प्रशिक्षित करने के लिए CRONOS एल्गोरिदम (ADMM का एक विशेष संस्करण) का उपयोग करते हैं।
समस्या को एक ग्रुप लासो पेनल्टी (group lasso penalty) और पॉलीहेड्रल कोन बाधाओं (polyhedral cone constraints) के साथ एक कॉन्वेक्स ऑप्टिमाइजेशन टास्क (पेपर में समीकरण 4) के रूप में तैयार किया गया है।
CRONOS इस हाई-डायमेंशनल समस्या को GPU पर कुशलतापूर्वक हल करता है, जो मजबूत कन्वर्जेंस गारंटी प्रदान करता है और हाइपरपैरामीटर ग्रिड सर्च पर निर्भरता को कम करता है।

चरण II: प्रेफरेंस फाइन-ट्यूनिंग

कॉन्वेक्स नेटवर्क के पहले लेयर के वेट्स ( $\Theta_1$ ) और बेस मॉडल को फ्रीज कर दिया जाता है।
केवल अंतिम लेयर वेट्स ( $\theta_2$ ) को एक कॉन्वेक्स लॉजिस्टिक रिग्रेशन समस्या (समीकरण 9) को हल करके फाइन-ट्यून किया जाता है।
सैद्धांतिक गारंटी: ऑब्जेक्टिव फंक्शन $\theta_2$ के संबंध में कॉन्वेक्स होने के रूप में सिद्ध है, जो एल्गोरिदम को मानक ग्रेडिएंट-आधारित ऑप्टिमाइज़र (जैसे AdamW) का उपयोग करके ग्लोबल ऑप्टिमलिटी तक पहुँचने की अनुमति देता है।

डेटासेट नवाचार: अल्टरनेटिंग पॉपुलेशन स्ट्रैटेजी

प्राथमिकता लर्निंग में डेटा की कमी को दूर करने के लिए, लेखक EduFeedback डेटासेट के लिए अल्टरनेटिंग पॉपुलेशन स्ट्रैटेजी पेश करते हैं:

एक बातचीत से केवल एक प्रेफरेंस पेयर निकालने के बजाय (जिसके लिए "चुना हुआ/अस्वीकार किया गया" पेयर बनाने हेतु बाहरी LLMs की आवश्यकता होती है), यह रणनीति एक ही मल्टी-टर्न कन्वर्सेशन से कई पेयर्स निकालती है।
यह एक एजेंट की तत्काल प्रतिक्रिया को "चुना हुआ" (chosen) उत्तर के रूप में और उसके बाद की, विषयगत रूप से संबंधित लेकिन कम प्रत्यक्ष प्रतिक्रिया को "अस्वीकार किया गया" (rejected) उत्तर के रूप में मानती है।
इस दृष्टिकोण ने बिना किसी बाहरी रिवॉर्ड मॉडल के 26,621 कन्वर्सेशन्स से 65,606 ट्रेनिंग पेयर्स जेनरेट किए।

मुख्य योगदान

COALA फ्रेमवर्क: एक अभिनव, थ्योरी-बेक्ड कॉन्वेक्स फ्रेमवर्क जो बिना रेफरेंस मॉडल के सिंगल GPU (विशेष रूप से RTX-4090 पर प्रदर्शित) पर प्रभावी प्रेफरेंस अलाइनमेंट सक्षम करता है।
कन्वर्जेंस गारंटी: पेपर में सैद्धांतिक प्रमाण (थ्योरम 4.2 और 4.3) दिए गए हैं जो दर्शाते हैं कि COALA cvxNN ट्रेनिंग के लिए $O(1/k)$ दर और फाइन-ट्यूनिंग स्टेप के लिए $O(1/k^2)$ दर पर एर्गोडिक कन्वर्जेंस प्राप्त करता है, जो स्थिर और मोनोटोनिक रिवॉर्ड वृद्धि सुनिश्चित करता है।
EduFeedback डेटासेट: कुशल प्रेफरेंस पेयर सिंथेसिस के लिए "अल्टरनेटिंग पॉपुलेशन स्ट्रैटेजी" के साथ 26,621 कन्वर्सेशन्स वाला एक ओपन-सोर्स एजुकेशनल डेटासेट।
ओपन-सोर्स इम्प्लीमेंटेशन: रिप्रोडिबिलिटी और सिंगल-GPU डिप्लॉयमेंट के लिए डिज़ाइन किया गया एक मॉड्यूलर JAX कोडबेस।

प्रयोगात्मक परिणाम

लेखकों ने छह मॉडल्स (DistilGPT-2 से Llama-3.1-8B तक) और चार डेटासेट्स (EduFeedback, UltraFeedback, IMDb, HelpSteer) पर COALA का मूल्यांकन किया।

प्रदर्शन: COALA ने AlpacaEval2, MT-Bench, और ArenaHard सहित बेंचमार्क्स पर DPO, ORPO, और SFT बेसलाइन्स के मुकाबले प्रतिस्पर्धी प्रदर्शन दिखाया।
- EduFeedback डेटासेट के साथ Llama-3.1-8B मॉडल पर, COALA ने 40.90% का लेंथ-कंट्रोल्ड विन रेट (LC WR%) हासिल किया, जो ORPO (23.87%) से बेहतर और DPO (40.68%) के बराबर था, जिसमें वेरिएंस काफी कम था।
दक्षता:
- COALA ने DPO द्वारा आवश्यक कुल TFLOPs का लगभग 17.6% उपयोग किया।
- इसने सिंगल RTX-4090 (24GB VRAM) पर स्थिर ट्रेनिंग हासिल की, जबकि DPO और ORPO को रेफरेंस मॉडल को समायोजित करने के लिए A100 GPU की आवश्यकता थी।
मानवीय सत्यापन: 107 मानव प्रतिभागियों के साथ एक डबल-ब्लाइंड अध्ययन में, COALA ने वास्तविक मानव फीडबैक पर उच्चतम विन रेट (EduFeedback पर 39.1% और IMDb पर 42.7%) प्राप्त किया, जो सांख्यिकीय रूप से DPO, ORPO और SFT बेसलाइन्स से बेहतर था।
स्थिरता: DPO के विपरीत, जिसने शोर वाले (noisy) रिवॉर्ड मार्जिन दिखाए, COALA ने सभी मॉडल्स और डेटासेट्स में स्थिर, मोनोटोनिक रूप से बढ़ते रिवॉर्ड मार्जिन प्रदर्शित किए।

महत्व और दावे

पेपर का दावा है कि COALA, LLMs के प्रेफरेंस फाइन-ट्यूनिंग के लिए पहला प्रभावी कॉन्वेक्स ऑप्टिमाइजेशन अनुप्रयोग है। इसका महत्व यहाँ है:

एलाइनमेंट का लोकतंत्रीकरण: सिंगल कंज्यूमर-ग्रेड GPU पर उच्च-गुणवत्ता वाला प्रेफरेंस ट्यूनिंग सक्षम करके, यह अनुसंधान और परिनियोजन के लिए प्रवेश बाधा को कम करता है, विशेष रूप से संसाधन-सीमित या गोपनीयता-संवेदनशील (ऑन-प्रिमाइसेस) वातावरणों में।
सैद्धांतिक कठोरता: यह ह्यूरिस्टिक-संचालित, नॉन-कॉन्वेक्स ऑप्टिमाइजेशन को गणितीय रूप से ठोस कॉन्वेक्स फ्रेमवर्क से बदल देता है, जो ग्लोबल ऑप्टिमलिटी और स्थिरता की गारंटी देता है जो वर्तमान DPO-शैली की विधियों में अनुपस्थित है।
संसाधन दक्षता: यह एलाइनमेंट के लिए आवश्यक कम्प्यूटेशनल लागत (TFLOPs) और मेमोरी फुटप्रिंट को नाटकीय रूप से कम करके AI में ऊर्जा खपत की बढ़ती चिंता को संबोधित करता है, जो केवल कंप्यूट को स्केल करने के बजाय एक टिकाऊ विकल्प प्रदान करता है।

लेखक COALA को सभी परिदृश्यों में फुल-पैरामीटर फाइन-ट्यूनिंग के प्रतिस्थापन के रूप में नहीं, बल्कि ऑब्जेक्टिव, करेक्टनेस-केंद्रित और शैक्षणिक अलाइनमेंट कार्यों के लिए एक अत्यधिक प्रभावी, कंप्यूट-एफिशिएंट रणनीति के रूप में देखते हैं जहाँ बेस मॉडल के फीचर्स पहले से ही पर्याप्त अभिव्यंजक (expressive) होते हैं।