Team-Based Self-Play With Dual Adaptive Weighting for Fine-Tuning LLMs
यह शोध पत्र टीम-आधारित डुअल एडेप्टिव वेटिंग के साथ सेल्फ-प्ले (TPAW) को प्रस्तुत करता है, जो एक नवीन स्व-पर्यवेक्षित (self-supervised) एल्गोरिदम है जो मौजूदा स्व-प्रशिक्षण दृष्टिकोणों की अस्थिरता और अनुकूलन सीमाओं को दूर करने के लिए ऐतिहासिक चेकपॉइंट्स और डुअल एडेप्टिव वेटिंग तंत्र के साथ एक सहयोगात्मक-प्रतिस्पर्धी टीम ढांचे का उपयोग करके LLM संरेखण (alignment) को बढ़ाता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
मुख्य विचार: एक शिक्षक के बिना रोबोट को सिखाना
कल्पना कीजिए कि आपके पास एक बहुत ही बुद्धिमान रोबोट (एक लार्ज लैंग्वेज मॉडल) है जिसने पहले से ही बहुत सारी किताबें पढ़ ली हैं और बातचीत के बुनियादी नियम सीख लिए हैं। इसे "SFT" (सुपरवाइज्ड फाइन-ट्यूनिंग) मॉडल कहा जाता है।
आमतौर पर, इस रोबोट को मानवीय निर्देशों का पालन करने में और भी बेहतर बनाने के लिए, हमें एक मानव शिक्षक की आवश्यकता होती है जो इसके उत्तरों को ग्रेड दे सके, जैसे "अच्छा काम किया!" या "फिर से कोशिश करो।" लेकिन मानव शिक्षकों को काम पर रखना महंगा और धीमा होता है।
हाल ही में, वैज्ञानिकों ने एक अलग विचार आजमाया: सेल्फ-प्ले (Self-Play)। उन्होंने रोबोट को अपने आप के विरुद्ध खेल खेलने दिया। रोबोट एक उत्तर उत्पन्न करता है, फिर वह अपने स्वयं के उत्तर और अपनी ट्रेनिंग की किताबों के एक "अच्छे" उत्तर के बीच अंतर बताने की कोशिश करता है। लक्ष्य यह है कि रोबोट बिना हर बार मानव द्वारा ग्रेड दिए, यह पहचानना सीख जाए कि इंसान क्या पसंद करते हैं।
समस्या:
पुराने तरीके में (जैसे कि SPIN नामक विधि) दो बड़ी खामियां थीं:
- "इको चैंबर" (Echo Chamber) प्रभाव: यदि रोब خلال गलती करता है, तो वह वही गलती बार-बार करता रहता है, और खराब होता जाता है क्योंकि वह केवल अपनी पिछली गलतियों को ही सुन रहा होता है।
- "भ्रम" (Confusion) प्रभाव: जैसे-जैसे रोबोट बेहतर होता जाता है, एक "अच्छे" उत्तर और एक "बुरे" उत्तर के बीच का अंतर इतना कम हो जाता है कि रोबोट भ्रमित हो जाता है और सीखना बंद कर देता है।
समाधान: TPAW (टीम स्पोर्ट्स दृष्टिकोण)
लेखकों ने TPAW नामक एक नई विधि प्रस्तावित की है। रोबोट को अकेले अकेले खेल खिलाने के बजाय, वे इसे एक टीम स्पोर्ट (Team Sport) में बदल देते हैं।
1. टीम-आधारित सेल्फ-प्ले ("कोच बनाम खिलाड़ी" का उदाहरण)
एक स्पोर्ट्स टीम के अभ्यास की कल्पना करें।
- विरोधी (The "Old Guard"): ये रोबोट के पिछले संस्करण हैं (कल के, परसों के, आदि)। वे "विरोधी" के रूप में कार्य करते हैं जो ऐसे उत्तर उत्पन्न करने की कोशिश करते हैं जो इंसानों जैसे दिखें लेकिन उनमें कुछ कमियां हो सकती हैं।
- मुख्य खिलाड़ी (The "Current Squad"): यह रोबोट का वर्तमान संस्करण है, जो अपने पिछले संस्करणों के साथ मिलकर काम कर रहा है। उनका काम रेफरी (Referees) के रूप में कार्य करना है। वे उत्तरों को देखते हैं और कहते हैं, "यह वाला अच्छा है (किताबों से)," या "यह वाला बुरा है (रोबोट द्वारा बनाया गया)।"
यह क्यों मदद करता है: पुराने तरीके में, रोबोट केवल अपने वर्तमान स्वरूप के विरुद्ध लड़ रहा था। TPAW में, वर्तमान रोबोट अपने पिछले संस्करणों की एक पूरी टीम के विरुद्ध लड़ता है। यह प्रशिक्षण को स्थिर रखता है। भले ही वर्तमान रोबोट भ्रमित हो जाए, "ओल्ड गार्ड" (पिछले संस्करण) टीम को सही रास्ते पर रखने में मदद करता है, जिससे रोबोट बुरी आदतों के चक्रव्यूह में फंसने से बच जाता है।
2. ड्यूल एडेप्टिव वेटिंग (Dual Adaptive Weighting - "स्मार्ट स्कोरबोर्ड")
केवल एक टीम होना ही काफी नहीं है; आपको स्कोर रखने के लिए एक स्मार्ट तरीके की आवश्यकता है। पेपर में दो "एडेप्टिव" (अनुकूली) नियम पेश किए गए हैं जो गेम को गतिशील रूप से बदलते हैं:
नियम A: टारगेट को रीवेटिंग करना (प्रोत्साहन तंत्र)
- समस्या: कभी-कभी रोबोट इतने अच्छे "बुरे" उत्तर देने लगता है कि वह भूलने लगता है कि "अच्छे" उत्तर वास्तव में कैसे दिखते थे। "अच्छे" उत्तरों में उसका आत्मविश्वास कम हो जाता है।
- समाधान: सिस्टम रोबोट पर नज़र रखता है। यदि रोबोट एक "अच्छे" उत्तर पर विश्वास खोने लगता है, तो सिस्टम स्वचालित रूप से उस उत्तर के स्कोर को बढ़ा (boost) देता है। यह एक कोच की तरह है जो चिल्लाकर कहता है, "हे! यह मत भूलना कि वह वास्तव में सही था!" यह रोबोट को अच्छे उदाहरणों पर अतिरिक्त ध्यान देने के लिए मजबूर करता है ताकि वह उनसे भटक न जाए।
नियम B: खिलाड़ियों को रीवेटिंग करना (फोकस तंत्र)
- समस्या: "मुख्य खिलाड़ियों" (रेफरी) की टीम में, कुछ बुरे उत्तरों को पहचानने में दूसरों से बेहतर होते हैं। कुछ भ्रमित हो सकते हैं।
- समाधान: सिस्टम देखता है कि प्रत्येक "खिलाड़ी" कैसा प्रदर्शन कर रहा है। यदि रोबोट का एक विशिष्ट पिछला संस्करण अच्छे और बुरे के बीच अंतर करने में संघर्ष कर रहा है, तो सिस्टम उस खिलाड़ी को प्रशिक्षण के दौरान अधिक भार (weight/attention) देता है। यह एक कोच की तरह है जो कहता है, "आप इस विशेष खेल में संघर्ष कर रहे हैं? चलिए हम उस पर अपना ध्यान केंद्रित करते हैं।" यह सुनिश्चित करता है कि टीम अपनी कमजोर कड़ियों से सीखे, न कि उन्हें अनदेखा करे।
परिणाम: क्या हुआ?
लेखकों ने दो अलग-अलग रोबोट दिमागों (Qwen2.5 और Llama3.1) पर इस नए "टीम स्पोर्ट" तरीके का परीक्षण किया।
- बेहतर स्कोर: TPAW के साथ प्रशिक्षित रोबोटों ने पुराने "सेल्फ-प्ले" तरीके से प्रशिक्षित रोबोटों की तुलना में मानक परीक्षणों (जैसे गणित, तर्क और निर्देश पालन) पर उच्च स्कोर किया।
- अधिक कुशल: उन्होंने अन्य विधियों (जैसे DPO) द्वारा आवश्यक डेटा वॉल्यूम के केवल एक चौथाई हिस्से का उपयोग करके ये परिणाम प्राप्त किए, और उन्हें किसी अतिरिक्त मानव ग्रेडिंग की आवश्यकता नहीं पड़ी।
- स्थिरता: रोबोट भ्रमित नहीं हुए या बार-बार एक ही गलती करने लगे। वे लगातार सुधार करते रहे।
सारांश
TPAW को एक ऐसे छात्र के रूप में समझें जो अकेले पढ़ाई कर रहा है और उसे एक स्टडी ग्रुप (अध्ययन समूह) में बदल दिया गया है।
- टीम: छात्र अपने पिछले नोट्स (ऐतिहासिक चेकपॉइंट्स) के साथ मिलकर अध्ययन करता है ताकि जो उसने सीखा है उसे भूल न जाए।
- कोच: एक स्मार्ट सिस्टम छात्र पर नज़र रखता है। यदि छात्र एक सही उत्तर पर संदेह करने लगता है, तो सिस्टम उसे हाईलाइट करता है (Adaptive Response Weighting)। यदि छात्र किसी विशेष अवधारणा के साथ संघर्ष कर रहा है, तो सिस्टम समूह का ध्यान उस हिस्से पर केंद्रित करता है (Adaptive Player Weighting)।
परिणामस्वरूप, एक स्मार्ट, अधिक स्थिर रोबोट मिलता है जो बिना किसी मानव शिक्षक के हाथ पकड़ने के, तेजी से और बेहतर तरीके से सीखता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।