Multi-Rollout On-Policy Distillation via Peer Successes and Failures
यह शोध पत्र मल्टी-रोलआउट ऑन-पॉलिसी डिस्टिलेशन (MOPD) को प्रस्तुत करता है, जो एक ऐसा ढांचा है जो समृद्ध, इंस्टेंस-अनुकूल शिक्षक संकेतों के निर्माण के लिए सफल और विफल दोनों प्रकार के पीयर रोलआउट का लाभ उठाकर लार्ज लैंग्वेज मॉडल प्रशिक्षण को बेहतर बनाता है, जिससे यह मानक विधियों से बेहतर प्रदर्शन करता है जो प्रत्येक रोलआउट को स्वतंत्र रूप से मानते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
मुख्य विचार: पूरे समूह से सीखना, न कि केवल एक व्यक्ति से
कल्पना कीजिए कि आप एक छात्र को एक कठिन पहेली हल करना सिखा रहे हैं। पुराने तरीके में (मानक प्रशिक्षण), आप छात्र को एक पहेली दे सकते हैं, उन्हें इसे हल करने दें, और फिर बस यह कह सकते हैं, "तुमने इसे सही कर लिया!" या "तुमने इसे गलत कर दिया!" अंतिम उत्तर के आधार पर।
इस समस्या के साथ यह है कि यदि वे गलत होते हैं, तो आपको पता नहीं चलता कि क्यों। क्या उन्होंने गणित की कोई छोटी गलती की? क्या उन्होंने नियमों को गलत समझा? क्या वे पहली बार में ही भाग्यशाली थे? आप केवल अंतिम परिणाम देखते हैं, यात्रा नहीं।
MOPD (मल्टी-रोलआउट ऑन-पॉलिसी डिस्टिलेशन) खेल बदल देता है। एक छात्र के प्रयास को अलग-थलग देखने के बजाय, यह एक ही समय में उसी छात्र द्वारा उसी पहेली पर किए गए पूरे समूह के प्रयासों को देखता है।
इसे एक कोच की तरह सोचें जो बास्केटबॉल टीम को फ्री थ्रो का अभ्यास करते हुए देख रहा है।
- पुराना तरीका: कोच एक खिलाड़ी को शॉट मारते हुए देखता है। यदि गेंद अंदर जाती है, तो बहुत अच्छा। यदि वह चूक जाती है, तो कोच बस कहता है "मिस"।
- MOPD का तरीका: कोच खिलाड़ी को लगातार 8 बार शॉट मारते हुए देखता है।
- 3 शॉट अंदर गए (सफलताएं/Successes)।
- 5 शॉट चूक गए (विफलताएं/Failures)।
कोच (टीचर AI) अब एक बहुत अधिक समृद्ध तस्वीर देख सकता है। वे देख सकते हैं कि सफल शॉट वास्तव में कैसे दिखते थे (सही चाप, सही कलाई का झटका) और विफल शॉट वास्तव में कैसे दिखते थे (बहुत अधिक बल, बहुत बाईं ओर निशाना)।
यह कैसे काम करता है: "पीयर" (Peer) सिस्टम
पेपर एक ऐसी प्रणाली पेश करता है जहाँ AI खुद छात्र और शिक्षक दोनों के रूप में कार्य करता है, लेकिन यह खुद को सिखाने के लिए अपने स्वयं के "पीयर्स" (एक ही समय में किए गए अन्य प्रयास) का उपयोग करता है।
- परीक्षण और त्रुटि सत्र (Trial-and-Error Session): प्रत्येक प्रश्न के लिए, AI एक साथ कई उत्तर (रोलआउट्स) उत्पन्न करता है।
- वेरिफायर (Verifier): एक सख्त चेकर (जैसे कोड के लिए कंपाइलर या गणित सॉल्वर) उन्हें ग्रेड देता है। कुछ को "सही" के रूप में चिह्नित किया जाता है, अन्य को "गलत" के रूप में।
- पीयर कॉन्टेक्स्ट (Peer Context): जब AI किसी विशिष्ट उत्तर से सीखने की कोशिश करता है, तो वह केवल उस उत्तर को नहीं देखता। वह उसी सत्र में उत्पन्न किए गए अन्य उत्तरों को देखता है।
- पॉजिटिव पीयर्स (Positive Peers): यह सही उत्तरों को देखता है ताकि यह कह सके, "हे, एक अच्छा रास्ता कैसा दिखता है।"
- नेगेटिव पीयर्स (Negative Peers): यह गलत उत्तरों को देखता है ताकि यह कह सके, "ओह, मुझे यहाँ एक सामान्य गलती दिख रही है। यह विशिष्ट कदम न दोहराएं।"
दो रणनीतियाँ: इमिटेशन बनाम कंट्रास्ट
शोधकर्ताओं ने इन पीयर्स का उपयोग करने के दो तरीकों का परीक्षण किया:
- पॉजिटिव पीयर इमिटेशन (Positive Peer Imitation): शिक्षक केवल सफल पीयर्स को देखता है। यह ऐसा है जैसे एक छात्र केवल कक्षा के "A+" पेपर्स का अध्ययन करता है। यह मदद करता है, लेकिन यह नहीं बताता कि किससे बचना है।
- कॉन्ट्रास्टिव सक्सेस-फेलियर कंडीशनिंग (Contrastive Success–Failure Conditioning - विजेता): शिक्षक सफल पेपर्स और विफल पेपर्स दोनों को देखता है। यह एक शिक्षक की तरह है जो कहता है, "इस आदर्श निबंध को देखें, लेकिन उस निबंध को भी देखें जो निष्कर्ष भूल जाने के कारण विफल हो गया। सुनिश्चित करें कि आप पहले वाले को करें और दूसरे में की गई गलती से बचें।"
पेपर ने पाया कि "कॉन्ट्रास्टिव" दृष्टिकोण (सफलता और विफलता का मिश्रण) सबसे अच्छा काम करता है। इसने AI को न केवल यह समझने में मदद की कि क्या करना है, बल्कि यह भी कि अन्य प्रयासों में कहाँ गलती हुई, जिससे सीखने का संकेत बहुत अधिक सटीक हो गया।
यह क्यों महत्वपूर्ण है
पेपर का दावा है कि इस "ग्रुप डायनेमिक" का उपयोग करके, AI पिछले तरीकों की तुलना में तेजी से और बेहतर सीखता है।
- यह एक जासूस की तरह है: केवल यह जानने के बजाय कि एक अपराध हुआ है (अंतिम स्कोर), AI संदिग्ध के पदचिह्न (तर्क के चरण) देख सकता है और उनकी तुलना निर्दोष लोगों (सफल पीयर्स) और गलतियाँ करने वाले अन्य संदिग्धों (विफल पीयर्स) के पदचिह्नों से कर सकता है।
- यह विशिष्ट त्रुटियों को ठीक करता है: पेपर दिखाता है कि यह विधि AI को विशिष्ट, बार-बार होने वाली गलतियाँ (जैसे गणित की समस्या में बाधा भूल जाना या कोड में वेरिएबल के नाम मिला देना) उन तरीकों की तुलना में बहुत तेज़ी से करने से रोकने में मदद करती है जो हर प्रयास को एक अकेले, अलग-थलग घटना के रूप में देखते हैं।
परिणाम
शोधकर्ताओं ने इसका परीक्षण किया:
- कोडिंग: टेस्ट पास करने वाले प्रोग्राम लिखना।
- गणित: जटिल गणितीय समस्याओं को हल करना।
- विज्ञान: कठिन विज्ञान संबंधी प्रश्नों के उत्तर देना।
- टूल यूज़ (Tool Use): सॉफ्टवेयर टूल्स का सही ढंग से उपयोग करना सीखना।
इन सभी क्षेत्रों में, MOPD पद्धति ने मानक प्रशिक्षण विधियों से बेहतर प्रदर्शन किया। "मिश्रित" संदर्भ (विजेताओं और हारने वालों दोनों को देखना) ने लगातार सबसे स्मार्ट परिणाम दिए।
संक्षेप में
MOPD AI को सिखाने का एक स्मार्ट तरीका है। हर प्रयास को एक एकल प्रदर्शन मानने के बजाय, यह सीखने को एक सामूहिक गतिविधि के रूप में मानता है। अपने हालिया सफलताओं और विफलताओं के साथ अपने वर्तमान प्रयास की तुलना करके, AI को क्या काम करता है और क्या नहीं, इसका बहुत स्पष्ट और विस्तृत मानचित्र मिलता है, जिससे तेज़ और अधिक विश्वसनीय सीखना संभव होता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।