The Role of Feedback Alignment in Self-Distillation
यह शोध पत्र यह प्रदर्शित करता है कि सेल्फ-डिस्टिलेशन (self-distillation) तब सबसे प्रभावी होता है जब सेल्फ-टीचर (self-teacher) को एक फ्रोजन क्रिटिक (frozen critic) से स्टेप-अलाइन्ड (step-aligned) आलोचनाओं के आधार पर कंडिशन किया जाता है, क्योंकि यह संरचनात्मक संरेखण केवल त्रुटिपूर्ण टोकन को लक्षित करता है और सही तर्क को सुरक्षित रखता है, जो बाइनरी रिवार्ड्स (binary rewards) या रेफरेंस सॉल्यूशंस (reference solutions) का उपयोग करने वाली विधियों की तुलना में काफी बेहतर प्रदर्शन करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप जटिल गणितीय पहेलियों को हल करना सीख रहे हैं। आपके पास एक समझदार दोस्त ("सॉल्वर" या हल करने वाला) है जो उन्हें हल करने की कोशिश करता है, लेकिन कभी-कभी गलतियाँ भी करता है। आपके पास एक सुपर-स्मार्ट ट्यूटर ("क्रिटिक" या आलोचक) भी है जो दोस्त के काम को देख सकता है और उसे बता सकता है कि कहाँ गलती हुई।
यह शोध पत्र इस बारे में है कि ट्यूटर के लिए फीडबैक देने का सबसे अच्छा तरीका क्या है ताकि दोस्त वास्तव में सीख सके और बिना ट्यूटर के हर बार उत्तर फुसफुसाए बेहतर बन सके।
समस्या: हाथ पकड़कर सिखाने के बिना कैसे सिखाएं
आमतौर पर, जब हम AI मॉडल को प्रशिक्षित करते हैं, तो हम दो में से एक चीज़ करते हैं:
- "हाँ/ना" विधि: मॉडल एक समस्या को हल करने की कोशिश करता है, और हम बस कहते हैं "सही" या "गलत"। यह एक शिक्षक की तरह है जो अंत में केवल लाल पेन से टेस्ट ग्रेड करता है। छात्र को पता चलता है कि वह असफल रहा, लेकिन उसे यह नहीं पता होता कि किस कदम (स्टेप) के कारण विफलता हुई।
- "मास्टर की नकल करें" विधि: हम छात्र को एक विशेषज्ञ द्वारा लिखा गया एक आदर्श समाधान दिखाते हैं और कहते हैं, "इसकी नकल करो।" यहाँ समस्या यह है कि विशेषज्ञ समस्या को छात्र से बिल्कुल अलग तरीके से हल कर सकता है। यदि छात्र पहले तीन चरणों में सही था लेकिन विशेषज्ञ ने उन्हें अलग तरीके से किया, तो छात्र भ्रमित हो जाता है और उसे लगता है कि उसके सही चरण भी गलत थे।
समाधान: सेल्फ-डिस्टिलेशन (The "Two-Hat" Trick)
शोधकर्ताओं ने सेल्फ-डिस्टिलेशन (Self-Distillation) नामक एक चतुर ट्रिक का उपयोग किया। कल्पना कीजिए कि छात्र दो अलग-अलग टोपियाँ पहनता है:
- टोपी A (छात्र): पहेली को अकेले हल करने की कोशिश करता है।
- टोपी B (शिक्षक): उसी पहेली को हल करने की कोशिश करता है, लेकिन इस बार, उसे उत्तर देने से पहले ट्यूटर से एक "चीट शीट" (फीडबैक) पढ़ने की अनुमति है।
लक्ष्य "छात्र टोपी" को "शिक्षक टोपी" की तरह कार्य करने के लिए प्रशिक्षित करना है, भले ही चीट शीट वहाँ न हो। इस प्रकार छात्र ट्यूटर के ज्ञान को आत्मसात कर लेता है।
प्रयोग: चीट शीट लिखने के तीन तरीके
शोधकर्ताओं ने "शिक्षक टोपी" के लिए "चीट शीट" (संदर्भ) लिखने के तीन अलग-अलग तरीकों का परीक्षण किया:
- "स्कोरकार्ड" (GRPO): अंत में केवल एक साधारण "सही" या "गलत" स्कोर।
- परिणाम: छात्र थोड़ा सीखता है, लेकिन यह घास के ढेर में सुई खोजने जैसा है। उन्हें ठीक से पता नहीं चलता कि वे कहाँ चूक गए।
- "परफेक्ट सॉल्यूशन" (RefSol): चीट शीट में एक विशेषज्ञ द्वारा लिखा गया पूर्ण, आदर्श समाधान शामिल है।
- परिणाम: स्कोरकार्ड से बेहतर, लेकिन फिर भी अव्यवस्थित। क्योंकि विशेषज्ञ "चरण 1: 5 जोड़ें" लिख सकता है जबकि छात्र ने "चरण 1: योग की गणना करें" लिखा हो सकता है, छात्र भ्रमित हो जाता है। शिक्षक छात्र को अपने हर चरण को विशेषज्ञ की शैली से मिलाने के लिए मजबूर करता है, यहाँ तक कि उन चरणों को भी जिन्हें छात्र ने सही किया था। यह एक कोच की तरह है जो धावक से कहता है, "तुम अच्छा दौड़े, लेकिन तुम्हें अपने घुटने ऊंचे उठाने चाहिए थे, अपने हाथ अलग तरह से लहराने चाहिए थे, और अलग लय में सांस लेनी चाहिए थी," भले ही धावक पहले से ही पूरी तरह से दौड़ रहा था।
- "चरण-दर-चरण आलोचना" (StepAlignFB): यह विजेता है। ट्यूटर छात्र के वास्तविक काम को देखता है। यदि छात्र ने एक चरण सही किया, तो ट्यूटर कहता है, "बहुत बढ़िया, बिल्कुल ऐसा ही करते रहें।" यदि छात्र ने गलती की, तो ट्यूटर कहता है, "यहीं रुकें। आप चरण 4 पर गलत हो गए। यहाँ सुधार है," और फिर छात्र की अपनी शैली का उपयोग करते हुए आगे बढ़ता है।
- परिणाम: यह सबसे प्रभावी तरीका था। यह उस कोच की तरह है जो धावक को देखता है, कहता है, "आपके पहले तीन कदम एकदम सही थे, इसी लय को बनाए रखें! लेकिन आपका चौथा कदम बहुत छोटा था। बस इसे ठीक करें, और फिर ठीक वैसे ही आगे बढ़ें जैसे आप थे।"
बड़ी खोज: "फेथफुल स्क्राइब" (Faithful Scribe)
शोधकर्ताओं ने पाया कि सबसे महत्वपूर्ण चीज़ एलाइनमेंट (Alignment) है। फीडबैक छात्र के अपने पथ से मेल खाना चाहिए।
- "इंडक्शन हेड" सादृश्य: शोधकर्ताओं ने पाया कि AI मॉडल में "इंडक्शन" नामक एक अंतर्निहित आदत होती है। यदि आप उन्हें टेक्स्ट में एक पैटर्न दिखाते हैं, तो वे उसकी नकल करने की प्रवृत्ति रखते हैं।
- यदि आप छात्र को अपना गलत उत्तर दिखाते हैं और फिर कहते हैं "इसे ठीक करें," तो AI भ्रमित हो जाता है और गलत हिस्से की नकल करता रहता है क्योंकि वह वहीं मौजूद है।
- जीतने वाली रणनीति यह थी कि छात्र के सही हिस्सों को शब्द-दर-शब्द कॉपी करना (ताकि AI उन्हें "अच्छा" देखे और उन्हें रखे) लेकिन गलत हिस्से को हटा देना और उसे सुधार के साथ बदल देना। यह AI को यह सोचने के लिए मजबूर करता है कि, "ओह, जो हिस्से मैंने पहले लिखे थे वे अच्छे थे, इसलिए मैं उन्हें रखूँगा। जो हिस्सा गायब है, वही जिसे ठीक करने की आवश्यकता है।"
मुख्य निष्कर्ष
शोध पत्र निष्कर्ष निकालता है कि आप फीडबैक कैसे देते हैं, यह केवल कोई भी फीडबैक देने से अधिक मायने रखता है।
- खराब फीडबैक: "आप असफल रहे।" (बहुत अस्पष्ट)
- ठीक-ठाक फीडबैक: "यहाँ एक आदर्श उत्तर है।" (छात्र की शैली से बहुत अलग, जिससे भ्रम पैदा होता है)
- सर्वश्रेष्ठ फीडबैक: "आपने ये चरण पूरी तरह से किए। आप इस विशिष्ट चरण में गलती कर गए। यहाँ सुधार है। अब, ठीक वैसे ही जारी रखें जैसे आप थे।"
इस "स्टेप-अलाइन्ड क्रिटीक" का उपयोग करके, मॉडल ने अपने उन हिस्सों पर आत्मविश्वास खोए बिना अपनी गलतियों को सुधारना सीखा जो वह पहले से ही सही कर रहा था, जिससे अन्य तरीकों की तुलना में बहुत बेहतर गणित-हल करने के कौशल प्राप्त हुए।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।