Finding the Evidence: Discovering Decision-Supporting Tokens for On-Policy Reasoning Distillation
यह शोध पत्र DEAR का प्रस्ताव करता है, जो एक नवीन ऑन-पॉलिसी डिस्टिलेशन फ्रेमवर्क है जो न केवल छात्र अनिश्चितता (student uncertainty) के माध्यम से निर्णय बिंदुओं की पहचान करके, बल्कि हिडन-स्टेट समानता और विचलन (hidden-state similarity and divergence) के माध्यम से महत्वपूर्ण सहायक साक्ष्य टोकन की भी पहचान करके रीजनिंग ट्रांसफर में सुधार करता है, जिससे यह गणित और कोड बेंचमार्क पर मानक विधियों से बेहतर प्रदर्शन करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक युवा प्रशिक्षु (छात्र) को एक कुशल कारीगर (शिक्षक) को देखते हुए जटिल पहेलियाँ हल करना सिखाने की कोशिश कर रहे हैं।
AI की दुनिया में, इस प्रक्रिया को ऑन-पॉलिसी डिस्टिलेशन (On-Policy Distillation) कहा जाता है। प्रशिक्षु एक समस्या को हल करने की कोशिश करता है, और शिक्षक उसे देखता है, प्रशिक्षु द्वारा लिखे गए हर एक शब्द को सुधारता है।
यह पेपर तर्क देता है कि इसे करने का वर्तमान तरीका त्रुटिपूर्ण है। यह ऐसा ही है जैसे शिक्षक प्रशिक्षु द्वारा लिखे गए हर शब्द को सुधार रहा हो, चाहे वह "चलिए शुरू करते हैं" हो या "उत्तर 42 है।" यह प्रशिक्षु को बहुत अधिक शोर (noise) से अभिभूत कर देता है।
लेखकों ने पाया कि सभी शब्द समान नहीं होते हैं। उन्होंने पाया कि तर्क श्रृंखलाओं (reasoning chains) में वास्तव में दो बहुत अलग प्रकार के "ज्ञान" होते हैं, और उन्हें दो अलग-अलग तरीकों से सिखाने की आवश्यकता होती है।
ज्ञान के दो प्रकार: "टर्न" (Turn) और "प्रूफ" (Proof)
इस पेपर की खोज को समझने के लिए, कल्पना कीजिए कि प्रशिक्षु एक भूलभुलैया (maze) में रास्ता खोज रहा है।
निर्णय टोकन (The Turns - मोड़): ये वे क्षण हैं जहाँ प्रशिक्षु को एक रास्ता चुनना होता है। "क्या मैं बाएँ जाऊँ या दाएँ?" "क्या मुझे जोड़ना चाहिए या घटाना चाहिए?"
- हम उन्हें कैसे पाते हैं: जब प्रशिक्षु अनिश्चित होता है, तो वह हिचकिचाता है। AI के संदर्भ में, यह उच्च अनिश्चितता (या उच्च "एन्ट्रॉपी") है। वर्तमान तरीके इन क्षणों को पहचानने में अच्छे हैं क्योंकि प्रशिक्षु स्पष्ट रूप से भ्रमित दिखाई देता है।
- उपमा: ये चौराहे हैं। शिक्षक जानता है कि उसे रुकना चाहिए और कहना चाहिए, "हे, यहाँ देखो! यह वह जगह है जहाँ तुम्हें गहराई से सोचना चाहिए।"
साक्ष्य टोकन (The Evidence - प्रमाण): ये वे चरण हैं जो प्रशिक्षु निर्णय लेने के बाद लेता है। "मैंने बायाँ रास्ता चुना, इसलिए मैं 10 कदम चलूँगा।"
- समस्या: कभी-कभी, प्रशिक्षु आत्मविश्वासी लेकिन गलत होता है। वह आत्मविश्वास से कह सकता है, "मैं 10 कदम चलूँगा," लेकिन शिक्षक जानता है कि रास्ता वास्तव में 12 कदम का है। क्योंकि प्रशिक्षु इतना आत्मविश्वासी है, वह हिचकिचाता नहीं है। उसकी "अनिश्चितता मीटर" कम रहती है।
- अंध बिंदु (Blind Spot): वर्तमान शिक्षण विधियाँ केवल "अनिश्चित" क्षणों (मोड़ों) को देखती हैं। वे इन "आत्मविश्वासी लेकिन गलत" चरणों को पूरी तरह से छोड़ देती हैं। प्रशिक्षु यह सीखता है कि कहाँ मुड़ना है, लेकिन यह नहीं कि कैसे सही रास्ता तय करना है। वह तर्क के ढांचे (skeleton) को तो सीख जाता है, लेकिन उसके मांस और रक्त (तथ्यों) को मिस कर देता है।
समाधान: DEAR (डिसीजन-एविडेंस अवेयर रीजनिंग)
लेखक DEAR नामक एक नई विधि प्रस्तावित करते हैं। केवल भ्रम खोजने के बजाय, DEAR छिपे हुए "आत्मविश्वासी लेकिन गलत" चरणों को खोजने के लिए दो-चरणीय जासूसी प्रक्रिया का उपयोग करता है।
चरण 1: मोड़ (निर्णय) खोजें
पहले की तरह ही, सिस्टम उन क्षणों को देखता है जहाँ प्रशिक्षु अनिश्चित होता है। ये "निर्णय टोकन" (Decision Tokens) हैं।
चरण 2: प्रमाण (साक्ष्य) खोजें
यह सबसे चतुर हिस्सा है। एक बार जब सिस्टम को एक "टर्न" मिल जाता है, तो वह पूछता है: "इस वाक्य में और कौन से चरण इस 'टर्न' से जुड़े हुए हैं?"
- उपमा: कल्पना कीजिए कि प्रशिक्षु एक कहानी लिखता है। "टर्न" कहानी का मोड़ (plot twist) है। "एविडेंस" वह पैराग्राफ है जो समझाता है कि वह मोड़ क्यों आया। भले ही प्रशिक्षु स्पष्ट रूप से (और शायद एक विवरण गलत तरीके से) व्याख्या लिख रहा हो, फिर भी वह पैराग्राफ उस प्लॉट ट्विस्ट से गहराई से जुड़ा हुआ है।
- DEAR इसे कैसे करता है: यह AI के "छिपे हुए विचारों" (आंतरिक डेटा) को देखता है। यह जाँचता है कि क्या "आत्मविश्वासी" शब्द उन "अनिश्चित" निर्णय शब्दों के साथ समान "वाइब" या संदर्भ साझा करते हैं। यदि वे ऐसा करते हैं, तो DEAR उन्हें महत्वपूर्ण साक्ष्य टोकन (Evidence Tokens) के रूप में चिह्नित करता है जिन्हें सुधारने की आवश्यकता है, भले ही प्रशिक्षु भ्रमित न दिखा हो।
यह एक "गैप चेक" भी जोड़ता है: यदि शिक्षक और छात्र एक चरण पर दृढ़ता से असहमत हैं, तो उस चरण को अतिरिक्त ध्यान दिया जाता है।
यह क्यों मायने रखता है (परिणाम)
लेखकों ने गणित की समस्याओं और कोडिंग कार्यों पर इस परीक्षण को किया।
- परिणाम: प्रशिक्षु को न केवल यह सिखाकर कि कहाँ मुड़ना है, बल्कि यह भी कि कैसे रास्ता तय करना है (साक्ष्य), छात्र बहुत बेहतर हुआ।
- आंकड़े:
- गणित प्रतियोगिताओं में, नई विधि ने स्कोर में 2.5 प्रतिशत अंक तक सुधार किया।
- कोडिंग में, इसने स्कोर में 5.7 प्रतिशत अंक तक सुधार किया।
- महत्वपूर्ण रूप से, इसने सबसे कठिन समस्याओं पर सबसे अधिक मदद की, जहाँ तर्क की लंबी श्रृंखलाओं की आवश्यकता होती है।
संक्षेप में
पुराने तरीके को एक ऐसे शिक्षक के रूप में सोचें जो छात्र को केवल तभी रोकता है जब वह चौराहे पर खोया हुआ दिखता है।
DEAR एक ऐसे शिक्षक के रूप में है जो चौराहे पर छात्र को रोकता है और उसके तुरंत बाद लिए गए कदमों की भी जाँच करता है, उन्हें सुधारता भी है भले ही छात्र आत्मविश्वास के साथ गलत दिशा में चल रहा हो।
इन "छिपे हुए" गलतियों को खोजकर, छात्र समाधान के पूर्ण तर्क को सीखता है, न कि केवल उच्च-स्तरीय विकल्पों को।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।