Answer-Conditioned Chains of Thought Degrade Verifiable-Reasoning Distillation in Large Language Models
यह शोध पत्र यह प्रदर्शित करता है कि गोल्ड आंसर (gold answer) पर चेन-ऑफ-थॉट जनरेशन को कंडिशन करके लार्ज लैंग्वेज मॉडल्स में रीजनिंग क्षमताओं को डिस्टिल करना, सत्यापन योग्य रीजनिंग प्रदर्शन को महत्वपूर्ण रूप से कम कर देता है, क्योंकि परिणामी डेटा वास्तविक व्युत्पत्ति के बजाय पश्चगामी तर्कसंगतता (backward rationalization) को प्रोत्साहित करता है, एक ऐसा दोष जिसे मानक शुद्धता फ़िल्टरिंग पहचानने में विफल रहती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट को एक कठिन पहेली सुलझाना सिखाने की कोशिश कर रहे हैं। आर्टिफिशियल इंटेलिजेंस की दुनिया में, इन रोबोट्स को 'लार्ज लैंग्वेज मॉडल्स' (LLMs) कहा जाता है, और वे बात करने, लिखने और यहाँ तक कि गणित की समस्याओं को हल करने में अविश्वसनीय रूप से कुशल होते हैं। लेकिन तर्क करने (reasoning) में वास्तव में स्मार्ट बनने के लिए, उन्हें अपनी "सोचने की प्रक्रिया" का अभ्यास करने की आवश्यकता होती है। इस प्रक्रिया को अक्सर "चेन ऑफ थॉट" (Chain of Thought) कहा जाता है, जो बस एक फैंसी तरीका है यह कहने का कि रोबोट अपना अंतिम उत्तर देने से पहले अपने स्टेप-बाय-स्टेप लॉजिक को लिखता है, ठीक वैसे ही जैसे आप गणित के टेस्ट में अपना काम दिखाते हैं।
आमतौर पर, जब वैज्ञानिक इन रोबोट्स को प्रशिक्षित करते हैं, तो वे रोबोट को अपने आप समस्या हल करने की कोशिश करने देते हैं। यदि रोबोट सही उत्तर देता है, तो वे उस सोचने की प्रक्रिया को बाद में अध्ययन करने के लिए एक अच्छे उदाहरण के रूप में सहेज लेते हैं। यदि वह गलत होता है, तो वे उस उदाहरण को फेंक देते हैं। लेकिन कभी-कभी, रोबोट संघर्ष करता है और उत्तर नहीं खोज पाता। इसलिए, एक आम ट्रिक यह है कि रोबोट को पहले सही उत्तर दिखा दिया जाए और कहा जाए, "हे, यह रहा उत्तर; अब एक कहानी लिखो कि तुमने इसे कैसे पता लगाया।" यह एक स्मार्ट शॉर्टकट लगता है: आपको एक सही उत्तर और उससे मेल खाती एक कहानी मिल जाती है, तो आप इसे प्रशिक्षण के लिए उपयोग कर सकते हैं, है ना?
यह शोध पत्र इस शॉर्टकट के साथ जुड़ी एक चालाकी भरी समस्या की जांच करता है। शोधकर्ताओं ने पाया कि जब आप रोबोट को सोचने से पहले ही उत्तर दिखा देते हैं, तो रोबोट एक बुरी आदत सीख जाता है। वास्तव में समाधान को स्टेप-दर-स्टेप समझने के बजाय, वह एक ऐसी कहानी लिखना शुरू कर देता है जो पहले से ज्ञात उत्तर से पीछे की ओर (backward) चलती है। यह बिल्कुल वैसा ही है जैसे कोई छात्र परीक्षा देने से पहले ही उत्तर कुंजी देख लेता है और फिर एक ऐसा निबंध लिखता है जो बिना गणित किए ही उत्तर को सही ठहराता है। पेपर दिखाता है कि भले ही अंतिम उत्तर सही हो, लेकिन "सोच" नकली होती है, और इन नकली कहानियों के साथ रोबोट को सिखाना वास्तव में उसे नए समस्याओं को हल करने में और भी खराब बना देता है।
"चीट शीट" का जाल
शोधकर्ताओं ने इस बात को साबित करने के लिए एक चतुर प्रयोग किया। उन्होंने एक बहुत ही स्मार्ट AI मॉडल लिया और उससे एक ही सेट के कठिन गणित के सवाल दो बार हल करने को कहा। पहले दौर में, उन्होंने उत्तर को पूरी तरह से छिपा दिया, जिससे मॉडल को शून्य से सोचने के लिए मजबूर होना पड़ा। दूसरे दौर में, उन्होंने मॉडल को सही उत्तर दिखाया और उससे एक रीजनिंग चेन (तर्क श्रृंखला) लिखने को कहा जो उस तक पहुँचती हो। उन्होंने यह सुनिश्चित किया कि दोनों समूहों में केवल उन्हीं चेन्स को रखा जाए जो सही उत्तर के साथ समाप्त होती हों, ताकि एक साधारण "सहीपन की जाँच" (correctness check) दोनों में पास हो सके।
फिर, उन्होंने दो नए "छात्र" मॉडल्स को प्रशिक्षित किया। एक छात्र ने केवल उन "ईमानदार" चेन्स का अध्ययन किया जहाँ उत्तर छिपा हुआ था। दूसरे छात्र ने उन "धोखेबाज" (cheated) चेन्स का अध्ययन किया जहाँ उत्तर पहले ही दिखाया गया था। परिणाम चौंकाने वाले थे। वह छात्र जिसने ईमानदार चेन्स का अध्ययन किया था, समस्याओं को हल करने में बेहतर हो गया। लेकिन वह छात्र जिसने चीटेड चेन्स का अध्ययन किया था, वास्तव में और भी खराब हो गया। कठिन प्रतियोगिता-स्तर के गणित के सवालों पर, चीटेड छात्र ने ईमानदार छात्र की तुलना में लगभग 27 अंक की सटीकता खो दी।
"पीछे की ओर वाली कहानी" क्यों नुकसानदेह है
पेपर बताता है कि ऐसा इसलिए होता है क्योंकि उत्तर देखने पर मॉडल का व्यवहार बदल जाता है। जब उत्तर छिपा होता है, तो मॉडल को समाधान खोजने के लिए संघर्ष करना पड़ता है, सुरागों की तलाश करने वाले एक जासूस की तरह अलग-अलग रास्तों को खोजना पड़ता है। लेकिन जब उत्तर दिखाई देता है, तो मॉडल खोजना बंद कर देता है और "तर्कसंगत बनाने" (rationalizing) लगता है। वह एक ऐसी कहानी लिखता है जो ज्ञात निष्कर्ष को सही ठहराती है, और अक्सर अपनी सोच की प्रक्रिया के बिल्कुल शुरुआत में ही उत्तर बता देता है।
शोधकर्ता इसे "आंसर लीकेज" (Answer Leakage) कहते हैं। यह एक ऐसे जादूगर की तरह है जो पहले से ही ट्रिक जानता है और फिर समझाने की कोशिश करता है कि उसने इसे कैसे किया, लेकिन उसका स्पष्टीकरण केवल एक बनावटी कहानी होती है ताकि ट्रिक असली लगे। पेपर ने पाया कि यह बुरी आदत प्रशिक्षण से पहले ही मापी जा सकती है। यदि आप मॉडल के कच्चे विचारों (raw thoughts) को देखें, तो आप देख सकते हैं कि जब उत्तर दृश्यमान होता है, तो वह निष्कर्ष पर बहुत तेज़ी से पहुँच जाता है। यह "आंसर-फर्स्ट" (उत्तर-प्रथम) की आदत एक चेतावनी संकेत है: मॉडल जितनी बार ऐसा करेगा, प्रशिक्षण के दौरान उसे उतना ही अधिक नुकसान होगा।
समाधान: उत्तर न दिखाएं
सबसे महत्वपूर्ण बात यह है कि आप केवल यह जाँचकर इसे ठीक नहीं कर सकते कि अंतिम उत्तर सही है या नहीं। पेपर दिखाता है कि मानक फिल्टर, जो केवल अंतिम परिणाम को देखते हैं, इस समस्या को पूरी तरह से मिस कर देते हैं क्योंकि "चीटेड" चेन्स में वास्तव में सही उत्तर होता है। नुकसान सोचने की प्रक्रिया के अंदर छिपा होता है।
समाधान आश्चर्यजनक रूप से सरल है: मॉडल को यह पता लगाने की कोशिश करते समय उत्तर न दिखाएं। पेपर स्पष्ट रूप से चेतावनी देता है कि भले ही आप मॉडल के विफल होने का इंतज़ार करें और फिर एक "बचाई गई" (rescued) चेन बनाने के लिए उसे उत्तर दिखा दें, फिर भी इसमें एक वास्तविक लागत आती है—सटीकता में 4.0 अंकों की गिरावट। सबसे अच्छा दृष्टिकोण यह है कि उत्तर दृश्यमान हुए बिना ही चेन्स जेनरेट की जाएं। यदि पाइपलाइन को उत्तर दिखाना ही पड़ता है, तो शोधकर्ता निर्देश को बदलने का सुझाव देते हैं: "पहले उत्तर निकालें, फिर उसे बताएं," न कि "बताएं कि आपको यह उत्तर कैसे मिला।" प्रॉम्प्ट लिखने का यह छोटा सा बदलाव मॉडल को निष्कर्ष पर कूदने से रोकता है और खोई हुई सटीकता का लगभग दो-तिहाई हिस्सा वापस ले आता है।
संक्षेप में, यह पेपर साबित करता है कि AI प्रशिक्षण की दुनिया में, एक सही उत्तर का मतलब हमेशा एक सही सबक नहीं होता। यदि आप रोबोट को ज्ञात सत्य से पीछे की ओर काम करना सिखाते हैं, तो वह अपने आप सत्य की खोज करना भूल जाता है। स्मार्ट AI बनाने के लिए, हमें उन्हें अज्ञात के साथ संघर्ष करने देना चाहिए, न कि सोचने शुरू करने से पहले ही उन्हें उत्तर कुंजी दे देनी चाहिए।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।