A Verifiable Search Is Not a Learnable Chain-of-Thought
यह शोध पत्र यह प्रदर्शित करता है कि जबकि मॉडल तर्क संबंधी कार्यों के लिए समाधानों को सत्यापित करने और उन्हें याद रखने में प्रभावी ढंग से सक्षम हो सकते हैं, वे फॉरवर्ड चेन-ऑफ-थॉट डेरिवेशंस के रूप में सत्यापन योग्य खोज प्रक्रियाओं को सीखने में मौलिक रूप से विफल रहते हैं, चाहे मॉडल का पैमाना या प्रशिक्षण विधि कुछ भी हो, क्योंकि ऐसे कार्यों में नकल करने के लिए एक निष्ठावान, सूचना-संरक्षण वाला चरण-दर-चरण पथ का अभाव होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक बहुत ही बुद्धिमान लेकिन शाब्दिक अर्थों को समझने वाले (literal-minded) प्रशिक्षु (apprentice) को एक जटिल पहेली हल करना सिखाने की कोशिश कर रहे हैं। आपके पास एक आदर्श मास्टर हल करने वाला है जो हर बार पहेली को सुलझा सकता है। आपकी योजना सरल है: मास्टर की चरण-दर-चरण सोचने की प्रक्रिया (Chain of Thought) को एक नोटबुक में लिख दें, उसे प्रशिक्षु को दिखाएं, और उम्मीद करें कि वे तर्क को सीखेंगे और स्वयं पहेली को हल करेंगे।
यह शोध पत्र तर्क देता है कि यह योजना कुछ पहेलियों के लिए काम करती है, लेकिन अन्य के लिए बुरी तरह विफल हो जाती है, और इसका कारण यह नहीं है कि प्रशिक्षु "मूर्ख" है। बल्कि, इसका कारण यह है कि पहेली को कैसे हल किया जाता है।
यहाँ सरल उपमाओं का उपयोग करके शोध पत्र के निष्कर्षों का विवरण दिया गया है:
1. पहेलियों के दो प्रकार
शोधकर्ता ने प्रशिक्षु का नौ अलग-अलग प्रकार के तर्क संबंधी पहेलियों पर परीक्षण किया। वे दो स्पष्ट समूहों में विभाजित थे:
"सीधी रेखा" वाली पहेलियाँ (आसान वाली):
इसे एक रेसिपी (विधि) का पालन करने की तरह समझें। "मैदा मिलाएं, अंडे डालें, 20 मिनट तक बेक करें।" चरण शुरू से अंत तक एक सीधी रेखा में चलते हैं। यदि आप इन चरणों को लिख देते हैं और प्रशिक्षु को सिखाते हैं, तो वे इसे पूरी तरह से सीख जाते हैं। शोध पत्र में पाया गया कि रोमन अंकों या सरल गणित परिवर्तनों जैसे कार्यों के लिए, प्रशिक्षु मास्टर के चरणों की नकल कर सकता था और 99% बार सही उत्तर दे सकता था।- सबक: यदि समाधान एक सीधा मार्ग है, तो आप मार्ग दिखाकर उसे सिखा सकते हैं।
"बैकट्रैकिंग" (पीछे मुड़ने वाली) पहेलियाँ (कठिन वाली):
इसे एक विशाल, अंधेरी भूलभुलैया की तरह समझें जहाँ आपको यह अनुमान लगाना होता है कि कौन सा दरवाजा सही है। यदि आप एक बंद रास्ते (dead end) पर पहुँच जाते हैं, तो आपको वापस शुरुआत में जाना होगा और दूसरा दरवाजा आज़माना होगा। मास्टर हल करने वाला यह काम इस तरह करता है: वह एक दरवाजा आज़माता है, महसूस करता है कि वह गलत है, उस विचार को मिटा देता है, और दूसरा प्रयास करता है।- समस्या: आप इस प्रक्रिया की "सीधी रेखा" वाली कहानी नहीं लिख सकते। एक ऐसी कहानी जो कहती है "मैंने दरवाजा A आज़माया, वह विफल रहा, मैंने दरवाजा B आज़माया, वह विफल रहा..." वास्तव में एक झूठ है यदि प्रशिक्षु के पास वास्तविक समय में अपने पिछले विचारों को मिटाने और पीछे जाने की क्षमता नहीं है।
2. "वदिक्ट-एज़-टोकन" (Verdict-as-Token) का जाल
शोधकर्ता ने "बैकट्रैकिंग" पहेलियों (विशेष रूप से 'क्रिप्टारिदम' नामक प्रकार, जहाँ आपको पता लगाना होता है कि कौन सा अक्षर किस संख्या को दर्शाता है) के साथ एक विशिष्ट विफलता मोड पाया।
जब शोधकर्ता ने प्रशिक्षु को मास्टर की "खोज" (search) प्रक्रिया सिखाई, तो प्रशिक्षु ने खोजने के तर्क को नहीं सीखा। इसके बजाय, उसने उत्तर के आकार को सीख लिया।
- उपमा: कल्पना कीजिए कि मास्टर कहता है, "मैंने लाल दरवाजा चेक किया, वह गलत था, इसलिए मैंने उसे हटा दिया।" प्रशिक्षु "लाल दरवाजा हटाओ" वाक्यांश को रट लेता है, लेकिन यह नहीं समझता कि वह क्यों गलत था।
- परिणाम: जब प्रशिक्षु एक नई पहेली को खुद हल करने की कोशिश करता है, तो वह लाल दरवाजे को देखता है और अंधाधुंध कहता है, "लाल दरवाजा हटाओ," भले ही वह लाल दरवाजा वास्तव में सही वाला हो। वह कहानी को समझे बिना केवल एक स्क्रिप्ट पढ़ रहा होता है। शोध पत्र इसे "वदिक्ट-एज़-टोकन" कहता है: मॉडल निष्कर्ष को बोले जाने वाले एक निश्चित शब्द के रूप में मानता है, न कि साक्ष्य पर आधारित एक निर्णय के रूप में।
3. बड़े दिमागों से भी कोई मदद नहीं मिली
शोधकर्ता ने इसे छोटे से लेकर बहुत बड़े (671 बिलियन पैरामीटर्स तक) विभिन्न मॉडलों पर आज़माया।
- निष्कर्ष: विशाल मॉडलों ने भी "बैकट्रैकिंग" पहेलियों में विफल होने पर भी अपनी प्रगति दिखाने के लिए संघर्ष किया। वे सभी एक ही निम्न स्तर (लगभग 5% सटीकता) पर अटक गए।
- कारण: समस्या मस्तिष्क के आकार की नहीं थी; यह उस सोचने के प्रकार की थी जिसकी आवश्यकता थी। आप मॉडल को "क्या आज़माया और वापस कैसे जाएँ" यह याद रखने के लिए मजबूर नहीं कर सकते यदि उसका आंतरिक आर्किटेक्चर कहानी लिखते समय उस तरह के "सर्च स्टेट" को बनाए रखने के लिए डिज़ाइन नहीं किया गया है।
4. "जादुई कुंजी" प्रयोग
यह साबित करने के लिए कि समस्या खोज (search) थी न कि गणित, शोधकर्ता ने एक चतुर चाल चली। उन्होंने प्रशिक्षु को एक "चीट शीट" (साइफर की) दी जिसने भूलभुलैया को एक सीधी रेखा में बदल दिया।
- परिणाम: जैसे ही खोज (search) को हटा दिया गया और कार्य एक सीधी रेखा वाली गणना बन गया, प्रशिक्षु की सटीकता 3% से बढ़कर 57% हो गई।
- निष्कर्ष: मॉडल गणित और तर्क पूरी तरह से कर सकता था। बस वह कहानी लिखते समय "खोज" वाला हिस्सा नहीं कर पा रहा था।
5. वास्तविक समाधान: याद रखना, तर्क करना नहीं
तो, कठिन पहेलियों को जीतने वाला कौन था? उन्होंने मॉडल को खोजना नहीं सिखाया।
- रणनीति: उन्होंने महसूस किया कि भूलभुलैया में सीमित संख्या में संभावित पथ हैं। मॉडल को भूलभुलैया में चलना सिखाने के बजाय, उन्होंने मॉडल को हर संभावित भूलभुलैया लेआउट का नक्शा याद करने के लिए कहा।
- उपमा: प्रशिक्षु को भूलभुलैया में रास्ता दिखाना सिखाने के बजाय, आप उन्हें एक किताब देते हैं जिसमें लिखा है, "यदि भूलभुलैया ऐसी दिखती है, तो उत्तर यह है।" मॉडल ने इस किताब (समाधानों की एक सूची) को याद कर लिया और फिर उसे बस यह जांचना था कि क्या उत्तर फिट बैठता है।
- टेकअवे (सीख): शोध पत्र निष्कर्ष निकालता है कि इन कठिन खोज समस्याओं के लिए, याद करना काम करता है, लेकिन खोज प्रक्रिया का सार निकालना (distilling) विफल रहता है।
सारांश
शोध पत्र का मुख्य संदेश है: आप केवल खोज के चरणों को दिखाकर किसी मॉडल को "खोजना" नहीं सिखा सकते।
- यदि कार्य एक सीधी रेखा है, तो चरणों को दिखाना काम करता है।
- यदि कार्य के लिए बैकट्रैकिंग (कोशिश करना, विफल होना और फिर से कोशिश करना) की आवश्यकता है, तो मॉडल विफलता के शब्दों को याद कर लेगा, उसके तर्क को नहीं।
- इन कठिन कार्यों को हल करने के लिए, या तो आपको मॉडल को स्वयं खोज करने के लिए प्रशिक्षित करना होगा (जो कठिन है) या उत्तरों को पहले से तैयार करके मॉडल को संभावनाओं के कैटलॉग (सूची) को याद करने के लिए प्रशिक्षित करना होगा।
यह शोध पत्र AI शोधकर्ताओं के लिए एक चेतावनी है: केवल इसलिए कि एक कंप्यूटर प्रोग्राम किसी समस्या को हल कर सकता है, इसका मतलब यह नहीं है कि एक भाषा मॉडल (language model) केवल उस प्रोग्राम के नोट्स पढ़कर उस समाधान तक पहुँचने के लिए "सोच" सकता है। कभी-कभी, सीखने का एकमात्र तरीका यात्रा नहीं, बल्कि मानचित्र को याद रखना होता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।