Barriers to Universal Reasoning With Transformers (And How to Overcome Them)
यह लेख दर्शाता है कि जबकि मानक चेन-ऑफ-थॉट ट्रांसफॉर्मर कॉपी करने और रिट्रीवल (पुनर्प्राप्ति) की अंतर्निहित सीमाओं के कारण लंबे रीजनिंग पाथ्स (तर्क पथों) तक सामान्यीकरण नहीं कर सकते हैं, वे अद्वितीय वेफाइंडर टोकन (wayfinder tokens) और वैल्यू-चेंज एनकोडिंग (value-change encodings) के साथ एक बढ़ते हुए वोकैबुलरी (शब्दकोश) का उपयोग करके लंबाई-सामान्यीकरण योग्य ट्यूरिंग पूर्णता (length-generalizable Turing completeness) प्राप्त कर सकते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
बड़ी तस्वीर: वह "होशियार छात्र" जो भूल जाता है
कल्पना कीजिए कि एक बहुत ही होशियार छात्र (ट्रांसफॉर्मर) जटिल पहेलियाँ सुलझाना सीख रहा है। उनकी मदद करने के लिए, शिक्षक उन्हें एक "रफ नोटबुक" (scratchpad) देते हैं जहाँ वे अपने विचारों को चरण-दर-चरण लिख सकते हैं। इसे चेन-ऑफ-थॉट (CoT) कहा जाता है।
पिछले शोधों ने दिखाया था कि, सैद्धांतिक रूप से, यह छात्र इस रफ नोटबुक की मदद से किसी भी पहेली को हल कर सकता था, चाहे वह कितनी भी कठिन क्यों न हो। यह ऐसा था जैसे उन्हें एक सुपरपावर दे दी गई हो।
हालाँकि, इस पेपर के लेखकों ने एक गंभीर खामी खोजी: यह छात्र उन पहेलियों को सुलझाने में तो उत्कृष्ट है जिन्हें उसने अभ्यास किया है, लेकिन जब पहेलियाँ लंबी हो जाती हैं, तो वह बुरी तरह विफल हो जाता है। यदि आप उन्हें 10-चरण वाली पहेली पर प्रशिक्षित करते हैं, तो वे 20-चरण वाली पहेली को हल नहीं कर पाते, भले ही तर्क बिल्कुल समान हो। वे एक ऐसे "सीलिंग" (सीमा) से टकरा जाते हैं जहाँ उनकी तर्क करने की क्षमता ढह जाती है।
यह पेपर पूछता है: ऐसा क्यों होता है, और क्या हम इसे ठीक कर सकते हैं?
दो प्रमुख बाधाएँ
लेखकों ने पाया कि छात्र के मस्तिष्क (ट्रांसफॉर्मर) में दो विशिष्ट "बग्स" (खामियाँ) हैं जो उसे लंबे कार्यों तक पहुँचने से रोकते हैं।
1. "फोटोकॉपी" बग (बार-बार कॉपी करना)
कल्पना कीजिए कि छात्र को एक किताब से निर्देशों की एक लंबी सूची अपनी रफ नोटबुक में कॉपी करनी है।
- समस्या: यदि सूची छोटी है, तो वे इसे आसानी से कॉपी कर सकते हैं। लेकिन जब सूची लंबी होती है, तो वे भ्रमित हो जाते हैं। वे एक लंबे पन्ने के बीच से उस सटीक लाइन को खोजने में सक्षम नहीं होते जिसे उन्हें कॉपी करना है, बिना अपना स्थान खोए।
- पेपर का दावा: मानक ट्रांसफॉर्मर लंबे टेक्स्ट के बीच जानकारी को "कॉपी" करने में संघर्ष करते हैं जब लंबाई बदल जाती है। वे लंबे टेक्स्ट के बीच में खो जाते हैं।
2. "लास्ट सीन" बग (रिट्रीवल/पुनर्प्राप्ति)
कल्पना कीजिए कि छात्र एक वेरिएबल (variable) को ट्रैक कर रहा है, जैसे कि "X का मान"।
- समस्या: यदि छात्र लिखता है "X = 5", फिर "X = 7", और फिर "X = 5" फिर से, तो उसे पता होना चाहिए कि वर्तमान मान कौन सा है। विचारों की एक लंबी श्रृंखला में, छात्र अक्सर भूल जाता है कि कौन सा "5" नवीनतम है। वे पेज की शुरुआत में मौजूद पुराने "5" को उठा सकते हैं बजाय इसके कि वे नए वाले को देखें।
- पेपर का दावा: मॉडल लंबे इतिहास में हुए बदलावों में से सबसे हालिया अपडेट को खोजने में संघर्ष करता है। यह वैसा ही है जैसे 1,000 पन्नों की डायरी में यह ढूंढना कि आपने आखिरी बार सेब कब खाया था।
समाधान: रफ नोटबुक पर लिखने का एक नया तरीका
लेखकों ने इन बग्स को ठीक करने के लिए दो चतुर तरकीबें सुझाई हैं। वे छात्र के मस्तिष्क को नहीं बदलते; वे केवल यह बदलते हैं कि निर्देशों को रफ नोटबुक पर कैसे लिखा जाए।
तरकीब #1: "नाम टैग" (साइनपोस्ट टोकन)
फोटोकॉपी बग को ठीक करने के लिए, लेखक सुझाव देते हैं कि पहेली के हर तत्व को एक विशिष्ट आईडी कार्ड या "नाम टैग" दिया जाए।
- यह कैसे काम करता है: यह कहने के बजाय कि "लाइन 50 पर जाओ", निर्देश बन जाता है "उस तत्व पर जाओ जिसका नाम टैग #42 है"।
- यह क्यों मदद करता है: भले ही सूची लंबी हो जाए, छात्र को लाइन 50 तक गिनने की आवश्यकता नहीं है। वे बस विशिष्ट नाम टैग को देखते हैं। यह एक लाइब्रेरी की तरह है जहाँ हर किताब का एक विशिष्ट बारकोड होता है, ताकि आपको जो चाहिए उसे खोजने के लिए पूरी शेल्फ को खोजने की जरूरत न पड़े।
तरकीब #2: "चेंज लॉग" (वैल्यू-चेंज-एनकोडिंग)
लास्ट सीन बग को ठीक करने के लिए, लेखक सुझाव देते हैं कि छात्र क्या लिखता है, उसमें बदलाव किया जाए।
- पुरानी विधि: छात्र हर बार पूरा वर्तमान स्टेट (state) लिखता है (जैसे, "X 5 है", फिर "X 7 है", फिर "X 5 है")। यह बहुत सारा शोर (noise) पैदा करता है और यह जानना कठिन बना देता है कि नवीनतम क्या है।
- नई विधि: छात्र केवल क्या बदला, इसे लिखता है।
- "X 5 है" लिखने के बजाय, वे लिखते हैं "X 5 से 7 में बदला"।
- फिर से "X 5 है" लिखने के बजाय, वे लिखते हैं "X 7 से 5 में बदला"।
- यह क्यों मदद करता है: वर्तमान मान को खोजने के लिए, छात्र बस बदलावों को गिनता है। यदि वे "5 से 7" और फिर "7 से 5" देखते हैं, तो वे जानते हैं कि वर्तमान मान 5 है। यह हर बार बैंक बैलेंस को दोबारा लिखने के बजाय लेनदेन का हिसाब (ledger) रखने जैसा है।
परिणाम: सिद्धांत बनाम वास्तविकता
पेपर इन विचारों का परीक्षण दो तरीकों से करता है:
गणितीय प्रमाण (सिद्धांत):
- बुरी खबर: यदि आप शब्दों के एक निश्चित सेट (एक सीमित वर्णमाला) और मानक लेखन शैलियों पर टिके रहते हैं, तो छात्र एक निश्चित जटिलता (विशेष रूप से, TC0 नामक समस्याओं की श्रेणी) से अधिक लंबी पहेलियाँ हल करने के लिए प्रशिक्षित नहीं हो सकता। वे गणितीय रूप से फंस जाते हैं।
- अच्छी खबर: यदि आप छात्र को अद्वितीय नाम टैग (साइनपोस्ट) का अनंत भंडार उपयोग करने की अनुमति देते हैं और "चेंज लॉग" विधि लागू करते हैं, तो वे सैद्धांतिक रूप से किसी भी पहेली को हल कर सकते हैं, चाहे वह कितनी भी लंबी क्यों न हो।
प्रयोग (वास्तविकता):
- लेखकों ने तीन कठिन कार्यों पर स्क्रैच से छोटे कंप्यूटर मॉडल को प्रशिक्षित किया:
- पैरिटी (Parity): यह गिनना कि संख्याओं की स्ट्रिंग में 1 की संख्या विषम है या सम।
- बूलियन इवैल्यूएशन (Boolean Evaluation): जटिल लॉजिक पज्ज़ल्स को हल करना (सही/गलत)।
- S5 परम्यूटेशन (S5 Permutation): 5 वस्तुओं के आपस में बदलने (swap) को ट्रैक करना।
- परिणाम:
- स्टैंडर्ड विधि के साथ प्रशिक्षित मॉडल तब विफल हो गए जब पहेलियाँ लंबी हो गईं।
- नाम टैग और चेंज लॉग के साथ प्रशिक्षित मॉडल उन लंबी पहेलियों को हल करने में बहुत बेहतर थे जिन्हें उन्होंने पहले कभी नहीं देखा था।
- उन्होंने बड़े, प्री-ट्रेंड AI मॉडल्स (जैसे Llama और Mistral) पर भी परीक्षण किया। उन्हें फिर से प्रशिक्षित किए बिना भी, केवल उन्हें अपने उत्तरों में नाम टैग और चेंज लॉग का उपयोग करने के लिए प्रॉम्प्ट (निर्देश) देने से, वे लंबे, कठिन समस्याओं को हल करने में काफी स्मार्ट हो गए।
- लेखकों ने तीन कठिन कार्यों पर स्क्रैच से छोटे कंप्यूटर मॉडल को प्रशिक्षित किया:
निष्कर्ष
पेपर यह निष्कर्ष निकालता है कि चेन-ऑफ-थॉट कोई जादू नहीं है। AI मॉडल को केवल यह कहना कि "कदम-दर-कदम सोचें" पर्याप्त नहीं है, यदि उनके सोचने का तरीका लंबी सूचियों में खो जाने वाला है।
AI को दीर्घकालिक तर्क (long-term reasoning) में वास्तव में विश्वसनीय बनाने के लिए, हमें "विचारों" को इस तरह फॉर्मेट करना होगा कि दो मुख्य बाधाओं से बचा जा सके:
- हर चरण को एक अद्वितीय नाम टैग दें ताकि कुछ भी खो न जाए।
- केवल बदलावों को रिकॉर्ड करें ताकि मॉडल पुरानी जानकारी से भ्रमित न हो।
तर्क के फॉर्मेट को ठीक करके, हम AI मॉडल्स को उनकी वर्तमान सीमाओं को तोड़ने और कहीं अधिक कठिन समस्याओं को हल करने में मदद कर सकते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।