Arithmetic OOD Failure Unfolds in Stages in Minimal GPTs
यह शोध पत्र न्यूनतम GPTs में अंकगणितीय आउट-ऑफ-डिस्ट्रीब्यूशन विफलता को चार विशिष्ट, प्रयोगात्मक रूप से परीक्षण योग्य चरणों में विभाजित करता है: एक लेआउट बाधा (layout barrier), एक कैरी-सिमेंटिक्स गलत व्याख्या (carry-semantics misinterpretation), एक कंडीशनल रीकंपोजिशन बॉटलनेक (conditional recomposition bottleneck), और लेट-स्टेज टेन्स-रेसिड्यूअल त्रुटियाँ (late-stage tens-residual errors)।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक बहुत ही बुद्धिमान, लेकिन बहुत ही शाब्दिक (literal) रोबोट को जोड़ (addition) करना सिखा रहे हैं। आप उसे दो-अंकों वाली संख्याओं (जैसे 49 + 07) के लाखों उदाहरण दिखाते हैं। रोबोट इसमें बहुत माहिर हो जाता है। वह हर उस नियम को सीख लेता है जिससे अंक आपस में क्रिया करते हैं।
फिर, आप रोबोट को तीन-अंकों वाली संख्याएं (जैसे 201 + 760) जोड़ने के लिए कहते हैं। आप उम्मीद करते हैं कि वह जो कुछ भी जानता है उसे बस "स्केल अप" कर लेगा। लेकिन वह बुरी तरह विफल हो जाता है।
आमतौर पर, शोधकर्ता बस कह देंगे, "ओह, रोबक गणित में बुरा है," और आगे बढ़ जाएंगे। लेकिन यह पेपर एक जासूसी कहानी की तरह है। लेखक, सीन शिंतानी (Seine Shintani), रोबोट को सूक्ष्मदर्शी के नीचे रखते हैं और खोज निकालते हैं कि इसकी विफलता कोई एक बड़ी गड़बड़ी नहीं है। यह चार विशिष्ट चरणों में होती है, जैसे एक कार एक खास क्रम में खराब होती है: पहले पहिए निकल जाते हैं, फिर इंजन बंद हो जाता है, फिर ट्रांसमिशन फिसल जाता है, और अंत में रेडियो बंद हो जाता है।
यहाँ बताया गया है कि क्या गलत हुआ, सरल उपमाओं (analogies) का उपयोग करते हुए:
चरण 1: "यूनिफॉर्म" की समस्या (लेआउट की बाधा)
उपमा: कल्पना कीजिए कि आप एक बच्चे को मानक फ़ॉन्ट में लिखे शब्दों को पढ़ना सिखाते हैं। फिर, आप अचानक उनसे वही शब्द पढ़ने के लिए कहते हैं, लेकिन वे अजीब, खींचे हुए फ़ॉन्ट में लिखे हैं जहाँ अक्षरों के बीच की दूरी अलग है। भले ही बच्चा अक्षरों को पूरी तरह से जानता हो, लेकिन वह भ्रमित हो जाता है क्योंकि शब्द का आकार अलग दिखता है।
क्या हुआ: रोबोट ने सीखा कि पहला अंक हमेशा बाईं ओर होता है। जब आपने तीन-अंकों वाली संख्याओं में बदलाव किया, तो "सैकड़ा" (hundreds) का अंक एक नई जगह पर चला गया। रोबोट घबरा गया। उसे यह नहीं पता था कि संख्या की स्थिति बदल गई है, भले ही गणित के नियम वही थे।
समाधान: रोबोट केवल तभी बेहतर हुआ जब हमने उसे उसके प्रशिक्षण के दौरान ही तीन-अंकों वाली संख्याओं के उदाहरण दिखाए, न कि केवल दो-अंकों वाले। उसे नए "यूनिफॉर्म" को देखने की आवश्यकता थी ताकि उसे समझ आ सके कि खेल बदल गया है।
चरण 2: "कैरी फ्लैग" का भ्रम (सिमेंटिक बाधा)
उपमा: एक ट्रैफिक लाइट सिस्टम की कल्पना करें। एक सामान्य कार में, लाल बत्ती का अर्थ है "रुकें।" लेकिन इस रोबोट के दिमाग में, ऊपरी लाइट (सैकड़ा का स्थान) एक विशेष "कैरी फ्लैग" बटन की तरह काम करने लगी। उसने सोचा, "ओह, दाईं ओर से एक संख्या आ रही है, इसलिए मुझे बस एक स्विच दबाना है यह कहने के लिए कि 'हाँ, एक कैरी हुआ है!'" बजाय इसके कि वह सैकड़े के अंक का वास्तविक मान (value) निकाले।
क्या हुआ: रोबोट ने सैकड़े के स्थान को एक वास्तविक संख्या (जैसे 100, 200, 300) के रूप में मानना बंद कर दिया। इसके बजाय, उसने इसे एक बाइनरी स्विच (0 या 1) की तरह माना जो बस संकेत देता था कि "मैं एक नंबर आगे ले जा रहा हूँ।" वह यह तो जानता था कि एक कैरी हुआ है, लेकिन उसे यह नहीं पता था कि कौन सी संख्या लिखनी है।
समाधान: शोधकर्ताओं ने एक विशेष "प्रोब" (एक लक्षित पाठ) का उपयोग किया ताकि रोबोट को उस स्थान को एक स्विच के रूप में सोचने के बजाय एक वास्तविक संख्या के रूप में सोचने के लिए मजबूर किया जा सके।
चरण 3: "पहेली के टुकड़े" की समस्या (कंडीशनल रीकंपोजिशन)
उपमा: कल्पना कीजिए कि आप लेगो (Lego) का एक किला बना रहे हैं। आपने सफलतापूर्वक टावर (ऊपरी अंक) बना लिया है। आपके पास सही ऊपरी हिस्सा है। लेकिन जब आप निचले हिस्से (इकाई और दहाई के अंक) को जोड़ने की कोशिश करते हैं, तो आप गलत टुकड़े उठा लेते हैं। आपके पास सही ऊपरी भाग है, लेकिन निचला हिस्सा अस्त-व्यस्त है।
क्या हुआ: एक बार जब रोबोट ने सैकड़े के स्थान को ठीक कर लिया, तो वह उत्तर का ऊपरी हिस्सा सही प्राप्त कर सका। लेकिन वह उन सही निचले अंकों को उस ऊपरी हिस्से के साथ "गोंद" (glue) नहीं लगा सका। वह जानता था कि ऊपर "200" है, लेकिन वह यह नहीं समझ सका कि नीचे "56" होना चाहिए। यह ऐसा था जैसे उसके पास सही सिर हो लेकिन गलत शरीर।
समाधान: रोबोट को ऐसे उदाहरणों पर प्रशिक्षित करने की आवश्यकता थी जहाँ ऊपरी और निचले हिस्से स्पष्ट रूप से एक-दूसरे से जुड़े हों, जिससे उसे पूरे उत्तर को सही हिस्सों से "पुनर्गठित" (recompose) करना सिखाया जा सके।
चरण 4: "नन्ही धकेल" की त्रुटि (दहाई का अवशेष)
उपमा: रोबोट अब लगभग पूर्ण है। वह 90% बार सही उत्तर देता है। लेकिन कठिन समस्याओं पर, वह बार-बार एक छोटी, विशिष्ट गलती करता है। यह एक ऐसे तीरंदाज की तरह है जो लक्ष्य के केंद्र (bullseye) पर निशाना साधता है, लेकिन कभी-कभी हवा के कारण तीर 1 इंच बाईं ओर लगता है, और कभी-कभी 1 इंच दाईं ओर।
क्या-क्या हुआ: अंतिम शेष त्रुटि बहुत छोटी और बहुत विशिष्ट थी। यह "दहाई" (tens) के अंक पर होती थी। यदि पिछले चरण से कोई "कैरी" आया था, तो रोबोट दहाई के अंक का अति-अनुमान (overestimate) लगा देता था। यदि कोई कैरी नहीं था, तो वह इसका अल्प-अनुमान (underestimate) लगा देता था। यह एक सूक्ष्म पूर्वाग्रह (bias) था, जैसे एक तराजू जो एक तरफ से थोड़ा भारी हो।
समाधान: प्रशिक्षण डेटा में एक अंतिम, सूक्ष्म समायोजन ने रोबोट को इस विशिष्ट "धकेल" (nudge) को ठीक करना सिखाया, जिससे उसकी सटीकता सबसे कठिन समस्याओं पर लगभग 66% से बढ़कर 82% से अधिक हो गई।
मुख्य निष्कर्ष
इस पेपर का मुख्य बिंदु यह है कि हमें केवल एक एकल "पास/फेल" स्कोर नहीं देखना चाहिए।
यदि आप केवल कहते हैं, "रोबोट 70% सटीक है," तो आप पूरी कहानी खो देते हैं।
- क्या यह इसलिए विफल हो रहा है क्योंकि यह लेआउट को नहीं समझता?
- क्या यह इसलिए विफल हो रहा है क्योंकि यह संख्याओं को स्विच समझता है?
- क्या यह इसलिए विफल हो रहा है क्योंकि यह पहेली के टुकड़ों को जोड़ नहीं पाता?
- या क्या यह अंत में केवल एक छोटी सी गणना संबंधी त्रुटि कर रहा है?
इन चरणों में विफलता को तोड़कर, लेखक हमें दिखाते हैं कि AI को ठीक करना केवल उस पर अंधाधुंध अधिक डेटा डालने के बारे में नहीं है। यह निदान करने के बारे में है कि कौन सा विशिष्ट चरण टूटा हुआ है और उस विशिष्ट समस्या के लिए बिल्कुल सही "बैंड-एड" (मरहम) लगाना है। यह एक ब्लैक बॉक्स को एक पारदर्शी, मरम्मत योग्य मशीन में बदल देता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।