LLMs Lean on Priors, Not Programming Language Semantics
यह शोध पत्र PLSemanticsBench को प्रस्तुत करता है ताकि यह प्रदर्शित किया जा सके कि समकालीन लार्ज लैंग्वेज मॉडल्स मुख्य रूप से प्रदान की गई औपचारिक प्रोग्राम सिमेंटिक्स (program semantics) पर व्यवस्थित रूप से आधारित होने के बजाय पूर्व-प्रशिक्षित लेक्सिकल एसोसिएशंस (lexical associations) पर निर्भर करते हैं, जैसा कि सिमेंटिक म्यूटेशन (semantic mutations), नवीन प्रतीकों (novel symbols) और लंबे निष्पादन ट्रेसेस (execution traces) का सामना करने पर उनके प्रदर्शन में आई तीव्र गिरावट से सिद्ध होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
यहाँ शोध पत्र "LLMs Lean on Priors, Not Programming Language Semantics" का सरल भाषा और रचनात्मक उपमाओं के साथ हिंदी अनुवाद दिया गया है।
बड़ा सवाल: क्या LLMs सोचते हैं या सिर्फ अंदाज़ा लगाते हैं?
कल्पना कीजिए कि आप एक छात्र को एक नया बोर्ड गेम खेलना सिखा रहे हैं। आप उसे नियम पुस्तिका देते हैं और कहते हैं, "इस खेल में, यदि आपका 6 आता है, तो आपको पीछे जाना होगा।"
एक बुद्धिमान छात्र जो नियमों को समझता है, वह 6 आने पर तुरंत पीछे जाएगा, भले ही उसने पहले कभी यह विशिष्ट खेल न खेला हो।
हालाँकि, एक ऐसा छात्र जिसने हजारों अन्य बोर्ड गेम खेलकर पैटर्न याद किए हैं, वह हिचकिचा सकता है। वह सोच सकता है, "रुको, Monopoly और Clue में, 6 आने का मतलब आमतौर पर आगे बढ़ना होता है। मैं बस आगे बढ़ूँगा क्योंकि आमतौर पर ऐसा ही होता है।" वे नए नियमों का पालन करने के बजाय अपने पिछले अनुभव (अपने "priors") पर भरोसा कर रहे हैं।
यह शोध पत्र पूछता है: क्या Large Language Models (LLMs) नए नियमों का पालन करने वाले बुद्धिमान छात्र की तरह काम करते हैं, या पैटर्न याद करने वाले उस छात्र की तरह जो नए नियमों को अनदेखा कर देता है?
प्रयोग: एक "जादुगत" प्रोग्रामिंग भाषा
इसका परीक्षण करने के लिए, शोधकर्ताओं ने C⋆ नामक एक विशेष, हल्की प्रोग्रामिंग भाषा बनाई। इसे एक खाली कैनवास की तरह समझें।
इसके बाद उन्होंने तीन अलग-अलग परिदृश्यों के साथ एक कठिन परीक्षण तैयार किया:
- मानक परीक्षण (The Standard Test): उन्होंने मॉडल को कोड और सामान्य नियम दिए (जैसे,
+का अर्थ जोड़ना है)। यह एक सामान्य शतरंज का खेल खेलने जैसा है। - "स्वैप" परीक्षण (KeywordSwap): उन्होंने कोड को बिल्कुल वैसा ही रखा, लेकिन नियम पुस्तिका में प्रतीकों (symbols) के अर्थ बदल दिए।
- चाल: उन्होंने मॉडल को बताया, "इस संस्करण में,
+चिह्न वास्तव में घटाव (subtraction) का अर्थ है।" - लक्ष्य: यदि मॉडल वास्तव में नियमों का पालन कर रहा है, तो उसे घटाना चाहिए। यदि वह स्मृति (memory) पर निर्भर है, तो वह अभी भी जोड़ेगा क्योंकि उसे पता है कि
+का अर्थ जोड़ना होता है।
- चाल: उन्होंने मॉडल को बताया, "इस संस्करण में,
- "एलियन" परीक्षण (KeywordObf): उन्होंने सभी परिचित प्रतीकों को अजीब, एलियन जैसे दिखने वाले पात्रों (जैसे किसी प्राचीन, विस्मृत लिपि के प्रतीक) से बदल दिया और मॉडल को एक नियम पुस्तिका दी जो इन एलियन प्रतीकों को परिभाषित करती है।
- लक्ष्य: चूंकि मॉडल ने पहले कभी ये प्रतीक नहीं देखे हैं, इसलिए उसे पूरी तरह से नई नियम पुस्तिका पर निर्भर रहना होगा। वह अपनी स्मृति का उपयोग करके धोखाधड़ी नहीं कर सकता कि
+का क्या अर्थ होता है।
- लक्ष्य: चूंकि मॉडल ने पहले कभी ये प्रतीक नहीं देखे हैं, इसलिए उसे पूरी तरह से नई नियम पुस्तिका पर निर्भर रहना होगा। वह अपनी स्मृति का उपयोग करके धोखाधड़ी नहीं कर सकता कि
परिणाम: "पैटर्न याद करने वाले" जीतते हैं (और हारते भी हैं)
शोधकर्ताओं ने उपलब्ध 11 सबसे स्मार्ट AI मॉडल्स का परीक्षण किया। यहाँ क्या हुआ:
1. जब नियम सामान्य थे:
मॉडल्स ने बहुत अच्छा प्रदर्शन किया! वे कोड के परिणाम का उच्च सटीकता (90% तक) के साथ अनुमान लगा सके। वे जीनियसस की तरह दिखे।
2. जब नियम बदले गए (जब "जोड़" "घटाव" बन जाता है):
मॉडल्स पूरी तरह विफल रहे। उनकी सटीकता 40% से 60% तक गिर गई।
- उपमा: यह एक ऐसे शेफ की तरह है जिसने लाखों बर्गर बनाए हैं। आप उससे कहते हैं, "आज, हम एक बर्गर बना रहे हैं, लेकिन बन (bun) वास्तव में एक आलू है।" एक सच्चा शेफ आलू का उपयोग करेगा। हालाँकि, ये मॉडल्स अभी भी बन का उपयोग करने की कोशिश करते रहे क्योंकि उनका दिमाग "बर्गर = बन" की आदत में इतना ढल चुका था। वे आपके नए निर्देश का पालन करने के लिए अपनी 'मसल मेमोरी' को ओवरराइड नहीं कर सके।
3. जब नियम एलियन थे (KeywordObf):
वे स्वैप टेस्ट की तुलना में यहाँ थोड़ा बेहतर प्रदर्शन कर पाए, लेकिन वे अभी भी काफी संघर्ष कर रहे थे। वे नई नियम पुस्तिका पर पूरी तरह भरोसा नहीं कर सके।
4. लंबी अवधि (जटिल लूप्स):
जब कोड लंबा और जटिल हो गया (जैसे कई अध्यायों और लूप्स वाली एक कहानी), तो लगभग सभी मॉडल्स विफल हो गए। यहाँ तक कि "सबसे स्मार्ट" मॉडल्स भी केवल 35% जटिल अनुक्रमों को सही ढंग से कर सके। वे कहानी के बीच में खो गए और उन नियमों को भूल गए जिनका उन्हें पालन करना था।
"तर्क करने वाले" (Reasoning) मॉडल बनाम "गैर-तर्क करने वाले" मॉडल
शोधकर्ताओं ने उन मॉडल्स का भी परीक्षण किया जिन्हें विशेष रूप से "चरण-दर-चरण सोचने" (Chain of Thought) के लिए डिज़ाइन किया गया है।
- अच्छी खबर: ये मॉडल्स मानक मॉडल्स की तुलना में नए नियमों का पालन करने में बेहतर थे।
- बुरी खबर: यहाँ तक कि सर्वश्रेष्ठ "Reasoning" मॉडल्स भी नियम बदलने पर विफल रहे। वे अभी भी जो उन्होंने पहले देखा था, उस पर बहुत अधिक निर्भर थे। वे थोड़े समय के लिए नियमों का पालन कर सकते थे, लेकिन जैसे ही नियम अजीब हुए या कार्य लंबा हुआ, वे अपनी पुरानी आदतों पर वापस आ गए।
"चेन ऑफ थॉट" (खुद से बात करना)
शोधकर्ताओं ने "Chain of Thought" नामक एक ट्रिक आजमाई, जहाँ उन्होंने मॉडल्स से उत्तर देने से पहले अपने सोचने की प्रक्रिया को ज़ोर से समझाने के लिए कहा।
- परिणाम: इससे मॉडल्स को सामान्य कार्यों में बेहतर करने में मदद मिली। लेकिन जब नियम बदले गए (जैसे,
+का अर्थ घटाव है), तो "ज़ोर से बात करना" काम नहीं आया। मॉडल्स ने फिर भी गणित गलत किया क्योंकि उनकी आंतरिक "मसल मेमोरी" बहुत मजबूत थी।
निष्कर्ष
शोध पत्र यह निष्कर्ष निकालता है कि वर्तमान AI मॉडल वास्तव में आपके द्वारा दिए गए नियमों के आधार पर "तर्क" (reasoning) नहीं कर रहे हैं। इसके बजाय, वे सांख्यिकीय अनुमान लगाने वाले (statistical guessers) हैं जो भारी रूप से उस डेटा पर निर्भर हैं जो उन्होंने अपने प्रशिक्षण के दौरान देखा है।
- रूपक: एक ऐसे अभिनेता की कल्पना करें जिसने नाटक के लिए एक स्क्रिप्ट रट ली है। यदि आप उससे कहते हैं, "आज, आप बिना तैयारी के अभिनय करेंगे, और शब्द 'नमस्ते' का अर्थ वास्तव में 'अलविदा' है," तो वे संभवतः अभी भी "नमस्ते" ही कहेंगे क्योंकि वे वही कहने के आदी हैं। वे नए अर्थ को प्रोसेस नहीं कर रहे हैं; वे बस अपनी स्मृति से सबसे संभावित शब्द का उच्चारण कर रहे हैं।
संक्षेप में: यदि आप चाहते हैं कि कोई AI नियमों के एक नए सेट का पालन करे (जैसे एक नई प्रोग्रामिंग भाषा या एक नया कानूनी अनुबंध), तो वर्तमान मॉडल्स भरोसेमंद नहीं हैं। वे आपके नए नियमों को अनदेखा कर देंगे और वही करेंगे जो उनके अनुसार संभवतः सही है, जो उनके पिछले प्रशिक्षण पर आधारित है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।