Disentangling generalization and memorization in large language models using chess
यह शोध पत्र शतरंज का एक नियंत्रित परीक्षण स्थल (testbed) के रूप में उपयोग करता है यह प्रदर्शित करने के लिए कि बड़े भाषा मॉडल सामान्य पैटर्न को याद करने पर अत्यधिक निर्भर करते हैं, क्योंकि प्रासंगिक प्रशिक्षण पूर्ववृत्तों (training priors) के अभाव वाली नवीन स्थितियों का सामना करने पर उनका प्रदर्शन काफी गिर जाता है और यादृच्छिक संभावना (random chance) के करीब पहुँच जाता है, जो उनकी व्यवस्थित सामान्यीकरण क्षमताओं की अंतर्निहित सीमाओं को प्रकट करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप यह पता लगाने की कोशिश कर रहे हैं कि कोई छात्र वास्तव में किसी विषय को सीख रहा है या केवल उस विशिष्ट परीक्षा के उत्तरों को रट रहा है जिसे उसने पहले देखा है।
यह शोध पत्र शतरंज (Chess) के खेल का उपयोग एक विशाल, नियंत्रित कक्षा के रूप में करता है ताकि लार्ज लैंग्वेज मॉडल्स (LLMs) का परीक्षण किया जा सके—जो ChatGPT, Claude और Gemini जैसे टूल्स के पीछे के AI दिमाग हैं। शोधकर्ता जानना चाहते थे: जब ये AI किसी समस्या को हल करते हैं, तो क्या वे वास्तविक तर्क (reasoning) का उपयोग कर रहे हैं, या वे केवल अपने विशाल डेटाबेस से एक रटा हुआ उत्तर निकाल रहे हैं?
यहाँ उनके प्रयोग और निष्कर्षों का विवरण दिया गया, जिसे सरल उपमाओं (analogies) के माध्यम से समझाया गया है।
1. सेटअप: तीन प्रकार की शतरंज पहेलियाँ
तर्क और रटने के बीच अंतर को परखने के लिए, शोधकर्ताओं ने तीन प्रकार की शतरंज की स्थितियाँ बनाईं, जो एक वीडियो गेम के तीन अलग-अलग स्तरों की तरह हैं:
- "प्रसिद्ध" पहेलियाँ (Within-Distribution): ये मानक, सुप्रसिद्ध शतरंज ओपनिंग (जैसे "Ruy López") हैं। ये लाखों खेलों में दिखाई देती हैं और AI के ट्रेनिंग डेटा में होने की संभावना अधिक है।
- उपमा: यह एक छात्र से उस प्रश्न को पूछने जैसा है जो वास्तव में उसकी पाठ्यपुस्तक में लिखा है। यदि वह सही उत्तर देता है, तो वह केवल किताब को दोहरा रहा हो सकता है।
- "परिचित लेकिन नई" पहेलियाँ (Near-Distribution): ये सामान्य शतरंज के खेल की तरह दिखती हैं लेकिन पहले कभी नहीं खेली गईं। ये नियमों का पालन करती हैं और एक मानक खेल की तरह दिखती हैं, लेकिन इनकी विशिष्ट व्यवस्था अद्वितीय है।
- उपमा: यह एक गणित की समस्या के समान है जिसमें पाठ्यपुस्तक के समान ही संख्याओं और सूत्रों का उपयोग किया गया है, लेकिन "सेब और संतरे" की कहानी थोड़ी अलग है। छात्र को केवल नकल करने के बजाय बिंदुओं को जोड़ना होगा।
- "एलियन" पहेलियाँ (Out-of-Distribution): ये अजीब, यादृच्छिक (random) बोर्ड सेटअप हैं। मोहरे उन तरीकों से रखे गए हैं जो वास्तविक जीवन में लगभग कभी नहीं होते (जैसे, राजा को ब्लॉक करने वाले प्यादे)। ये सामान्य पैटर्न को तोड़ देते हैं।
- उपमा: यह एक छात्र को ऐसी भाषा का उपयोग करके एक लॉजिक पहेली हल करने के लिए कहने जैसा है जिसे उसने पहले कभी नहीं सुना, या ऐसे नियम जो उसने पहले कभी नहीं देखे। यहाँ रटने के लिए कोई पाठ्यपुस्तक नहीं है; उन्हें शून्य से सोचना होगा।
2. प्रयोग: AI का प्रदर्शन कैसा रहा
शोधकर्ताओं ने विभिन्न शीर्ष-स्तरीय AI (GPT-3.5, GPT-4o, GPT-5, Claude, और Gemini) से इन तीन प्रकार की पहेलियों में सबसे अच्छा मूव (चाल) बनाने के लिए कहा। उन्होंने सफलता को इस आधार पर मापा कि AI का मूव एक सुपर-कंप्यूटर चेस इंजन के मूव के कितना करीब था।
यहाँ उन्हें जो मिला, वह यहाँ दिया गया है:
"प्रसिद्ध" पहेलियाँ: AI एक सुपर-रिसाइटर (Super-Reciter) है
जब पहेलियाँ मानक और परिचित थीं, तो AI बहुत अच्छा खेला।
- निष्कर्ष: मॉडल याद रखने (memorization) में अविश्वसनीय रूप से अच्छे हैं। यदि उन्होंने पहले कोई पैटर्न देखा है, तो वे समाधान को पूरी तरह से याद कर सकते हैं।
"एलियन" पहेलियाँ: AI क्रैश हो जाता है
जब पहेलियाँ अजीब और नई (Out-of-Distribution) थीं, तो AI बिखर गया।
- निष्कर्ष: उनका प्रदर्शन यादृच्छिक अनुमान (random guessing) के स्तर तक गिर गया। वास्तव में, वे अवैध चालें (जैसे नाइट को बिशप की तरह चलाना) भी उच्च दर से चलने लगे।
- रूपक: यह उस छात्र की तरह है जो फाइनल परीक्षा के हर सवाल का जवाब जानता है, लेकिन जब उसे एक खाली कागज दिया जाता है और "एक कहानी लिखने" के लिए कहा जाता है, तो वह बड़बड़ाने लगता है। वे खेल के नियमों को वास्तव में नहीं समझते; वे केवल उन पैटर्न को पहचानते हैं जिन्हें उन्होंने पहले देखा है।
"परिचित लेकिन नई" पहेलियाँ: एक तीव्र गिरावट
जैसे-जैसे पहेलियाँ थोड़ी कम परिचित होती गईं, AI का प्रदर्शन केवल गिरा नहीं; बल्कि यह एक खड़ी ढलान की तरह नीचे फिसल गया।
- निष्कर्ष: पहेली जितनी कम परिचित होती गई, AI का प्रदर्शन उतना ही खराब होता गया।
3. "कड़ी मेहनत करने" का परीक्षण (The "Thinking Harder" Test)
शोधकर्ताओं ने नए मॉडल्स (जैसे GPT-5) का भी परीक्षण किया जिनमें एक "रीजनिंग मोड" है, जहाँ AI को उत्तर देने से पहले "चरण-दर-चरण सोचने" (think step-by-step) के लिए कहा जाता है।
- परिणाम: अधिक सोचने से मदद मिली, लेकिन केवल एक सीमा तक।
- कैच (Catch): जब पहेली अजीब (Out-of-Distribution) थी, तो AI ने "सोचने" (अधिक शब्द/टोकन का उपयोग करने) में बहुत समय बिताया, लेकिन फिर भी वह समस्या को हल नहीं कर सका।
- रूपक: कल्पना कीजिए कि एक छात्र, जब किसी कठिन गणित की समस्या का सामना करता है, तो समीकरण को हल करने के बजाय गणित के इतिहास के बारे में 10 पन्नों का निबंध लिखना शुरू कर देता है। वे कड़ी मेहनत कर रहे हैं, लेकिन वे केवल उन चीजों को पुनर्व्यवस्थित कर रहे हैं जिन्हें वे पहले से जानते हैं, न कि एक नया समाधान आविष्कार कर रहे हैं। "सोचने" की प्रक्रिया ने उनकी याददाश्त को बढ़ाया, लेकिन वास्तविक तर्क (reasoning) पैदा नहीं किया।
4. बड़ा निष्कर्ष
शोध पत्र यह निष्कर्ष निकालता है कि वर्तमान लार्ज लैंग्वेज मॉडल्स पैटर्न मैचिंग में शानदार हैं लेकिन वास्तविक सामान्यीकरण (genuine generalization) में संघर्ष करते हैं।
- स्केलिंग कोई जादुई समाधान नहीं है: मॉडल्स को बड़ा बनाना (अधिक डेटा और पैरामीटर्स जोड़ना) उन्हें अधिक याद रखने में मदद करता है, लेकिन यह उन्हें उन चीजों के बारे में तर्क करना सीखने में मदद नहीं करता जिन्हें उन्होंने पहले कभी नहीं देखा।
- "क्रिस्टलाइज्ड" जाल (The "Crystallized" Trap): मॉडल "क्रिस्टलाइज्ड" ज्ञान (याद किए गए खंडों) पर निर्भर करते हैं। जब वे खंड उपलब्ध नहीं होते, तो उनके पास गिरने के लिए कोई "फ्लुइड" (तरल/प्रवाहपूर्ण) बुद्धिमत्ता नहीं होती। वे खेल के नियमों को बुनियादी सिद्धांतों (first principles) से निकाल नहीं सकते; वे केवल खेल को तभी पहचान सकते हैं जब वह बिल्कुल वैसा ही दिखे जैसा उन्होंने पहले देखा है।
संक्षेप में: ये AI उन विश्वकोशों (encyclopedias) की तरह हैं जो शतरंज के पूरे इतिहास को दोहरा सकते हैं, लेकिन यदि आप उन्हें शतरंज के बोर्ड और नियमों के साथ एक कमरे में रख दें जिन्हें उन्होंने पहले कभी नहीं देखा, तो शायद उन्हें यह भी नहीं पता होगा कि मोहरों को सही ढंग से कैसे हिलाना है। वे अतीत के उस्ताद हैं, लेकिन अभी तक नए के उस्ताद नहीं बने हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।