🤖 machine learning

Slower Generalization, Faster Memorization: A Sweet Spot in Algorithmic Learning

यह शोधपत्र प्रदर्शित करता है कि नीडलमैन-वुन्श मैट्रिक्स जनरेशन जैसे स्ट्रक्चर्ड-आउटपुट कार्यों में, एक मध्यवर्ती डेटासेट आकार मौजूद है जो वैलिडेशन कन्वर्जेंस की गति को अनुकूलित करता है, जो एक ऐसे विचलन को प्रकट करता है जहाँ बड़े डेटासेट प्रशिक्षण स्मृति (मेमोराइजेशन) को तो तेज करते हैं लेकिन विरोधाभासी रूप से एक "स्वीट स्पॉट" आकार की तुलना में सामान्यीकरण (जनरलाइजेशन) को धीमा कर देते हैं।

मूल लेखक: Shin So, Kyelim Lee, Albert No

प्रकाशित 2026-05-15

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Shin So, Kyelim Lee, Albert No

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ इस शोध पत्र का सरल भाषा और रोज़मर्रा के उदाहरणों के साथ विवरण दिया गया है।

मुख्य विचार: अधिक डेटा का मतलब हमेशा तेज़ गति नहीं होता

आमतौर पर, हम डेटा को एक कार के ईंधन की तरह देखते हैं। आपके पास जितना अधिक ईंधन (डेटा) होगा, कार (AI मॉडल) उतनी ही तेज़ और दूर तक जा सकेगी। AI की दुनिया में, मानक नियम यह है: बड़ा डेटासेट = बेहतर और तेज़ सीखना।

हालाँकि, इस शोध पत्र ने एक आश्चर्यजनक अपवाद खोजा है। जब शोधकर्ताओं ने AI को "नीडलमैन-वुन्श मैट्रिक्स जनरेशन" (Needleman-Wunsch matrix generation) नामक एक विशिष्ट प्रकार की जटिल पहेली सिखाई, तो उन्होंने पाया कि मध्यम आकार के डेटासेट ने वास्तव में विशाल डेटासेट्स की तुलना में AI को तेज़ी से सीखने में मदद की।

वे इसे "स्वीट स्पॉट" (Sweet Spot) कहते हैं। यह एक केक के लिए सामग्री की सही मात्रा खोजने जैसा है: बहुत कम होगी, तो केक फूलेगा नहीं; बहुत अधिक होगी, तो सब गड़बड़ हो जाएगा। बिल्कुल सही मात्रा ही उसे उत्तम बनाती है।

दो कार्य: गुणा बनाम मैट्रिक्स पहेली

यह सिद्ध करने के लिए कि यह केवल कोई तकनीकी त्रुटि नहीं थी, शोधकर्ताओं ने दो कार्यों की तुलना की:

तीन-अंकों का गुणा (Three-Digit Multiplication): यह एक छात्र को संख्याएँ गुणा करना सिखाने जैसा है (जैसे, $123 \times 456$ $123 \times 456$ )।
- परिणाम: जैसा कि अपेक्षित था, छात्र को अधिक अभ्यास समस्याएँ (अधिक डेटा) देने से उन्हें सीखने में मदद मिली या उनकी गति समान रही। इसने उन्हें कभी धीमा नहीं किया।
नीडलमैन-वुन्श (NW) मैट्रिक्स जनरेशन: यह एक अधिक जटिल कार्य है। कल्पना कीजिए कि आप AI को दो छोटे वाक्य देते हैं और उससे एक विशाल, विस्तृत ग्रिड (मैट्रिक्स) भरने को कहते हैं जो यह दिखाता है कि वाक्य आपस में कैसे मेल खाते हैं, चरण-दर-चरण। ग्रिड का हर सेल (cell) अपने बगल वाले सेल्स पर निर्भर करता है।
- परिणाम: यहीं पर आश्चर्य हुआ।
  - छोटा डेटा: AI पैटर्न को समझ ही नहीं पाया। वह केवल अनुमान लगा रहा था।
  - मध्यम डेटा (The Sweet Spot): AI ने "नियम" को जल्दी समझ लिया और सबसे कम प्रयासों में ग्रिड को पूरी तरह से भर दिया।
  - विशाल डेटा: AI अभी भी नियम सीख सकता था, लेकिन उसे पूर्ण स्कोर प्राप्त करने में बहुत अधिक समय लगा। वह अनावश्यक सूक्ष्म विवरणों को याद करने में फंस गया।

"दो-दबाव" (Two-Pressure) स्पष्टीकरण

विशाल डेटासेट ने AI को धीमा क्यों कर दिया? लेखक सुझाव देते हैं कि AI दो अलग-अलग दबावों का सामना करता है, जैसे एक छात्र परीक्षा पास करने की कोशिश कर रहा हो:

दबाव A: नियम सीखना ( "Aha!" वाला क्षण)
AI को पहेली सुलझाने के लिए अंतर्निहित तर्क (एल्गोरिदम) को समझने की आवश्यकता होती है। यहाँ अधिक डेटा मदद करता है क्योंकि यह AI को पैटर्न पहचानने के लिए अधिक उदाहरण देता है।
दबाव B: विवरणों को सटीक बनाना (याद करने की मेहनत)
एक बार जब AI नियम जान लेता है, तो उसे ग्रिड के हर एक नंबर को बिल्कुल सही रखना होता है। यदि डेटासेट विशाल है, तो वहाँ लाखों सूक्ष्म, अद्वितीय विवरण हैं जिन्हें याद करना ज़रूरी है, लेकिन वे नियम द्वारा स्वतः कवर नहीं होते।

उपमा (Analogy):
कल्पना कीजिए कि आप एक विशिष्ट प्रकार का केक बनाना सीख रहे हैं।

छोटी क्लास: आप केवल एक केक देखते हैं। आपको रेसिपी नहीं पता, इसलिए आप केक नहीं बना पाते।
मध्यम क्लास: आप 50 केक देखते हैं। आप जल्दी से रेसिपी (नियम) समझ जाते हैं। अब आप बहुत तेज़ी से एक उत्तम केक बना सकते हैं।
विशाल क्लास: आप 1,00,000 केक देखते हैं। आप रेसिपी जल्दी समझ जाते हैं, लेकिन अब आपको उन 1,00,000 केक में से प्रत्येक के बनावट (texture) के सूक्ष्म विवरण को भी याद करने के लिए मजबूर किया जाता है। शिक्षक आपसे मांग करता है कि आप हर एक केक की बनावट को एकदम सटीक रखें। भले ही आप रेसिपी जानते हों, लेकिन "परफेक्ट टेक्सचर" के इतने सारे विवरणों को याद करने का बोझ आपको धीमा कर देता है। आप केवल बेकिंग करने के बजाय विवरण रटने में अपना सारा समय बिता देते हैं।

"रैंडम सफिक्स" (Random Suffix) प्रयोग

इस सिद्धांत को सिद्ध करने के लिए, शोधकर्ताओं ने प्रत्येक पहेली के अंत में एक "रैंडम सफिक्स" (अक्षरों की एक यादृच्छिक स्ट्रिंग) जोड़ दी।

मैट्रिक्स वाला हिस्सा एक सख्त नियम का पालन करता था।
रैंडम सफिक्स वाला हिस्सा बिना किसी नियम के था; वह शुद्ध याद रखने (memorization) का काम था।

उन्होंने पाया कि जब डेटासेट बड़ा था, तो AI ने मैट्रिक्स (नियम-आधारित हिस्सा) को रैंडम सफिक्स (याद करने वाला हिस्सा) सीखने से पहले सीख लिया था। इससे यह सिद्ध हुआ कि AI एक साथ सब कुछ याद नहीं कर रहा था। वह पहले नियम सीख रहा था, और फिर विशाल डेटासेट के साथ आने वाले अतिरिक्त "याद करने के बोझ" से जूझ रहा था।

इसका क्या अर्थ है (और क्या नहीं)

इसका क्या अर्थ है:

"सामान्यीकरण कब संभव होता है" (महत्वपूर्ण डेटा आकार) और "सीखना सबसे तेज़ कब होता है" के बीच एक अंतर है।
जटिल कार्यों के लिए जिनमें लंबे, संरचित आउटपुट (जैसे बड़े ग्रिड भरना) होते हैं, अधिक डेटा वास्तव में एक बोझ बन सकता है क्योंकि यह AI को उन विशिष्ट विवरणों को याद करने के लिए मजबूर करता है जो मुख्य नियम के बाद आते हैं।
"स्वीट स्पॉट" वह बिंदु है जहाँ आपके पास नियम सीखने के लिए पर्याप्त डेटा है, लेकिन इतना अधिक नहीं है कि याद करने का बोझ आपकी गति को धीमा कर दे।

इसका क्या अर्थ नहीं है:

इसका मतलब यह नहीं है कि सभी AI कार्यों के लिए बड़ा डेटा बुरा है। इस शोध पत्र ने केवल विशिष्ट एल्गोरिथम पहेलियों का परीक्षण किया है।
इसका मतलब यह नहीं है कि हमें भाषा मॉडल या अन्य वास्तविक दुनिया के अनुप्रयोगों के लिए बड़े डेटासेट्स का उपयोग करना बंद कर देना चाहिए।
इसका मतलब यह नहीं है कि बड़े डेटा के साथ AI "खराब" सीखता है; इसका मतलब केवल यह है कि वहां तक पहुँचने के लिए इसे अधिक "कदमों" (कंप्यूटर अपडेट) की आवश्यकता होती है।

सारांश

एल्गोरिथम लर्निंग की दुनिया में, कभी-कभी कम होना ही अधिक होना है। यदि आप AI को मध्यम आकार का डेटासेट देते हैं, तो वह नियमों को जल्दी और कुशलता से सीख लेता है। यदि आप उसे एक विशाल डेटासेट देते हैं, तो वह हर छोटे विवरण को याद करने में उलझ जाता है, जिससे उसकी पूर्णता की ओर प्रगति धीमी हो जाती है। कुंजी उस "स्वीट स्पॉट" को खोजने में है जहाँ नियम स्पष्ट हो, लेकिन याद करने का भार अत्यधिक न हो।

तकनीकी सारांश: धीमी सामान्यीकरण (Generalization), तेज़ स्मृति (Memorization): एल्गोरिद्मिक लर्निंग में एक 'स्वीट स्पॉट'

समस्या की परिभाषा
जबकि अनुभवजन्य स्केलिंग लॉ (empirical scaling laws) और "ग्रोकिंग" (grokking) अध्ययन यह सुझाव देते हैं कि बड़े डेटासेट आम तौर पर मॉडल के प्रदर्शन में सुधार करते हैं और एक सामान्यीकरण थ्रेशोल्ड पार करने के बाद अतिरिक्त डेटा सत्यापन अभिसरण (validation convergence) को तेज करता है, यह शोध पत्र इस बात की जांच करता है कि क्या यह अंतर्ज्ञान संरचित-आउटपुट कार्यों (structured-output tasks) के लिए सार्वभौमिक रूप से सही है। शोधकर्ता पूछते हैं: एक निश्चित अनुकूलन प्रोटोकॉल (optimization protocol) के तहत, जब सामान्यीकरण संभव हो जाता है, तो क्या सबसे बड़ा डेटासेट हमेशा सबसे तेज़ सत्यापन अभिसरण प्रदान करता है? यह अध्ययन नीडलमैन-वुन्श (Needleman–Wunsch - NW) मैट्रिक्स जनरेशन पर केंद्रित है, जो एक ऐसा कार्य है जहाँ मॉडल को दो इनपुट स्ट्रिंग्स से एक पूर्ण डायनेमिक-प्रोग्रामिंग स्कोर मैट्रिक्स का अनुमान लगाना होता है। स्केलर अंकगणित कार्यों के विपरीत, NW के लिए कई आश्रित सेल्स (dependent cells) के समन्वित पूर्वानुमान की आवश्यकता होती है, जो एक उच्च-जटिलता वाले संरचित आउटपुट का निर्माण करता है।

कार्यप्रणाली (Methodology)
लेखक NW मैट्रिक्स जनरेशन और तीन-अंकों के गुणन (multiplication) बेसलाइन का उपयोग करते हुए डिकोडर-ओनली ट्रांसफॉर्मर का उपयोग करके एक नियंत्रित प्रयोगात्मक प्रोटोकॉल अपनाते हैं।

कार्य: मॉडल इनपुट स्ट्रिंग युग्मों $(x, y)$ को लक्ष्य मैट्रिक्स $M(x, y)$ में मैप करता है, जो NW डायनेमिक प्रोग्रामिंग रिकरेंस द्वारा उत्पन्न होता है। शुद्धता को सटीक-मैच सटीकता (exact-match accuracy) के माध्यम से मापा जाता है (सभी मैट्रिक्स प्रविष्टियाँ सही होनी चाहिए)।
चर (Variables): प्राथमिक चर डेटासेट का आकार ( $N$ ) है, जिसे एक विस्तृत रेंज (200 से 300,000 उदाहरणों तक) में स्वीप किया गया है। मॉडल की गहराई, ऑप्टिमाइज़र सेटिंग्स (AdamW), और लर्निंग रेट शेड्यूल्स को स्थिर रखा गया है।
मेट्रिक्स: अध्ययन विशिष्ट सटीक-मैच सटीकता थ्रेशोल्ड ( $\tau$ ) तक पहुँचने के लिए आवश्यक ऑप्टिमाइज़र अपडेट्स की संख्या को प्रशिक्षण ($IT $) और सत्यापन ($ IV$) दोनों के लिए मापता है। यह "अपडेट-आधारित" मीट्रिक अभिसरण की गति को प्रति-इपॉक दक्षता से अलग करता है।
प्रोब्स (Probes): नियम सीखने (rule learning) और स्मृति (memorization) के बीच अंतर करने के लिए, लेखक एक रैंडम-सफ़िक्स प्रोब पेश करते हैं, जो लक्ष्य मैट्रिक्स में चार-बिट का रैंडम सफ़िक्स जोड़ता है। यह उदाहरण-विशिष्ट जानकारी (सफ़िक्स) को नियम-जनित संरचना (मैट्रिक्स) से अलग करता है।
बेसलाइन: तीन-अंकों का गुणन एक कंट्रास्ट टास्क के रूप में कार्य करता है ताकि यह सत्यापित किया जा सके कि देखे गए घटनाक्रम विशिष्ट रूप से संरचित डायनेमिक प्रोग्रामिंग के कारण हैं या सटीक-मैच मूल्यांकन के आर्टिफैक्ट (artifacts) हैं।

मुख्य योगदान
यह शोध पत्र तीन प्राथमिक अनुभवजन्य योगदान देता है:

डेटासेट-आकार के 'स्वीट स्पॉट' की पहचान: NW मैट्रिक्स जनरेशन में, सत्यापन अभिसरण एक मध्यवर्ती डेटासेट आकार पर सबसे तेज़ होता है, न कि सबसे बड़े वाले पर। यह मानक पोस्ट-थ्रेशोल्ड अंतर्ज्ञान का खंडन करता है कि "अधिक डेटा हमेशा तेज़ होता है" एक बार जब सामान्यीकरण प्राप्त करने योग्य हो जाता है।
आंशिक नियम शिक्षण (Partial Rule Learning) के माध्यम से फिटिंग में तेजी: उस शासन (regime) में जहाँ कमजोर सत्यापन क्षमता पहली बार दिखाई देती है, डेटासेट का आकार बढ़ाने से वास्तव में उच्च प्रशिक्षण सटीकता तक पहुँचने के लिए आवश्यक अपडेट्स की संख्या कम हो सकती है। यह सुझाव देता है कि आंशिक नियम सीखना केवल स्मृति का बोझ बढ़ाने के बजाय फिटिंग प्रक्रिया को तेज कर सकता है।
यांत्रिक पृथक्करण (Mechanistic Separation): लेखक एक "दो-दबाव खाते" (two-pressure account) का प्रस्ताव करते हैं जहाँ अतिरिक्त डेटा शुरू में नियम खोज (संरचनात्मक कवरेज में सुधार) में सहायता करता है, लेकिन अंततः अवशिष्ट सटीक फिटिंग (residual exact fitting - उन विवरणों को याद करना जो नियम द्वारा पूरी तरह से निर्धारित नहीं हैं) की लागत को बढ़ाता है।

परिणाम

गैर-मोनोटोनिक सत्यापन अभिसरण: NW के लिए, सख्त सत्यापन थ्रेशोल्ड (जैसे $\tau=0.98$ ) तक पहुँचने के लिए अपडेट्स की संख्या एक U-आकार के वक्र का अनुसरण करती है। छोटे डेटासेट सामान्यीकरण करने में विफल रहते हैं या लंबे विलंब की आवश्यकता होती है। मध्यवर्ती डेटासेट सबसे तेज़ी से अभिसरित होते हैं। बड़े डेटासेट अभी भी सामान्यीकरण करते हैं लेकिन समान थ्रेशोल्ड तक पहुँचने के लिए काफी अधिक अपडेट्स की आवश्यकता होती है, जो एक "पोस्ट-थ्रेशोल्ड स्लोडाउन" का संकेत देता है।
गुणन (Multiplication) के साथ तुलना: गुणन बेसलाइन इस स्लोडाउन को प्रदर्शित नहीं करता है; सत्यापन अभिसरण बड़े डेटासेट के साथ स्थिर रहता है या बेहतर होता है। यह पुष्टि करता है कि यह घटना NW कार्य की विशिष्ट संरचना (लंबे, आश्रित आउटपुट) से जुड़ी है, न कि स्वयं सटीक-मैच मीट्रिक से।
प्रशिक्षण बनाम सत्यापन का समय: सामान्यीकरण की शुरुआत के पास, बड़ा डेटासेट उच्च प्रशिक्षण सटीकता के लिए आवश्यक अपडेट्स को कम कर सकता है। यह इंगित करता है कि स्मृति (memorization) और सामान्यीकरण (generalization) सख्ती से क्रमिक नहीं हैं; आंशिक नियम प्राप्ति शेष फिटिंग कार्य को आसान बना सकती है।
रैंडम-सफ़िक्स डायग्नोस्टिक्स: बड़े डेटासेट के आकार पर, मॉडल रैंडम सफ़िक्स को फिट करने से पहले नियम-जनित मैट्रिक्स को फिट करता है। यह इस परिकल्पना का समर्थन करता है कि संरचित घटक नियम से लाभान्वित होता है, जबकि असंरचित सफ़िक्स "अवशिष्ट सटीक-फिटिंग" का बोझ है जो डेटासेट के आकार के साथ बढ़ता है।
प्रशिक्षण-सत्यापन अंतराल: प्रशिक्षण और सत्यापन सटीकता के बीच का अंतर ( $G = A_T - A_R$ ) ठीक उसी समय सकारात्मक हो जाता है जब सत्यापन सटीकता बढ़ना शुरू होती है, जो बताता है कि वही नियम-मध्यस्थ प्रगति दोनों को संचालित करती है।

महत्व और दावे
यह शोध पत्र शास्त्रीय 'ग्रोकिंग' और 'क्रिटिकल-डेटा-साइज़' साहित्य का खंडन करने के बजाय उसे परिष्कृत करने का दावा करता है।

क्रिटिकल डेटा साइज़ का परिशोधन: जबकि क्रिटिकल डेटा साइज़ ( $N_c$ ) सामान्यीकरण की शुरुआत (जब एक समाधान पहचानने योग्य हो जाता है) को चिह्नित करता है, लेखक दिखाते हैं कि अपडेट-आधारित अभिसरण गति ( $N^*$ ) को अनुकूलित करने वाला डेटासेट आकार, $N_c$ से भिन्न हो सकता है और उपलब्ध अधिकतम डेटासेट से भी भिन्न हो सकता है।
सीखने के चरणों का विचलन: परिणाम प्रदर्शित करते हैं कि संरचित-आउटपुट कार्यों में, "नियम सीखना" और "सटीक-फिटिंग को पूरा करना" अलग हो सकते हैं। एक बार जब एक उपयोगी नियम खोज लिया जाता है, तो आगे का डेटा मुख्य रूप से अवशिष्ट विवरणों को फिट करने के बोझ को बढ़ा सकता है, जिससे अपडेट्स के संदर्भ में अभिसरण धीमा हो जाता है।
दायरा (Scope): लेखक विनम्रतापूर्वक दावा करते हैं कि यह घटना उन कार्यों के लिए विशिष्ट है जो पुन: प्रयोज्य एल्गोरिद्मिक संरचना को उच्च प्रति-उदाहरण आउटपुट जटिलता (जैसे डायनेमिक प्रोग्रामिंग टेबल जैसे एडिट डिस्टेंस या विटर्बी डिकोडिंग) के साथ जोड़ते हैं। वे यह दावा नहीं करते हैं कि यह सभी एल्गोरिद्मिक कार्यों के लिए लागू होता है या बड़े डेटासेट स्वाभाविक रूप से अंतिम सटीकता के लिए हानिकारक हैं, बल्कि वे कहते हैं कि विशिष्ट संरचित सेटिंग्स में अपडेट्स के संदर्भ में अभिसरण का मार्ग गैर-मोनोटोनिक है।

अध्ययन निष्कर्ष निकालता है कि संरचित-आउटपुट लर्निंग के लिए, सत्यापन सामान्यीकरण के लिए सबसे तेज़ मार्ग एक मध्यवर्ती डेटासेट आकार पर हो सकता है जहाँ नियम खोज के लाभ संतृप्त (saturate) हो गए हैं, लेकिन अवशिष्ट सटीक फिटिंग की लागत अभी तक प्रभावी नहीं हुई है।