🤖 machine learning

A mathematical theory of balancing relational generalization and memorization

यह शोध पत्र यह अध्ययन करने के लिए एक नवीन "अपवादों के साथ संक्रामक अनुमान" (transitive inference with specific exceptions) कार्य प्रस्तुत करता है कि कैसे शिक्षण प्रणालियाँ संबंधपरक सामान्यीकरण और स्मृति (memorization) के बीच संतुलन बनाती हैं, जो कर्नेल रिज रिग्रेशन का एक विश्लेषणात्मक सिद्धांत प्रदान करता है जो विशिष्ट प्रतिनिधि संवेदनशीलताओं और व्यवस्थित त्रुटियों की भविष्यवाणी करता है, जिनका बाद में फाइन-ट्यून किए गए भाषा मॉडलों में सत्यापन किया जाता है।

मूल लेखक: Luke Cheng, Samuel Lippl

प्रकाशित 2026-05-25

📖 7 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Luke Cheng, Samuel Lippl

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

मुख्य समस्या: नियम बनाम अपवाद (Rules vs. Exceptions)

कल्पना कीजिए कि आप एक रोबोट को खेल खेलना सिखा रहे हैं। आप उसे एक सरल नियम सिखाते हैं: "यदि आपके पास रानी (Queen) है, तो आप आमतौर पर नाइट (Knight) की तुलना में अधिक शक्तिशाली होते हैं।"

रोबोट यह नियम जल्दी सीख जाता है। अब, आप उसे एक नई स्थिति दिखाते हैं: "मेरे पास रानी है, तुम्हारे पास नाइट है।" रोबोट सही अनुमान लगाता है, "तुम जीत गए!" यह सामान्यीकरण (Generalization) है। रोबोट ने पैटर्न को सीख लिया है और वह इसे उन नई चीजों पर लागू कर सकता है जिन्हें उसने पहले नहीं देखा है।

लेकिन यहाँ एक पेंच है: वास्तविक जीवन अव्यवस्थित है। कभी-कभी, नियम का एक अपवाद होता है। शायद शतरंज के एक विशिष्ट कोने में, रानी का बलिदान करना वास्तव में खेल जिता सकता है। या शायद जर्मन में, "Gift" शब्द का अर्थ "उपहार" (Present) नहीं, बल्कि "ज़हर" (Poison) होता है।

यह शोध पत्र जो बड़ा सवाल पूछता है, वह यह है: एक सीखने वाली प्रणाली (जैसे मानव मस्तिष्क या AI) सामान्य नियम सीखने और विशिष्ट अपवादों को याद रखने के बीच संतुलन कैसे बनाती है?

यदि आप नियम पर बहुत अधिक ध्यान केंद्रित करते हैं, तो आप अपवादों को छोड़ देते हैं। यदि आप अपवादों पर बहुत अधिक ध्यान केंद्रित करते हैं, तो आप नियम भूल जाते हैं और नई स्थितियों को संभालने में असमर्थ हो जाते हैं।

नया खेल: "अपवादों के साथ अनुक्रमिक अनुमान" (Transitive Inference with Exceptions)

इसका अध्ययन करने के लिए, लेखकों ने "अपवादों के साथ अनुक्रमिक अनुमान" नामक एक नया परीक्षण बनाया।

इसे 9 टीमों (A से I तक) वाली एक स्पोर्ट्स लीग की तरह समझें।

नियम: आमतौर पर, टीम A टीम B को हराती है, B टीम C को हराती है, C टीम D को हराती है, और इसी तरह। यह एक स्पष्ट सीढ़ी बनाता है।
अपवाद: लेकिन, हम इसमें एक गड़बड़ी (glitch) पैदा करते हैं। मान लीजिए कि टीम D (जो आमतौर पर कमजोर है) अचानक टीम G (जो आमतौर पर मजबूत है) को हरा देती है। यह सीढ़ी को तोड़ देता है।

परीक्षण AI से पूछता है:

याद रखना (Memorization): क्या आप याद रख सकते हैं कि D, G को हराता है (अपवाद)?
सामान्यीकरण (Generalization): यदि आप जानते हैं कि A > B > C और E > F > G है, तो क्या आप अनुमान लगा सकते हैं कि A > F है? (यह सीढ़ी का पालन करना है)।
कठिन हिस्सा: क्या आप अनुमान लगा सकते हैं कि B > F है, भले ही B और F, "गड़बड़ी" के अलग-अलग तरफ हों?

सिद्धांत: "दो-मस्तिष्क" मॉडल (The "Two-Brain" Model)

लेखकों ने यह समझने के लिए एक गणितीय मॉडल (न्यूरल नेटवर्क के सीखने का एक सरलीकृत संस्करण) का उपयोग किया कि AI के "मस्तिष्क" के अंदर क्या होता है। उन्होंने पाया कि AI प्रभावी रूप से एक ही समय में दो अलग-अलग रणनीतियों का उपयोग करता है, जैसे कि एक दो-सदस्यीय टीम:

"रैंकिंग" मस्तिष्क (नियम का पालन करने वाला): यह हिस्सा हर वस्तु को एक संख्या (1 से 9 तक) देने की कोशिश करता है ताकि एक सुचारू सीढ़ी बनाई जा सके। इसे व्यवस्था पसंद है। यह चाहता है कि A 9 हो, B 8 हो, आदि।
"लुकअप" मस्तिष्क (अपवाद याद रखने वाला): यह हिस्सा एक 'स्टिकी नोट' की तरह है। इसे सीढ़ी की परवाह नहीं है; यह बस विशिष्ट जोड़ों को याद रखता है। "ओह, D, G को हराता है? मैं इसे एक स्टिकी नोट पर लिख लूँगा।"

जादुई संतुलन:
शोध पत्र दिखाता है कि AI की सफलता के लिए, उसे इन दो अलग-अलग मस्तिष्कों के एक विशिष्ट मिश्रण की आवश्यकता होती है।

यदि "लुकअप" मस्तिष्क बहुत कमजोर है, तो AI अपवाद को भूल जाता है (सीढ़ी के अनुसार G अधिक शक्तिशाली है, इसलिए D हार जाता है)।
यदि "रैंकिंग" मस्तिष्क बहुत कमजोर है, तो AI अपवाद से भ्रमित हो जाता है और पूरी सीढ़ी को तोड़ देता है, जिससे वह यह अनुमान लगाने में विफल रहता कि A, F से बेहतर है।

चौंकाने वाला मोड़: रेगुलराइजेशन (Regularization) एक दोधारी तलवार है

मशीन लर्निंग में, हम अक्सर रेगुलराइजेशन (Regularization) नामक एक उपकरण का उपयोग करते हैं (इसे एक "अनुशासन कोच" के रूप में सोचें) ताकि AI को प्रशिक्षण डेटा को बहुत अधिक बारीकी से याद करने से रोका जा सके, इस उम्मीद में कि यह बेहतर सामान्यीकरण करेगा।

शोध पत्र ने एक आश्चर्यजनक परिणाम पाया: इस विशिष्ट खेल में, "अनुशासित" होना AI को नुकसान पहुँचाता है।

कोच के बिना: AI अपवाद को (D, G को हराता है) पूरी तरह से याद रख सकता है और अभी भी सीढ़ी को काफी हद तक बरकरार रख सकता है।
कोच के साथ (मजबूत रेगुलराइजेशन): कोच AI को कहता है, "विशिष्ट जोड़ों को याद करना बंद करो!" AI बात मान लेता है, लेकिन ऐसा करने में, वह "रैंकिंग मस्तिष्क" को अपवाद के अनुकूल ढलने के लिए मजबूर करता है। इससे सीढ़ी मुड़ जाती है। अचानक, AI नए सवालों पर व्यवस्थित गलतियाँ करने लगता है (जैसे यह सोचना कि B, F से हार जाता है) क्योंकि सीढ़ी अब बिगड़ चुकी है।

उपमा: कल्पना कीजिए कि आप एक सीधी रेखा (नियम) खींचने की कोशिश कर रहे हैं लेकिन आपको बीच में एक छोटा सा उभार (अपवाद) बनाना है।

यदि आपको उभार को स्वतंत्र रूप से बनाने की अनुमति दी जाती है, तो बाकी की रेखा सीधी रहती है।
यदि आपको रेखा को "सुचारू" (रेगुलराइजेशन) रखने के लिए मजबूर किया जाता है, तो आप पूरी रेखा को ही झुका सकते हैं ताकि वह उभार फिट हो सके, जिससे रेखा के किनारे गलत दिशा में संकेत करने लगते हैं।

वास्तविक AI (भाषा मॉडल) पर परीक्षण

लेखकों ने अपने सिद्धांत का परीक्षण वास्तविक, आधुनिक AI मॉडल (जैसे कि वे जो चैटबॉट्स को शक्ति देते हैं) पर किया। उन्होंने इन मॉडलों को स्पोर्ट्स टीम और पोकर हैंड उदाहरणों पर फाइन-ट्यून किया।

परिणाम:

सफलता: AI मॉडल सामान्य सीढ़ी (A > B > C) सीखने में बहुत अच्छे थे।
गड़बड़ी: ठीक वैसे ही जैसा सिद्धांत ने भविष्यवाणी की थी, जब उन्होंने अपवाद को संभालने की कोशिश की, तो कुछ मॉडल भ्रमित हो गए।
भविัติ: सिद्धांत ने सही भविष्यवाणी की कि यदि आप "अनुशासन" (रेगुलराइजेशन) को बहुत मजबूत बनाते हैं, तो AI क्रॉस-सेक्शन वाले सवालों (जैसे B बनाम F) पर विशिष्ट, अनुमानित गलतियाँ करना शुरू कर देगा। वास्तविक AI मॉडलों ने बिल्कुल यही किया।

निष्कर्ष

यह शोध पत्र सिद्ध करता है कि सीखने वाली प्रणालियाँ नियमों और अपवादों के बीच संतुलन बनाने में सक्षम हैं, लेकिन यह एक तंग रस्सी पर चलने (tightrope walk) जैसा है।

नियमों पर बहुत अधिक ध्यान: आप अपवादों को खो देते हैं।
अपवादों पर बहुत अधिक ध्यान: आप नियमों को तोड़ देते हैं।
बहुत अधिक "अनुशासन" (रेगुलराइजेशन): आप अपवादों को अनदेखा करने की कोशिश में अनजाने में नियमों को तोड़ सकते हैं।

लेखक निष्कर्ष निकालते हैं कि बेहतर AI बनाने के लिए (और यह समझने के लिए कि मनुष्य कैसे सीखते हैं), हमें ऐसे कार्य डिजाइन करने की आवश्यकता है जो विशेष रूप से इस संतुलन का परीक्षण करें, न कि केवल यह परीक्षण करें कि क्या कोई मॉडल एक सरल नियम का पालन कर सकता है। हमें AI को वास्तविक जीवन के "Gift का अर्थ Poison है" वाले क्षणों को संभालने के लिए सिखाने की आवश्यकता है।

तकनीकी सारांश: रिलेशनल जनरलाइजेशन और मेमोराइजेशन के संतुलन का एक गणितीय सिद्धांत

समस्या विवरण

सीखने वाली प्रणालियाँ, जिनमें मनुष्य, पशु और मशीन लर्निंग मॉडल शामिल हैं, उन्हें सामान्य नियमों को सीखने (ताकि रिलेशनल जनरलाइजेशन सक्षम हो सके) और उन नियमों के विशिष्ट अपवादों को याद करने (मेमोराइजेशन) के बीच एक साथ संतुलन बनाना होता है। जबकि कंपोजिशनल जनरलाइजेशन और मेमोराइजेशन पर अलग-अलग व्यापक साहित्य मौजूद है, ऐसे टास्क प्रतिमानों (paradigms) और सैद्धांतिक ढांचों की कमी है जो यह समझ सकें कि जब दोनों की आवश्यकता हो, तो प्रणालियाँ इन विपरीत मांगों के बीच कैसे संतुलन बनाती हैं। विशेष रूप से, यह स्पष्ट नहीं है कि सीखने वाली प्रणालियाँ क्रमबद्ध संबंधों (ordered relations) को कैसे संभालती हैं जो काफी हद तक ट्रांजिटिव (transitive) हैं लेकिन जिनमें ट्रांजिटिविटी के अपवाद (intransitive exceptions) शामिल हैं (जैसे, $A > B > C$ , लेकिन एक अपवाद $C > A$ )। मौजूदा प्रतिमान जैसे ट्रांजिटिव इन्फरेंस (TI) शुद्ध जनरलाइजेशन का परीक्षण करते हैं, जबकि ट्रांसवर्स पैटर्निंग (TP) इंट्रांसिटिव लूप्स के शुद्ध मेमोराइजेशन का परीक्षण करते हैं, लेकिन इनमें से कोई भी उस जटिलता को नहीं पकड़ पाता जहाँ नियम और अपवाद सह-अस्तित्व में होते हैं।

कार्यप्रणाली (Methodology)

लेखक इस संतुलन का विश्लेषण करने के लिए एक नया टास्क प्रतिमान और एक सैद्धांतिक ढांचा प्रस्तुत करते हैं:

टास्क प्रतिमान: अपवादों के साथ ट्रांजिटिव इन्फरेंस (TIwE)
- इस कार्य में वस्तुओं का एक सेट $I_1, \dots, I_n$ शामिल है जिसमें एक अंतर्निहित ट्रांजिटिव रैंकिंग होती है।
- एक "अपवाद" पेश किया जाता है: एक इंट्रांसिटिव जोड़ी $I_p > I_q$ जहाँ $p > q$ (जो वैश्विक क्रम का उल्लंघन करती है) और $|p-q| > 1$ ।
- यह दो ट्रांजिटिव खंडों ( $O^{(1)}$ और $O^{(2)}$ ) को एक इंट्रांसिटिव खंड ( $L$ ) द्वारा अलग करता है।
- मूल्यांकन चार मेट्रिक्स पर केंद्रित है: ट्रांजिटिव जोड़ियों का मेमोराइजेशन, इंट्रांसिटिव जोड़ियों का मेमोराइजेशन, खंड के भीतर जनरलाइजेशन (within-section generalization), और क्रॉस-सेक्शन जनरलाइजेशन (जैसे, बीच में अपवाद होने के बावजूद $I_1 > I_n$ का अनुमान लगाना)।
सैद्धांतिक मॉडल: कर्नेल रिज रिग्रेशन (Kernel Ridge Regression)
- लेखक एक रैंडम फीचर्स मॉडल $\phi(x) = \sigma(Wx)$ का विश्लेषण करते हैं जो अनंत-चौड़ाई सीमा (infinite-width limit) में कर्नेल रिज रिग्रेशन में परिवर्तित हो जाता है।
- वे एक एक्सचेंजेबल रिप्रेजेंटेशन (exchangeable representation) मानते हैं, जहाँ कर्नेल $K(x, x')$ केवल वस्तुओं के ओवरलैप (समान, ओवरलैपिंग, या भिन्न जोड़ियाँ) पर निर्भर करता है, जिसे $\kappa_s, \kappa_o, \kappa_d$ मापदंडों द्वारा औपचारिक रूप दिया गया है।
- मॉडल दो प्रमुख मापदंडों द्वारा अभिलक्षित है:
  - कंजंक्टिविटी फैक्टर ( $\alpha$ ): यह वस्तुओं के बीच गैर-रेखीय उलझाव (non-linear entanglement) की डिग्री को मापता है ( $\alpha=0$ पूरी तरह से कंपोजिशनल/एडिटिव है; $\alpha=1$ पूरी तरह से कंजंक्टिव है)।
  - प्रभावी रेगुलाइजेशन ( $\tilde{c}$ ): यह $L_2$ रेगुलाइजेशन स्ट्रेंथ को स्केल करता है।
विश्लेषणात्मक व्युत्पत्ति (Analytical Derivation)
- लेखक मॉडल के भविष्यवाणियों को प्राप्त करने के लिए रिज रिग्रेशन डुअल समस्या को विश्लेषणात्मक रूप से हल करते हैं।
- वे समाधान को एक उभरती हुई रैंकिंग प्रणाली ( $r_j$ ) और एक कंजंक्टिव रिस्पॉन्स ( $t_{j,k}$ ) में विभाजित करते हैं जो केवल ट्रेनिंग डेटा पर सक्रिय होता है।
- दिखाया गया है कि रैंकिंग प्रणाली मानक TI रैंकिंग प्रणाली का एक परटर्बेशन (perturbation) है, जो अपवाद की उपस्थिति से संशोधित होती है।

मुख्य योगदान और परिणाम

1. संतुलन का सैद्धांतिक लक्षण वर्णन

पेपर एक क्लोज्ड-फॉर्म समाधान (थ्योरम 1) व्युत्पन्न करता है, जो दिखाता है कि कर्नेल मॉडल स्वाभाविक रूप से रैंकिंग प्रणाली और कंजंक्टिव रीडआउट के बीच ट्रेड-ऑफ के माध्यम से जनरलाइजेशन और मेमोराइजेशन को संतुलित करते हैं:

जनरलाइजेशन: मॉडल एक रैंकिंग प्रणाली $r_j$ सीखता है जो ट्रांजिटिव खंडों के भीतर एकदिष्ट रूप से घटती (monotonically decreasing) है। हालाँकि, एक अपवाद की उपस्थिति इंट्रांसिटिव लूप के आसपास रैंकिंग प्रणाली में गैर-एकदिष्टता (non-monotonicity) पेश करती है।
मेमोराइजेशन: मॉडल ट्रेनिंग सेट पर त्रुटियों को सुधारने के लिए एक कंजंक्टिव टर्म $t_{j,k}$ का उपयोग करता है, जो विशेष रूप से अपवाद को याद करता है।
ट्रेड-ऑफ: सफल जनरलाइजेशन (विशेष रूप से क्रॉस-सेक्शन जनरलाइजेशन) और सफल मेमोराइजेशन के बीच तनाव होता है।
- रिप्रेजेंटेशनल ज्योमेट्री ( $\alpha$ ): अधिक कंपोजिशनल रिप्रेजेंटेशन (कम $\alpha$ ) जनरलाइजेशन को बढ़ावा देते हैं लेकिन अपवादों को याद करने में संघर्ष करते हैं। अधिक कंजंक्टिव रिप्रेजेंटेशन (उच्च $\alpha$ ) आसानी से अपवादों को याद कर लेते हैं लेकिन रैंकिंग प्रणाली की गैर-एकदिष्टता के कारण खंडों के पार जनरलाइज करने में विफल हो सकते हैं।
- रेगुलाइजेशन ( $\tilde{c}$ ): मजबूत रेगुलाइजेशन (छोटा $\tilde{c}$ ) मॉडल को वेट नॉर्म्स को कम करने के लिए रैंकिंग प्रणाली पर अधिक निर्भर रहने के लिए मजबूर करता है, जिससे जनरलाइजेशन में व्यवस्थित त्रुटियां (जैसे $I_{q-1} < I_{p+1}$ गलत तरीके से प्रेडिक्ट करना) और अपवाद के मेमोराइजेशन में कमी आती है। इसके विपरीत, कमजोर रेगुलाइजेशन बेहतर मेमोराइजेशन की अनुमति देता है लेकिन ओवरफिटिंग का जोखिम बढ़ाता है।

2. विफलता मोड (Failure Modes) का यांत्रिक स्पष्टीकरण

लेखक समझाते हैं कि उभरती हुई रैंकिंग प्रणाली की गैर-एकदिष्टता (non-monotonicity) व्यवस्थित त्रुटियों का मूल कारण है।

वेट नॉर्म को कम करने के लिए (रेगुलाइजेशन), मॉडल को एक "फ्लैट" रैंकिंग प्रणाली (जनरलाइजेशन के लिए अच्छी) और एक "सुधारित" रैंकिंग प्रणाली (अपवाद को फिट करने के लिए आवश्यक) के बीच समझौता करना पड़ता है।
यह समझौता एक ऐसी रैंकिंग प्रणाली का परिणाम है जो अपवाद के पास विकृत (distorted) हो जाती है, जिससे क्रॉस-सेक्शन जनरलाइजेशन कार्यों में त्रुटियां फैल जाती हैं।
महत्वपूर्ण रूप से, पेपर नोट करता है कि L2-रेगुलाइजेशन, जो आमतौर पर इन-डिस्ट्रीब्यूशन जनरलाइजेशन के लिए फायदेमंद होता है, इस विशिष्ट कार्य में आउट-ऑफ-डिस्ट्रीब्यूशन जनरलाइजेशन के लिए विपरीत (counterproductive) हो सकता है, जिससे ऐसी व्यवस्थित त्रुटियां उत्पन्न होती हैं जो मानक TI में नहीं होतीं।

3. प्री-ट्रेंड लैंग्वेज मॉडल्स (PLMs) में अनुभवजन्य सत्यापन

सैद्धांतिक अंतर्दृष्टियों को स्पोर्ट्स टीम हाइरार्की और पोकर हैंड रैंकिंग का उपयोग करके TIwE कार्यों पर PLMs (Llama3.2, Qwen3.5) को फाइन-ट्यून करके सत्यापित किया गया।

जनरलाइजेशन: मॉडल खंडों के भीतर सफलतापूर्वक जनरलाइज हुए लेकिन क्रॉस-सेक्शन जनरलाइजेशन पर असंगत प्रदर्शन दिखाया, अक्सर सिद्धांत द्वारा अनुमानित व्यवस्थित त्रुटियां कीं (सटीकता चांस से नीचे गिर गई)।
मेमोराइजेशन: मॉडल अपवाद को याद कर सकते थे, लेकिन प्रदर्शन रेगुलाइजेशन के प्रति संवेदनशील था। मजबूत रेगुलाइजेशन ने अपवाद वाले जोड़ों पर सटीकता को कम कर दिया।
टास्क पैरामीटर्स: ट्रांजिटिव सेक्शन की लंबाई बढ़ाने से क्रॉस-सेक्शन जनरलाइजेशन काफी कठिन हो गया, जबकि इंट्रांसिटिव लूप की लंबाई बढ़ाने का प्रभाव कमजोर था, जो सैद्धांतिक भविष्यवाणियों के अनुरूप है।
फाइन-ट्यूनिंग रणनीतियाँ: फुल फाइन-ट्यूनिंग और लीनियर प्रोबिंग ने आमतौर पर LoRA से बेहतर प्रदर्शन किया, और लीनियर प्रोबिंग का व्यवहार रेगुलाइजेशन के प्रभावों के संबंध में कर्नेल मॉडल के भविष्यवाणियों के करीब था।

महत्व और दावे

पेपर यह दावा करता है कि यह रिलेशनल जनरलाइजेशन के साथ अपवादों के मेमोराइजेशन को संतुलित करने के लिए सीखने वाली प्रणालियों को समझने हेतु पहला विश्लेषणात्मक ढांचा प्रदान करता है। इसका महत्व निम्नलिखित में निहित है:

एक नए विफलता मोड की पहचान: यह दर्शाता है कि नियम और अपवादों के संतुलन की आवश्यकता वाले कार्य शुद्ध नियम-सीखने वाले कार्यों की तुलना में मौलिक रूप से अधिक चुनौतीपूर्ण हैं, क्योंकि वे रिप्रेजेंटेशनल ज्योमेट्री और रेगुलाइजेशन के बीच एक ऐसा ट्रेड-ऑफ पेश करते हैं जो व्यवस्थित, गैर-यादृच्छिक (non-random) त्रुटियों की ओर ले जा सकता है।
रेगुलाइजेशन का पुनर्मूल्यांकन: यह उजागर करता है कि मानक रेगुलाइजेशन तकनीकें (जैसे L2) कंपोजिशनल कार्यों के साथ अपवादों के मामले में आउट-ऑफ-डिस्ट्रीब्यूशन जनरलाइजेशन में बाधा डाल सकती हैं, जो उनके सामान्य कार्य के विपरीत है।
बेंचमार्किंग: यह जैविक और कृत्रिम प्रणालियों दोनों में कंपोजिशनल जनरलाइजेशन की सीमाओं को जांचने के लिए "अपवादों के साथ ट्रांजिटिव इन्फरेंस" को एक आवश्यक नए प्रतिमान के रूप में प्रस्तावित करता है।
सैद्धांतिक आधार: यह दिखाकर कि सरल कर्नेल मॉडल बड़े भाषा मॉडलों के इन कार्यों पर सूक्ष्म व्यवहार को पकड़ सकते हैं, यह सुझाव देता है कि इन कार्यों को संभालने में PLMs की सीमाएं केवल आर्किटेक्चरल जटिलता के बजाय उनके लर्निंग डायनेमिक्स में मौलिक ज्यामितीय बाधाओं से उत्पन्न हो सकती हैं।

लेखक निष्कर्ष निकालते हैं कि वास्तविक दुनिया के तर्क (reasoning) के लिए सक्षम सीखने वाली प्रणालियों को विकसित करने के लिए अपवादों के प्रभाव को स्पष्ट रूप से मॉडल करना महत्वपूर्ण है, और भविष्य के कार्य को इस जटिलता को कैप्चर करने वाले टास्क प्रतिमानों पर ध्यान केंद्रित करना चाहिए।