🤖 machine learning

Expressivity Saturation: Reduced Affine Region Usage Under Increasing Task Complexity

यह शोध पत्र रेखा खंडों (line segments) के साथ अफ़ाइन क्षेत्रों (affine regions) पर एक कठोर ऊपरी सीमा स्थापित करके और यह प्रदर्शित करके कि कार्य की जटिलता में वृद्धि विरोधाभासी रूप से "अभिव्यक्ति संतृप्ति" (expressivity saturation) की ओर ले जाती है, जहाँ प्रशिक्षित मॉडल अपनी स्थापत्य क्षमता (architectural capacity) की तुलना में काफी कम अफ़ाइन क्षेत्रों का उपयोग करते हैं, जो अक्सर क्षयकारी निर्णय सीमाओं (degraded decision boundaries) का परिणाम होता है, पीसवाइज-अफ़ाइन न्यूरल नेटवर्क में सैद्धांतिक और वास्तविक अभिव्यक्ति के बीच के अंतर की जांच करता है।

मूल लेखक: Xuan Qi, Yi Wei, Fanqi Yu, Manuel Lecha

प्रकाशित 2026-06-23

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Xuan Qi, Yi Wei, Fanqi Yu, Manuel Lecha

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ "एक्सप्रेसिविटी सैचुरेशन" (Expressivity Saturation) पेपर का सरल भाषा और रचनात्मक उपमाओं के साथ विवरण दिया गया है।

मुख्य विचार: "अनयूज्ड टूलबॉक्स" (उपयोग न किया गया टूलबॉक्स) की घटना

कल्पना कीजिए कि आपने हज़ारों विशिष्ट औजारों से भरा एक विशाल, उच्च-स्तरीय टूलबॉक्स खरीदा है। आप उम्मीद करते हैं कि यदि आप खुद को एक बहुत कठिन काम (जैसे एक जटिल घड़ी बनाना) देंगे, तो आप उस बॉक्स के लगभग हर एक औज़ार का उपयोग करेंगे।

इस शोध पत्र ने एक आश्चर्यजनक बात खोजी है: जब काम अत्यंत कठिन हो जाता है, तो आप वास्तव में तब की तुलना में कम औजारों का उपयोग कर सकते हैं जब काम आसान था।

लेखक इसे "एक्सप्रेसिविटी सैचुरेशन" (Expressivity Saturation) कहते हैं। यह एक तकनीकी तरीका है यह कहने का कि भले ही एक न्यूरल नेटवर्क (एक प्रकार का AI) के पास एक बेहद जटिल समाधान बनाने की सैद्धांतिक क्षमता हो, लेकिन जब कार्य बहुत अधिक अराजक या कठिन हो जाता है, तो नेटवर्क अक्सर एक बहुत ही सरल, "कोलैप्स्ड" (collapsed) समाधान पर टिक जाता है जो उसकी आंतरिक क्षमताओं के बहुत कम हिस्से का उपयोग करता है।

दो मुख्य प्रयोग

शोधकर्ताओं ने इस समस्या को दो अलग-अलग दृष्टिकोणों से देखा: एक सैद्धांतिक "एक-आयामी" (one-dimensional) दृश्य और एक व्यावहारिक "2D/3D" दृश्य।

1. "मोतियों की माला" का सिद्धांत (1D प्रोब्स)

उपमा: कल्पना कीजिए कि न्यूरल नेटवर्क मोतियों की एक लंबी माला है। यदि आप इस माला के माध्यम से एक लेजर बीम (एक सीधी रेखा) चलाते हैं, तो लेजर बीम अलग-अलग मोतियों से टकराती है। हर बार जब यह ऐसे मोती से टकराती है जो अपनी स्थिति बदलता है, तो लेजर बीम एक नए खंड (segment) में "कट" जाती है।

सिद्धांत: लेखकों ने एक सख्त नियम सिद्ध किया: लेaser द्वारा किए जा सकने वाले कट्स की संख्या पूरी तरह से इस बात पर निर्भर करती है कि माला में कितने मोती (न्यूरॉन्स) हैं और प्रत्येक मोती में कितने "स्विच" हैं।
निष्कर्ष: उन्होंने कट्स की अधिकतम संख्या की गणना की। हालाँकि, जब उन्होंने वास्तव में नेटवर्क को एक समस्या हल करने के लिए प्रशिक्षित किया, तो कट्स की संख्या अक्सर अधिकतम संख्या से बहुत कम थी।
सबक: सिर्फ इसलिए कि माला को 1,000 टुकड़ों में काटा जा सकता है, इसका मतलब यह नहीं है कि वह काटी जाएगी। यदि पैटर्न जिसे आप सीखने की कोशिश कर रहे हैं वह बहुत अधिक बिखरा हुआ है, तो नेटवर्क अपने सभी संभावित कट्स का उपयोग करने की कोशिश भी नहीं कर सकता है।

2. "मोज़ेक फ्लोर" का प्रयोग (2D और 3D)

उपमा: कल्पना कीजिए कि इनपुट डेटा एक फर्श है, और न्यूरल नेटवर्क एक कलाकार है जो उस पर मोज़ेक (mosaic) पेंट करने की कोशिश कर रहा है। कलाकार के पास टाइल्स (affine regions) की एक बड़ी आपूर्ति है।

आसान कार्य: यदि चित्र सरल है (जैसे एक स्पष्ट स्माइली फेस), तो कलाकार एक विस्तृत, जटिल मोज़ेक बनाने के लिए कई टाइल्स का उपयोग करता है।
कठिन कार्य: अब, कल्पना कीजिए कि कलाकार को रैंडम नॉइज़ (जैसे पुराने टीवी पर दिखने वाली स्टेटिक/झिलमिलाहट) के आधार पर एक चित्र पेंट करने के लिए कहा जाता है। वहां अनुसरण करने के लिए कोई वास्तविक पैटर्न नहीं है।
आश्चर्य: कलाकार को हर छोटे बिंदु को पकड़ने के लिए अधिक टाइल्स का उपयोग करने के बजाय, वह वास्तव में कम टाइल्स का उपयोग करता है। वह एक विस्तृत मोज़ेक बनाने की कोशिश करना छोड़ देता है और बस कुछ बड़े, धुंधले पैच पेंट कर देता है।

डेटा ने क्या दिखाया:
शोधकर्ताओं ने बढ़ते "नॉइज़" (अधिक सैंपल) के साथ रैंडम डेटा पर AI मॉडल को प्रशिक्षित किया।

कम मात्रा में नॉइज़: मॉडल ने सीखने के लिए मध्यम संख्या में क्षेत्रों (regions) का उपयोग किया।
भारी मात्रा में नॉइज़: मॉडल का "रीजन काउंट" (region count) क्रैश हो गया। उसने जटिल सीमाएं बनाना बंद कर दिया।
परिणाम: सबसे कठिन परिदृश्यों में, मॉडल ने केवल सीखने में विफल नहीं हुआ; इसने वास्तव में अपनी आंतरिक संरचना को सरल बना लिया, जिससे इसकी जटिल निर्णय लेने वाली सीमाएं कुछ बड़े, अप्रभावी आकारों में सिमट गईं।

ऐसा क्यों होता है? ("सैचुरेशन" प्रभाव)

पेपर सुझाव देता है कि जब कोई कार्य बहुत अधिक जटिल हो जाता है (जैसे रैंडम नॉइज़ को याद करने की कोशिश करना), तो ऑप्टिमाइज़ेशन प्रक्रिया (प्रशिक्षण) एक दीवार से टकरा जाती है।

इसे एक हाइकर (पर्वतारोही) के रूप में सोचें जो एक पर्वत श्रृंखला में रास्ता खोजने की कोशिश कर रहा है:

आसान इलाका: हाइकर कई घुमावदार रास्ते ले सकता है, हर घाटी और शिखर की खोज कर सकता है (उच्च क्षेत्र उपयोग)।
असंभव इलाका: यदि इलाका एक अराजक, बदलती हुई धुंध है, तो हाइकर हर विवरण का नक्शा बनाने की कोशिश करना छोड़ देता है। इसके बजाय, वे बस कुछ व्यापक दिशाएं चुन लेते हैं और आगे बढ़ना बंद कर देते हैं। वे अपनी खोज करने की क्षमता को "सैचुरेट" (तृप्त/सीमित) कर देते हैं।

नेटवर्क इतना "स्मार्ट" नहीं होता कि यह समझ सके कि कार्य असंभव है, इसलिए वह जटिलता पर छोड़ देता है और एक सरल, कम प्रयास वाले समाधान पर टिक जाता है। इससे डिग्रेडेड डिसीजन बाउंड्रीज़ (क्षीण निर्णय सीमाएं) बनती हैं—वह रेखा जिसे AI "हाँ" और "ना" को अलग करने के लिए खींचता है, वह अव्यवस्थित और अप्रभावी हो जाती है।

मुख्य निष्कर्षों का सारांश

क्षमता $\neq$ उपयोग (Capacity $\neq$ Usage): सिर्फ इसलिए कि एक न्यूरल नेटवर्क को अत्यधिक जटिल बनाया गया है (उसकी उच्च "सैद्धांतिक क्षमता" है), इसका मतलब यह नहीं है कि वह वास्तव में उस जटिलता का उपयोग करेगा।
जटिलता, जटिलता को खत्म करती है (Complexity Kills Complexity): विरोधाभासी रूप से, प्रशिक्षण डेटा को कठिन बनाना (अधिक रैंडम सैंपल देना) नेटवर्क के आंतरिक "स्विच" और "क्षेत्रों" के उपयोग को कम कर सकता है।
द कोलैप्स (The Collapse): सबसे कठिन परिदृश्यों में, दुनिया का आंतरिक मानचित्र सिमट जाता है। यह अपने विवरणों को सुधारना बंद कर देता है और एक कच्चे, सरल आकार में वापस आ जाता है, जो अक्सर खराब प्रदर्शन का कारण बनता है।
द गैप (The Gap): एक नेटवर्क क्या कर सकता है (सिद्धांत) और प्रशिक्षण के बाद वह वास्तव में क्या करता है (वास्तविकता), उसके बीच एक बड़ा अंतर है, खासकर जब कार्य बहुत कठिन हो।

संक्षेप में: पेपर दिखाता है कि जब आप एक AI को अराजक डेटा के साथ बहुत अधिक मजबूर करते हैं, तो वह अधिक रचनात्मक नहीं होता; बल्कि वह सरल हो जाता है, और अपनी जटिल होने की क्षमता को त्याग देता है।

तकनीकी सारांश: अभिव्यंजनात्मक संतृप्ति (Expressivity Saturation): बढ़ती कार्य जटिलता के तहत कम होता अफ़ाइन क्षेत्र उपयोग

समस्या विवरण
पीसवाइज़-अफ़ाइन न्यूरल नेटवर्क (PANNs), जैसे कि ReLU या LeakyReLU सक्रियणों (activations) का उपयोग करने वाले नेटवर्क, निरंतर पीसवाइज़-अफ़ाइन (CPWA) मानचित्रों को परिभाषित करते हैं जहाँ इनपुट स्पेस को अफ़ाइन क्षेत्रों में विभाजित किया जाता है। जबकि इन क्षेत्रों की संख्या एक नेटवर्क की अभिव्यंजनात्मक क्षमता (expressive capacity) के स्वाभाविक प्रॉक्सी के रूप में कार्य करती है, सैद्धांतिक 'वर्स्ट-केस' क्षमता (जो अक्सर कॉम्बिनेटोरियल सीमाओं से प्राप्त होती है) और प्रशिक्षण के बाद वास्तव में साकार किए गए अफ़ाइन क्षेत्रों की संख्या के बीच एक महत्वपूर्ण अंतर मौजूद है। यह विसंगति विशेष रूप से तब महत्वपूर्ण हो जाती है जब इनपुट-लेबल संबंध अत्यधिक जटिल हो। यह शोध इस बात की जांच करता है कि क्या निश्चित आर्किटेक्चर और प्रशिक्षण प्रोटोकॉल के तहत, कार्य की जटिलता (विशेष रूप से रैंडम लेबल और बढ़ते नमूना आकार के माध्यम से) बढ़ाने से साकार किए गए अफ़ाइन क्षेत्रों की संख्या में कमी आती है, जिसे लेखक अभिव्यंजनात्मक संतृप्ति (expressivity saturation) कहते हैं।

कार्यप्रणाली
लेखक एक दोहरी पद्धति का उपयोग करते हैं जिसमें एक-आयामी (1D) प्रोब पर कठोर सैद्धांतिक विश्लेषण और उच्च आयामों (2D और 3D) के बाध्यित डोमेन (bounded domains) में सटीक अनुभवजन्य गणना (exact empirical enumeration) का संयोजन किया गया है।

सैद्धांतिक विश्लेषण (1D प्रोब्स):
- लेखक एक अफ़ाइन लाइन-सेगमेंट प्रोब $\gamma: [0, 1] \to \mathbb{R}^d$ को परिभाषित करते हैं।
- वे एक CPWA MLP द्वारा एक ऐसे प्रोब के साथ साकार किए जा सकने वाले अफ़ाइन टुकड़ों ( $\alpha(f; \gamma)$ ) की एक नियत (deterministic), आर्किटेक्चर-निर्भर ऊपरी सीमा (upper bound) व्युत्पन्न करते हैं। यह सीमा लेयर-वाइज़ चौड़ाई पदों और एक्टिवेशन ब्रेकपॉइंट कारकों का एक गुणनफल है।
- इससे, वे एक न्यूरॉन-थ्रेशोल्ड लोअर बाउंड स्थापित करते हैं, जो एक निर्धारित 1D पीस कॉम्प्लेक्सिटी वाली लक्षित फलन (target function) को दर्शाने के लिए आवश्यक न्यूनतम आर्किटेक्चरल क्षमता निर्धारित करता है।
- वे साकार क्षेत्र दक्षता ( $\eta_{norm}$ ) और क्षेत्रों-प्रति-न्यूरॉन सांख्यिकी को मापने के लिए मेट्रिक्स पेश करते हैं ताकि सैद्धांतिक क्षमता और वास्तविक उपयोग के बीच के अंतर को स्पष्ट किया जा सके।
अनुभवजन्य गणना (2D और 3D):
- 1D प्रोब्स से आगे बढ़ने के लिए, लेखक सटीक बाध्यित-डोमेन गणना (exact bounded-domain enumeration) के लिए एल्गोरिदम विकसित करते हैं।
- एल्गोरिदम 1 नेटवर्क परतों के माध्यम से अंतराल विभाजन (interval partitions) को प्रसारित करके 1D लाइन प्रोब्स के साथ अफ़ाइन टुकड़ों की सटीक गणना करता है।
- एल्गोरिदम 2 एक निर्धारित कॉम्पैक्ट डोमेन $\Omega$ (जैसे, $[-1, 1]^d$ ) को प्रतिच्छेद करने वाले सभी अफ़ाइन सेल्स को व्यापक रूप से खोजता है। इसमें व्यवहार्य सीड्स (feasible seeds) की पहचान करना, स्थानीय अफ़ाइन डिस्क्रिप्टर को पुनः प्राप्त करना, और साकार क्षेत्रों के सेट $R_\Omega(f)$ को सूचीबद्ध करने के लिए बाउंड्री-क्रॉसिंग ऑपरेशन्स को ट्रैवर्स करना शामिल है।
- प्रयोग नियंत्रित वातावरण बनाने के लिए बढ़ते नमूना आकार के साथ रैंडम-लेबल डेटासेट का उपयोग करते हुए, बढ़ते कार्य जटिलता के प्रॉक्सी के रूप में पूरी तरह से जुड़े (fully-connected) ReLU MLPs का उपयोग करते हैं।

प्रमुख योगदान

कठोर 1D क्षमता सीमा: शोध पत्र सिद्ध करता है कि CPWA MLPs के लिए किसी भी अफ़ाइन लाइन-सेगमेंट प्रोब के साथ साकार किए जा सकने वाले अफ़ाइन टुकड़ों की एक नियत ऊपरी सीमा है। यह एक कोरोलरी प्रदान करता है जो विशिष्ट 1D पीस कॉम्प्लेक्सिटी वाले लक्ष्यों को दर्शाने के लिए आवश्यक न्यूरॉन-थ्रेशोल्ड लोअर बाउंड प्रदान करता है।
अभिव्यंजनात्मक संतृप्ति का प्रमाण: 2D और 3D में सटीक गणना के माध्यम से, लेखक प्रदर्शित करते हैं कि निश्चित आर्किटेक्चर और प्रशिक्षण प्रोटोकॉल के लिए, कार्य की जटिलता (रैंडम लेबल और नमूना आकार के माध्यम से) बढ़ाने से साकार किए गए अफ़ाइन क्षेत्रों की संख्या में भारी कमी आ सकती है। यह तब होता है जब नेटवर्क की वर्स्ट-केस सैद्धांतिक क्षमता अपरिवर्तित रहती है।
ज्यामितीय और गतिशील लिंक: अध्ययन प्रभावी निर्णय सीमाओं (decision boundaries) के निर्माण में विफलता के साथ साकार किए गए अफ़ाइन क्षेत्रों के पतन (collapse) को जोड़ने वाले दृश्य और मात्रात्मक साक्ष्य प्रदान करता है। सबसे चुनौतीपूर्ण शासन (regimes) में (जैसे, उच्च नमूना आकार के साथ रैंडम लेबल), क्षेत्र के उपयोग में कमी निर्णय सीमा की ज्यामिति के क्षरण के साथ मेल खाती है।

परिणाम

1D निरंतरता: प्रोब्स के साथ सटीक गणना पुष्टि करती है कि साकार किए गए अफ़ाइन टुकड़ों की संख्या, रैंडम इनिशियलाइजेशन पर भी, सैद्धांतिक वर्स्ट-केस ऊपरी सीमा से लगातार बहुत कम है। "क्षेत्रों-प्रति-न्यूरॉन" सांख्यिकी एक मामूली रेंज के भीतर रहती है लेकिन जब कार्य की जटिलता निश्चित आर्किटेक्चर की प्रभावी क्षमता से अधिक हो जाती है, तो यह गिर जाती है।
2D/3D संतृप्ति: रैंडम लेबल के साथ निश्चित ReLU MLPs (जैसे, $[32, 32, 32]$ $[32, 32, 32]$ ) के साथ प्रयोगों में:
- छोटे नमूना आकार के लिए, प्रशिक्षण के दौरान साकार किए गए क्षेत्रों की संख्या बढ़ने की प्रवृत्ति रखती है।
- बड़े नमूना आकार (जैसे, 5,000 से 10,000) के लिए, प्रशिक्षण के दौरान साकार किए गए क्षेत्रों की संख्या तेजी से गिरती है, जो अक्सर इनिशियलाइजेशन स्तर से भी नीचे चली जाती है।
- यह "पतन" (collapse) विभिन्न ऑप्टिमाइज़र (Adam बनाम SGD) और इनिशियलाइजेशन स्कीम्स (Xavier) में सुदृढ़ (robust) है।
निर्णय सीमाएँ (Decision Boundaries): विज़ुअलाइज़ेशन दिखाते हैं कि जिन शासनों में क्षेत्र का उपयोग गिरता है (उच्च जटिलता), वहां नेटवर्क प्रभावी निर्णय सीमाएं बनाने में विफल रहता है, जबकि सीखने योग्य डेटासेट (जैसे, make_moons) पर, क्षेत्र का परिष्करण (refinement) सीमा संरेखण (boundary alignment) के साथ सह-संबंधित होता है।

महत्व और दायरा
यह शोध दावा करता है कि नाममात्र की वर्स्ट-केस अभिव्यंजनात्मक क्षमता, वास्तव में प्रशिक्षण के बाद साकार की गई गैर-रेखीय संरचना के लिए एक अपूर्ण प्रॉक्सी है। अभिव्यंजनात्मक संतृप्ति (expressivity saturation) की अवधारणा बताती है कि नियंत्रित निम्न-आयामी सेटिंग्स में, कार्य की जटिलता बढ़ाने से आवश्यक रूप से समृद्ध विभाजन नहीं होता है; इसके बजाय, यह उपयोग किए गए क्षेत्रों में कमी और खराब वर्गीकरण ज्यामिति की ओर ले जा सकता है।

लेखक स्पष्ट रूप से सीमाओं का उल्लेख करते हैं:

सैद्धांतिक परिणाम 1D प्रोब्स तक सीमित हैं और सीधे पूर्ण-आयामी क्षेत्र ज्यामिति का लक्षण वर्णन नहीं करते हैं।
सटीक गणना सामान्य मामलों में अफ़ाइन-क्षेत्र गणना की NP- और #P-कठिनता (hardness) के कारण निम्न आयामों (2D/3D) और मध्यम आर्किटेक्चर तक ही सीमित है।
निष्कर्ष पूरी तरह से जुड़े ReLU MLPs और रैंडम-लेबल शासन पर आधारित हैं; वे अभी तक यह स्थापित नहीं करते हैं कि ये घटनाएं संरचित डेटा, वास्तविक दुनिया के अनुप्रयोगों या अधिक जटिल आर्किटेक्चर (जैसे, CNNs, Transformers) में कैसे प्रकट होती हैं।

यह कार्य इनपुट-लेबल जटिलता को साकार किए गए क्षेत्र उपयोग से जोड़ने के लिए एक आधारभूत कदम के रूप में कार्य करता है, जो अभिव्यंजनात्मक क्षमता और अभिव्यंजनात्मक उपयोग के बीच के अंतर पर एक नया दृष्टिकोण प्रदान करता है।