🤖 machine learning

Understanding the Parameter Space Geometry of Transformers Encoding Boolean Functions

यह शोध पत्र यह स्पष्ट करता है कि ट्रांसफॉर्मर PARITY जैसे संवेदनशील बूलियन फलनों (Boolean functions) को सीखने में क्यों विफल रहते हैं, यह प्रदर्शित करते हुए कि ऐसे फलन पैरामीटर स्पेस के एक नगण्य क्षेत्र में स्थित होते हैं, क्योंकि रैंडम इनिशियलाइजेशन (random initialization) लगभग निश्चित रूप से ऐसे मॉडलों की ओर ले जाता है जो उन फलनों की गणना करते हैं जिनमें लो-सेंसिटिविटी स्ट्रिंग्स (low-sensitivity strings) होती हैं, जबकि संवेदनशील फलन स्वाभाविक रूप से इनसे रहित होते हैं।

मूल लेखक: Blanka Köver, Alexandra Butoi, Anej Svete, Michael Hahn, Ryan Cotterell

प्रकाशित 2026-06-09

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Blanka Köver, Alexandra Butoi, Anej Svete, Michael Hahn, Ryan Cotterell

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

एक ट्रांसफार्मर (Transformer - वह प्रकार का AI जो कई आधुनिक चैटबॉट्स के पीछे है) की कल्पना एक विशाल, जटिल भूलभुलैया के रूप में करें जो एडजस्टेबल डायल और नॉब से बनी है। यह भूलभुलैया "पैरामीटर स्पेस" (parameter space) है। जब हम एक ट्रांसफार्मर को प्रशिक्षित (train) करते हैं, तो हम वास्तव में इस भूलभुलैया के माध्यम से एक विशिष्ट पथ खोजने की कोशिश कर रहे होते हैं जो एक विशेष पहेली को हल करता है, जैसे कि यह निर्धारित करना कि 0 और 1 की एक स्ट्रिंग में 1 की संख्या सम (even) है या विषम (odd) है (एक कार्य जिसे PARITY कहा जाता है)।

यह शोध पत्र एक सरल लेकिन गहन प्रश्न पूछता है: सिर्फ इसलिए कि भूलभुलैया में एक पथ मौजूद है, क्या इसका मतलब यह है कि हम उसे वास्तव में खोज सकते हैं?

यहाँ उनके निष्कर्षों का रोजमर्रा के उदाहरणों का उपयोग करके विवरण दिया गया है:

1. "भूसे के ढेर में सुई" वाली समस्या (The "Needle in a Haystack" Problem)

लेखकों ने पाया कि कुछ कठिन पहेलियों (जैसे PARITY या "FIRST" फंक्शन, जो केवल पहले बिट की परवाह करता है) के लिए, ट्रांसफार्मर के डायल के सही सेटिंग्स भूलभुलैया के एक अत्यंत सूक्ष्म क्षेत्र में छिपे हुए हैं।

उपमा: कल्पना करें कि पैरामीटर स्पेस एक विशाल फुटबॉल स्टेडियम है। "आसान" पहेलियाँ (जैसे यह गिनना कि 1 की संख्या 0 से अधिक है या नहीं, जिसे MAJORITY कहा जाता है) के लिए समाधान का क्षेत्र एक पूरे मैदान के आकार का है। लेकिन "कठिन" पहेलियों (जैसे PARITY) के लिए समाधान का क्षेत्र उस स्टेडियम में दबे रेत के एक एकल कण के आकार का है।
परिणाम: जब हम एक ट्रांसफार्मर को प्रशिक्षित करना शुरू करते हैं, तो हम आमतौर पर स्टेडियम में एक यादृच्छिक (random) स्थान चुनते हैं (random initialization)। उस रेत के कण पर यादृच्छिक रूप से उतरने की संभावना प्रभावी रूप से शून्य है। भले ही गणित कहता है कि समाधान मौजूद है, प्रशिक्षण प्रक्रिया (जो एक हाइकर के ऊपर की ओर चढ़ने की कोशिश करने जैसा है) उस तक लगभग कभी नहीं पहुँच पाएगी क्योंकि लक्ष्य बहुत छोटा है जिसे पकड़ा जा सके।

2. "संवेदनशीलता" मीटर (The "Sensitivity" Meter)

यह समझने के लिए कि ये समाधान खोजना इतना कठिन क्यों है, लेखकों ने संवेदनशीलता (sensitivity) नामक चीज़ का अध्ययन किया। यह मापता है कि इनपुट के केवल एक सिंगल बिट को बदलने से उत्तर कितना बदल जाता है।

उच्च संवेदनशीलता (कठिन पहेलियाँ): PARITY के लिए, किसी भी सिंगल बिट को पलटने से उत्तर बदल जाता है। यह एक लाइट स्विच की तरह है जहाँ कमरे के किसी भी तार को छूने से लाइट चालू या बंद हो जाती है। शोध पत्र इन कार्यों को "सेंसिटिव" (sensitive) कहता है।
कम संवेदनशीलता (आसान पहेलियाँ): MAJORITY के लिए, एक बिट को पलटने से उत्तर आमतौर पर नहीं बदलता, जब तक कि गिनती बिल्कुल बराबर न हो। यह एक वोटिंग सिस्टम की तरह है जहाँ एक अतिरिक्त वोट शायद ही कभी विजेता को बदलता है, जब तक कि मुकाबला बहुत करीबी न हो।

3. "लो-सेंसिटिविटी बायस" (The "Low-Sensitivity Bias")

शोध पत्र की सबसे बड़ी खोज भूलभुलैया की ज्यामिति (geometry) के बारे में है। उन्होंने पाया कि यदि आप भूलभुलैया में एक यादृच्छिक स्थान चुनते हैं (एक रैंडमली इनिशियलाइज्ड ट्रांसफार्मर), तो जो मशीन वह बनाता है उसमें लगभग निश्चित रूप से "लो-सेंसिटिविटी बायस" होगा।

रूपक: कल्पना करें कि भूलभुलैया को इस तरह से डिज़ाइन किया गया है कि अधिकांश यादृच्छिक पथ एक ऐसी मशीन की ओर ले जाते हैं जो "कठोर" या "सुस्त" है। यह मशीन इनपुट में छोटे बदलावों को अनदेखा करती है। यह केवल तभी प्रतिक्रिया देती है जब इनपुट बहुत अधिक बदल जाता है।
परिणाम: क्योंकि भूलभुलैया इस तरह से बनी है, एक यादृच्छिक रूप से चुनी गई मशीन में लगभग हमेशा "सुरक्षित क्षेत्र" (safe zones) होंगे (ऐसे इनपुट जहाँ एक बिट को पलटने से कुछ नहीं बदलता)।
- MAJORITY के पास ऐसे कई सुरक्षित क्षेत्र हैं (एक्सपोनेंशियल रूप से कई)। इसलिए, मशीन इसे आसानी से सीख सकती है।
- PARITY और FIRST में शून्य सुरक्षित क्षेत्र हैं। हर एक इनपुट संवेदनशील है।
- संघर्ष: शोध पत्र सिद्ध करता है कि लंबे इनपुट के लिए, एक रैंडमली इनिशियलाइज्ड ट्रांसफार्मर में कुछ सुरक्षित क्षेत्र होने ही चाहिए। इसलिए, यह PARITY या FIRST को सीखना गणितीय रूप से असंभव है, क्योंकि उन कार्यों में कोई सुरक्षित क्षेत्र नहीं है जिससे मेल खा सके। मशीन का "आकार" बस उस पहेली के अनुकूल नहीं है।

4. प्रशिक्षण के बाद क्या होता है?

आप सोच सकते हैं, "लेकिन यदि हम इसे पर्याप्त रूप से प्रशिक्षित करें, तो क्या यह सुई को नहीं ढूँढ लेगा?"

लेखकों ने प्रयोग चलाए और पाया कि प्रशिक्षण के बाद भी, "लो-सेंसिटिविटी बायस" अक्सर बना रहता है।

MAJORITY के लिए: प्रशिक्षण सफलतापूर्वक समाधान के बड़े क्षेत्र को खोज लेता है। मशीन कार्य को सीख लेती है।
PARITY के लिए: प्रशिक्षण मशीन को रेत के उस छोटे से कण की ओर धकेलने की कोशिश करता है, लेकिन क्योंकि वह कण बहुत छोटा है (एक "मेज़र-ज़ीरो" सेट), प्रशिक्षण आमतौर पर विफल हो जाता है या अटक जाता है। मशीन पहेली के वास्तविक तर्क को कभी पूरी तरह से नहीं सीख पाती है।

"नियमों" का सारांश (Summary of the "Rules")

शोध पत्र इनपुट स्ट्रिंग की लंबाई ( $N$ ) के आधार पर एक स्पष्ट नियम स्थापित करता है:

यदि किसी फंक्शन में बहुत कम "सुरक्षित" इनपुट हैं (जहाँ एक बिट को पलटने से उत्तर नहीं बदलता), जैसे PARITY या FIRST, तो एक ट्रांसफार्मर इनपुट लंबा होने पर इसे सीखने में सिद्ध रूप से विफल (provably fail) होगा। समाधान बहुत छोटा है जिसे ढूँढा जा सके।
यदि किसी फंक्शन में कई "सुरक्षित" इनपुट हैं, जैसे MAJORITY, तो ट्रांसफार्मर इसे सीख सकता है क्योंकि समाधान का क्षेत्र इतना बड़ा है कि उसे संयोग से पाया जा सके और प्रशिक्षण द्वारा परिष्कृत किया जा सके।

संक्षेप में: शोध पत्र बताता है कि ट्रांसफॉर्मर केवल कुछ कार्यों के लिए "बुरे" नहीं हैं; वे संरचनात्मक रूप से उनके विरुद्ध पक्षपाती (biased) हैं। उनके सीखने का परिदृश्य एक पर्वत श्रृंखला की तरह है जहाँ "सेंसिटिव" कार्यों के शिखर इतने छोटे हैं कि वे एक रैंडम सर्च के लिए अदृश्य हैं, जबकि "रोबस्ट" कार्यों के शिखर विस्तृत और चढ़ने में आसान हैं।

तकनीकी सारांश: बूलियन फलनों को एनकोड करने वाले ट्रांसफॉर्मर के पैरामीटर स्पेस ज्योमेट्री को समझना

समस्या विवरण
ट्रांसफॉर्मर में अभिव्यक्ति क्षमता (expressivity - वे पैरामीटर सेटिंग्स जो एक फलन की गणना कर सकती हैं) और सीखने की क्षमता (learnability - अनुकूलन एल्गोरिदम द्वारा उन सेटिंग्स को खोजने की क्षमता) के बीच एक सुस्थापित अंतर देखा जाता है। जबकि सैद्धांतिक कार्यों ने स्थापित किया है कि ट्रांसफॉर्मर कुछ बूलियन फलनों को व्यक्त कर सकते हैं, अनुभवजन्य साक्ष्य दिखाते हैं कि वे लगातार संवेदनशील (sensitive) फलनों को सीखने में विफल रहते हैं—वे फलन जहाँ इनपुट के एक एकल बिट को बदलने से आउटपुट के बदलने की संभावना होती है। एक मानक उदाहरण PARITY फलन है। पूर्व के कार्यों ने इसे कम औसत संवेदनशीलता (average sensitivity) वाले फलनों की ओर झुकाव के रूप में समझाया है, फिर भी संवेदनशीलता और पैरामीटर स्पेस की ज्यामिति के बीच के सटीक तंत्र को स्पष्ट करना अभी भी अज्ञात है। विशेष रूप से, यह अज्ञात है कि क्या संवेदनशील फलनों की अनलर्नैबिलिटी (unlearnability) इस कारण से है क्योंकि वे पैरामीटर स्पेस के एक अत्यंत सूक्ष्म आयतन (vanishingly small volume) में स्थित होते हैं, जिससे उन्हें रैंडम इनिशियलाइजेशन या ग्रेडिएंट-आधारित अनुकूलन द्वारा खोजना कठिन हो जाता है।

कार्यप्रणाली (Methodology)
लेखक बाइनरी अल्फाबेट पर बूलियन फलनों को एनकोड करने वाले सॉफ्ट-अटेंशन ट्रांसफॉर्मर के पैरामीटर स्पेस $\Theta$ की ज्यामिति का विश्लेषण करते हैं। विश्लेषण को लेयर-नॉर्म स्टेबलाइजिंग कांस्टेंट $\epsilon$ के आधार पर दो मामलों में विभाजित किया गया है:

मामला $\epsilon > 0$ : लेखक पहले यह स्थापित करते हैं कि जब $\epsilon$ शून्य से दूर (bounded away from zero) होता है, तो ट्रांसफॉर्मर अपने मापदंडों के संबंध में यूनिफॉर्म लिप्सचिट्ज़ निरंतर (uniformly Lipschitz continuous) होता है। यह यूनिफॉर्म स्थिरता यह सुनिश्चित करती है कि संचयी "ब्लोअप" (इनपुट परिवर्तनों का प्रवर्धन) इनपुट लंबाई $N$ के सापेक्ष स्वतंत्र रूप से सीमित है। फलस्वरूप, पर्याप्त बड़े $N$ के लिए, किसी भी एकल बिट को बदलने का आउटपुट पर प्रभाव लुप्त हो जाता है ( $O(1/N)$ )। यह एक पैकिंग तर्क (packing argument) की ओर ले जाता है जो दर्शाता है कि पहचाने जाने योग्य बूलियन फलनों की संख्या $N$ से स्वतंत्र एक स्थिरांक द्वारा सीमित है, जिससे गैर-स्थिरांक बूलियन फलन स्पर्शोन्मुख रूप से (asymptotically) अपरिगणनीय हो जाते हैं।
मामला $\epsilon = 0$ : यह शोध पत्र का मुख्य केंद्र है। यहाँ, लेयर-नॉर्म डिनमिनेटर शून्य के करीब पहुँच सकता है, जिससे अनबाउंडेड ब्लोअप (unbounded blowup) की संभावना होती है। लेखक एक विशिष्ट संवेदनशीलता गुणों वाले फलन की गणना करने की संभावना का विश्लेषण करने के लिए एक मेज़र-थ्योरेटिक (measure-theoretic) ढांचे को विकसित करते हैं।
- संवेदनशीलता प्रोफाइल (Sensitivity Profile): केवल औसत संवेदनशीलता पर निर्भर रहने के बजाय, लेखक संवेदनशीलता प्रोफाइल पेश करते हैं, जिसे सभी इनपुट स्ट्रिंग्स में संवेदनशीलता मानों के वितरण के रूप में परिभाषित किया गया है।
- ब्लोअप विश्लेषण (Blowup Analysis): वे सिद्ध करते हैं कि एक निश्चित इनपुट स्ट्रिंग $x$ के लिए, मापदंडों के रैंडम परटर्बेशन (perturbation) के तहत ब्लोअप उच्च संभावना के साथ सीमित रहता है, बशर्ते कि लेयर-नॉर्म इनपुट्स का वेरिएंस बहुत छोटा न हो जाए।
- मेज़र-थ्योरेटिक तर्क: वे पूरे पैरामीटर स्पेस पर इन परिणामों को लागू करने के लिए पैरामीटर स्पेस को छोटे क्यूब्स (cubes) में कवर करते हैं और ब्लोअप पर संभाव्यता सीमाओं (probabilistic bounds) का उपयोग करते हैं। वे सभी पर्याप्त बड़े इनपुट लेंथ $N$ केAcross इन परिणामों को एकत्रित करने के लिए प्रथम बोरेल-कैंटीली लेम्मा (first Borel–Cantelli lemma) का उपयोग करते हैं।

मुख्य योगदान और परिणाम

मेज़र-जीरो अनलर्नैबिलिटी (Measure-Zero Unlearnability): केंद्रीय सैद्धांतिक परिणाम (Theorem 4.5) यह सिद्ध करता है कि किसी भी पर्याप्त बड़े इनपुट लेंथ $N$ के लिए, एक रैंडमली इनिशियलाइज्ड ट्रांसफॉर्मर लगभग निश्चित रूप से (almost surely) एक ऐसा फलन कंप्यूट करता है जिसमें संवेदनशीलता-शून्य स्ट्रिंग्स की एक महत्वपूर्ण संख्या होती है (विशेष रूप से, कम से कम $N^{\frac{D-1}{2L} - 5}$ ऐसी स्ट्रिंग्स)।
संवेदनशीलता प्रोफाइल बाधा: फलस्वरूप, कोई भी बूलियन फलन जिसमें संवेदनशीलता-शून्य स्ट्रिंग्स का अभाव है (अर्थात, ऐसे फलन जहाँ प्रत्येक इनपुट की गैर-शून्य संवेदनशीलता है), पैरामीटर स्पेस के लेबेग-मेज़र-जीरो (Lebesgue-measure-zero) उपसमुच्चय को घेरता है।
विशिष्ट फलनों की अनलर्नैबिलिटी: उपरोक्त के आधार पर, लेखक सिद्ध करते हैं कि PARITY, m-SPARSE PARITY, और DICTATOR (जिसमें FIRST शामिल है) जैसे फलन बड़े $N$ के लिए रैंडमली इनिशियलाइज्ड ट्रांसफॉर्मर्स द्वारा प्रमाणित रूप से अनलर्नेबल (unlearnable) हैं। इन फलनों की न्यूनतम संवेदनशीलता $\ge 1$ (या स्पार्स वेरिएंट के लिए $m$ ) है, जिसका अर्थ है कि इनमें संवेदनशीलता-शून्य स्ट्रिंग्स का अभाव है।
औसत संवेदनशीलता से अंतर: विश्लेषण से पता चलता है कि औसत संवेदनशीलता सीखने की क्षमता (learnability) की भविष्यवाणी करने के लिए अपर्याप्त है। उदाहरण के लिए, FIRST फलन की औसत संवेदनशीलता कम (बराबर 1) है, फिर भी यह बड़े $N$ के लिए अनलर्नेबल है क्योंकि इसमें संवेदनशीलता-शून्य स्ट्रिंग्स का अभाव है। इसके विपरीत, MAJORITY की औसत संवेदनशीलता कम है लेकिन इसमें संवेदनशीलता-शून्य स्ट्रिंग्स की प्रचुरता है, जो इसे पैरामीटर स्पेस के पॉजिटिव-मेज़र क्षेत्र को घेरने की अनुमति देती है।
MAJORITY पर अनुमान: लेखक अनुमान लगाते हैं कि MAJORITY सीखने योग्य है क्योंकि इसकी संवेदनशीलता-शून्य स्ट्रिंग्स की प्रचुरता पैरामीटर स्पेस के एक पॉजिटिव-मेज़र उपसमुच्चय के अनुरूप है।
अनुभवजन्य सत्यापन (Empirical Validation): रैंडमली इनिशियलाइज्ड और प्रशिक्षित ट्रांसफॉर्मर्स पर प्रयोग पुष्टि करते हैं कि संवेदनशीलता स्पेक्ट्रा शून्य की ओर अत्यधिक झुके हुए हैं। PARITY जैसे कार्यों पर प्रशिक्षण के बाद भी, मॉडल सही संवेदनशीलता प्रोफाइल प्राप्त करने में विफल रहते हैं, जबकि MAJORITY और FIRST (मध्यम लंबाई पर) जैसे कार्यों पर प्रशिक्षित मॉडल कार्य को सफलतापूर्वक सीखते हैं और अनुमानित संवेदनशीलता क्लस्टरिंग प्रदर्शित करते हैं।

महत्व
यह शोध पत्र ट्रांसफॉर्मर के लो-सेंसिटिविटी (low-sensitivity) फलनों के प्रति देखे गए इंडक्टिव बायस (inductive bias) के लिए एक सैद्धांतिक स्पष्टीकरण प्रदान करता है। औसत संवेदनशीलता से पूर्ण संवेदनशीलता प्रोफाइल की ओर ध्यान केंद्रित करके और पैरामीटर स्पेस के मेज़र-थ्योरेटिक गुणों का विश्लेषण करके, लेखक यह प्रदर्शित करते हैं कि PARITY जैसे फलनों की अनलर्नेबिलिटी केवल अनुकूलन (optimization) की विफलता नहीं है, बल्कि एक मौलिक ज्यामितीय बाधा है: ऐसे फलनों का प्रतिनिधित्व करने के लिए आवश्यक पैरामीटर सेटिंग्स एक मेज़र-जीरो (measure zero) सेट को घेरती हैं। इसका तात्पर्य है कि रैंडम इनिशियलाइजेशन लगभग निश्चित रूप से इन सेटिंग्स को मिस कर देगा, और ग्रेडिएंट-आधारित अनुकूलन, जो इनिशियलाइजेशन प्रायर (initialization prior) द्वारा बाधित है, वहां तक पहुँचने में सक्षम नहीं होगा। यह कार्य अभिव्यक्ति क्षमता और सीखने की क्षमता के बीच की सीमा को स्पष्ट करता है, यह दिखाता है कि पर्याप्त लंबे इनपुट्स के लिए, ट्रांसफॉर्मर मौलिक रूप से उन भाषाओं को पहचानने में असमर्थ हैं जिनमें संवेदनशीलता-शून्य स्ट्रिंग्स का अभाव होता है।

1. "भूसे के ढेर में सुई" वाली समस्या (The "Needle in a Haystack" Problem)

2. "संवेदनशीलता" मीटर (The "Sensitivity" Meter)

3. "लो-सेंसिटिविटी बायस" (The "Low-Sensitivity Bias")

4. प्रशिक्षण के बाद क्या होता है?

"नियमों" का सारांश (Summary of the "Rules")

इसी तरह के और पेपर