🤖 machine learning

Dynamics Reveals Structure: Challenging the Linear Propagation Assumption

यह शोध पत्र यह प्रदर्शित करता है कि लीनियर प्रोपेगेशन अज़म्पशन (Linear Propagation Assumption), जो यह प्रतिपादित करता है कि न्यूरल नेटवर्क में स्थानीय पैरामीटर अपडेट तार्किक सुसंगतता को बनाए रखते हैं, मौलिक रूप से त्रुटिपूर्ण है क्योंकि संबंध संयोजन (relation composition) को संभालने के लिए गणितीय आवश्यकताएं (द्विरेखीयता/bilinearity) निषेध (negation) के लिए आवश्यक आवश्यकताओं के साथ असंगत हैं, जिससे ज्ञान संपादन (knowledge editing), रिवर्सल कर्से (reversal curse) और मल्टी-हॉप रीजनिंग (multi-hop reasoning) में संरचनात्मक सीमाओं की व्याख्या होती है।

मूल लेखक: Hoyeon Chang, Bálint Mucsányi, Seong Joon Oh

प्रकाशित 2026-05-26

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Hoyeon Chang, Bálint Mucsányi, Seong Joon Oh

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ "Dynamics Reveals Structure: Challenging the Linear Propagation Assumption" पेपर का सरल भाषा में अनुवाद दिया गया है:

मुख्य विचार: "डोमिनो" की समस्या

कल्पना कीजिए कि आपके पास एक विशाल, जटिल मशीन (एक न्यूरल नेटवर्क) है जो तथ्यों को जानती है। आप उसे एक नया तथ्य सिखाना चाहते हैं, जैसे "T-Rex के चार पैर होते हैं।"

यह पेपर एक सरल प्रश्न पूछता है: यदि आप उस एक तथ्य को सीखने के लिए मशीन में थोड़ा सा बदलाव करते हैं, तो क्या मशीन स्वचालित रूप से उससे संबंधित सभी तथ्यों को एक तार्किक तरीके से अपडेट कर देगी?

उदाहरण के लिए:

यदि आप उसे सिखाते हैं "T-Rex के चार पैर होते हैं," तो क्या वह स्वतः ही यह सीख जाता है कि "T-Rex के पाँच पैर नहीं होते" (निषेध/Negation)?
क्या वह सीख जाता है कि "चार पैर T-Rex के हैं" (विपर्यय/Converse/Reversal)?
क्या वह सीख जाता है कि "यदि T-Rex के चार पैर हैं, और चार पैर एक प्रकार के अंग (limb) हैं, तो T-Rex के अंग हैं" (संयोजन/Composition/Multi-hop)?

लेखक इस विश्वास को कि "छोटे बदलाव स्वचालित रूप से सभी संबंधित तर्क को ठीक कर देते हैं," लिनियर प्रोपेगेशन अज़म्पशन (LPA) कहते हैं। वे तर्क देते हैं कि हालांकि यह सुनने में बहुत अच्छा लगता है, लेकिन गणित यह सिद्ध करता है कि वर्तमान प्रकार के AI के लिए साधारण, छोटे बदलावों का उपयोग करके इसे पूरी तरह से करना असंभव है।

तीन तार्किक परीक्षण (The Three Logical Tests)

शोधकर्ताओं ने यह देखने के लिए कि क्या मशीन इस तर्क को संभाल सकती है, तीन विशिष्ट प्रकार के तर्क का परीक्षण किया। उन्होंने एक "ज्यामितीय" (geometric) दृष्टिकोण का उपयोग किया, यह कल्पना करते हुए कि AI का ज्ञान अंतरिक्ष में आकृतियों और दिशाओं के रूप में है।

1. "विपरीत" परीक्षण (Negation - निषेध)

तर्क: यदि आप मशीन को "हाँ" मानने के लिए प्रेरित करते हैं, तो उसे स्वाभाविक रूप से "नहीं" को बिल्कुल विपरीत दिशा में धकेलना चाहिए।
उपमा: एक सी-सॉ (seesaw) की कल्पना करें। यदि आप एक तरफ को नीचे दबाते हैं (हाँ), तो दूसरी तरफ को ऊपर जाना ही चाहिए (नहीं)।
निष्कर्ष: पेपर सिद्ध करता है कि इसके काम करने के लिए, मशीन की आंतरिक "स्मृति" को लेगो (Lego) सेट के अलग-अलग ईंटों की तरह बना होना चाहिए। ईंटों का एक सेट 'कौन' (T-Rex) को धारण करेगा, और पूरी तरह से अलग सेट 'क्या' (चार पैर) को धारण करेगा।
वास्तविकता की जाँच: लेखकों ने वास्तविक AI मॉडल देखे और पाया कि वे अलग-अलग ईंटों का उपयोग नहीं करते हैं। इसके बजाय, वे सब कुछ आपस में मिला देते हैं। इसलिए, जब आप "हाँ" को धकेलते हैं, तो "नहीं" वाला हिस्सा भी अक्सर उसी दिशा में चलता है, जिससे विरोधाभास पैदा होता है।

2. "बदलने" का परीक्षण (Converse - विपर्यय)

तर्क: यदि "A, B का जनक (parent) है," तो मशीन को स्वतः ही समझना चाहिए कि "B, A की संतान (child) है।"
उपमा: एक नृत्य की कल्पना करें। यदि पार्टनर A, पार्टनर B का नेतृत्व करता है, तो मशीन को तुरंत भूमिकाएँ बदलने का ज्ञान होना चाहिए ताकि पार्टनर B, पार्टनर A का नेतृत्व कर सके, बिना किसी भ्रम के।
निष्कर्ष: इसके लिए मशीन की स्मृति में एक बहुत ही विशिष्ट, सममित (symmetrical) संरचना की आवश्यकता होती है। यह एक दर्पण की तरह है जो पूरी तरह से प्रतिबिंब दिखाता है। पेपर दिखाता है कि वर्तमान AI मॉडल में यह पूर्ण दर्पण समरूपता (mirror symmetry) अंतर्निहित नहीं है, यही कारण है कि वे संबंधों को उलटने में विफल रहते हैं (जिसे "रिवर्शल कर्ज़" या reversal curse कहा जाता है)।

3. "श्रृंखला" परीक्षण (Composition - संयोजन)

तर्क: यदि "A से B होता है" और "B से C होता है," तो मशीन को स्वतः ही जानना चाहिए कि "A से C होता है।"
उपमा: डोमिनो की एक श्रृंखला की कल्पना करें। यदि आप पहले डोमिनो को गिराते हैं, तो दूसरा गिरता है, और फिर तीसरा।
निष्कर्ष: यहीं पर यह पेपर अपना सबसे बड़ा प्रहार करता है। उन्होंने सिद्ध किया कि साधारण, रैखिक (linear) बदलावों का उपयोग करके इस श्रृंखला प्रतिक्रिया को काम करने के लिए बनाना गणितीय रूप से असंभव है यदि आप यह भी चाहते हैं कि "विपरीत" (Negation) परीक्षण काम करे।
रूपक: यह एक ऐसे पुल को बनाने की कोशिश करने जैसा है जहाँ भौतिकी के नियम कहते हैं कि "ऊपर" और "नीचे" को एक-दूसरे को पूरी तरह से रद्द करना चाहिए, लेकिन पुल के नियम कहते हैं कि "ऊपर" और "नीचे" को "ऊपर" बनाने के लिए गुणा होना चाहिए। दोनों नियमों को संतुष्ट करने का एकमात्र तरीका पुल को पूरी तरह से ढहा देना है (फीचर मैप शून्य हो जाता है)।

यह क्यों मायने रखता है?

यह पेपर सुझाव देता है कि AI में दिखने वाली कई निराशाजनक विफलताएं केवल इसलिए नहीं हैं कि AI "मूर्ख" है या उसे पर्याप्त प्रशिक्षण नहीं मिला है। इसके बजाय, यह एक संरचनात्मक बेमेल (structural mismatch) के कारण है।

समस्या: हम एक जटिल, गैर-रैखिक समस्या (तर्क) को एक सरल, रैखिक उपकरण (पैरामीटर अपडेट) का उपयोग करके ठीक करने की कोशिश कर रहे हैं।
परिणाम: AI एक विशिष्ट तथ्य सीख सकता है, लेकिन वह उससे संबंधित तार्किक परिणामों तक उस सीख को विश्वसनीय रूप से "फैला" नहीं सकता है।
- वह किसी तथ्य का उल्टा (opposite) विश्वसनीय रूप से नहीं सीख सकता।
- वह किसी संबंध को उलटने (reverse) में सक्षम नहीं है।
- वह तथ्यों को आपस में जोड़ने (chain) में सक्षम नहीं है।

"Dynamics Reveal Structure" का सबक

लेखक एक चतुर वाक्यांश का उपयोग करते हैं: "Dynamics Reveals Structure" (गतिशीलता संरचना को प्रकट करती है)।

आमतौर पर, हम एक AI को देखते हैं और पूछते हैं, "वह क्या जानता है?" (स्थिर दृश्य)।
यह पेपर पूछता है, "जब हम उसे कुछ सिखाते हैं, तो वह कैसे बदलता है?" (गतिशील दृश्य)।

AI में बदलाव लाकर, हमने खोजा कि इसकी आंतरिक संरचना तार्किक तर्क के लिए मौलिक रूप से टूटी हुई है। यह एक कार को देखने जैसा है और यह महसूस करना कि आप गैस पेडल को कितना भी ज़ोर से दबा लें, पहिए नहीं घूमेंगे क्योंकि उनके एक्सल स्टील के नहीं बल्कि रबर के बने हैं। समस्या गैस पेडल (प्रशिक्षण) की नहीं है; समस्या अपडेट की ज्यामिति (एक्सल) की है।

सारांश

मान्यता: AI में छोटे, स्थानीय बदलावों को स्वचालित रूप से सभी संबंधित तार्किक तथ्यों को ठीक कर देना चाहिए।
सच्चाई: गणित सिद्ध करता है कि "निषेध" (Negation) और "संयोजन" (Composition) दोनों को एक सरल रैखिक तरीके से एक साथ काम करने के लिए यह असंभव है।
परिणाम: वर्तमान AI मॉडल संरचनात्मक रूप से सीमित हैं। वे तथ्यों को याद रख सकते हैं, लेकिन वे उन तथ्यों के बारे में तार्किक रूप से तर्क करने (जैसे उन्हें उलटने या जोड़ने) में संघर्ष करते हैं। इसे ठीक करने के लिए, हमें संभवतः उन मॉडलों के सीखने के मूलभूत आर्किटेक्चर को बदलने की आवश्यकता है, न कि केवल उन्हें अधिक लंबे समय तक प्रशिक्षित करने की।

तकनीकी सारांश: डायनेमिक्स संरचना को प्रकट करता है: रैखिक प्रसार धारणा (Linear Propagation Assumption) को चुनौती

1. समस्या का निरूपण (Problem Formulation)

आधुनिक मशीन लर्निंग सिस्टम, विशेष रूप से लार्ज लैंग्वेज मॉडल्स (LLMs), मुख्य रूप से प्रथम-क्रम पैरामीटर अपडेट (ग्रेडिएंट-आधारित अनुकूलन) के माध्यम से नई जानकारी के अनुकूल होते हैं। हालांकि ये मॉडल इन्फरेंस के दौरान प्रभावशाली तार्किक तर्क क्षमताएं प्रदर्शित करते हैं, लेकिन यह स्पष्ट नहीं है कि क्या इन अपडेट्स की स्थानीय ज्यामिति (local geometry) स्वाभाविक रूप से तार्किक सुसंगतता को बनाए रखती है। विशेष रूप से, जब एक मॉडल किसी तथ्य के बारे में अपने विश्वास को संशोधित करता है, तो क्या उसके तार्किक रूप से संबंधित विश्वास (जैसे, निषेध/negations, विलोम/converses, या संरचनात्मक परिणाम/compositional consequences) निरंतरता बनाए रखने के लिए तर्कसंगत रूप से अपडेट होते हैं?

वर्तमान तकनीकें अक्सर रैखिक प्रसार धारणा (Linear Propagation Assumption - LPA) पर निर्भर करती हैं, जो यह मानती है कि स्थानीय, प्रथम-क्रम अपडेट तार्किक परिणामों तक सुसंगत रूप से प्रसारित हो सकते हैं। यह धारणा ज्ञान संपादन (knowledge editing), निरंतर शिक्षण (continual learning), और अनलर्निंग (unlearning) रणनीतियों का आधार है, जो नेटवर्क परतों को रैखिक साहचर्य स्मृतियों (linear associative memories) के रूप में मानती हैं। हालांकि, अनुभवजन्य विफलताएं—जैसे कि "रिवर्सल कर्से" (संबंधों को उलटने में विफलता) और निषेध या मल्टी-हॉप रीजनिंग कार्यों में संपादन को प्रसारित करने में अक्षमता—यह सुझाव देती हैं कि LPA मौलिक रूप से त्रुटिपूर्ण हो सकता है।

मुख्य प्रश्न जिसका समाधान किया जा रहा है वह है: यदि हम यह मांग करें कि स्थानीय रैखिक अपडेट रिलेशनल नॉलेज के तार्किक ढांचे का सम्मान करें, तो मॉडल के प्रतिनिधित्व (representation) पर क्या संरचनात्मक बाधाएं लागू होती हैं?

2. कार्यप्रणाली (Methodology)

लेखक संबंध बीजगणित (relation algebra) को न्यूरल नेटवर्क अपडेट के ज्यामितीय विश्लेषण के साथ जोड़कर समस्या को औपचारिक रूप देते हैं।

औपचारिकता (Formalism): रिलेशनल नॉलेज को रिलेशन अलजेब्रा का उपयोग करके मॉडल किया गया है, जो तीन मुख्य ऑपरेशन्स पर ध्यान केंद्रित करता है:
- निषेध (Negation - $\neg$ ): सत्य मूल्यों (truth values) को उलट देता है।
- विलोम (Converse - $\cdot^\smile$ ): तर्क के क्रम को बदल देता है (जैसे, $r(h, t) \to r^\smile(t, h)$ )।
- संयोजन (Composition - $\cdot; \cdot$ ): संबंधों को जोड़ता है (जैसे, $r; s$ )।
ज्यामितीय उपकरण (Geometric Tool): लेखक न्यूरल टेंगेंट कर्नेल (NTK) परिप्रेक्ष्य को अपनाते हैं, जो मॉडल को स्थानीय शासन (local regime) में पैरामीटर्स के एक रैखिक फलन के रूप में मानता है। क्वेरीज़ को रैखिकीकृत विशेषताओं (linearized features) से जोड़ा जाता है जो स्कोर फंक्शन के ग्रेडिएंट्स हैं: $\phi_q = \nabla_\theta s_\theta(q)$ ।
व्यवस्थित रैखिक प्रसार (Systematic Linear Propagation - SLP): लेखक एक सख्त स्थिति को परिभाषित करते हैं जहाँ तार्किक युग्मन (logical coupling) को प्रतिनिधित्व का एक अंतर्निहित ज्यामितीय गुण होना चाहिए, जो फीचर सबस्पेस में सभी अपडेट दिशाओं $\Delta\theta$ $Δ θ$ के लिए मान्य हो। इसके लिए आवश्यक है:
1. तार्किक समरूपता (Logical Equivariance): तार्किक रूप से संबंधित क्वेरीज़ के लिए फीचर वेक्टर्स को अनुमानित रूप से बदलना चाहिए (जैसे, निषेध के लिए $\phi_{\neg q} = -\phi_q$ )।
2. रैखिक स्वतंत्रता (Linear Independence): तार्किक रूप से असंबंधित परिवारों को चयनात्मक अपडेट की अनुमति देने के लिए रैखिक रूप से स्वतंत्र होना चाहिए।
सममिति विश्लेषण (Symmetry Analysis): टार्स्की के इनवेरिएंस मानदंड (Tarski's invariance criterion) का उपयोग करते हुए, लेखक एंटिटी रीनेमिंग को क्वेरी स्पेस की सममिति (symmetries) के रूप में देखते हैं। वे विश्लेषण करते हैं कि ये सममितिएं फीचर स्पेस पर लीनियर ग्रुप रिप्रेजेंटेशन को कैसे बाधित करती हैं।

3. मुख्य योगदान और परिणाम

A. निषेध और विलोम के लिए टेंसर फैक्टराइजेशन की आवश्यकता है

यह शोध पत्र सिद्ध करता है कि निषेध और विलोम के लिए SLP को संतुष्ट करने के लिए फीचर स्पेस पर सख्त ज्यामितीय बाधाएं लागू होती हैं:

सिद्धांत 1 (कॉन्टेक्स्ट-रिलेशन फैक्टराइजेशन): निषेध के व्यवस्थित प्रसार का समर्थन करने के लिए, फीचर स्पेस को एंटिटी-पेयर कॉन्टेक्स्ट और रिलेशन कंटेंट को अलग करने वाले एक टेंसर प्रोडक्ट स्ट्रक्चर में विभाजित होना चाहिए। विशेष रूप से, $\phi(h, r, t) \approx \sum u(h, t) \otimes v(r)$ । निषेध रिलेशन कंपोनेंट $v(r)$ पर स्थानीय रूप से साइन फ्लिप के रूप में कार्य करता है।
सिद्धांत 2 (सिमेट्रिक-एंटीसिमेट्रिक एलाइनमेंट): विलोम ऑपरेशन के व्यवस्थित प्रसार का समर्थन करने के लिए, एंटिटी-पेयर घटक को आगे सिमेट्रिक और एंटीसिमेट्रिक भागों में विभाजित होना चाहिए। यह सुनिश्चित करता है कि एंटिटीज (और रिलेशन) को बदलने से साइन कैंसिलेशन मैकेनिज्म के माध्यम से एक सुसंगत फीचर प्रतिनिधित्व प्राप्त होता है।
अनुभवजन्य सत्यापन (Empirical Validation): लेखक प्रदर्शित करते हैं कि वर्तमान LLMs (Qwen3, Olmo) इन ज्यामितीय आवश्यकताओं का उल्लंघन करते हैं। अनुभवजन्य रूप से, तथ्यों और उनके निषेधों के ग्रेडिएंट्स दृढ़ता से पॉजिटिवली अलाइन्ड हैं (कोसाइन सिमिलैरिटी $\approx 0.85$ ), जबकि SLP के लिए उन्हें एंटी-अलाइन्ड (कोसाइन सिमिलैरिटी $-1$) होना चाहिए। यह मिसअलाइनमेंट मॉडल स्केल और आर्किटेक्चर में बना रहता है।

B. रैखिक संयोजन का पतन (The Collapse of Linear Conjunction)

सबसे महत्वपूर्ण सैद्धांतिक परिणाम रिलेशनल कंपोजिशन (मल्टी-हॉप रीजनिंग) से संबंधित है:

सिद्धांत 3 (स्ट्रक्चरल कोलैप्स): लेखक दिखाते हैं कि यदि एक फीचर मैप रैखिक अपडेट के तहत निषेध और संयोजन (एक न्यूनतम संयोजन रूप) दोनों के लिए व्यवस्थित प्रसार का समर्थन करता है, तो फीचर मैप शून्य (zero) में ढह जाएगा।
विफलता का तंत्र (Mechanism of Failure):
1. रैखिक फीचर्स पर व्यवस्थित संयोजन के लिए एक बाइलीनियर ऑपरेटर की आवश्यकता होती है (कर्नेल स्थिरता आवश्यकताओं के कारण)।
2. निषेध इक्विवेरिएंस (negation equivariance) के लिए निषेधित क्वेरी का फीचर मूल का नेगेटिव होना आवश्यक है ( $\phi_{\neg p} = -\phi_p$ )।
3. बाइलिनियैरिटी (Bilinearity) का अर्थ है $\tilde{F}(-\phi_p, -\phi_p) = \tilde{F}(\phi_p, \phi_p)$ ।
4. हालांकि, लॉजिकल इडेम्पोटेंस (idempotence) के लिए $\tilde{F}(\phi_{\neg p}, \phi_{\neg p}) = \phi_{\neg p} = -\phi_p$ होना चाहिए, जबकि $\tilde{F}(\phi_p, \phi_p) = \phi_p$ ।
5. यह एक विरोधाभास पैदा करता ( $-\phi_p = \phi_p$ ), जिससे $\phi_p = 0$ हो जाता है।
निहितार्थ: निषेध और संयोजन के लिए ज्यामितीय आवश्यकताएं परस्पर असंगत हैं। यह सुझाव देता है कि मल्टी-हॉप रीजनिंग और नॉलेज एडिटिंग में विफलताएं केवल ऑप्टिमाइजेशन आर्टिफैक्ट्स नहीं हैं, बल्कि एक मौलिक ज्यामितीय बेमेल (mismatch) से उत्पन्न होती हैं।

4. महत्व और दावे

यह शोध पत्र तर्क देता है कि डायनेमिक्स संरचना को प्रकट करता है: यह विश्लेषण करना कि अपडेट के तहत प्रतिनिधित्व कैसे रूपांतरित होते हैं, उन संरचनात्मक आवश्यकताओं को उजागर करता है जिन्हें स्टैटिक फंक्शन एप्रोक्सिमेशन नहीं दिखा सकता।

सिस्टमैटिसिटी का पुनर्गठन: यह कार्य फोडोर और पायलीशिन (1988) की सिस्टमैटिसिटी बहस में योगदान देता है, जो बाइंडिंग-कम्पेटिबल ब्लॉक स्ट्रक्चर को केवल एक आर्किटेक्चरल विकल्प के रूप में नहीं, बल्कि LPA के तहत तार्किक सुसंगतता के लिए एक ज्यामितीय आवश्यकता के रूप में व्युत्पन्न करता है।
लोकल एडिटिंग की सीमाएं: परिणाम बताते हैं कि सिंगल-स्टेप रैखिक अपडेट पर निर्भर ज्ञान संपादन विधियों के सामने मौलिक सीमाएं हैं। वे विरोधाभास उत्पन्न किए बिना या विशिष्ट, गैर-जेनेरिक अपडेट दिशाओं की आवश्यकता के बिना तार्किक परिणामों (निषेध, विलोम, या संयोजन) तक संपादन के प्रसार की गारंटी नहीं दे सकते।
आगे का मार्ग: लेखक लॉजिकल ज्योमेट्रिक डीप लर्निंग की दिशा में एक प्रस्ताव देते हैं, जहाँ अपडेट-टाइम व्यवहार को केवल स्टैटिक फंक्शन एप्रोक्सिमेशन के बजाय तार्किक समरूपता (equivariance) द्वारा नियंत्रित किया जाता है। इसका तात्पर्य यह है कि भविष्य के आर्किटेक्चर या ऑब्जेक्टिव्स को व्यवस्थित प्रसार प्राप्त करने के लिए पहचाने गए टेंसर-फैक्टराइज्ड और सिमेट्री-अलाइन्ड स्ट्रक्चर को स्पष्ट रूप से लागू करना होगा।

संक्षेप में, यह शोध पत्र एक कठोर सैद्धांतिक प्रमाण प्रदान करता है कि रैखिक प्रसार धारणा (LPA) न्यूरल नेटवर्क में व्यवस्थित तार्किक ऑपरेशन्स का समर्थन करने के लिए संरचनात्मक रूप से अपर्याप्त है, जो LLM रीजनिंग और एडिटिंग में निरंतर विफलताओं के लिए एक ज्यामितीय स्पष्टीकरण प्रदान करता है।