🤖 AI

On the Intrinsic Limits of Transformer Image Embeddings in Non-Solvable Spatial Reasoning

यह शोधपत्र तर्क देता है कि विजन ट्रांसफॉर्मर (Vision Transformers) स्वाभाविक रूप से मेंटल रोटेशन जैसे गैर-समाधान योग्य स्थानिक तर्क कार्यों में विफल रहते हैं क्योंकि उनकी निरंतर-गहराई वाली वास्तुकला (constant-depth architecture) जटिलता वर्ग $\mathsf{TC^0}$ द्वारा कम्प्यूटेशनल रूप से सीमित है, जो $\mathrm{SO}(3)$ जैसे गैर-समाधान योग्य समूहों की बीजगणितीय संरचना को संरक्षित करने के लिए आवश्यक $\mathsf{NC^1}$ -पूर्ण वर्ड प्रॉब्लम (Word Problem) को हल करने के लिए अपर्याप्त है।

मूल लेखक: Siyi Lyu, Quan Liu, Feng Yan

प्रकाशित 2026-05-28

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Siyi Lyu, Quan Liu, Feng Yan

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ "On the Intrinsic Limits of Transformer Image Embeddings in Non-Solvable Spatial Reasoning" नामक शोध पत्र का सरल, रोज़मर्रा की भाषा और रचनात्मक उपमाओं के साथ अनुवाद दिया गया है।

मुख्य विचार: AI 3D स्पेस में क्यों खो जाता है

कल्पना कीजिए कि आपके पास एक बहुत ही स्मार्ट रोबोट है जो खरगोश की तस्वीर देखकर कह सकता है, "यह एक खरगोश है!" यह चीज़ों को पहचानने में अद्भुत है। लेकिन अगर आप उससे पूछें कि उस खरगोश को 3D स्पेस में घुमाने की कल्पना कैसे की जाए, या जटिल घुमावों (spins) की एक श्रृंखला के बाद खरगोश कहाँ पहुँचेगा, तो रोबोट भ्रमित हो जाता है और गलतियाँ करने लगता है।

यह शोध पत्र तर्क देता है कि ऐसा इसलिए नहीं है क्योंकि रोबोट ने पर्याप्त खरगोशों की तस्वीरें नहीं देखी हैं। यह "डेटा की समस्या" नहीं है। बल्कि, यह समस्या रोबोट के दिमाग (इसके आर्किटेक्चर) में शुरू से ही जुड़ी हुई है। रोबोट का दिमाग जटिल 3D रोटेशन के लिए आवश्यक गणित करने के लिए बहुत अधिक "उथला" (shallow) है।

मूल समस्या: "एक-कदम वाला" दिमाग

यह समझने के लिए कि ऐसा क्यों है, हमें यह देखना होगा कि ये AI मॉडल (जिन्हें विज़न ट्रांसफॉर्मर या ViTs कहा जाता है) कैसे काम करते हैं।

उपमा: इंस्टेंट फोटो एल्बम
एक मानक AI मॉडल को एक ऐसे व्यक्ति की तरह समझें जो एक फोटो देखता है और तुरंत एक नोटबुक में उसका विवरण लिख देता है। वे यह सब एक ही बार में, एक तेज़ नज़र में करते हैं। वे यह सोचने के लिए नहीं रुकते कि, "ठीक है, अगर मैं इसे बाईं ओर घुमाता हूँ, फिर ऊपर, फिर दाईं ओर..." वे बस पिछले अनुभवों के आधार पर अंतिम परिणाम का अनुमान लगाने की कोशिश करते हैं।

यह शोध पत्र कहता है कि यह "एक-नज़र वाला" दृष्टिकोण सरल चीज़ों के लिए (जैसे किसी तस्वीर को बाएँ या दाएँ खिसकाना) बहुत अच्छा काम करता है, लेकिन जटिल चीज़ों (जैसे 3D वस्तु को घुमाना) के लिए विफल हो जाता है।

जादू के पीछे का गणित: "ग्रुप" का खेल

लेखक इस बात को समझाने के लिए ग्रुप थ्योरी (Group Theory) नामक गणित की एक शाखा का उपयोग करते हैं। वस्तुओं को हिलाने के नियमों के एक सेट की कल्पना करें:

स्तर 1 (आसान): एक बॉक्स को बाएँ या दाएँ खिसकाना। इससे कोई फर्क नहीं पड़ता कि आप उसे पहले बाएँ फिर दाएँ खिसकाते हैं, या दाएँ फिर बाएँ; आप अंततः एक ही जगह पहुँचते हैं। यह एक सरल, सहकारी खेल की तरह है।
स्तर 2 (मध्यम): एक 2D आकार को घुमाना। यहाँ क्रम मायने रखता है (घुमाना और फिर खिसकाना अलग है, बजाय इसके कि पहले खिसकाया और फिर घुमाया), लेकिन आप अभी भी इन गतिविधियों को सरल चरणों में तोड़ सकते हैं।
स्तर 3 (कठिन): एक 3D वस्तु (जैसे ग्लोब) को घुमाना। यहाँ, क्रम बहुत अधिक मायने रखता है, और गतिविधियाँ इस तरह उलझ जाती हैं कि उन्हें आसानी से सुलझाया नहीं जा सकता। गणितीय शब्दों में, इन्हें "नॉन-सॉल्वेबल ग्रुप्स" (Non-Solvable Groups) कहा जाता है।

शोध पत्र का दावा है कि स्तर 3 (3D रोटेशन) को वास्तव में समझने के लिए, आपको कदम-दर-कदम "क्या-होगा" (what-if) के लंबे क्रम को ट्रैक करने में सक्षम होना चाहिए।

बाधा: "गहराई" की सीमा

यहाँ शोध पत्र के तर्क का महत्वपूर्ण हिस्सा है:

उपमा: फैक्ट्री असेंबली लाइन

AI (ViT): एक फैक्ट्री की कल्पना करें जहाँ एक उत्पाद निश्चित संख्या में स्टेशनों (मान लीजिए 12 स्टेशन) से होकर गुजरता है। उत्पाद चाहे कितना भी जटिल क्यों न हो, वह इन 12 स्टेशनों से केवल एक बार गुजरता है। यह एक "स्थिर गहराई" (constant depth) वाली प्रक्रिया है।
कार्य (3D रोटेशन): एक ऐसे कार्य की कल्पना करें जिसमें आपको उन निर्भरताओं की श्रृंखला की जाँच करनी है जो हर नया चरण जोड़ने पर लंबी होती जाती है। इसे हल करने के लिए, आपको एक ऐसी फैक्ट्री की आवश्यकता है जहाँ उत्पाद स्टेशनों के माध्यम से कई बार वापस घूम सके, या जहाँ फैक्ट्री श्रृंखला की लंबाई के आधार पर नए स्टेशनों का निर्माण कर सके।

शोध पत्र कंप्यूटर विज्ञान के उन्नत सिद्धांत (सर्किट कॉम्प्लेक्सिटी) का उपयोग करके सिद्ध करता है कि:

AI का "12-स्टेशन वाला" फैक्ट्री एक ही बार में "लंबी श्रृंखला" वाले पहेली को हल करने में गणितीय रूप से असमर्थ है।
इस पहेली के लिए एक "लॉजिकल डेप्थ" (तार्किक गहराई) की आवश्यकता होती है जो AI के पास नहीं है। यह बिना किसी हिस्से को घुमाए रूबिक क्यूब (Rubik's Cube) को केवल एक बार देखने की कोशिश करने जैसा है।

प्रयोग: "रिकर्सिव प्रोब" (Recursive Probe)

यह साबित करने के लिए कि यह केवल एक सिद्धांत नहीं है, शोधकर्ताओं ने लेटेंट स्पेस अल्जेब्रा (Latent Space Algebra - LSA) बेंचमार्क नामक एक परीक्षण बनाया।

उपमा: मेमोरी गेम

उन्होंने AI को एक वस्तु की तस्वीर दिखाई।
उन्होंने उसे गतिविधियों का एक क्रम कल्पना करने के लिए कहा (जैसे, "X घुमाएं, फिर Y, फिर Z...")।
उन्होंने AI को एक समय में केवल एक ही गतिविधि को समझने के लिए प्रशिक्षित किया।
फिर, उन्होंने AI को उन एकल गतिविधियों को अपने दिमाग में जोड़ने के लिए टेस्ट किया (जैसे, लगातार 20 मूव्स)।

परिणाम:

जब गतिविधियाँ सरल थीं (स्तर 1), तो AI ने अच्छा प्रदर्शन किया।
जब गतिविधियाँ जटिल 3D रोटेशन थीं (स्तर 3), तो AI का "मानसिक मानचित्र" बिखर गया। जैसे-जैसे उन्होंने गतिविधियों को एक साथ जोड़ा, AI का उत्तर सच्चाई से दूर होता गया।
महत्वपूर्ण बात: AI को बड़ा बनाने (अधिक लेयर्स जोड़ने) से भी कोई मदद नहीं मिली। यह एक ऐसे व्यक्ति को बड़ी नोटबुक देने जैसा था जिसकी याददाश्त कमज़ोर है; वे अभी भी लंबी घटनाओं की श्रृंखला को याद नहीं रख पाए क्योंकि उनकी याददाश्त की संरचना ही गलत थी, न कि उनका आकार।

यह क्या दर्शाता है (शोध पत्र के अनुसार)

शोध पत्र निष्कर्ष निकालता है कि:

यह डेटा की कमी नहीं है: आप AI को घूमने वाले खरगोशों की अधिक तस्वीरें खिलाकर इसे ठीक नहीं कर सकते।
यह एक संरचनात्मक सीमा है: इन AI मॉडल्स (Vision Transformers) का वर्तमान डिज़ाइन 3D रोटेशन के जटिल और उलझे हुए तर्क को एक ही नज़र में संभालने के लिए गणितीय रूप से "बहुत उथला" है।
"पैटर्न मैचर" का जाल: ये मॉडल उन पैटर्न को पहचानने में उत्कृष्ट हैं जिन्हें उन्होंने पहले देखा है, लेकिन वे वास्तव में दुनिया की ज्यामिति (geometry) के माध्यम से "तर्क" (reasoning) नहीं कर रहे हैं जैसा कि मनुष्य करते हैं। वे उत्तर का अनुमान लगा रहे हैं, और यह अनुमान तब टूट जाता है जब गणित बहुत कठिन हो जाता है।

संक्षेप में, शोध पत्र का तर्क है कि वर्तमान पीढ़ी के AI विज़न मॉडल्स के पास 3D स्पेस को समझने की एक कठोर सीमा है, इसलिए नहीं कि वे "बेवकूफ" हैं, बल्कि इसलिए क्योंकि उनका दिमाग एक विशिष्ट प्रकार के "फ्लैट" लॉजिक के साथ बना है जो गहरे, उलझे हुए स्थानिक पहेलियों (spatial puzzles) को नहीं संभाल सकता।

तकनीकी सारांश: गैर-हल करने योग्य (Non-Solvable) स्थानिक तर्क में ट्रांसफॉर्मर इमेज एम्बेडिंग की अंतर्निहित सीमाओं पर

समस्या विवरण
विज़न ट्रांसफॉर्मर (ViTs) ने सिमेंटिक रिकग्निशन (semantic recognition) में अत्याधुनिक प्रदर्शन हासिल किया है, लेकिन वे स्थानिक तर्क (spatial reasoning) के कार्यों में व्यवस्थित विफलता प्रदर्शित करते हैं, विशेष रूप से मानसिक रोटेशन (mental rotation) और सापेक्ष स्थिति निर्धारण जैसे जटिल ज्यामितीय रूपांतरणों में। जबकि इन विफलताओं को अक्सर अपर्याप्त डेटा स्केल या ऑप्टिमाइज़ेशन आर्टिफैक्ट्स के रूप में देखा जाता है, यह कार्य प्रस्तावित करता है कि सीमा एकल फॉरवर्ड पास के भीतर गैर-हल करने योग्य स्थानिक रूपांतरणों (जैसे 3D रोटेशन) के बीजगणितीय ढांचे (algebraic structure) को मॉडल करने के लिए आवश्यक 'लॉजिकल डेप्थ' (logical depth) की कमी के कारण है।

कार्यप्रणाली
यह अध्ययन एक सैद्धांतिक ढांचे का उपयोग करता है जो ग्रुप थ्योरी (Group Theory) और सर्किट कॉम्प्लेक्सिटी (Circuit Complexity) को जोड़ता है, जिसे एक नवीन अनुभवजन्य बेंचमार्क द्वारा मान्य किया गया है।

सैद्धांतिक औपचारिकता (Theoretical Formalization):
- ग्रुप होमोमोर्फिज्म (Group Homomorphism): स्थानिक समझ को एक 'ग्रुप होमोमोर्फिज्म' प्राप्त करने के रूप में परिभाषित किया गया है, जहाँ लेटेंट एम्बेडिंग्स को अंतर्निहित ज्यामितीय समूह $G$ (जैसे, $SO(3)$) के कंपोजिशन लॉ (composition law) को संरक्षित करना चाहिए।
- सॉल्वेबिलिटी पदानुक्रम (Solvability Hierarchy): कार्यों को उनके रूपांतरण समूहों की 'सॉल्वेबिलिटी' के आधार पर वर्गीकृत किया गया है:
  - लेवल 1 (Abelian): कम्यूटेटिव ऑपरेशन्स (जैसे, 2D ट्रांसलेशन)।
  - लेवल 2 (Solvable Non-Abelian): ऐसे ऑपरेशन्स जो कम्यूट नहीं करते हैं लेकिन जिन्हें परिमित एबेलियन चरणों में विभाजित किया जा सकता है (जैसे, 2D रिजिड मोशन)।
  - लेवल 3 (Non-Solvable): गहराई से उलझे हुए ऑपरेशन्स जिन्हें अलग नहीं किया जा सकता (जैसे, 3D रोटेशन, जिसमें $A_5$ के आइसोमोर्फिक सबग्रुप शामिल हैं)।
- द वर्ड प्रॉब्लम (The Word Problem): यह पेपर क्रमिक स्थानिक ऑपरेशन्स की निर्भरता को परिमित समूहों के लिए "वर्ड प्रॉब्लम" के रूप में औपचारिक रूप देता है। गैर-हल करने योग्य समूहों के लिए, इस समस्या को हल करना NC1-complete है, जिसके लिए सीरियल डिपेंडेंसीज को हल करने के लिए लॉगरिदमिक लॉजिकल डेप्थ ( $O(\log N)$ ) की आवश्यकता होती है।
- सर्किट कॉम्प्लेक्सिटी बाउंड्स (Circuit Complexity Bounds): मानक ViTs, जो कांस्टेंट डेप्थ और पॉलिनॉमियल प्रिसिजन रखते हैं, स्पष्ट रूप से TC0 कॉम्प्लेक्सिटी क्लास द्वारा सीमित हैं। मानक धारणा के तहत कि TC0 ⊊ NC1, कांस्टेंट-डेप्थ आर्किटेक्चर एकल फॉरवर्ड पास में गैर-हल करने योग्य समूहों के लिए 'वर्ड प्रॉब्लम' को हल करने के लिए आवश्यक लॉजिकल डेप्थ की कमी रखते हैं।
अनुभवजन्य सत्यापन (LSA बेंचमार्क):
- लेखक एक लेटेंट स्पेस अल्जेब्रा (LSA) बेंचमार्क प्रस्तावित करते हैं ताकि इन सैद्धांतिक सीमाओं का परीक्षण किया जा सके।
- प्रोटोकॉल: एक रिकर्सिव लीनियर प्रोबिंग रणनीति का उपयोग किया जाता है। मॉडल को परमाणु ट्रांजिशन ( $N=1$ ) पर प्रशिक्षित किया जाता है और उन्हीं स्टेट स्पेस से उत्पन्न रिकर्सिव सीक्वेंस ( $N \in \{2, \dots, 20\}$ ) पर उनका मूल्यांकन किया जाता है।
- नियंत्रण (Controls): ऑप्टिमाइज़ेशन आर्टिफैक्ट्स को खारिज करने के लिए, अध्ययन लेटेंट स्पेस में अंतर्निहित रैखिकता के लिए एक नियतात्मक जांच के रूप में ऑर्थोगोनल प्रोक्रस्टेस एनालिसिस (OPA) का उपयोग करता है।
- डेटासेट: एबेलियन ( $Z_2$ ), सॉल्वेबल नॉन-एबेलियन ($SE(2) $), और नॉन-सॉल्वेबल ($ SO(3)$) समूहों के लिए असिमेट्रिक 3D ऑब्जेक्ट्स का उपयोग करके सिंथेटिक डेटासेट बनाए गए हैं ताकि विजुअल इंजेक्टिविटी सुनिश्चित की जा सके।
- मॉडल: प्रयोग ViT (Base/Large/Huge), DINOv2 (Base/Large/Giant), और ResNet (50/101/152) बैकबोन के फ्रोजन वेट्स का मूल्यांकन करते हैं।

मुख्य योगदान

बीजगणितीय औपचारिकता: यह पेपर स्थानिक प्रतिनिधित्व को एक ग्रुप होमोमोर्फिज्म समस्या के रूप में प्रस्तुत करता है, जो रूपांतरण समूह की सॉल्वेबिलिटी के आधार पर कार्य की कठिनाई को वर्गीकृत करता है।
कॉम्प्लेक्सिटी बाउंडरी प्रूफ: यह औपचारिक रूप से स्थापित करता है कि मानक धारणाओं (TC0 ⊊ NC1) के तहत, कांस्टेंट-डेप्थ ViTs गैर-हल करने योग्य संरचनाओं (जैसे 3D रोटेशन) को कैप्चर करने में सैद्धांतिक रूप से अक्षम हैं, क्योंकि वे गैर-हल करने योग्य समूहों के लिए 'वर्ड प्रॉब्लम' में निहित सीरियल डिपेंडेंसीज को हल नहीं कर सकते।
बीजगणितीय बेंचमार्क और सत्यापन: LSA बेंचमार्क एक कठोर, स्ट्रक्चर-ड्रिवन मूल्यांकन पद्धति प्रदान करता है। अनुभवजन्य परिणाम पुष्टि करते हैं कि नॉन-सॉल्वेबल कार्यों के लिए कंपोजिशनल डेप्थ बढ़ने के साथ ViT रिप्रजेंटेशन महत्वपूर्ण रूप से खराब हो जाते हैं, जबकि एबेलियन कार्यों के लिए अपनी शुद्धता बनाए रखते हैं।

परिणाम

यूनिवर्सल कॉम्प्लेक्सिटी बैरियर: सभी आर्किटेक्चर (ViT, DINOv2, ResNet) और स्केल्स के बीच, मॉडल नॉन-सॉल्वेबल समूहों के लिए लॉन्ग-रेंज डिपेंडेंसीज को ट्रैक करने में मौलिक गिरावट प्रदर्शित करते हैं।
त्रुटि का पदानुक्रम (Hierarchy of Error): प्रेडिक्शन एरर एक सख्त पदानुक्रम का पालन करता है: लेवल 3 (Non-Solvable) $\gg$ लेवल 2 > लेवल 1। लेवल 3 पर एब्सोल्यूट एरर लेवल 1 की तुलना में लगभग 5.73x से 17.72x अधिक है।
स्ट्रक्चरल डिग्रेडेशन: नॉन-सॉल्वेबल रूपांतरण एक तीव्र, मोनोटोनिक एरर वृद्धि को ट्रिगर करते हैं, जो ट्रिवियल प्रेडिक्टर (baseline) के करीब पहुँच जाता है। यह इंगित करता है कि यह केवल संचयी त्रुटि (cumulative error drift) नहीं है, बल्कि होमोमोर्फिक मैपिंग का संरचनात्मक टूटना है।
डेप्थ स्केलिंग की अप्रभावीता: मॉडल डेप्थ बढ़ाने (जैसे, ViT-Base से ViT-Huge तक) से नगण्य प्रदर्शन लाभ मिलता है। एक ही आर्किटेक्चर फैमिली के भीतर विभिन्न डेप्थ्स के लिए एरर ट्रेजेक्टरीज ओवरलैप होती हैं, जो पुष्टि करती है कि एक स्टैटिक कम्प्यूटेशनल ग्राफ (TC0) में लेयर्स को स्टैक करना आवश्यक कॉम्प्लेक्सिटी क्लास (NC1) के अंतर को पाटने के लिए पर्याप्त नहीं है।
अंतर्निहित लेटेंट डेफिसिट: OPA परिणाम दिखाते हैं कि जबकि एबेलियन रूपांतरण लेटेंट स्पेस में मजबूत लीनियर फिट देते हैं, नॉन-सॉल्वेबल 3D रोटेशन लगातार विफल होते हैं (अक्सर नेगेटिव $R^2$ देते हैं), जो यह सिद्ध करता है कि लेटेंट स्पेस में इन जनरेटर्स को दर्शाने के लिए आवश्यक ज्योमेट्री की कमी है।

महत्व और दावे
यह पेपर कांस्टेंट-डेप्थ ट्रांसफॉर्मर आर्किटेक्चर की एक मौलिक सैद्धांतिक सीमा की पहचान करने का दावा करता है: वे गैर-हल करने योग्य स्थानिक तर्क के लिए आवश्यक ग्रुप आइसोमोर्फिज्म (group isomorphism) में महारत हासिल करने के बजाय केवल शैलो एप्रोक्सिमेशन (shallow approximations) पर निर्भर करते हैं।

आर्किटेक्चरल लिमिट: यह विफलता डेटा स्केल या ट्रेनिंग ऑप्टिमाइज़ेशन के कारण नहीं है, बल्कि आर्किटेक्चर के सर्किट कॉम्प्लेक्सिटी का एक अंतर्निहित गुण है।
एम्बोडीड AI के लिए निहितार्थ: ये निष्कर्ष सुरक्षा-महत्वपूर्ण अनुप्रयोगों (रोबोटिक्स, ऑटोनॉमस ड्राइविंग) के लिए एक चेतावनी के रूप में कार्य करते हैं, जहाँ लॉन्ग-होरिज़न कंपोजिशनल ट्रांसफॉर्मेशन के लिए "पैटर्न मैचिंग" रिप्रजेंटेशन पर निर्भरता अप्रत्याशित विफलताओं का कारण बन सकती है।
संसाधन दक्षता: यह कार्य फिक्स्ड-डेप्थ आर्किटेक्चर के भीतर केवल डेटा या पैरामीटर स्केलिंग के माध्यम से जटिल स्थानिक तर्क को हल करने की निरर्थकता के विरुद्ध तर्क देता है, जो संभवतः जैविक नेविगेशन सिद्धांतों से प्रेरित होकर लॉजिकल डेप्थ और ट्रेनिंग स्टेबिलिटी के बीच सामंजस्य बिठाने वाले डिजाइनों की आवश्यकता का सुझाव देता है।