🤖 machine learning

Beyond Language: Format-Agnostic Reasoning Subspaces in Large Language Models

यह शोध पत्र ट्रिफॉर्म बेंचमार्क (TriForm Benchmark) प्रस्तुत करता है और बड़े भाषा मॉडलों (large language models) के भीतर एक फॉर्मेट-एग्नोस्टिक रीजनिंग सबस्पेस (Format-Agnostic Reasoning Subspace - FARS) के लिए अभिसरण साक्ष्य प्रदान करता है, जो यह प्रदर्शित करता है कि एक संक्षिप्त 10-आयामी आंतरिक प्रतिनिधित्व विविध सतही रूपों (गद्य, कोड और गणित) में अमूर्त तर्क अवधारणाओं को कैप्चर करता है, साथ ही एक मौलिक विषमता को प्रकट करता है जहाँ घोषणात्मक प्रारूप (declarative formats) एक दूसरे के साथ प्रक्रियात्मक कोड (procedural code) की तुलना में अधिक अनुकूल होते हैं।

मूल लेखक: Aojie Yuan, Zhiyuan Su

प्रकाशित 2026-05-12

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Aojie Yuan, Zhiyuan Su

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक विशाल, अत्यंत बुद्धिमान पुस्तकालय (एक लार्ज लैंग्वेज मॉडल) है जो कई अलग-अलग "भाषाओं" में पढ़ और लिख सकता है। लेकिन इस मामले में, "भाषा" का अर्थ केवल अंग्रेजी, स्पेनिश या फ्रेंच नहीं है। इसका अर्थ पायथन कोड (Python code), गणितीय समीकरण (math equations) और संरचित सूचियाँ (structured lists) भी है।

मुख्य प्रश्न जो शोधकर्ताओं ने पूछा था वह यह था: जब यह लाइब्रेरी किसी तार्किक विचार (जैसे "यदि A तो B") के बारे में सोचती है, तो क्या यह एक ही तरह की आंतरिक "मस्तिष्क वायरिंग" का उपयोग करती है चाहे वह विचार किसी कहानी, गणित की समस्या या कंप्यूटर प्रोग्राम में हो? या क्या इसे प्रारूप (format) बदलने पर हर बार अपने मस्तिष्क को पूरी तरह से पुनर्गठित करना पड़ता है?

यहाँ उन्होंने जो पाया है, उसका सरल विवरण दिया गया है:

1. तर्क का "छिपा हुआ केंद्र" (The "Hidden Core" of Reasoning)

शोधकर्ताओं ने पाया कि इन AI मॉडलों के भीतर गहराई में, एक छोटा, विशेष "कोर" क्षेत्र होता है जहाँ वास्तविक तर्क (logic) निवास करता है, जो प्रारूप (format) से पूरी तरह अलग है।

उपमा: कल्पना कीजिए कि आप एक ही गाने को पियानो, गिटार और सिंथेसाइज़र पर बजते हुए सुन रहे हैं। आपके कानों के लिए, वे पूरी तरह से अलग सुनाई देंगे (अलग "सतही रूप")। लेकिन शोधकर्ताओं ने पाया कि AI के भीतर, एक विशिष्ट, छोटा कमरा है जहाँ गाने की धुुन इस तरह से संग्रहीत होती है जिसे इस बात से कोई फर्क नहीं पड़ता कि कौन सा वाद्य यंत्र बजाया जा रहा है।
निष्कर्ष: उन्होंने AI की मध्य परतों में इस "कमरे" को खोजा। इसे फॉर्मेट-एग्नोस्टिक रीजनिंग सबस्पेस (Format-Agnostic Reasoning Subspace - FARS) कहा जाता है। यह अविश्वसनीय रूप से छोटा है—AI द्वारा उपयोग किए जाने वाले हजारों आयामों (dimensions) में से केवल लगभग 10 आयाम। फिर भी, यह छोटा सा हिस्सा शुद्ध तर्क को धारण करता है, जो इस बात से मुक्त है कि वह कोड में लिखा है या गद्य (prose) में।

2. "जादुई बदलाव" प्रयोग (The "Magic Swap" Experiment)

यह सिद्ध करने के लिए कि यह कोर वास्तविक था और वास्तव में काम कर रहा था, उन्होंने एक "ब्रेन ट्रांसप्लांट" प्रयोग किया।

उपमा: कल्पना कीजिए कि आपके पास दो लोग हैं: एक अंग्रेजी बोल रहा है और एक फ्रेंच। आप अंग्रेजी बोलने वाले का "तर्क मस्तिष्क" (logic brain) लेते हैं और उसे फ्रेंच बोलने वाले के सिर में लगाने की कोशिश करते हैं।
परिणाम: जब उन्होंने अंग्रेजी वाक्य के उन 10 विशेष आयामों को एक गणितीय समीकरण में बदला, तो AI लगभग पूरी तरह से (90-96% समय) काम करता रहा।
विपरीत स्थिति: यदि उन्होंने पूरा मस्तिष्क (सभी आयाम) बदल दिया होता, तो AI भ्रमित हो जाता और विफल हो जाता। यदि उन्होंने यादृच्छिक (random) भाग बदले होते, तो भी वह विफल हो जाता। इससे यह सिद्ध हुआ कि वे विशिष्ट 10 आयाम ही वह "गुप्त सूत्र" (secret sauce) हैं जो विभिन्न प्रारूपों में तर्क को ले जाते हैं।

3. "घोषणात्मक बनाम प्रक्रियात्मक" की दीवार (The "Declarative vs. Procedural" Wall)

यहाँ सबसे आश्चर्यजनक मोड़ आता है। AI कहानियों (अंग्रेजी) और गणित के बीच तर्क को अनुवाद करने में उत्कृष्ट है, लेकिन यह कहानियों और कंप्यूटर कोड के बीच तर्क को अनुवाद करने में संघर्ष करता है।

उपमा: "घोषणात्मक" (Declarative) प्रारूपों (कहानियाँ और गणित) को ब्लूप्रिंट (नीलचित्र) के रूप में सोचें। वे वर्णन करते हैं कि एक इमारत कैसी दिखनी चाहिए। "प्रक्रियात्मक" (Procedural) प्रारूपों (कोड) को एक रोबोट के लिए निर्देश नियमावली (instruction manuals) के रूप में सोचें। वे बताते हैं कि चरण-दर-चरण इसे कैसे बनाया जाए।
निष्कर्ष: AI का "तर्क मस्तिष्क" ब्लूप्रिंट के लिए अन्य ब्लूप्रिंटों के साथ अदला-बदली (Swap) करते समय खूबसूरती से काम करता है (कहानी $\leftrightarrow$ गणित)। लेकिन जब यह एक ब्लूप्रिंट को रोबोट निर्देश नियमावली (कहानी $\leftrightarrow$ कोड) के साथ बदलने की कोशिश करता है, तो कनेक्शन टूट जाता है। AI उन्हें मौलिक रूप से अलग प्रकार की सोच मानता है।
सीख: बाधा "भाषा बनाम गणित" नहीं है; बाधा "परिणाम का वर्णन करना" बनाम "चरण-दर-चरण निर्देश देना" है।

4. यह सभी के लिए समान है

शोधकर्ताओं ने विभिन्न कंपनियों (जैसे GPT, Llama, और Mistral) के पांच अलग-अलग AI मॉडलों का परीक्षण किया। भले ही ये मॉडल अलग-अलग तरीके से बनाए गए थे और इन्हें अलग-अलग डेटा पर प्रशिक्षित किया गया था, फिर भी इन सभी ने अपने मस्तिष्क के बीच में यही समान 10-आयामी "तर्क कक्ष" विकसित किया।

उपमा: यह इस तरह है जैसे कि मनुष्य, चाहे वे किसी भी देश के हों, सभी में एक ही स्थान पर हृदय होता है जो एक ही तरह से रक्त पंप करता है। AI मॉडल, अपनी अलग-अलग "प्रजातियों" के बावजूद, शुद्ध तर्क को संभालने के लिए एक ही आंतरिक संरचना विकसित करते हैं।

सारांश

यह शोध पत्र दिखाता है कि AI मॉडलों के पास एक सार्वभौमिक "तर्क केंद्र" होता है जो इस बात की परवाह नहीं करता कि आप अंग्रेजी, गणित या कोड में लिख रहे हैं। हालाँकि, यह केवल उन प्रारूपों के बीच अच्छी तरह से काम करता है जो चीजों को एक ही तरह से वर्णित करते हैं (घोषणात्मक)। जब यह वर्णन और चरण-दर-चरण निर्देशों को मिलाने की कोशिश करता है (प्रक्रियात्मक), तो यह एक दीवार से टकरा जाता है।

यह खोज हमें यह देखने का एक तरीका देती है कि AI ठीक कहाँ विचार के बारे में सोच रहा है बनाम कहाँ वह केवल "शब्दों" या "सिंटैक्स" के बारे में सोच रहा है।

तकनीकी सारांश: भाषा से परे: लार्ज लैंग्वेज मॉडल्स में फॉर्मेट-एग्नोस्टिक रीजनिंग सबस्पेस

समस्या विवरण

लार्ज लैंग्वेज मॉडल्स (LLMs) समान तार्किक निष्कर्षों को बहुत ही भिन्न सतही रूपों (surface forms) में संसाधित करते हैं—जिसमें अंग्रेजी गद्य और चीनी पाठ से लेकर पायथन कोड और गणितीय नोटेशन तक शामिल हैं। जबकि पूर्व शोध ने स्थापित किया है कि बहुभाषी LLMs प्राकृतिक भाषाओं के बीच साझा आंतरिक प्रतिनिधित्व विकसित करते हैं, यह अज्ञात बना हुआ है कि क्या यह अपरिवर्नीयता (invariance) वास्तव में भिन्न प्रतीकात्मक प्रणालियों (symbolic systems) तक विस्तृत होती है। केंद्रीय प्रश्न यह है कि क्या LLMs के पास तर्क करने के लिए एक सामान्य आंतरिक आधार (substrate) है जो विशिष्ट प्रतीकात्मक एन्कोडिंग (भाषाई, औपचारिक और संरचनात्मक) से परे जाता है, और यदि ऐसा है, तो क्या यह संरचना गणना में कारण रूप से शामिल है और विभिन्न आर्किटेक्चरों में सार्वभौमिक है।

कार्यप्रणाली

लेखक TriForm Benchmark पेश करते हैं, जो 324 उद्दीपकों (stimuli) का एक नियंत्रित डेटासेट है जो 18 तर्क अवधारणाओं (अंकगणित, तर्क, संबंधपरक, कारण और स्थानिक डोमेन में फैली हुई) से व्युत्पन्न है। प्रत्येक अवधारणा को तीन आयामों में व्यवस्थित छह सतही रूपों में व्यक्त किया गया है:

भाषाई (Linguistic): अंग्रेजी, चीनी और फ्रांसीसी गद्य।
प्रतीकात्मक (Symbolic): पायथन कोड और गणितीय नोटेशन।
संरचनात्मक (Structural): संरचित चरण-दर-चरण डेटा।

यह अध्ययन तीन आर्किटेक्चर परिवारों (GPT, Qwen, Llama/Mistral) से पांच डिकोडर-ओनली LLMs (1.6B से 8B पैरामीटर्स) का मूल्यांकन करने के लिए निम्नलिखित विश्लेणात्मक ढांचे का उपयोग करता है:

परम्यूटेशन-करेक्टेड RSA: अवधारणा-स्तर की संरचना की पहचान करने के लिए, लेखक युग्मवार दूरियों (pairwise distances) की गैर-स्वतंत्रता को ठीक करने के लिए परम्यूटेशन परीक्षणों के साथ रिप्रेजेंटेशनल सिमिलैरिटी एनालिसिस (RSA) का उपयोग करते हैं, जो सतह-रूप संकेतों को अवधारणा संकेतों से अलग करता है।
क्रॉस-फॉर्म प्रोबिंग: एक सतह रूप के सक्रियणों (activations) पर रिज़-रेगुलराइज्ड क्लासिफायर प्रशिक्षित किए जाते हैं ताकि दूसरे सतह रूप में अवधारणा पहचान की भविष्यवाणी की जा सके, जो विभिन्न प्रारूपों में रैखिक डिकोडेबिलिटी का परीक्षण करता है।
फॉर्मेट-न्यूरॉन एंट्रॉपी: LAPE से प्रेरित होकर, लेखक विभिन्न रूपों में सक्रियण वितरणों की एंट्रॉपी को मापकर न्यूरॉन विशिष्टता को परिमाणित करते हैं, जिससे उन न्यूरॉन्स की पहचान होती है जो समान रूप से सक्रिय होते हैं (फॉर्मेट-एग्नोस्टिक) बनाम वे जो कुछ विशिष्ट रूपों के लिए विशिष्ट होते हैं।
सबस्पेस निष्कर्षण (FARS): अवधारणा-सेंट्रॉइड प्रिंसिपल कंपोनेंट एनालिसिस (PCA) का उपयोग करके एक फॉर्मेट-एग्नोस्टिक रीजनिंग सबस्पेस (FARS) निकाला जाता है। प्रत्येक अवधारणा के लिए सभी रूपों और उदाहरणों के माध्यम से सक्रियणों का औसत निकालकर, लेखक शीर्ष- $k$ मुख्य घटकों को अलग करते हैं जो फॉर्म वेरिएंस को दबाते हुए अवधारणा वेरिएंस को कैप्चर करते हैं।
कारण हस्तक्षेप (Causal Intervention): अध्ययन एक्टिवेशन पैचिंग और सबस्पेस एब्लेशन का उपयोग करता है।
- क्रॉस-फॉर्म पैचिंग: एक स्रोत रूप (जैसे, अंग्रेजी) से हिडन स्टेट्स को एक लक्ष्य रूप (जैसे, गणित) में बदलकर आउटपुट संरक्षण को मापना।
- सबस्पेस पैचिंग: क्रॉस-फॉर्म ट्रांसफर के दौरान केवल अनुमानित FARS घटकों (10 आयामों) को बदलकर देखना।
- सबस्पेस एब्लेशन: FARS दिशाओं को हटाकर मॉडल आउटपुट में व्यवधान को मापना।

मुख्य परिणाम

1. फॉर्मेट-एग्नोस्टिक रीजनिंग सबस्पेस (FARS) का अस्तित्व

सहसंबंध साक्ष्य: RSA प्रकट करता है कि अवधारणा-स्तर के संकेत सभी मॉडलों के मध्य परतों में चरम पर होते हैं, जो स्केल के साथ मजबूत होते हैं। जबकि सतह रूप अभी भी प्रमुख संगठित सिद्धांत बना हुआ है (Form RSA $\rho \approx 0.43\text{--}0.53$ ), अवधारणा संकेत महत्वपूर्ण हैं ( $\rho \approx 0.10\text{--}0.20$ ) और मॉडल के आकार के साथ तेजी से बढ़ते हैं।
डिकोडेबिलिटी: क्रॉस-फॉर्म प्रोबिंग सटीकता संयोग (chance) से काफी अधिक है (5.6%), जो Mistral-7B में 60.3% तक पहुँच जाती है।
न्यूरॉन लोकलाइजेशन: फॉर्मेट-एग्नोस्टिक न्यूरॉन मध्य परतों (20–23% न्यूरॉन्स) में केंद्रित होते हैं, जो पिछले क्रॉस-लिंगुअल अध्ययनों में पाए गए भाषा-अज्ञेय (language-agnostic) न्यूरॉन्स के वितरण को दर्शाते हैं।

2. कारण प्रासंगिकता और सबस्पेस दक्षता

उच्च-फिडेलिटी ट्रांसफर: क्रॉस-फॉर्म पैचिंग के दौरान केवल FARS सबस्पेस के शीर्ष 10 आयामों को बदलने से मॉडल के टॉप-10 टोकन आउटपुट का 90–96% सुरक्षित रहता है।
नियंत्रण समूहों के साथ तुलना: यह प्रदर्शन फुल एक्टिवेशन रिप्लेसमेंट (44–56%) और वेरिएंस-मैक्सिमाइजिंग PCA रिप्लेसमेंट (60–74%) से कहीं अधिक है।
एब्लेशन: FARS सबस्पेस को हटाने से लक्षित व्यवधान होता है (FARS के लिए कम KL डाइवर्जेंस बनाम फॉर्म-विशिष्ट दिशाओं के लिए उच्च KL डाइवर्जेंस), जो पुष्टि करता है कि ये विशिष्ट आयाम क्रॉस-फॉर्म रीजनिंग के लिए कारण रूप से पर्याप्त हैं।
आयामीता (Dimensionality): प्रासंगिक तर्क संरचना वास्तव में निम्न-आयामी है, जो 1600–4096 आयामी स्थान के भीतर $k=8\text{--}10$ घटकों पर स्थिर (plateau) होती है।

3. डिक्लेरेटिव-प्रोसेड्यूरल विषमता (The Declarative-Procedural Asymmetry)

एक महत्वपूर्ण खोज है कि केवल भाषा के बजाय प्रतीकात्मक प्रणाली की प्रकृति के आधार पर अनुकूलता में विचलन होता है:

डिक्लेरेटिव अनुकूलता: अंग्रेजी गद्य और गणितीय नोटेशन के बीच पैचिंग 65–73% आउटपुट को सुरक्षित रखता है।
प्रोसेड्यूरल विचलन: अंग्रेजी गद्य और पायथन कोड के बीच पैचिंग केवल 16–22% आउटपुट को सुरक्षित रखती है।
निष्कर्ष: विचलन का महत्वपूर्ण अक्ष "भाषाई बनाम औपचारिक" नहीं है, बल्कि डिक्लेरेटिव बनाम प्रोसेड्यूरल है। प्रतिनिधित्व डिक्लेरेटिव प्रारूपों (गद्य, गणित, संरचित डेटा) के बीच अत्यधिक अनुकूल हैं, लेकिन प्रोसेड्यूरल एन्कोडिंग (कोड) के साथ ब्रिज बनाने में काफी कम अनुकूल हैं।

4. सार्वभौमिकता और अभिसरण (Universality and Convergence)

सामान्यीकरण: एक उपसमुच्चय की अवधारणाओं से निकाला गया FARS, होल्ड-आउट अवधारणाओं में क्रमिक गिरावट के साथ सामान्यीकृत होता है।
क्रॉस-आर्किटेक्चर अभिसरण: विभिन्न मॉडल परिवार एक ही सबस्पेस ज्योमेट्री पर अभिसरित होते हैं। सभी जोड़ों के लिए क्रॉस-मॉडल कैनोनिकल कोरिलेशन एनालिसिस (CCA) 0.79 से अधिक है, और सेंट्रॉइड RSA 0.77 से अधिक है, जो प्लेटोनिक रिप्रेजेंटेशन हाइपोथेसिस के लिए इन-मोडैलिटी साक्ष्य प्रदान करता है।

महत्व और दावे

यह पेपर दावा करता है कि यह व्यवस्थित प्रमाण प्रदान करता है कि LLMs तर्क के लिए एक ठोस, निम्न-आयामी, फॉर्मेट-एग्नोस्टिक सबस्पेस विकसित करते हैं जो क्रॉस-सिंबोलिक ट्रांसफर के लिए कारण रूप से पर्याप्त है।

सैद्धांतिक योगदान: निष्कर्ष प्लेटोनिक रिप्रेजेंटेशन हाइपोथेसिस का समर्थन करते हैं, जो यह सुझाव देते हैं कि अमूर्त तर्क के प्रतिनिधित्व विभिन्न प्रतीकात्मक एन्कोडिंग के बीच अभिसरित होते हैं।
मैकेनिस्टिक अंतर्दृष्टि: डिक्लेरेटिव-प्रोसेड्यूरल विषमता की खोज फॉर्मेट इनवेरिएंस की समझ को परिष्कृत करती है, जो डिक्लेरेटिव रीजनिंग (गद्य, गणित) और प्रोसेड्यूरल निष्पादन (कोड) के बीच एक मौलिक सीमा की पहचान करती है जिसे पहले अनिश्चितीकृत छोड़ा गया था।
व्यावहारिक उपयोगिता: FARS एक मूर्त, निष्कर्षण योग्य उपकरण (एक 10-आयामी बेसिस) प्रदान करता है, जो रिप्रेजेंटेशन इंजीनियरिंग के लिए है। यह सुझाव देता है कि एक डिक्लेरेटिव फॉर्मेट (जैसे, अंग्रेजी) में खोजे गए सुरक्षा हस्तक्षेप या स्टीयरिंग वेक्टर्स इस सबस्पेस के माध्यम से अन्य (जैसे, गणित) में स्थानांतरित हो सकते हैं, लेकिन वे प्रोसेड्यूरल फॉर्मेट (कोड) के साथ ब्रिज करने में विफल हो सकते हैं, जो एक संभावित सुरक्षा अंतराल को उजागर करता है जहाँ कोड में हानिकारक तर्क, गद्य-प्रशिक्षित फिल्टर को बायपास कर सकता है।

लेखक बेस मॉडल्स के मूल्यांकन, FARS निष्कर्षण की सुपरवाइज्ड प्रकृति, और प्रोग्रामेटिक रूप से उत्पन्न उद्दीपकों सहित सीमाओं का उल्लेख करते हैं, यह स्वीकार करते हुए कि बड़े या इंस्ट्रक्शन-ट्यून्ड मॉडल्स में FARS की आयामीता और ज्यामिति अभी भी खुले प्रश्न हैं।