💬 NLP

Recursive Concept Evolution for Compositional Reasoning in Large Language Models

यह शोध पत्र रिकर्सिव कॉन्सेप्ट इवोल्यूशन (RCE) का प्रस्ताव करता है, जो एक ऐसा फ्रेमवर्क है जो फिक्स्ड लेटेंट रिप्रेजेंटेशन स्पेस की सीमाओं को दूर करने के लिए इन्फरेंस के दौरान नए कॉन्सेप्ट सबस्पेस को गतिशील रूप से उत्पन्न और अनुकूलित करके लार्ज लैंग्वेज मॉडल्स में कंपोजिशनल रीजनिंग को बढ़ाता है, जिसके परिणामस्वरूप ARC-AGI-2 और GPQA जैसे चुनौतीपूर्ण बेंचमार्क्स पर महत्वपूर्ण प्रदर्शन लाभ प्राप्त होते हैं।

मूल लेखक: Sarim Chaudhry

प्रकाशित 2026-02-18

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Sarim Chaudhry

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ "रिकर्सिव कॉन्सेप्ट इवोल्यूशन" (RCE) पेपर का सरल भाषा और रचनात्मक उपमाओं के साथ विवरण दिया गया है।

बड़ी समस्या: "जमी हुई मानचित्र" (The Frozen Map)

कल्पना कीजिए कि एक लार्ज लैंग्वेज मॉडल (जैसे कि वह जो इस चैट को संचालित कर रहा है) एक प्रतिभाशाली खोजकर्ता है जिसके पास दुनिया का एक विशाल, विस्तृत मानचित्र है। यह मानचित्र उसके "बचपन" (प्री-ट्रेनिंग) के दौरान बनाया गया था। वह जानता है कि जंगलों में कैसे घूमना है, नदियों को कैसे पार करना है और पहाड़ों पर कैसे चढ़ना है क्योंकि उसने उन सबको पहले देखा है।

हालाँकि, शोधकर्ताओं ने एक बड़ी खामी पाई है: यह मानचित्र जमी हुआ है।

यदि खोजकर्ता को एक ऐसे पहेली को हल करने के लिए कहा जाता है जिसमें एक नए प्रकार के नेविगेशन की आवश्यकता हो—जैसे कि "उड़ना" या "टेलीपोर्ट करना"—तो मानचित्र में उन दिशाओं का विवरण नहीं है। खोजकर्ता मौजूदा रास्तों (पैटर्न जिन्हें वह पहले से जानता है) का उपयोग करके समस्या को हल करने की कोशिश करता है। वह अनुमान लगा सकता है, "शायद मैं उड़ने का अनुकरण करने के लिए बहुत तेज़ चल सकता हूँ?" लेकिन उत्तर संरचनात्मक रूप रूप से गलत होगा।

वर्तमान तरीके इसे ठीक करने के लिए खोजकर्ता को "कड़ी मेहनत करने" या "एक ही रास्ते पर दस बार चलने" (चेन-ऑफ-थॉट, सेल्फ-कंसिस्टेंसी) के लिए कहने की कोशिश करते हैं। लेकिन यदि मानचित्र में सही सड़कें ही गायब हैं, तो कड़ी मेहनत करना केवल एक अधिक आत्मविश्वासी गलत उत्तर की ओर ले जाता है।

समाधान: रिकर्सिव कॉन्सेप्ट इवोल्यूशन (RCE)

लेखकों ने रिकर्सिव कॉन्सेप्ट इवोल्यूशन (RCE) नामक एक नया ढांचा प्रस्तावित किया है।

खोजकर्ता को केवल कड़ी मेहनत करने के लिए कहने के बजाय, RCE खोजकर्ता को एक जादुई टूलकिट देता है जो उन्हें चलते समय अपने मानचित्र पर नई सड़कें बनाने की अनुमति देता है।

यहाँ बताया गया है कि यह टूलकिट कैसे काम करता है, जिसे चार सरल चरणों में विभाजित किया गया है:

1. "आह!" का संकेत (स्पॉनिंग - Spawning)

कल्पना कीजिए कि खोजकर्ता चल रहा है और अचानक एक ऐसी दीवार से टकरा जाता है जिसे वह पार नहीं कर सकता। वह भ्रमित और अनिश्चित महसूस करता है। AI की दुनिया में, इसे "उच्च अनिश्चितता" (high uncertainty) कहा जाता है।

क्या होता है: जब AI भ्रमित होता है, तो RCE सिस्टम कहता है, "ठीक है, हमारा वर्तमान मानचित्र काम नहीं कर रहा है। हमें एक नए उपकरण की आवश्यकता है।"
उपमा: यह एक बढ़ई की तरह है जिसे एहसास होता है कि उसका हथौड़ा एक नाजुक काम के लिए बहुत भारी है, इसलिए वह तुरंत एक नए, हल्के पेचकश (screwdriver) का डिज़ाइन तैयार करता है।

2. "ड्राफ्टिंग" चरण (जेनरेशन - Generation)

सिस्टम केवल शेल्फ से कोई भी रैंडम टूल नहीं निकालता। यह उस विशिष्ट समस्या के लिए एक नया उपकरण बनाता है।

क्या होता है: यह एक छोटा, विशिष्ट "कॉन्सेप्ट" (डेटा को देखने का एक नया तरीका) बनाता है जो उस विशिष्ट भ्रम के अनुकूल हो।
उपमा: यदि खोजकर्ता को दलदल पार करने की आवश्यकता है, तो सिस्टम उसे केवल एक नाव नहीं देता; बल्कि वह एक विशेष प्रकार का बेड़ा (raft) डिजाइन करता है जो दलदल की चौड़ाई के अनुकूल हो।

3. "सख्त संपादक" (MDL सिलेक्शन - MDL Selection)

सिर्फ इसलिए कि एक नया उपकरण बनाया गया है, इसका मतलब यह नहीं है कि वह अच्छा है। सिस्टम के पास एक सख्त संपादक है (जो मिनिमम डिस्क्रिप्शन लेंथ नामक नियम पर आधारित है)।

नियम: "क्या यह नया उपकरण पर्याप्त सरल है, और क्या यह वास्तव में काम को आसान बनाता है?"
उपमा: यदि बढ़ई एक ऐसा नया उपकरण बनाता है जो बहुत जटिल है और केवल 1 सेकंड का काम बचाता है, तो संपादक उसे कचरे में फेंक देता है। उपकरण को सरल और उपयोगी होना चाहिए। यदि यह बहुत जटिल है, तो इसे खारिज कर दिया जाता है। यह AI को बेकार के कचरे से भरने से रोकता है।

4. "टीम अप" (मर्जिंग - Merging)

कभी-कभी, AI दो छोटे उपकरण बनाता है जो अपने आप में तो बेहतरीन हैं, लेकिन एक साथ उपयोग किए जाने पर और भी बेहतर होते हैं।

क्या होता है: यदि AI देखता है कि "टूल A" और "टूल B" हमेशा एक साथ उपयोग किए जाते हैं, तो वह उन्हें एक शक्तिशाली "सुपर टूल" में मिला देता है।
उपमा: कल्पना कीजिए कि आपके पास एक "पेचकश" और एक "इंच टेप" है। यदि आप उनका लगातार एक साथ उपयोग करते हैं, तो आप एक "मेजरिंग पेचकश" का आविष्कार कर सकते हैं। यह सरल उपकरणों से लेकर जटिल रणनीतियों तक, उपकरणों का एक पदानुक्रम (hierarchy) बनाता है।

यह गेम-चेंजर क्यों है?

अन्य अधिकांश तरीके AI को उत्तर के लिए अधिक गहनता से खोज (search) करने की कोशिश करते हैं। RCE AI के मस्तिष्क को उत्तर को बेहतर ढंग से समझने के लिए बदल देता है।

पुराना तरीका: "मुझे उत्तर नहीं पता, इसलिए मैं 100 बार अनुमान लगाऊंगा और उम्मीद करूंगा कि एक सही हो जाए।" (महंगा और धीमा)।
RCE तरीका: "मुझे उत्तर नहीं पता, इसलिए मैं सोचने का एक नया तरीका बनाऊंगा जिससे उत्तर स्पष्ट हो जाए।" (कुशल और स्मार्ट)।

परिणाम: एक सुपर-एक्सप्लोरर

शोधकर्ताओं ने एक मानक AI मॉडल (Mistral-7B) पर इसका परीक्षण किया और इसे कई कठिन तर्क और गणितीय पहेलियाँ दीं।

परिणाम: AI केवल थोड़ा बेहतर नहीं हुआ; यह काफी बेहतर हो गया।
- तर्क पहेलियों (ARC-AGI-2) पर, इसमें लगभग 12-18 अंक का सुधार हुआ।
- विज्ञान के प्रश्नों (GPQA) पर, इसमें 8-14 अंक का सुधार हुआ।
लागत: इसने सामान्य से 100 गुना अधिक समय तक सोचने की आवश्यकता के बिना यह कर दिखाया। इसने सामान्य से केवल लगभग 4% अधिक कंप्यूटिंग पावर का उपयोग किया।

"क्रिस्टलाइजेशन" (दीर्घकालिक स्मृति - Long-Term Memory)

अंत में, पेपर उल्लेख करता है कि यदि कोई नया उपकरण बार-बार उपयोगी साबित होता है, तो उसे "क्रिस्टलाइज" (crystallized) कर दिया जाता है।

उपमा: कल्पना कीजिए कि बढ़ई साल भर उस नए पेचकश का उपयोग करता रहता है। अंततः, वह उसे केवल अपने टूलकिट में नहीं रखता; वह उसे स्थायी रूप से अपनी बेल्ट पर वेल्ड (weld) कर देता है। AI इन सफल नए कॉन्सेप्ट्स को सहेज लेता है ताकि उसे उन्हें फिर से शून्य से आविष्कार न करना पड़े।

सारांश

रिकर्सिव कॉन्सेप्ट इवोल्यूशन एक स्थिर, जमी हुई मानचित्र को हर बार जब यात्री फंस जाता है, तो नए रास्ते विकसित करने की क्षमता देने जैसा है। केवल अधिक अनुमान लगाने के बजाय, AI सोचने के नए तरीके आविष्कार करना सीखता है, उनमें से सर्वश्रेष्ठ को रखता है, और खराब वाले को हटा देता है, जिससे वह हर समस्या को हल करने के साथ अधिक स्मार्ट और लचीला बनता जाता है।

यहाँ शोध पत्र "Recursive Concept Evolution for Compositional Reasoning in Large Language Models" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

वर्तमान लार्ज लैंग्वेज मॉडल्स (LLMs) उन कंपोजिशनल रीजनिंग (compositional reasoning) कार्यों (जैसे ARC-AGI-2, MATH, GPQA) में संघर्ष करते हैं जिनमें इन्फरेंस के दौरान नई एब्स्ट्रैक्शन (abstractions) बनाने की आवश्यकता होती है।

मूल सीमा: मौजूदा रीजनिंग विधियाँ (Chain-of-Thought, Tree-of-Thought, Reinforcement Learning) एक निश्चित लेटेंट रिप्रेजेंटेशन स्पेस (fixed latent representation space) के भीतर बेहतर टोकन अनुक्रमों की खोज करके कार्य करती हैं। मॉडल के हिडन स्टेट्स की ज्यामिति (geometry) पूरी तरह से प्रीट्रेनिंग के दौरान निर्धारित होती है।
परिणाम: यदि किसी कार्य के लिए एक विशिष्ट एब्स्ट्रैक्शन (जैसे कि कोई छिपी हुई समरूपता या नेस्टेड लॉजिकल कंस्ट्रेंट) की आवश्यकता है जो प्रीट्रेनिंग डिस्ट्रीब्यूशन में एनकोडेड नहीं था, तो मॉडल उसे निर्मित नहीं कर सकता। यह मौजूदा पैटर्न के बीच इंटरपोलेशन करने के लिए मजबूर होता है, जिससे संरचनात्मक रूप से गलत उत्तर मिलते हैं।
अंतराल (The Gap): ऐसी तंत्रों (mechanisms) की कमी है जो एक फ्रोजन प्रीट्रेन्ड मॉडल को इन्फरेंस के समय नवीन संरचनात्मक मांगों को समायोजित करने के लिए अपनी आंतरिक रिप्रेजेंटेशन ज्योमेट्री को गतिशील रूप से विकसित करने की अनुमति दे सकें।

2. कार्यप्रणाली: रिकर्सिव कॉन्सेप्ट इवोल्यूशन (RCE)

RCE एक ऐसा फ्रेमवर्क है जो एक फ्रोजन लैंग्वेज मॉडल को इन्फरेंस के दौरान नए रिप्रेजेंटेशनल स्ट्रक्चर (कॉन्सेप्ट सबस्पेस) बनाने, मूल्यांकन करने और कंपोज़ करने में सक्षम बनाता है। यह मॉडल के रेसिडुअल स्ट्रीम (residual stream) में लो-रैंक अपडेट इंजेक्ट करके कार्य करता है।

2.1 मुख्य तंत्र (Core Mechanism)

कॉन्सेप्ट सबस्पेस (Concept Subspaces): RCE कॉन्सेप्ट्स की एक लाइब्रेरी बनाए रखता है, जहाँ प्रत्येक कॉन्सेप्ट $C_i$ को एक लो-रैंक बेसिस मैट्रिक्स $B_i \in \mathbb{R}^{d \times r}$ (जहाँ $r \ll d$ ) और एक गेटिंग फंक्शन $g_i(x)$ द्वारा परिभाषित किया जाता है।
इंजेक्शन (Injection): एक विशिष्ट डिकोडर लेयर $\ell^*$ पर, हिडन स्टेट $h$ को इस प्रकार अपडेट किया जाता है:
$h' = h + \sum_{i \in A(x)} g_i(x) B_i B_i^\top h$
जहाँ $A(x)$ सक्रिय कॉन्सेप्ट्स का सेट है जिसे स्पार्स टॉप- $k$ गेट द्वारा चुना गया है। बेस मॉडल के वेट्स फ्रोजन रहते हैं; केवल मध्यवर्ती (intermediate) रिप्रेजेंटेशन को संशोधित किया जाता है।

2.2 चार विकासवादी तंत्र (The Four Evolutionary Mechanisms)

कॉन्सेप्ट लाइब्रेरी मानव एब्स्ट्रैक्शन निर्माण के चक्र को दर्शाते हुए विकसित होती है:

विफलता-ट्रिगर स्पॉनिंग (Failure-Triggered Spawning):
- प्रेडिक्टिव एंट्रॉपी और टॉप-टोकन मार्जिन के आधार पर एक "फेलियर स्कोर" की गणना की जाती है। यदि मॉडल अनिश्चित है (उच्च एंट्रॉपी, कम मार्जिन), तो यह रिप्रेजेंटेशनल अपर्याप्तता का संकेत देता है।
- एक सीखा हुआ कॉन्सेप्ट जनरेटर (एक छोटा MLP) एक निश्चित इन्वेंट्री से चुनने के बजाय, विशिष्ट विफलता के अनुरूप कैंडिडेट लो-रैंक बेसिस मैट्रिसेस को सिंथेसाइज करता है।
MDL-आधारित चयन (Minimum Description Length):
- उम्मीदवार लाइब्रेरी में प्रवेश के लिए प्रतिस्पर्धा करते हैं। एक कॉन्सेप्ट तभी स्वीकार किया जाता है जब वह मॉडल की जटिलता को बढ़ाने के बजाय रिकंस्ट्रक्शन एरर (टास्क लॉस) को कम करता है।
- कॉस्ट फंक्शन: $\Delta L - \lambda \Omega(C_{new}) > 0$ , जहाँ $\Omega$ बेसिस के न्यूक्लियर नॉर्म और गेट की स्पैरसिटी को शामिल करता है। यह ओकम्स रेज़र (Occam's razor) को लागू करता है, जिससे ओवरफिटिंग रुकती है।
सिनर्जी-संचालित मर्जिंग (Synergy-Driven Merging):
- वे कॉन्सेप्ट्स जो लगातार सह-सक्रिय (co-activate) होते हैं और अपने व्यक्तिगत भागों के योग से अधिक संयुक्त लाभ प्रदान करते हैं, उन्हें मर्ज कर दिया जाता है।
- मर्जिंग को कंकैटिनेटेड बेसेस पर ट्रंकेटेड SVD के माध्यम से किया जाता है, जिससे हायर-ऑर्डर एब्स्ट्रैक्शंस (जैसे "सिमिट्री" और "कलर मैपिंग" को "रिफ्लेक्ट-एंड-रीकलर" में मर्ज करना) बनते हैं।
क्रिस्टलाइजेशन (Crystallization):
- जो कॉन्सेप्ट्स बने रहते हैं, कार्यों में सामान्य होते हैं और मजबूती में योगदान देते हैं, उन्हें "क्रिस्टलाइज" किया जाता है। यह चेकपॉइंटिंग या कैटास्ट्रोफिक इंटरफेरेंस को रोकने के लिए कंस्ट्रेंड ऑप्टिमाइजेशन (Elastic Weight Consolization) का उपयोग करके उन्हें स्थायी LoRA-स्टाइल एडैप्टर्स में डिस्टिल करके किया जा सकता है।

2.3 रेगुलाइजेशन (Regularization)

यह सुनिश्चित करने के लिए कि स्थिरता बनी रहे और लाइब्रेरी खराब न हो, RCE निम्नलिखित का उपयोग करता है:

इंटर-कॉन्सेप्ट ऑर्थोगोनैलिटी (Inter-concept Orthogonality): विभिन्न कॉन्सेप्ट सबस्पेस के ओवरलैप को दंडित करता है।
इंट्रा-कॉन्सेप्ट ऑर्थोनॉर्मैलिटी (Intra-concept Orthonormality): सुनिश्चित करता है कि बेसिस के भीतर कॉलम ऑर्थोगोनल हों।
गेट एंट्रॉपी पेनल्टी (Gate Entropy Penalty): डिफ्यूज रूटिंग के बजाय स्पार्स, विशिष्ट एक्टिवेशन को प्रोत्साहित करता है।
यूसेज-आधारित प्रूनिंग (Usage-Based Pruning): उन कॉन्सेप्ट्स को हटा देता है जो लगातार सक्रिय होने में विफल रहते हैं।

3. मुख्य योगदान (Key Contributions)

आर्किटेक्चरल इनसाइट: यह पहचानना कि ट्रांसफॉर्मर्स की फिक्स्ड लेटेंट ज्योमेट्री कंपोजिशनल रीजनिंग के लिए प्राथमिक बाधा है, जो टोकन-लेवल सर्च की सीमाओं से अलग है।
RCE फ्रेमवर्क: इन्फरेंस-टाइम रिप्रेजेंटेशन इवोल्यूशन के लिए एक नया तरीका पेश करता है, जो मॉडल को केवल मौजूदा चीजों को पुनर्संयोजित करने के बजाय गतिशील रूप से नए एब्स्ट्रैक्शंस बनाने की अनुमति देता है।
अनुभवजन्य सत्यापन (Empirical Validation): यह प्रदर्शित करता है कि RCE कई बेंचमार्क पर अत्याधुनिक रीजनिंग बेसलाइन्स (CoT, ToT, GRPO, DisCO) को नगण्य कंप्यूटेशनल ओवरहेड के साथ महत्वपूर्ण रूप से पीछे छोड़ देता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

फ्रेमवर्क को Mistral-7B, Llama-3-8B, और Qwen-2.5-14B के साथ एकीकृत किया गया था।

प्रदर्शन लाभ (Mistral-7B):
- ARC-AGI-2: +12–18 अंक (सर्वश्रेष्ठ बेसलाइन DisCO के 19.7% के मुकाबले 28.0%)।
- GPQA: +7.2 अंक (34.2% के मुकाबले 41.4%)।
- BBH: +5.7 अंक (64.8% के मुकाबले 70.5%)।
- MATH और HLE: डेप्थ-प्रेरित त्रुटियों में कमी के साथ निरंतर सुधार।
मजबूती (Robustness): डिस्ट्रीब्यूशन शिफ्ट (कलर परम्यूटेशन, स्पेशियल रोटेशन) के तहत, RCE ने अपनी सटीकता का >91% बनाए रखा, जबकि बेसलाइन्स 68–80% तक गिर गईं। यह पुष्टि करता है कि RCE सतह के संकेतों के बजाय संरचनात्मक इनवेरिएंट्स (structural invariants) सीखता है।
दक्षता (Efficiency): RCE केवल 1.04x कंप्यूटेशनल ओवरहेड के साथ बेहतर सटीकता प्राप्त करता है (Self-Consistency और Tree-of-Thought के 16–25x के मुकाबले)। यह अधिक टोकन उत्पन्न करने के बजाय लो-रैंक मैट्रिक्स ऑपरेशंस के माध्यम से रिप्रेजेंटेशन की गुणवत्ता में सुधार करता है।
लाइब्रेरी विश्लेषण: प्रशिक्षण के बाद, लाइब्रेरी ~47 कॉन्सेप्ट्स पर स्थिर हो गई, जो एक पदानुक्रमित संरचना (प्रिमिटिव $\to$ इंटरमीडिएट $\to$ हाई-लेवल एब्स्ट्रैक्शंस) बनाती है, जिसमें उच्च क्रॉस-टास्क पुन: उपयोग क्षमता है।

5. महत्व और निष्कर्ष (Significance and Conclusion)

पैराडाइम शिफ्ट: RCE फोकस को ट्रैजेक्टरी ऑप्टिमाइजेशन (बेहतर उत्तरों की खोज) से बदलकर रिप्रेजेंटेशन फॉर्मेशन (बेहतर आंतरिक उपकरण बनाना) पर ले जाता है।
स्केलेबिलिटी: यह विधि अत्यधिक पैरामीटर-एफिशिएंट है ( <0.25% पैरामीटर्स जोड़कर) और कंप्यूटेशनल रूप से हल्की है, जो इसे बड़े पैमाने के मॉडल्स के लिए व्यवहार्य बनाती है।
भविष्य की दिशा: यह स्थापित करता है कि डायनेमिक रिप्रेजेंटेशन इवोल्यूशन LLMs में मानव जैसी कंपोजिशनल जनरलाइजेशन प्राप्त करने के लिए एक महत्वपूर्ण घटक है। यह सुझाव देता है कि भविष्य के मॉडल्स को केवल ज्ञान के "फ्रोजन" रिपॉजिटरी नहीं, बल्कि इन्फरेंस के दौरान संचयी शिक्षण (cumulative learning) और संरचनात्मक अनुकूलन में सक्षम सिस्टम होना चाहिए।

नोट की गई सीमाएं: वर्तमान सिंगल-लेयर इंजेक्शन अत्यंत लंबे प्रमाणों के लिए पुनर्गठन की गहराई को सीमित करता है, और सिस्टम के पास समय के साथ बड़ी संख्या में स्वतंत्र अवस्थाओं को ट्रैक करने के लिए स्पष्ट बाहरी मेमोरी का अभाव है। गलत कॉन्सेप्ट एक्टिवेशन को ट्रिगर करने के लिए डिज़ाइन किए गए इनपुट्स के खिलाफ एडवरसेरियल रोबस्टनेस पर भी आगे शोध की आवश्यकता है।