तकनीकी सारांश: कब पुन: योजना बनाएँ: पदानुक्रमित गुप्त तर्क में उप-लक्ष्य दृढ़ता (Subgoal Persistence)

समस्या विवरण

दीर्घ-अवधि के तर्क (Long-horizon reasoning) के लिए एक प्रणाली को स्थिरता (एक मध्यम-अवधि के इरादे के प्रति प्रतिबद्धता) और अनुकूलनशीलता (आवश्यकतानुसार उस इरादे को संशोधित करना) के बीच संतुलन बनाने की आवश्यकता होती है। बाह्यीकृत तर्क (जैसे, चेन-ऑफ-थॉट) में, प्रत्येक टोकन प्रणाली को एक विशिष्ट पथ के प्रति स्पष्ट रूप से प्रतिबद्ध करता है। हालाँकि, गुप्त तर्क संरचनाओं (latent reasoning architectures) में (जहाँ गणना टोकन ट्रेस के बजाय छिपे हुए अवस्थाओं/hidden states के भीतर होती है), ऐसी कोई स्पष्ट प्रतिबद्धता अनिवार्य नहीं है। एक गुप्त तर्क करने वाला (latent reasoner) सैद्धांतिक रूप से प्रत्येक सूक्ष्म-चरण (micro-step) पर अपने मध्यम-अवधि के इरादे को संशोधित कर सकता है या कभी भी नहीं।

मुख्य समस्या जो संबोधित की गई है वह गुप्त स्थानों (latent spaces) में नियोजन के इष्टतम अस्थायी पैमाने को निर्धारित करना है: एक गुप्त तर्क करने वाले को अपने इरादे को संशोधित करने से पहले कितनी देर तक प्रतिबद्ध रहना चाहिए? मौजूदा पदानुक्रमित तर्क मॉडल (HRM) धीमी और तेज़ लूप को जोड़ते हैं, लेकिन उनमें मध्यम-अवधि के इरादे के लिए कोई स्पष्ट संकेत नहीं है, और वे पूरी तरह से उभरते हुए आवर्ती गतिकी (emergent recurrent dynamics) पर निर्भर हैं। यह शोध इस बात की जांच करता है कि क्या एक "फ्यूडल-शैली" (feudal-style) के प्रबंधक-श्रमिक इंटरफेस के साथ, जिसमें एक नियंत्रणीय उप-लक्ष्य दृढ़ता अवधि ($P$) हो, स्थिरता-अनुकूलनशीलता ट्रेड-ऑफ को हल किया जा सकता है।

कार्यप्रणाली (Methodology)

लेखक उप-लक्ष्य-संवर्धित HRM (Subgoal-Augmented HRM) का प्रस्ताव करते हैं, जो पदानुक्रमित तर्क मॉडल (HRM) का एक विस्तार है जो प्रबंधक-श्रमिक वास्तुकला के माध्यम से निरंतर गुप्त इरादे को क्रियान्वित करता है।

वास्तुकला और तंत्र

1. प्रबंधक-श्रमिक इंटरफेस (Manager-Worker Interface):

   • प्रबंधक (उच्च-स्तरीय): एक धीमा मॉड्यूल जो प्रत्येक $T$ निम्न-स्तरीय चरणों के बाद अपडेट होता है। यह प्रत्येक $P$ निम्न-स्तरीय चरणों के बाद एक सामान्यीकृत दिशात्मक उप-लक्ष्य वेक्टर $g_k$ उत्सर्जित करता है।
   • श्रमिक (निम्न-स्तरीय): एक तेज़ मॉड्यूल जो सूक्ष्म-चरण (micro-steps) करता है। इसके हिडन स्टेट अपडेट को एक सीखे गए प्रोजेक्शन $V_L$ के माध्यम से सक्रिय उप-लक्ष्य $g(t)$ द्वारा बायस (bias) किया जाता है।
   • दृढ़ता अवधि ($P$): केंद्रीय हाइपरपैरामीटर। यह परिभाषित करता है कि एक उप-लक्ष्य संशोधित होने से पहले कितने निम्न-स्तरीय चरण सक्रिय रहता है।
     • $P=1$: उप-लक्ष्य प्रत्येक चरण में ओवरराइट हो जाता है (कोई अस्थायी सुसंगतता नहीं)।
     • $P>1$: उप-लक्ष्य बना रहता है, जिससे श्रमिक एक एकल इरादे के इर्द-गिर्द कई अपडेट बनाने में सक्षम होता है।

2. उप-लक्ष्य उत्सर्जन (Subgoal Emission):

   • प्रबंधक अपनी अवस्था $z^H$ को एक दिशात्मक वेक्टर $\tilde{g}_k$ में प्रोजेक्ट करता है, जिसे गैर-स्थिर गतिकी (non-stationary dynamics) में एक विशिष्ट पूर्ण लक्ष्य थोपे बिना, "कहाँ जाना है" को एनकोड करने के लिए यूनिट लेंथ तक सामान्यीकृत किया जाता है।
   • एक स्केलर प्रतिबद्धता गेट (commitment gate) $\alpha_k$ वैकल्पिक रूप से प्रबंधक की अनिश्चितता के आधार पर प्रभाव की शक्ति को नियंत्रित करता है।

3. प्रशिक्षण उद्देश्य (Training Objective):

   • कुल हानि (loss) आधारभूत HRM उद्देश्य ($L_{HRM}$) को एक आंतरिक संरेखण हानि ($L_{align}$) के साथ जोड़ती है:
     $$L = L_{HRM} + \lambda \sum L^{(k)}_{align}$$
   • संरेखण हानि (Alignment Loss): एक कोसाइन-आधारित हानि जो उत्सर्जित उप-लक्ष्य $g_k$ के साथ श्रमिक की शुद्ध विस्थापन (net displacement) ($\Delta z^L_k$) को प्रतिबद्धता विंडो $P$ के दौरान संरेखित करने के लिए पुरस्कृत करती है।
   • हाइपरपैरामीटर $\lambda$: संरेखण हानि का भार, जो संरेखण पूर्वधारणा (alignment prior) और कार्य ग्रेडिएंट के बीच के ट्रेड-ऑफ को नियंत्रित करता है।

प्रयोगात्मक सेटअप

• डेटासेट्स: ARC-AGI और ConceptARC (विशेष रूप से arc-aug-1000 और ConceptARC-mini)।
• मेट्रिक्स: प्राथमिक मेट्रिक टोकन-स्तरीय LM लॉस (क्रॉस-एन्ट्रॉपी); माध्यमिक मेट्रिक्स सटीकता और संरेखण हानि।
• स्वैप्स (Sweeps):
  • दृढ़ता स्वैप (Persistence Sweep): निश्चित $\lambda=0.05$ के साथ $P$ (1 से 8 तक) को बदलना।
  • संरेखण भार स्वैप (Alignment Weight Sweep): निश्चित $P=4$ के साथ $\lambda$ (0.01 से 1.0 तक) को बदलना।
  • एब्लेशन अध्ययन (Ablation Study): हस्तक्षेप के स्रोत को अलग करने के लिए $\lambda=0.10$ (इष्टतम से परे) पर एक नियंत्रित तीन-सेल प्रयोग।

मुख्य परिणाम

1. उप-लक्ष्य दृढ़ता केंद्रीय नियंत्रण (Central Knob) है

अध्ययन पाता है कि दृढ़ता आवश्यक है, वैकल्पिक नहीं।

• अल्प-प्रतिबद्धता ($P=1$): जब उप-लक्ष्यों को हर चरण में संशोधित किया जाता है, तो प्रदर्शन काफी गिर जाता है (LM Loss 1.674) बनाम नो-सबगोल बेसलाइन (1.640)। केवल इंजेक्शन तंत्र, बिना अस्थायी सुसंगतता के, प्रदर्शन को नुकसान पहुँचाता है।
• स्वीट स्पॉट ($P \in [3, 6]$): प्रदर्शन $P=3$ पर तेजी से सुधरता है (LM Loss 1.544, बेसलाइन से 0.13 की गिरावट) और $P=6$ तक मजबूत बना रहता है।
• अति-प्रतिबद्धता ($P=8$): $P$ के इष्टतम से आगे बढ़ने पर प्रदर्शन धीरे-धीरे घटता है। यह इंगित करता है कि पुराना (stale) होना, अस्थिरता की तुलना में एक नरम विफलता मोड है; एक थोड़ा पुराना उप-लक्ष्य अभी भी दिशात्मक निरंतरता प्रदान करता है, जबकि एक तात्कालिक रूप से संशोधित उप-लक्ष्य कोई निरंतरता नहीं देता है।
• पुनरुत्पादन (Replication): $P=3$ कॉन्फ़िगरेशन को 5 सीड्स पर दोहराया गया, जिससे औसत LM लॉस 1.595 (std 0.045) प्राप्त हुआ, जो पुष्टि करता है कि यह केवल एक सिंगल-सीड आर्टिफैक्ट नहीं है।

2. संरेखण भार ($\lambda$) के लिए संकीर्ण इष्टतम (Narrow Optimum)

• संरेखण भार $\lambda \approx 0.05$ पर एक संकीर्ण इष्टतम प्रदर्शित करता है।
• $\lambda = 0.10$ पर, प्रदर्शन बेसलाइन के करीब पहुँच जाता है, और $\lambda \ge 0.20$ पर, यह बेसलाइन से नीचे गिर जाता है।
• यह सुझाव देता है कि संरेखण हानि एक हल्के नियोजन पूर्वधारणा (lightweight planning prior) के रूप में सबसे अच्छा कार्य करती है जो श्रमिक की गतिकी को धीरे से आकार देती है, न कि एक प्रमुख ज्यामितीय बाधा के रूप में जो कार्य ग्रेडिएंट के साथ प्रतिस्पर्धा करती है।

3. हस्तक्षेप का स्रोत (एब्लेशन अध्ययन)

$\lambda = 0.10$ (इष्टतम से परे) पर, पूर्ण तंत्र बेसलाइन से कम प्रदर्शन करता है। एक नियंत्रित एब्लेशन ने कारण को अलग किया:

• $A_{full}$ (सीखे गए दिशात्मक): बेसलाइन से कम प्रदर्शन करता है (+0.100 LM loss)।
• $E_{random}$ (यादृच्छिक दिशात्मक): बेसलाइन के लगभग समान प्रदर्शन करता है (+0.003 LM loss)।
• निष्कर्ष: हस्तक्षेप विशेष रूप से सीखे गए दिशात्मक संरचना द्वारा संचालित है, न कि स्वयं वास्तुशिल्प क्षमता या सहायक हानि पद द्वारा। जब संरेखण भार बहुत अधिक होता है, तो सीखे गए दिशाएँ उस प्रतिनिधि क्षमता (representational capacity) को ग्रहण कर लेती हैं जिसका उपयोग श्रमिक अन्यथा कार्य के लिए करता, जिससे श्रमिक उन दिशाओं की ओर खिंच जाता जो संरेखण की सेवा करती हैं लेकिन LM उद्देश्य की नहीं।

महत्व और दावे

यह शोध दावा करता है कि यह कम्पोजिशनल प्लानिंग (compositional planning) के लिए एक मौलिक डिजाइन सिद्धांत की पहचान करता है: गुप्त तर्क प्रणालियों के लिए मध्यम-अवधि का इरादा पर्याप्त कम्प्यूटेशनल स्टेप्स के माध्यम से सुसंगत होना चाहिए ताकि कम्पोजिशनल संरचना बन सके।

• डिजाइन सिद्धांत: दृढ़ता के बिना उप-लक्ष्य तंत्र (P=1) में कंपोजिशनल संरचना का वास्तुशिल्प रूप (प्रबंधक, श्रमिक, इरादा वेक्टर) तो होता है लेकिन उसमें कार्यक्षमता का अभाव होता है। यह "चरणों के अनुक्रम की योजना बनाने" और "अतिरिक्त संकेत के साथ एक एकल चरण लेने" के बीच अंतर करने के लिए आवश्यक अस्थायी विस्तारित संरचना उत्पन्न नहीं कर सकता।
• स्थिरता-अनुकूलनशीलता ट्रेड-ऑफ: निष्कर्ष इस ट्रेड-ऑफ को मात्रात्मक रूप से दर्शाते हैं, यह दिखाते हैं कि गुप्त योजनाकारों (latent planners) को गणना को व्यवस्थित करने के लिए एक न्यूनतम सुसंगतता क्षितिज ($P \ge 3$) की आवश्यकता होती है, लेकिन अस्थिरता (कम $P$) की तुलना में पुराना होना (लंबा $P$) अधिक सहनीय है।
• संरेखण की भूमिका: संरेखण संकेत एक सॉफ्ट प्रायर के रूप में कार्य करता है। यह तब सबसे प्रभावी होता है जब यह श्रमिक को निर्देशित करता है लेकिन कार्य-विशिष्ट ग्रेडिएंट को ओवरराइड नहीं करता, जैसा कि $\lambda \approx 0.05$ पर संकीर्ण इष्टतम से सिद्ध होता है।

लेखक इसे कम्पोजिशनल लर्निंग में एक योगदान के रूप में प्रस्तुत करते हैं, यह प्रदर्शित करते हुए कि स्पष्ट मध्यम-अवधि के इरादे के संकेत, जब सही ढंग से बने रहते हैं, तो उप-लक्ष्य-सशर्त हिडन-स्टेट अपडेट को लंबी-अवधि की गणना में संयोजित करने में सक्षम बनाते हैं। यह कार्य अनुभवजन्य रूप से विनम्र है, यह नोट करते हुए कि लाभ सापेक्ष हैं और ARC-शैली के कार्यों तक सीमित हैं, लेकिन पहचाने गए ट्रेड-ऑफ को पदानुक्रमित गुप्त तर्क के लिए एक सामान्यीकरण योग्य बाधा के रूप में प्रस्तुत किया गया है।