🤖 AI

When to Re-Commit: Temporal Abstraction Discovery for Long-Horizon Vision-Language Reasoning

यह शोध पत्र एक विजन-लैंग्वेज पॉलिसी के भीतर एक सीखने योग्य, स्टेट-कंडीशन्ड कमिटमेंट डेप्थ मैकेनिज्म पेश करता है जो गतिशील रूप से यह निर्धारित करता है कि रीप्लानिंग करने से पहले कितने प्रिमिटिव एक्शन्स निष्पादित किए जाने चाहिए, जो फिक्स्ड-डेप्थ बेसलाइन्स की तुलना में काफी बेहतर प्रदर्शन करता है और रीप्लानिंग लागत एवं निष्पादन त्रुटि के बीच के संतुलन को अनुकूलित करके लॉन्ग-होरिज़न रीजनिंग कार्यों में क्लोज्ड-सोर्स मॉडल्स से आगे निकल जाता है।

मूल लेखक: Chen Li, Zhantao Yang, Fangyi Chen, Han Zhang, Anudeepsekhar Bolimera, Marios Savvides

प्रकाशित 2026-05-12

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Chen Li, Zhantao Yang, Fangyi Chen, Han Zhang, Anudeepsekhar Bolimera, Marios Savvides

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ "When to Re-Commit" पेपर का सरल भाषा और रोज़मर्रा के उदाहरणों के साथ विवरण दिया गया है।

मुख्य समस्या: "बहुत ज़्यादा, बहुत जल्दी" की दुविधा (The "Too Much, Too Soon" Dilemma)

कल्पना कीजिए कि आप एक जटिल पहेली सुलझाने की कोशिश कर रहे हैं, जैसे कि एक स्लाइडिंग टाइल गेम या सोकोबन (Sokoban) बॉक्स-पुशिंग गेम। आपके पास एक स्मार्ट AI सहायक (एक विज़न-लैंग्वेज मॉडल) है जो तस्वीर को देखता है और आपको बताता है कि क्या करना है।

अतीत में, ये AI सहायक बहुत ही कठोर तरीके से काम करते थे। उन्हें बोर्ड को दोबारा देखने से पहले भविष्य के लिए कदमों की एक निश्चित संख्या (fixed number of steps) चुननी पड़ती थी।

यदि उन्होंने बहुत कम कदम तय किए (जैसे, 1 मूव): तो वे बोर्ड देखेंगे, कहेंगे "बाएँ मुड़ो," परिणाम का इंतज़ार करेंगे, फिर से देखेंगे, कहेंगे "दाएँ मुड़ो," और इसी तरह। यह सुरक्षित है, लेकिन यह धीमा और थकाऊ है क्योंकि उन्हें बार-बार "मदद मांगनी" (री-प्लान करना) पड़ती है।
यदि उन्होंने बहुत अधिक कदम तय किए (जैसे, 8 मूव्स): तो वे कहेंगे, "ठीक है, मैं बाएँ जाऊँगा, फिर ऊपर, फिर दाएँ, फिर नीचे..." और बिना दोबारा देखे बस इसे पूरा कर देंगे। यह तेज़ है, लेकिन यदि वे तीसरे कदम पर एक छोटी सी गलती करते हैं, तो वे एक बॉक्स को ऐसे कोने में धकेल सकते हैं जहाँ वह हमेशा के लिए फंस जाए, और उन्हें तब तक पता नहीं चलेगा जब तक कि बहुत देर न हो जाए।

पेपर यह सवाल पूछता है: AI को पूरे गेम के लिए केवल एक ही संख्या (जैसे 4) क्यों चुननी चाहिए? वह यह निर्णय क्यों नहीं ले सकता कि स्थिति कितनी कठिन है, उसके आधार पर उसे 1 कदम का प्लान बनाना चाहिए या 8 कदमों का?

समाधान: "अनुकूली प्रतिबद्धता" रणनीति (The "Adaptive Commitment" Strategy)

शोधकर्ताओं ने एक नए प्रकार का AI बनाया है जो इस सवाल का जवाब देना सीखता है: "मुझे बोर्ड को दोबारा देखने से पहले अपने प्लान के प्रति कितनी गहराई तक प्रतिबद्ध (commit) होना चाहिए?"

इसे कार चलाने के उदाहरण से समझें:

एक सीधे, खाली हाईवे पर (आसान स्थिति): आप अपने शीशों या सड़क को बहुत बारीकी से देखे बिना 10 मिनट तक गाड़ी चलाने के लिए प्रतिबद्ध हो सकते हैं। आप आश्वस्त हैं कि रास्ता साफ है।
पैदल यात्रियों वाले व्यस्त चौराहे के पास (कठिन स्थिति): आप केवल अगले 5 सेकंड के लिए प्रतिबद्ध होते हैं। आपको स्थिति खतरनाक और अप्रत्याशित होने के कारण लगातार देखना, प्रतिक्रिया देना और री-प्लान करना पड़ता है।

पेपर का AI इस "स्मार्ट ड्राइवर" की तरह बनना सीखता है। यह किसी निश्चित नियम का उपयोग नहीं करता है। इसके बजाय, यह वर्तमान पहेली की स्थिति को देखता है और निर्णय लेता है: "यह हिस्सा आसान है, मैं 4 मूव्स के लिए प्रतिबद्ध रहूँगा। ओह, यह हिस्सा कठिन है, मैं केवल 1 मूव के लिए प्रतिबद्ध रहूँगा और फिर दोबारा देखूँगा।"

उन्होंने AI को कैसे सिखाया

उन्होंने केवल AI को यह करने के लिए कहा नहीं; उन्होंने इसे दो चरणों वाली प्रक्रिया का उपयोग करके प्रशिक्षित किया:

"होमवर्क" चरण (सुपरवाइज्ड फाइन-ट्यूनिंग): सबसे पहले, उन्होंने AI को इन पहेलियों को पूरी तरह से हल करने के हजारों उदाहरण दिखाए। उन्होंने इसे अलग-अलग लंबाई के मूव्स (1 कदम, 2 कदम, 4 कदम, आदि) बनाने का तरीका सिखाया ताकि वह कार्यों को कैसे निष्पादित करना है, यह जान सके।
"अभ्यास खेल" चरण (रिनफोर्समेंट लर्निंग): फिर, उन्होंने AI को गेम खेलने दिया। हर बार जब वह सफलतापूर्वक पहेली हल करता, तो उसे एक "गोल्ड स्टार" (इनाम) मिलता। यदि वह फंस जाता या कदम बर्बाद करता, तो उसे "थम्स डाउन" मिलता। समय के साथ, AI को एहसास हुआ: "हे, जब मैं लक्ष्य के करीब हूँ, तो मुझे सुरक्षित रहने के लिए कम कदम तय करने चाहिए। जब मैं दूर हूँ, तो मैं तेज़ जाने के लिए अधिक कदम तय कर सकता हूँ।"

परिणाम: दिग्गजों को मात देना

शोधकर्ताओं ने अपने इस नए AI का परीक्षण दो क्लासिक पहेलियों पर किया: स्लाइडिंग पज़ल (Sliding Puzzle) और सोकोबन (Sokoban)।

प्रतियोगिता: उन्होंने अपने AI की तुलना निम्नलिखित से की:
- पुराने AI जो कदमों की एक निश्चित संख्या (जैसे हमेशा 4 मूव्स) पर टिके रहते थे।
- दुनिया के सबसे प्रसिद्ध, विशाल AI मॉडल (जैसे GPT-5.5, Claude Sonnet, और Gemini) जिन्हें बिना किसी विशेष प्रशिक्षण के गेम खेलने के लिए कहा गया था।
परिणाम:
- विशाल, प्रसिद्ध AI विशेष प्रशिक्षण के बिना इन पहेलियों को खेलने के मामले में पूरी तरह विफल रहे (0% सफलता दर)। वे नियमों से बहुत भ्रमित थे।
- "फिक्स्ड स्टेप" (निश्चित कदम) वाले AI ठीक-ठाक थे, लेकिन वे अक्षम थे।
- नया एडेप्टिव (अनुकूली) AI विजेता था। इसने पहेलियों को अधिक बार हल किया (उच्च सफलता दर) और किसी भी फिक्स्ड-स्टेप प्रतिद्वंद्वी की तुलना में कम कुल मूव्स का उपयोग किया (अधिक कुशल)।

भले ही उनका AI बहुत छोटा (7 बिलियन पैरामीटर्स) था, लेकिन यह बेहतर प्रदर्शन कर रहा था क्योंकि इसे पता था कि कब रुकना है और दोबारा देखना है।

सफलता के पीछे का "क्यों"

यह पेपर गणितीय रूप से सिद्ध करता है कि एक निश्चित रणनीति हमेशा उप-इष्टतम (suboptimal) होती है।

उपमा: एक हाइकर (पर्वतारोही) की कल्पना करें। यदि रास्ता समतल और धूप वाला है, तो वह बिना नक्शा देखे 10 मील चल सकता है। यदि रास्ता धुंधला और पथरीला है, तो उसे हर 100 फीट पर नक्शा देखना चाहिए।
निष्कर्ष: बिना नक्शा देखे चलने की "सर्वश्रेष्ठ" दूरी इलाके के आधार पर बदलती रहती है। AI को एक निश्चित अंतराल पर नक्शा देखने के लिए मजबूर करके, आप या तो समय बर्बाद कर रहे हैं (आसान रास्तों पर बहुत बार चेक करके) या खो रहे हैं (कठिन रास्तों पर पर्याप्त बार चेक नहीं करके)। नया AI ठीक उसी समय नक्शा देखना सीखता है जब उसे इसकी आवश्यकता होती है।

सारांश

यह पेपर AI के लिए लंबे कार्यों के अनुक्रमों (sequences of actions) की योजना बनाने का एक स्मार्ट तरीका पेश करता है। "5 कदम की योजना बनाएं और फिर रुकें" जैसे कठोर नियम का आँख मूँदकर पालन करने के बजाय, AI यह तय करने के लिए गतिशील रूप से सीखता है कि कितनी देर तक प्रतिबद्ध रहना है कि वर्तमान स्थिति कितनी कठिन है। यह इसे पहले के तरीकों या यहाँ तक कि विशाल, बिना प्रशिक्षित AI मॉडल की तुलना में तेज़, अधिक सटीक और जटिल, दीर्घकालिक समस्याओं को हल करने में बहुत बेहतर बनाता है।

तकनीकी सारांश: कब पुनः प्रतिबद्ध हों (Re-Commit): दीर्घ-क्षिति दृष्टि-भाषा तर्क के लिए टेम्पोरल एब्स्ट्रैक्शन डिस्कवरी

समस्या की परिभाषा

दीर्घ-क्षिति तर्क कार्यों (जैसे, जटिल पहेलियों को हल करना, अव्यवस्थित वातावरण में नेविगेट करना) के लिए एजेंटों को बार-बार कार्यों पर निर्णय लेने, उन्हें निष्पादित करने, परिणामों को देखने और पुन: योजना बनाने की आवश्यकता होती है। इन प्रणालियों में एक महत्वपूर्ण डिज़ाइन विकल्प प्रतिबद्धता गहराई ( $h$ ) है: वह संख्या जितने प्रिमिटिव एक्शन (primitive actions) एक एजेंट पुन: योजना चरणों के बीच बिना वातावरण को पुन: देखे (open-loop) निष्पादित करता है।

वर्तमान प्रणालियाँ आमतौर पर $h$ को एक हाथ से ट्यून किए गए स्केलर हाइपरपैरामीटर के रूप में स्थिर रखती हैं। यह एक मौलिक ट्रेड-ऑफ (trade-off) पैदा करता है:

छोटा $h$ : बार-बार पुन: योजना करने से संचयी निष्पादन त्रुटियां (compounding execution errors) कम होती हैं, लेकिन उच्च कम्प्यूटेशनल लागत (अधिक फॉरवर्ड पासेस) और निर्णय विलंबता (decision latency) आती है।
बड़ा $h$ : पुन: योजना के ओवरहेड को कम करता है लेकिन जैसे-जैसे कल्पित अवस्था (imagined state) वास्तविक अवस्था से विचलित होती है, संचयी त्रुटियों का जोखिम बढ़ जाता है।

पेपर का तर्क है कि एक स्थिर $h$ उप-इष्टतम (suboptimal) है क्योंकि इष्टतम प्रतिबद्धता गहराई वर्तमान अवस्था, कार्य की गतिशीलता और उपलब्ध निर्णय बजट के आधार पर बदलती रहती है। मुख्य समस्या को एक बजट-बाधित अनुकूलन (budget-constrained optimization) के रूप में तैयार किया गया है: प्रति एपिसोड निर्णय बिंदुओं (replans) की संख्या पर एक कैप ( $K$ ) के अधीन कार्य सफलता (पहेली सुलझाना) को अधिकतम करना, जहाँ नीति को प्रत्येक निर्णय चरण $k$ पर प्रतिबद्धता गहराई $h_k$ और एक्शन सीक्वेंस $a_k$ को संयुक्त रूप से चुनना होता है।

कार्यप्रणाली (Methodology)

लेखक एक एकीकृत, मॉडल-नेटिव विजन-लैंग्वेज मॉडल (VLM) नीति प्रस्तावित करते हैं जो अनुकूल रूप से प्रतिबद्धता गहराई निर्धारित करना सीखती है।

1. आर्किटेक्चर

नीति एक साझा बैकबोन (Qwen2.5-VL-7B) पर आधारित है जिसमें दो विशिष्ट हेड्स (heads) हैं:

डेप्थ हेड ( $\pi_h$ ): एक कैटेगोरिकल हेड जो वर्तमान अवस्था प्रतिनिधित्व के आधार पर प्रतिबद्धता गहराई $h_k \in \{1, 2, 4, 8\}$ की भविष्यवाणी करता है।
एक्शन हेड ( $\pi_a$ ): एक ऑटो-रिग्रेसिव डिकोडर जो अवस्था और अनुमानित गहराई पर आधारित $h_k$ लंबाई के प्रिमिटिव एक्शन का एक अनुक्रम उत्पन्न करता है।
ओपन-लूप निष्पादन (Open-Loop Execution): एक बार $h_k$ और $a_k$ की भविष्यवाणी होने के बाद, एजेंट बिना VLM को पुन: क्वेरी किए या मध्यवर्ती अवस्थाओं को एनकोड किए बिना अनुक्रम को निष्पादित करता है।

2. प्रशिक्षण पाइपलाइन

मॉडल को दो-चरणीय प्रक्रिया के माध्यम से प्रशिक्षित किया जाता है:

चरण 1: सुपरवाइज्ड फाइन-ट्यूनिंग (SFT): एक्शन हेड को "काउंटरफैक्चुअल मैक्रो-एक्शन" डेटा पर प्रशिक्षित किया जाता है। विशेषज्ञ प्रक्षेपवक्र (expert trajectory) के प्रत्येक अवस्था के लिए, मॉडल को सभी स्वीकार्य लंबाई ( $h \in \{1, 2, 4, 8\}$ ) के एक्शन प्रीफिक्स की भविष्यवाणी करने के लिए प्रशिक्षित किया जाता है। महत्वपूर्ण बात यह है कि डेप्थ हेड को इस चरण के दौरान प्रशिक्षित नहीं किया जाता है; यह अनट्रेन्ड (flat prior) रहता है ताकि RL से पहले नीति को किसी विशिष्ट गहराई की ओर पक्षपाती न बनाया जा सके।
चरण 2: सुदृढीकरण शिक्षण (Reinforcement Learning - RL): दोनों हेड्स को GRPO (ग्रुप रिलेटिव पॉलिसी ऑप्टिमाइज़ेशन) का उपयोग करके संयुक्त रूप से फाइन-ट्यून किया जाता है। रिवॉर्ड फंक्शन एक बाइनरी सक्सेस सिग्नल (सुलझाया गया/नहीं सुलझाया गया) के साथ एक सघन रिवॉर्ड (dense reward) को जोड़ता है जो इष्टतम समाधान दूरी में कमी पर आधारित है (एक सटीक सॉल्वर से प्राप्त, जिसका उपयोग केवल प्रशिक्षण के लिए किया जाता है)। उद्देश्य नीति को उस गहराई को चुनने के लिए प्रोत्साहित करना है जो सफलता को अधिकतम करते हुए बर्बाद किए गए कार्यों को न्यूनतम करती है।

3. सैद्धांतिक आधार

पेपर एक सैद्धांतिक मॉडल प्रदान करता है जो दिखाता है कि यदि इष्टतम प्रतिबद्धता गहराई $h^*(s)$ अवस्थाओं के बीच बदलती है (जिसे एक ऑरेकल वितरण के माध्यम से अनुभवजन्य रूप से सत्यापित किया गया है), तो एक अवस्था-आधारित अनुकूल नीति किसी भी निश्चित-गहराई वाली नीति की तुलना में अपेक्षित लॉग-सफलता (expected log-success) में सख्ती से बेहतर प्रदर्शन करती है। यह तब मान्य होता है जब प्रतिबद्धता-स्तर की त्रुटि गहराई के साथ उप-रैखिक (sublinearly) रूप से बढ़ती है।

प्रमुख योगदान

समस्या का निरूपण: लेखकों ने "कब पुनः प्रतिबद्ध हों" को एक बजट-बाधित अनुकूलन समस्या के रूप में औपचारिक रूप दिया और सैद्धांतिक रूप से सिद्ध किया कि निश्चित-गहराई वाली रणनीतियाँ तब उप-इष्टतम होती हैं जब इष्टतम गहराई अवस्थाओं के बीच बदलती है।
एकीकृत अनुकूल नीति: वे एक एकल VLM आर्किटेक्चर पेश करते हैं जिसमें एक सीखने योग्य डेप्थ हेड और एक्शन हेड है, जिसे बिना किसी सहायक प्लानर या अलग डेप्थ प्रेडिक्टर के एंड-टू-एंड प्रशिक्षित किया गया है।
इन्फ्रास्ट्रक्चर: वे स्लाइडिंग पजल्स और सोकोबन (Sokoban) के लिए एक सॉल्वर-ग्राउंडेड डेटा जनरेशन पाइपलाइन के साथ एक विजन-लैंग्वेज पज़ल एनवायरनमेंट जारी करते हैं, जो दीर्घ-क्षिति तर्क के नियंत्रित मापन को सक्षम बनाता है।

प्रयोगात्मक परिणाम

विधि का मूल्यांकन स्लाइडिंग पज़ल और सोकोबन पर किया गया, जो ज्ञात गतिशीलता (reversable बनाम irreversible) वाले कार्य हैं।

पारेटो डोमिनेंस (Pareto Dominance): अनुकूल नीति प्रत्येक गैर-डिजेनरेट फिक्स्ड-डेप्थ बेसलाइन ( $h \in \{1, 2, 4, 8\}$ $h \in {1, 2, 4, 8}$ ) पर सख्ती से पारेटो-डोमिनेट करती है। यह प्रति एपिसोड कम प्रिमिटिव एक्शन के साथ उच्च समाधान दर प्राप्त करती है।
- स्लाइडिंग पजल्स: 56.3% समाधान दर (43.8% सर्वश्रेष्ठ फिक्स्ड के मुकाबले) के साथ ~25% कम एक्शन।
- सोकोबन: 35.9% समाधान दर (32.8% सर्वश्रेष्ठ फिक्स्ड के मुकाबले) के साथ ~25% कम एक्शन।
फ्रंटियर मॉडल्स के साथ तुलना: 7B पैरामीटर बैकबोन का उपयोग करने के बावजूद, फाइन-ट्यून्ड अडैप्टिव पॉलिसी फ्रंटियर क्लोज्ड-सोर्स मॉडल्स (GPT-5.5, Claude Sonce, Gemini 3.1 Pro) को पछाड़ देती है और सभी परीक्षण किए गए ओपन-वेट VLMs (8B–78B) को काफी बेहतर प्रदर्शन करती है, जिन्होंने ज़ीरो-शॉट सेटिंग्स में 0% स्कोर किया।
मैकेनिज्म विश्लेषण:
- स्टेट-कंडीशनिंग: नीति "शोरपूर्ण" (noisy) या लक्ष्य से दूर वाली अवस्थाओं में छोटी प्रतिबद्धता ( $h \approx 1-4$ ) का उपयोग करना सीखती है जहाँ प्रगति अनिश्चित है, और लक्ष्य के करीब "स्वच्छ" अवस्थाओं में लंबी प्रतिबद्धता ( $h \approx 6-8$ ) का उपयोग करना सीखती है।
- दक्षता: सुधार सीधे रास्तों (कम बर्बाद या पीछे की ओर जाने वाले कार्यों) के माध्यम से समान इंस्टेंस को हल करके आता है, न कि आसान इंस्टेंस को हल करके।
- मजबूती (Robustness): प्रदर्शन में सुधार विभिन्न रैंडम सीड्स और ट्रेनिंग बजट के बावजूद बना रहता है, और डेप्थ डिस्ट्रीब्यूशन किसी एक निश्चित मान पर कोलैप्स नहीं होता है।

महत्व और दावे

पेपर का दावा है कि टेम्पोरल एब्स्ट्रैक्शन को एक डायनेमिक, स्टेट-कंडीशनड कंट्रोल वेरिएबल के रूप में माना जाना चाहिए, न कि एक फिक्स्ड आर्किटेक्चरल हाइपरपैरामीटर के रूप में।

फिक्स्ड डेप्थ की उप-इष्टतमता: यह कार्य प्रदर्शित करता है कि दीर्घ-क्षिति कार्यों के लिए जहाँ अवस्था अनिश्चितता और त्रुटि प्रसार भिन्न होता है, एक एकल प्रतिबद्धता गहराई को हाथ से ट्यून करना अपर्याप्त है।
लर्नेबल एब्स्ट्रैक्शन: पुन: योजना (replanning) के निर्णय को स्वयं नीति के हिस्से के रूप में मानकर, मॉडल पुन: योजना की लागत और संचयी त्रुटियों के जोखिम के बीच संतुलन बनाना सीखता है, जिससे बेहतर दक्षता और सफलता दर प्राप्त होती है।
सामान्यीकरण (Generalizability): लेखक सुझाव देते हैं कि यह दृष्टिकोण व्यापक दीर्घ-क्षिति तर्क डोमेन में लागू किया जा सकता है, जैसे वेब एजेंट (यह तय करना कि पेज को फिर से पढ़ने से पहले कितने कदम उठाए जाएं) या कोड एजेंट (यह तय करना कि बफर का पुनर्मूल्यांकन करने से पहले कितने संपादन किए जाएं), हालांकि उनका अनुभवजन्य सत्यापन वर्तमान में पज़ल डोमेन तक सीमित है।

पेपर निष्कर्ष निकालता है कि यह सीखने की क्षमता कि कितनी देर तक प्रतिबद्ध होना है, यह सीखने जितनी ही महत्वपूर्ण है कि किस बात के लिए प्रतिबद्ध होना है, जो जटिल वातावरण में अधिक कुशल और मजबूत स्वायत्त एजेंटों की ओर एक मार्ग प्रदान करती है।