🤖 AI

PIVOT: Bridging Planning and Execution in LLM Agents via Trajectory Refinement

PIVOT एक स्व-पर्यवेक्षित (self-supervised) फ्रेमवर्क है जो योजना (planning) और निष्पादन (execution) के बीच के अंतर को पाटने के लिए योजना, निरीक्षण, विकास और सत्यापन की चार-चरणीय प्रक्रिया के माध्यम से उम्मीदवार प्रक्षेप पथों (candidate trajectories) को पुनरावृत्ति से परिष्कृत करता है, जिससे काफी कम कम्प्यूटेशनल लागत के साथ अत्याधुनिक प्रदर्शन प्राप्त होता है।

मूल लेखक: Tuo Zhang, Alin-Ionut Popa, Yan Xu, Rui Song, Dimitrios Dimitriadis

प्रकाशित 2026-05-13

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Tuo Zhang, Alin-Ionut Popa, Yan Xu, Rui Song, Dimitrios Dimitriadis

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ PIVOT पेपर का विवरण दिया गया है, जिसे सरल अवधारणाओं और रोज़मर्रा के उदाहरणों में विभाजित किया गया है।

बड़ी समस्या: "दिन में सपने देखने वाला शेफ" (The Daydreaming Chef)

कल्पना कीजिए कि आपने एक बहुत ही बुद्धिमान शेफ (एक AI एजेंट) को एक डिनर पार्टी के लिए एक जटिल, बहु-कोर्स डिनर बनाने के लिए काम पर रखा है।

योजना (The Plan): शेफ बैठता है, एक सुंदर, विस्तृत मेनू लिखता है, और आवश्यक प्रत्येक सामग्री की सूची बनाता है। यह कागज़ पर एकदम सही दिखता है।
वास्तविकता (The Reality): जब शेफ खाना बनाना शुरू करता है, तो उसे एहसास होता है कि उसके पास मांगी गई विशिष्ट मछली नहीं है, ओवन खराब है, या वह वाइन खरीदना भूल गया है। क्योंकि उसने खाना बनाते समय रसोई की जाँच नहीं की, इसलिए वह मूल योजना का पालन करता रहता है। परिणाम क्या होता है? एक जला हुआ भोजन या ऐसा व्यंजन जो ऑर्डर से मेल नहीं खाता।

AI की दुनिया में, इसे प्लान-एग्जीक्यूशन मिसअलाइनमेंट (Plan-Execution Misalignment) कहा जाता है। AI एक बेहतरीन योजना लिखता है, लेकिन जब वह वास्तविक काम (जैसे वेब सर्च करना या फ्लाइट बुक करना) करने की कोशिश करता है, तो वह उन बाधाओं से टकरा जाता है जिनकी उसने भविष्यवाणी नहीं की थी। योजना को ठीक करने के लिए रुकने के बजाय, वह आगे बढ़ता रहता है, जिससे गलतियाँ बढ़ती जाती हैं और अंततः पूरा कार्य विफल हो जाता है।

समाधान: PIVOT (Plan–Inspect–eVOlve Trajectories)

लेखकों ने इस समस्या को ठीक करने के लिए PIVOT नामक एक नई प्रणाली बनाई है। PIVOT को केवल तेज़ खाना बनाने वाले शेफ के रूप में न देखें, बल्कि एक स्मार्ट सू-शेफ (sous-chef) के रूप में देखें जो लगातार काम की जाँच करता है और मुख्य शेफ को वास्तविक समय में तालमेल बिठाने में मदद करता है।

PIVOT चार सरल चरणों में काम करता है, एक लूप की तरह:

1. PLAN (ब्लूप्रिंट/योजना)

AI द्वारा किसी भी टूल (जैसे सर्च इंजन या कैलकुलेटर) का उपयोग करने से पहले, उसे एक संरचित योजना लिखनी होगी।

उदाहरण: यह एक शेफ की तरह है जो किराने के स्टोर पर जाने से पहले यह लिख लेता है कि उसे क्या और किस क्रम में खरीदना है (जैसे, "यदि स्टोर में सैल्मन खत्म हो जाए, तो मैं ट्राउट खरीदूँगा")।

2. INSPECT (स्वाद परीक्षण/जाँच)

जैसे-जैसे AI योजना को चरण-दर-चरण निष्पादित करता है, वह रुककर जाँच करता है: "क्या यह वास्तव में काम कर रहा है?"

उदाहरण: कल्पना कीजिए कि शेफ हर कदम के बाद सॉस को चखता है। यदि सॉस बहुत नमकीन है, तो वह भोजन के अंत तक इंतज़ार नहीं करता कि उसे पता चले। वह त्रुटि को तुरंत पकड़ लेता है।
जादू: यदि कुछ गलत हो जाता है, तो PIVOT केवल "Error" नहीं कहता। यह एक जासूस की तरह काम करता है, गलती से पीछे की ओर (backward) जाकर यह पता लगाता है कि योजना ठीक किस क्षण पटरी से उतरी थी। यह पूछता है, "यह क्यों विफल हुआ?" और "किस चरण के कारण यह हुआ?"

3. EVOLVE (पिवट/बदलाव)

एक बार त्रुटि मिल जाने के बाद, AI पूरे भोजन को फेंक नहीं देता। वह केवल टूटे हुए हिस्से को ठीक करता है।

उदाहरण: यदि शेफ को एहसास होता है कि मछली खराब हो गई है, तो वह पूरे किचन को जलाने या सब कुछ शुरू से शुरू करने के बजाय, मछली को किसी अन्य प्रोटीन से बदल देता है, लेकिन ऐपेटाइज़र और सलाद को वैसा ही रखता है।
यह कैसे काम करता है: AI योजना के उन हिस्सों को रखता है जो काम कर रहे थे ("validated prefix") और केवल उस हिस्से को फिर से लिखता है जो विफल हुआ ("unsupported suffix")। यह पुनर्गठन के लिए "टेस्ट टेस्ट" फीडबैक का उपयोग करता है।

4. VERIFY (अंतिम गुणवत्ता जाँच)

अंतिम उत्तर देने से पहले, AI मूल नियमों के विरुद्ध एक अंतिम जाँच करता है।

उदाहरण: वेटर द्वारा खाना मेज पर ले जाने से पहले, हेड शेफ टिकट की आखिरी बार जाँच करता है: "क्या हमने शाकाहारी विकल्प शामिल किया? क्या प्रेजेंटेशन सही है? क्या हम नैपकिन भूल गए?" यह सुनिश्चित करता है कि भागदौड़ में कोई छोटी विवरण छूट न जाए।

यह अन्य तरीकों से बेहतर क्यों है?

अन्य AI विधियाँ अक्सर गलतियों को सुधारने की कोशिश करती हैं:

अधिक प्रयास करके: बस AI को अधिक सोचने के लिए अधिक समय देना (जिससे अक्सर केवल भ्रमित सोच ही मिलती है)।
शुरू से शुरू करके: यदि एक चरण विफल हो जाता है, तो वे पूरी योजना को फेंक देते हैं और फिर से शुरुआत करते हैं (समय और पैसा बर्बाद होता है)।
बहुत कठोर होकर: एक सख्त चेकलिस्ट का उपयोग करना जो विशिष्ट समस्या के अनुकूल नहीं होती।

PIVOT अलग है क्योंकि:

यह सर्जिकल (Surgical) है: यह केवल टूटे हुए हिस्से को ठीक करता है, जिससे समय और प्रयास बचता है।
यह गंदगी से सीखता है: यह वास्तविक विफलता का उपयोग एक "टेक्स्टुअल ग्रेडिएंट" (गलती को ठीक करने के लिए एक विशिष्ट निर्देश) बनाने के लिए करता है, न कि केवल अनुमान लगाने के लिए।
यह कुशल है: पेपर का दावा है कि PIVOT समान या बेहतर परिणाम प्राप्त करने के लिए अन्य तरीकों की तुलना में 3 से 5 गुना कम "टोकन" (वह मुद्रा जिसका उपयोग AI सोचने और बोलने के लिए करता है) का उपयोग करता है। यह आधे किराने के बिल में एक बेहतरीन भोजन पाने जैसा है।

परिणाम

शोधकर्ताओं ने दो प्रकार के कठिन कार्यों पर PIVOT का परीक्षण किया:

यात्रा और खरीदारी: सख्त नियमों (बजट, तारीखें, विशिष्ट होटल) के साथ जटिल यात्राओं की योजना बनाना।
सामान्य प्रश्न: टूल्स का उपयोग करके खुले प्रश्नों (open-ended problems) को हल करना।

निष्कर्ष:

मानवीय सहायता के साथ: यदि कोई इंसान AI को फंसने पर फीडबैक देता है, तो PIVOT मानक तरीकों की तुलना में सफलता दर को 94% तक बढ़ा सकता है।
मानवीय सहायता के बिना: भले ही AI को खुद को ठीक करना पड़े (स्वायत्त रूप से), यह अभी भी अन्य AI एजेंटों की तुलना में बहुत बेहतर प्रदर्शन करता है, और अक्सर उन्हें काफी पीछे छोड़ देता है।
लागत: यह अपने प्रतिस्पर्धियों की तुलना में बहुत कम कंप्यूटिंग पावर का उपयोग करते हुए ये परिणाम प्राप्त करता है।

सारांश

PIVOT एक ऐसा फ्रेमवर्क है जो AI एजेंटों को योजना बनाना, अपने काम की जाँच करना, केवल टूटे हुए हिस्सों को ठीक करना और अंतिम परिणाम की दोबारा जाँच करना सिखाता है। यह AI को एक खराब योजना का आँख मूंदकर पालन करने से रोकता है और इसके बजाय उन्हें गतिशील रूप से अनुकूलित होने में मदद करता है, जिससे वे अधिक विश्वसनीय, कुशल और जटिल, वास्तविक दुनिया के कार्यों को संभालने में सक्षम बनते हैं।

तकनीकी सारांश: PIVOT – LLM एजेंटों में योजना और निष्पादन के बीच सेतु बनाना

1. समस्या विवरण

लार्ज लैंग्वेज मॉडल (LLM)-आधारित एजेंट अक्सर ऐसी योजनाएँ बनाते हैं जो सुसंगत तो लगती हैं, लेकिन निष्पादन (execution) के दौरान विफल हो जाती हैं। यह योजना-निष्पादन विसंगति (plan–execution misalignment) अमान्य कार्यों, गलत अवस्था धारणाओं (state assumptions), या बाधा उल्लंघन (constraint violations) के कारण उत्पन्न होती है, जो केवल वातावरण के साथ अंतःक्रिया करने पर ही स्पष्ट होते हैं। महत्वपूर्ण रूप से, ये त्रुटियाँ लंबे क्षितिज (long horizons) पर संचयी होती हैं, जिससे एक श्रृंखलाबद्ध विफलता (cascading failure) शुरू हो जाती है जो शेष योजना को अपूरणीय बना देती है।

मौजूदा सुधार विधियाँ इसे समग्र रूप से संबोधित करने में विफल रहती हैं क्योंकि उनमें ट्रैजेक्टरी-स्तरीय अनुकूलन दृष्टिकोण (trajectory-level optimization view) की कमी है। नैदानिक (diagnostic) विधियाँ विफलता के बाद (post-hoc) त्रुटियों की पहचान करती हैं लेकिन मूल योजना को अनुकूलित नहीं करतीं; पुनरावृत्ति (iterative) सुधार विधियाँ अक्सर पूर्ण ट्रैजेक्टरी के बजाय स्थानीय तर्क चरणों (local reasoning steps) को संशोधित करती हैं; और विकासवादी (evolutionary) विधियाँ निष्पादन परिणामों से प्रेरित हानि (loss) को सीधे अनुकूलित किए बिना उम्मीदवार ट्रैजेक्टरीज की खोज करती हैं। एक ऐसी प्रणाली की आवश्यकता है जो पूर्ण ट्रैजेक्टरी को एक अनुकूलन योग्य वस्तु (optimizable object) के रूप में मानती हो और निष्पादन फीडबैक को एक अपडेट सिग्नल में परिवर्तित करती हो।

2. कार्यप्रणाली: PIVOT फ्रेमवर्क

लेखक PIVOT (Plan–Inspect–eVOlve Trajectories) प्रस्तावित करते हैं, जो एक स्व-पर्यवेक्षित (self-supervised) फ्रेमवर्क है जो ट्रैजेक्टरी रिफाइनमेंट को एक विविक्त (discrete), भाषा-परिभाषित स्थान में पुनरावृत्ति अनुकूलन के रूप में स्वरूपित करता है। यह फ्रेमवर्क चार चरणों वाला एक क्लोज्ड लूप है:

A. समस्या का स्वरूप (Problem Formulation)

PIVOT एक ट्रैजेक्टरी-स्तरीय ऑब्जेक्टिव फंक्शन $L(\tau)$ को परिभाषित करता है जो तीन त्रुटि स्रोतों को जोड़ता है:

लक्ष्य-प्राप्ति हानि ( $\ell_G$ ): वांछित अंतिम परिणाम प्राप्त करने में विफलता को मापता है।
योजना-निष्पादन विचलन ( $D$ ): नियोजित ट्रैजेक्टरी और वास्तविक निष्पादन ट्रेस के बीच बेमेल को मापता है।
निष्पादन लागत ( $C$ ): अक्षम निष्पादन (जैसे, अत्यधिक टूल कॉल) को दंडित करता है।

चूंकि विविक्त भाषा ट्रैजेक्टरीज के लिए सटीक ग्रेडिएंट उपलब्ध नहीं हैं, इसलिए PIVOT संरचित प्राकृतिक-भाषा फीडबैक (टेक्स्टुअल ग्रेडिएंट्स) का उपयोग करके $\partial L / \partial \tau$ का अनुमान लगाता है, जो TextGrad से प्रेरित है।

B. चार चरण

PLAN (ट्रैजेक्टरी जनरेशन):
एजेंट वातावरण के साथ अंतःक्रिया करने से पहले एक स्पष्ट, संरचित उम्मीदवार ट्रैजेक्टरी $\tau$ उत्पन्न करता है। यह चरण एजेंट को लक्ष्य, टूल चयन, निर्भरता और विफलता की आकस्मिकताओं (contingencies) को व्यक्त करने के लिए मजबूर करता है, जो आगामी चरणों के लिए एक "ब्लूप्रिंट" के रूप में कार्य करता है।
INSPECT (बैकवर्ड विसंगति विश्लेषण):
एजेंट योजना को निष्पादित करता है ताकि एक ट्रेस $\hat{\tau}$ प्राप्त हो सके। INSPECT मॉड्यूल एक बैकवर्ड विश्लेषण करता है ताकि सबसे प्रारंभिक कारण संबंधी ब्रेक ( $i^\star$ ) की पहचान की जा सके जहाँ निष्पादन योजना से विचलित होता है।

यह एक टेक्स्टुअल ग्रेडिएंट $g(\tau)$ की गणना करता है जो विशिष्ट ट्रैजेक्टरी चरणों को त्रुटियों के लिए उत्तरदायी ठहराता है।
ह्यूमन-इन-द-लूप (HITL) सेटिंग में, यह मानवीय फीडबैक का उपयोग करता है।
स्व-पर्यवेक्षित (self-supervised) सेटिंग में, एक LLM-as-a-judge परिणामों और मध्यवर्ती व्यवहार पर संरचित फीडबैक प्रदान करता है।
आउटपुट एक मरम्मत संकेत (repair signal) है जो विफलता बिंदु और अगले चरण के लिए कार्रवाई योग्य निर्देशों की पहचान करता है।

EVOLVE (स्थानीय ट्रैजेक्टरी मरम्मत):
टेक्स्टुअल ग्रेडिएंट द्वारा निर्देशित होकर, EVOLVE मॉड्यूल ट्रैजेक्टरी को अपडेट करता है। महत्वपूर्ण रूप से, यह स्थानीय रूप से कार्य करता है: यह वैध प्रीफिक्स ( $\tau_{\le i^\star}$ ) को सुरक्षित रखता है और केवल असमर्थ सफिक्स (suffix) को फिर से लिखता है। यह सही कार्य को पूरी तरह से त्यागने से बचाता है।

अपडेट एक मोनोटोनिक स्वीकृति नियम (monotonic acceptance rule) के अधीन है: नया ट्रैजेक्टरी $\tau'$ तभी स्वीकार किया जाता है जब वह अनुमानित ऑब्जेक्टिव ( $\hat{L}' \prec \hat{L}$ ) में सुधार करता है। यह शोर वाले फीडबैक से होने वाले क्षरण को रोकता है।

VERIFY (ग्लोबल कंस्ट्रेंट वैलिडेशन):
अंतिम रूप देने से पहले, VERIFY मॉड्यूल मूल कार्य विशिष्टता और उपयोगकर्ता बाधाओं के विरुद्ध एक वैश्विक जाँच करता है। यह सुनिश्चित करता है कि मध्यवर्ती सुधार अनजाने में मूल कार्य आवश्यकताओं का उल्लंघन न करें।

3. प्रमुख योगदान

ट्रैजेक्टरी-स्तरीय अनुकूलन: PIVOT पूर्ण एजेंट ट्रैजेक्टरी को एक अनुकूलन योग्य वस्तु के रूप में मानता है, जो स्थानीय चरण-वार सुधारों पर निर्भर रहने के बजाय निष्पादन फीडबैक को एक संरचित अपडेट सिग्नल में बदल देता है।
विविक्त स्थानों के लिए टेक्स्टुअल ग्रेडिएंट्स: यह गैर-डिफरेंशिएबल भाषा ट्रैजेक्टरीज के लिए ग्रेडिएंट की अवधारणा को स्थानीय अपडेट को निर्देशित करने के लिए संरचित प्राकृतिक भाषा फीडबैक का उपयोग करके अनुकूलित करता है।
मोनोटोनिक स्वीकृति: एक प्राथमिकता-आधारित नियम यह सुनिश्चित करता है कि ट्रैजरी की गुणवत्ता पुनरावृत्तियों के माध्यम से गैर-घटमान (non-decreasing) रहे, जो मॉडल फाइन-ट्यूनिंग की आवश्यकता के बिना स्थिरता प्रदान करता है।
दक्षता: फ्रेमवर्क को कम्प्यूटेशनल रूप से कुशल बनाने के लिए डिज़ाइन किया गया है, जो पूर्ण ट्रैजेक्टरीज को फिर से उत्पन्न करने के बजाय एक एकल ट्रैजेक्टरी को निर्देशित करने के लिए इन-लाइन प्रॉम्प्ट्स का उपयोग करता है।

4. प्रयोगात्मक परिणाम

PIVOT का मूल्यांकन DeepPlanning (लंबे समय तक चलने वाली यात्रा और खरीदारी योजना) और GAIA (ओपन-डोमेन टूल उपयोग) पर किया गया।

प्रदर्शन:
- HITL व्यवस्था: मानव फीडबैक के साथ PIVOT एक मजबूत ऊपरी सीमा स्थापित करता है, जो DeepPlanning पर बेसलाइन्स की तुलना में बाधा संतुष्टि (constraint satisfaction) में ~94% सापेक्ष सुधार प्राप्त करता है।
- स्वायत्त व्यवस्था: पूरी तरह से स्वायत्त संस्करण (HITL के बिना) 20 में से 20 मॉडल-बेंचमार्क सेल्स में सबसे मजबूत गैर-PIVOT बेसलाइन्स (जैसे, Self-Critique, AgentDebug) से काफी बेहतर प्रदर्शन करता है। यह सभी 20 सेल्स में ReACT से बेहतर है।
- मॉडल तटस्थता (Model Agnosticism): विभिन्न बैकबोन मॉडल्स (Qwen3, Claude 4.5/4.6) में लाभ देखे गए, जो इंगित करते हैं कि PIVOT कमजोर मॉडल्स की भरपाई करने के बजाय बैकबोन स्केलिंग का पूरक है।
दक्षता:
- PIVOT प्रतिस्पर्धी शोधन विधियों (Self-Critique, SE-Agent, AgentDebug) की तुलना में 3–5× अधिक टोकन-कुशल है।
- उन बेसलाइन्स के विपरीत जिन्हें लंबे विफलता ट्रांसक्रिप्ट के आधार पर पूर्ण ट्रैजेक्टरीज को फिर से उत्पन्न करने की आवश्यकता होती है, PIVOT वर्तमान संदर्भ के भीतर एजेंट को निर्देशित करता है जब त्रुटियां होती हैं।
एब्लेशन अध्ययन (Ablation Studies):
- VERIFY चरण को हटाने से सबसे बड़ी गिरावट (औसत -13.3%) हुई, जो अंतिम बाधा सत्यापन की महत्वपूर्ण भूमिका को उजागर करती है।
- PLAN या EVOLVE को हटाने से भी महत्वपूर्ण गिरावट आई, जो मजबूत इनिशियलाइजेशन और विसंगति-निर्देशित मरम्मत दोनों की आवश्यकता की पुष्टि करती है।
- केवल "सोचने के बजट" (extended thinking) को बढ़ाने से प्रदर्शन में सुधार नहीं हुआ, जो यह सुझाव देता है कि समस्या तर्क की मात्रा नहीं, बल्कि उसका आवंटन (allocation) है।

5. महत्व और दावे

पेपर का दावा है कि PIVOT स्वायत्त एजेंट सिस्टम में योजना-निष्पादन अंतराल को कम करने के लिए एक सिद्धांतिक पद्धति (principled methodology) का प्रतिनिधित्व करता है। इसका महत्व निम्नलिखित में निहित है:

अंतराल को भरना: यह पुनरावृत्ति, फीडबैक-संचालित शोधन के माध्यम से इच्छित कार्यों और वास्तविक व्यवहार के बीच व्यवस्थित विचलन को सीधे संबोधित करता है।
विश्वसनीयता: मोनोटोनिक सुधार और वैश्विक बाधा सत्यापन को लागू करके, यह सुरक्षित और अधिक विश्वसनीय स्वायत्त प्रणालियाँ बनाता है।
दक्षता: यह प्रदर्शित करता है कि मौजूदा तरीकों की तुलना में काफी कम कम्प्यूटेशनल लागत के साथ उच्च-गुणवत्ता वाला ट्रैजेक्टरी अनुकूलन प्राप्त किया जा सकता है।
व्याख्यात्मकता (Interpretability): यह ट्रैजेक्टरी में सबसे प्रारंभिक कारण संबंधी ब्रेक को स्थानीयकृत करके व्याख्यात्मक विफलता एट्रिब्यूशन प्रदान करता है।

लेखक निष्कर्ष निकालते हैं कि जबकि PIVOT बाधा-संचालित, लंबे समय तक चलने वाले सेटिंग्स में विश्वसनीयता में काफी सुधार करता है, यह संदर्भ क्षरण (context degradation), रिट्रीवल बॉटलनेक्स (ओपन-डोमेन कार्यों में), और अंतर्निहित मॉडल की अंतर्निहित तर्क क्षमता जैसी सीमाओं के अधीन रहता है। वे वास्तविक दुनिया के परिवेश में तैनाती गार्डरेल्स और निरंतर मूल्यांकन की आवश्यकता पर जोर देते हैं।