तकनीकी सारांश: योजनाओं के बजाय साक्ष्य: कौशल आसवन (Skill Distillation) के लिए ऑनलाइन प्रक्षेपवक्र सत्यापन (Online Trajectory Verification)

समस्या विवरण

यद्यपि Large Language Model (LLM) एजेंट मानव-लिखित प्रक्रियात्मक कौशलों (procedural skills) का उपयोग करके कार्य सफलता दर में सुधार कर सकते हैं, लेकिन पर्यावरण-आधारित सत्यापन के बिना इन कौशलों की गुणवत्ता का आकलन करना कठिन है। मौजूदा कौशल पीढ़ी विधियाँ अक्सर प्रत्यक्ष परिवेश संपर्क के बजाय प्राथमिकता लॉग या पूर्व योजनाओं पर निर्भर करती हैं। यह एक मौलिक बाधा उत्पन्न करता है: कौशल अक्सर "पूर्व-आधारित" (prior-based) होते हैं, जिसका अर्थ है कि वे केवल सामान्य ह्यूरिस्टिक्स या मॉडल के प्रारंभिक इरादे को कूटबद्ध करते हैं, न कि निष्पादन के माध्यम से खोजे गए अनुभवजन्य साक्ष्य को। फलस्वरूप, ये विधियाँ विभिन्न क्षमताओं वाले मॉडलों के बीच कौशल स्थानांतरित करते समय नगण्य या यहाँ तक कि घटित लाभ भी प्रदान करती हैं, क्योंकि उनमें उन विशिष्ट बाधाओं, निर्भरताओं और विफलता मोडों का अभाव होता है जो वास्तविक कार्य निष्पादन के दौरान ही उभरते हैं।

कार्यप्रणाली: SPARK और PDI

लेखक SPARK (Structured Pipelines for Autonomous Runnable tasKs and sKill generation) प्रस्तावित करते हैं, जो एक ऐसा ढांचा है जिसे पर्यावरण-सत्यापित साक्ष्य पर आधारित कौशल उत्पन्न करने और उन प्रक्षेपपथों (trajectories) की गुणवत्ता का विश्लेषण करने के लिए डिज़ाइन किया गया है जिनसे उन्हें आसवित (distill) किया जाता है।

1. SPARK पाइपलाइन

SPARK दो परस्पर जुड़े हुए पाइपलाइनों के माध्यम से कार्य करता है:

• कौशल पीढ़ी पाइपलाइन (Skill Generation Pipeline): एक "शिक्षक" (teacher) एजेंट $N_{max}$ प्रयासों तक एक Dockerized वातावरण के साथ अंतःक्रिया करता है।
  • अन्वेषण मेमो (Exploration Memo): कच्चे लॉग रखने के बजाय, एजेंट एक संरचित "अन्वेषण मेमो" बनाए रखता है जो प्रयासों, कमांड, सत्यापित तथ्यों, वर्तमान त्रुट पैटर्न और अगली रणनीतियों का सारांश देता है। संदर्भ के क्षरण (context dilution) को रोकने के लिए प्रत्येक विफलता के बाद इस मेमो को फिर से लिखा (append नहीं, बल्कि rewrite) जाता है।
  • साक्ष्य संयोजन (Evidence Assembly): सफलता पर, सिस्टम छह संरचित साक्ष्य ब्लॉकों को संकलित करता है: कार्य पैटर्न (Task Pattern), निष्पादन श्रृंखला (Execution Chain), सत्यापन रिकॉर्ड (Verification records), सबक (Lessons - विफलता पैटर्न), पर्यावरण संदर्भ (Environment context), और रॉ सपोर्ट टेल (Raw Support Tail)।
  • आसवन (Distillation): इन ब्लॉकों को एक पुन: प्रयोज्य SKILL.md दस्तावेज़ में आसवित किया जाता है।
• कार्य निर्माण पाइपलाइन (Task Construction Pipeline): कठोर मूल्यांकन सुनिश्चित करने के लिए, SPARK प्राकृतिक भाषा प्रॉम्प्ट को संरचित कार्य ब्लूप्रिंट में परिवर्तित करता है। इन्हें स्व-निहित, चलाने योग्य बेंचमार्क इंस्टेंस बनाने के लिए पुनरावृत्ति आलोचना (iterative critique), मरम्मत और नियतात्मक ओरेकल सत्यापन (deterministic oracle verification - pytest का उपयोग करके) से गुजरना पड़ता है।

2. पोस्टीरियर डिस्टिलेशन इंडेक्स (PDI)

यह मापने के लिए कि क्या एक कौशल पोस्टीरियर साक्ष्य (पर्यावरण अंतःक्रिया) पर आधारित है या पूर्व योजनाओं पर, लेखक पोस्टीरियर डिस्टिलेशन इंडेक्स (PDI) पेश करते हैं। PDI एक प्रक्षेपवक्र-स्तरीय मीट्रिक है जिसे तीन z-स्कोर किए गए संकेतों के समान-भार वाले रैखिक संयोजन के रूप में गणना किया जाता है:

1. निष्पादन ग्राउंडिंग ($\phi_{exec}$): एजेंट के सफल निष्पादन कमांड और अंतिम कौशल के बीच वितरण संबंधी समानता को मापता है। उच्च मान इंगित करते हैं कि कौशल उन ऑपरेशनों पर केंद्रित है जो पर्यावरण द्वारा सत्यापित किए गए हैं।
2. योजना प्रतिलिपि (Plan Copying - $\phi_{plan}$): अन्वेषण मेमो के "अगली रणनीति" (Next Strategy) अनुभागों और अंतिम कौशल के बीच समानता को मापता है। कम मान वांछनीय हैं, जो दर्शाते हैं कि कौशल एजेंट की प्रारंभिक योजनाओं से विचलित होता है और नए साक्ष्य शामिल करता है।
3. मेमो ऑसिफिकेशन ($\phi_{oss}$): प्रयासों के दौरान "सत्यापित तथ्यों" और विफल परीक्षण सेटों की स्थिरता को मापता है। कम मान वांछनीय हैं, जो यह दर्शाते हैं कि एजेंट की समझ विकसित हुई है, न कि वह केवल एक ही विफलता पैटर्न को दोहरा रहा था (संज्ञानात्मक जड़ता/cognitive stagnation)।

$$PDI = z(\phi_{exec}) - z(\phi_{plan}) - z(\phi_{oss})$$

3. ऑनलाइन हस्तक्षेप (Online Intervention)

एक प्रमुख नवाचार PDI के प्रॉक्सी का उपयोग एक ऑनलाइन नैदानिक संकेत (online diagnostic signal) के रूप में करना है। कौशल अन्वेषण के दौरान, यदि प्रॉक्सी-PDI थ्रेशोल्ड से नीचे गिर जाता है, तो SPARK हस्तक्षेप को ट्रिगर करता है:

• सॉफ्ट हस्तक्षेप (Soft Intervention): व्यापक परिकल्पना संशोधन (hypothesis revision) को प्रोत्साहित करता है।
• स्ट्रॉन्ग हस्तक्षेप (Strong Intervention): पिछली रणनीति को रोक देता है और एजेंट को सत्यापित तथ्यों और त्रुट पैटर्न पर टिके रहने के लिए मजबूर करता है, जिससे एजेंट को एक पुराने (stale) प्लान के साथ बने रहने से रोका जा सके।

मुख्य योगदान

1. प्रक्षेपवक्र-सत्यापित मीट्रिक (PDI): एक सिद्धांतगत, व्याख्या योग्य मीट्रिक जो उन कौशलों के बीच अंतर करता है जो पर्यावरण साक्ष्य पर आधारित हैं और जो अपरिवर्तित पूर्व योजनाओं पर आधारित हैं। यह एक यांत्रिक मूल्यांकन प्रदान करता है कि कौन से प्रक्षेपवक्र हस्तांतरणीय कौशल प्रदान करते हैं।
2. पारदर्शी कौशल पीढ़ी (SPARK): एक ढांचा जो निष्पादन लॉग, सत्यापन संकेतों और मेमो इतिहास को सुरक्षित रखता है, जिससे पूर्ण प्रक्षेपवक्र-स्तरीय विश्लेषण संभव होता है और आसवन प्रक्रिया को विश्लेषण योग्य बनाता है।
3. ऑनलाइन हस्तक्षेप तंत्र: PDI प्रॉक्सी का उपयोग करके ऑनलाइन हस्तक्षेप की निगरानी करने और कौशल अन्वेषण प्रक्रिया के दौरान हस्तक्षेप करने का एक तरीका, जो आसवन पूरा होने से पहले ही उत्पन्न किए गए कौशलों की गुणवत्ता में सक्रिय रूप से सुधार करता है।
4. प्रक्षेपवक्र बेंचमार्क: पूर्ण निष्पादन ट्रेसेस, सत्यापन संकेतों और आसवित कौशलों के साथ 86 चलाने योग्य कार्यों का एक डेटासेट (300 वेरिएंट्स तक विस्तारित), जो पर्यावरण अंतःक्रियाओं के माध्यम से कौशल हस्तांतरण के मूल्यांकन की अनुमति देता है।

प्रयोगात्मक परिणाम

लेखकों ने SkillsBench बेंचमार्क के 86 कार्यों और 300 उत्पन्न कार्य वेरिएंट्स, साथ ही ALFWorld वातावरण पर SPARK का मूल्यांकन किया।

• प्रदर्शन लाभ (Performance Gains): SPARK-जनित कौशल सात छात्र मॉडलों (GPT-5.4-nano से लेकर DeepSeek-Chat तक) में "नो-स्किल" बेसलाइन और मानव-लिखित कौशलों दोनों से लगातार बेहतर रहे। विशेष रूप से, SPARK कौशलों से लैस छोटे छात्र मॉडल अक्सर उन मजबूत शिक्षक मॉडलों के बिना सहायता वाले प्रदर्शन को भी पीछे छोड़ देते हैं जिनका उपयोग कौशल उत्पन्न करने के लिए किया गया था।
• लागत दक्षता (Cost Efficiency): हालांकि शिक्षक अन्वेषण महंगा है, आसवित कौशल कमजोर छात्र मॉडलों को शिक्षक के अन्वेषण लागत की तुलना में 1,000 गुणा सस्ता अनुमान लागत (inference cost) पर कार्यों को हल करने की अनुमति देते हैं।
• PDI की भविष्य कहने वाली शक्ति (Predictive Power):
  • PDI और कौशल लाभ के बीच एक महत्वपूर्ण सकारात्मक सहसंबंध ($\rho \approx 0.36$) है।
  • उच्च-PDI प्रक्षेपपथों से प्राप्त कौशलों ने उच्चतम पास-गेन दरों को प्राप्त किया।
  • "योजना प्रतिलिपि" (उच्च $\phi_{plan}$) के साथ कम निष्पादन ग्राउंडिंग का परिणाम लगभग शून्य या नकारात्मक लाभ था, जो पुष्टि करता है कि साक्ष्य के बिना योजनाओं का सारांश बनाना अप्रभावी है।
  • "मेमो ऑसिफिकेशन" (उच्च $\phi_{oss}$) का नकारात्मक सहसंबंध कौशल की गुणवत्ता से था, जो दर्शाता है कि संज्ञानात्मक जड़ता हस्तांतरण को नुकसान पहुँचाती है।
• ऑनलाइन हस्तक्षेप: एब्लेशन अध्ययनों से पता चला कि PDI-निर्देशित ऑनलाइन हस्तक्षेप को सक्षम करने से डाउनस्ट्रीम पास रेट में उल्लेखनीय सुधार हुआ (जैसे, विशिष्ट उपसमुच्चयों पर DeepSeek-Chat के पास रेट को 9.1% से बढ़ाकर 42.4% करना)।
• सामान्यीकरण (Generalization): SPARK कौशल कार्य वेरिएंट्स और यहाँ तक कि आउट-ऑफ-डिस्ट्रीब्यूशन ALFWorld वातावरण में भी सामान्यीकृत हुए, जिससे सफलता दर 16.7% से बढ़कर 40.0% हो गई।

महत्व और दावे

यह शोध पत्र तर्क देता है कि एजेंटों के लिए प्रभावी प्रक्रियात्मक ज्ञान पोस्टीरियर-आधारित (posterior-based) होना चाहिए, जिसका अर्थ है कि इसे उन बाधाओं और विफलता मोड को कूटबद्ध करना चाहिए जो केवल पर्यावरणीय अंतःक्रिया के माध्यम से ही खोजे जा सकते हैं। लेखक दावा करते हैं कि:

• समय महत्वपूर्ण है: मजबूत कौशल को पूर्व योजनाओं के बजाय अनुभवजन्य अंतःक्रिया से आसवित किया जाना चाहिए।
• योजनाओं के बजाय साक्ष्य: एक कौशल की गुणवत्ता उसके सत्यापित साक्ष्य में निहित होने से निर्धारित होती है, न कि एजेंट की प्रारंभिक योजना की जटिलता से।
• हस्तांतरणीयता (Transferability): PDI का उपयोग करके आसवन को फ़िल्टर और निर्देशित करके, SPARK ऐसे कुशल कौशल बनाता है जो कुशल, हस्तांतरणीय हैं और कमजोर मॉडलों को उन विशिष्ट, पर्यावरण-आधारित अंतर्दृष्टियों के बिना मजबूत मॉडलों से बेहतर प्रदर्शन करने में सक्षम बनाते हैं।
• यांत्रिक समझ (Mechanistic Understanding): यह ढांचा ब्लैक-बॉक्स कौशल पीढ़ी से आगे बढ़कर, एक यांत्रिक समझ प्रदान करता है कि क्यों कुछ प्रक्षेपपथ उपयोगी कौशल (विचलित अन्वेषण, कम ऑसिफिकेशन) देते हैं जबकि अन्य नहीं।

लेखक निष्कर्ष निकालते हैं कि स्वायत्त कौशल पीढ़ी तब सबसे प्रभावी ढंग से कार्य करती है जब एजेंट भविष्य के एजेंटों के लिए महत्वपूर्ण ज्ञान उत्पन्न करने के लिए पर्यावरण से सीखना एक पूर्व शर्त के रूप में लेता है, न कि एक विचार के बाद के रूप में।