Toward Scalable Terminal Task Synthesis via Skill Graphs

यहाँ पेपर "Toward Scalable Terminal Task Synthesis via Skill Graphs" (SkillSynth) का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

टर्मिनल एजेंट (कमांड-लाइन इंटरफेस के माध्यम से इंटरैक्ट करने वाले LLMs) स्वायत्त सिस्टम प्रबंधन के लिए आशाजनक हैं, लेकिन वे प्रशिक्षण के लिए उच्च-गुणवत्ता वाले, विविध निष्पादन प्रक्षेपवक्रों (execution trajectories) की अभाव के कारण गंभीर रूप से बाधित हैं।

• वर्तमान सीमाएँ: टर्मिनल कार्यों को स्केल करने के लिए मौजूदा विधियाँ निम्नलिखित पर निर्भर हैं:
  • LLM-जनित वर्गीकरण (Taxonomies): ये अक्सर वास्तविक दुनिया के उपयोग से अलग होते हैं।
  • GitHub रिपॉजिटरी इनवर्जन: वास्तविक कोडबेस से कार्यों को व्युत्पन्न करना, लेकिन यह सॉफ्टवेयर इंजीनियरिंग (जैसे बग फिक्सिंग) तक सीमित है और निष्पादन पथ (परिदृश्यों और कौशलों का अनुक्रम) की विविधता को नियंत्रित करने में विफल रहता है।
• मुख्य अंतर्दृष्टि (Core Insight): एक टर्मिनल एजेंट का प्रक्षेपवक्र दो आयामों द्वारा परिभाषित होता है: वे परिदृश्य (scenarios) जिनसे वह गुजरता है (मध्यवर्ती अवस्थाएँ) और वे कौशल (skills) जिनका वह अभ्यास करता है (क्रियाएँ)। प्रशिक्षण के लिए ऐसे डेटा की आवश्यकता है जो $(\text{scenario}, \text{skill})$ जोड़ों के कंडीशनल प्रोडक्ट स्पेस को सघनता से कवर करे। वर्तमान विधियों में इन आयामों में अतिरेक (redundancy) होता है, जिससे उप-इष्टतम लर्निंग होती है।

2. कार्यप्रणाली: SkillSynth

लेखक SkillSynth का प्रस्ताव करते हैं, जो एक स्वचालित ढांचा है जो एक Scenario-Mediated Skill Graph पर पथों के रूप में वर्कफ़्लो को मॉडल करके विविध टर्मिनल कार्यों को संश्लेषित करता है।

A. स्किल ग्राफ निर्माण (Skill Graph Construction)

यह ढांचा एक निर्देशित मल्टीग्राफ $G = (\Omega, K)$ बनाता है जहाँ:

• नोड्स ($\Omega$): परिदृश्य (सिस्टम अवस्थाओं के निर्णय-प्रासंगिक अमूर्त रूप)।
• एजेस ($K$): कौशल (एक प्रीकंडीशन परिदृश्य से पोस्टकंडीशन परिदृश्य तक निर्देशित संक्रमण)।
• पाइपलाइन:
  1. स्किल फ़िल्टरिंग: ClawHub और सार्वजनिक GitHub रिपॉजिटरी से कौशलों को एकत्रित करना, और निष्पादन क्षमता, संरचित वर्कफ़्लो, और सुरक्षा (कोई जेलब्रेक नहीं) के लिए फ़िल्टर करना।
  2. परिदृश्य अनुमान (Scenario Inference): प्रत्येक कौशल के लिए प्रीकंडीशन और पोस्टकंडीशन परिदृश्यों का अनुमान लगाने के लिए LLMs का उपयोग करना।
  3. सिमेंटिक डीडुप्लिकेशन: उन परिदृश्यों को क्लस्टर और मर्ज करना जो शब्दार्थ (semantically) रूप से समान हैं लेकिन लेक्सिकल रूप से भिन्न हैं (पदानुक्रमित एग्लोमरेटिव क्लस्टरिंग का उपयोग करके)।
  4. क्रॉस-स्किल अलाइनमेंट: एम्बेडिंग समानता और LLM सत्यापन के माध्यम से एक कौशल के पोस्टकंडीशन को दूसरे के प्रीकंडीशन से जोड़कर कौशलों को जोड़ना।
  • परिणाम: ~82k परिदृश्यों, ~57k कौशलों और ~185k सत्यापित ब्रिजों वाला एक ग्राफ।

B. ग्राफ-निर्देशित पथ सैंपलिंग (Graph-Guided Path Sampling)

रैंडम वॉक (जो हाई-डिग्री नोड्स को प्राथमिकता देते हैं) के बजाय, SkillSynth इनवर्स-फ्रीक्वेंसी पाथ सैंपलिंग (एल्गोरिदम 1) का उपयोग करता है:

• तंत्र: परिदृश्यों ($\nu$) और कौशलों ($\mu$) के लिए विज़िट काउंट बनाए रखना।
• संभाव्यता: $(count + 1)^{-1}$ के आनुपातिकता के साथ अगले चरणों को सैंपल करना।
• प्रतिबंध: एक एकल पथ के भीतर नोड्स को दोबारा न दोहराने (monotone progression) को लागू करना ताकि विविधता सुनिश्चित हो सके।
• लक्ष्य: अनुभवजन्य वितरण (empirical distribution) को $(\text{scenario}, \text{skill})$ स्पेस के यूनिफॉर्म कवरेज की ओर मोड़ना।

C. मल्टी-एजेंट सिंथेसिस हार्नेस (Multi-Agent Synthesis Harness)

सैंपल किए गए पथों को एक मल्टी-एजेंट सिस्टम के माध्यम से निष्पादन योग्य कार्यों में स्थापित किया जाता है:

1. प्लानर (Planner): अमूर्त पथ को उप-उद्देश्यों के एक संरचित प्लान में परिवर्तित करता है।
2. कंस्ट्रक्टर (Constructor): पूर्ण टास्क इंस्टेंस (निर्देश, प्रारंभिक फाइलसिस्टम, Docker वातावरण, सत्यापन स्क्रिप्ट, ऑरेकल समाधान) उत्पन्न करता है।
3. दोहरा सत्यापन (Dual Verification):
   • ऑरेकल चेक: समाधान योग्यता सुनिश्चित करने के लिए कंटेनर में समाधान को निष्पादित करना।
   • रूब्रिक चेक: निर्देश-टेस्ट संरेखण को सत्यापित करने और समाधान लीकेज को रोकने के लिए 'LLM-as-a-Judge' का उपयोग करना।
4. पुनरावृत्ति सुधार (Iterative Repair): विफल इंस्टेंस को त्यागने से पहले टूल-ऑगमेंटेड एजेंटों का उपयोग करके अधिकतम 3 सुधार चक्रों से गुजरना पड़ता है।

3. मुख्य योगदान (Key Contributions)

1. सैद्धांतिक मॉडलिंग: टर्मिनल एजेंट प्रक्षेपवक्र को परिदृश्यों और कौशलों के अनुक्रम के रूप में औपचारिक रूप देना, और प्रभावी प्रशिक्षण के लिए $(\sigma, \kappa)$ स्पेस में विविधता को अधिकतम करने की आवश्यकता की पहचान करना।
2. SkillSynth फ्रेमवर्क: एक एंड-टू-एंड स्वचालित पाइपलाइन जो एक परिदृश्य-मध्यस्थ कौशल ग्राफ का निर्माण करती है और बिना मानवीय हस्तक्षेप के कार्यों को संश्लेषित करती है।
3. स्केलेबल सिंथेसिस: एक सिंगल रन में 3,721 सैंपल किए गए पथों से 3,560 सत्यापित टास्क इंस्टेंस प्राप्त किए, जिसमें 95.7% ऑरेकल पास रेट और औसतन $27.3 प्रति टास्क की लागत रही।
4. अनुभवजन्य सत्यापन: यह प्रदर्शित किया कि ग्राफ-निर्देशित संश्लेषण, सिंगल-स्किल या रैंडम मल्टी-स्किल बेसलाइन की तुलना में कठिन और अधिक विविध कार्य उत्पन्न करता है, जिससे निरंतर प्रदर्शन लाभ होता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

• डेटासेट: सुपरवाइज्ड फाइन-ट्यूनिंग (SFT) के माध्यम से Qwen3 मॉडल्स (8B, 14B, 32B) को प्रशिक्षित करने के लिए उपयोग किए गए 3,560 सत्यापित कार्य।
• बेंचमार्क: Terminal-Bench 1.0 और 2.0 पर मूल्यांकन।
• प्रदर्शन लाभ:
  • Qwen3-32B + SkillSynth ने TB 1.0 पर 33.8% और TB 2.0 पर 29.6% प्राप्त किया।
  • इसने बहुत बड़े Qwen 3 Coder 480B (TB 2.0 पर 23.9%) को पछाड़ दिया, जो यह सिद्ध करता है कि लक्षित डेटा विविधता, केवल मॉडल स्केल की तुलना में अधिक प्रभावी है।
  • एब्लेशन (Ablation): SkillSynth कार्यों ने TB 2.0 पर "Single-skill" बेसलाइन से ~8.4 अंक और "Random Multi-skill" बेसलाइन से ~3.8 अंक अधिक प्रदर्शन किया।
• कार्य की कठिनाई: संश्लेषित किए गए 38% कार्य एजेंट द्वारा 3 प्रयासों के बाद भी हल करने में असमर्थ (0/3 सफलता) थे, जो उच्च जटिलता को दर्शाता है।
• विविधता: SkillSynth प्रक्षेपवर्या (trajectories) ने सिंगल-स्किल बेसलाइन की तुलना में 31% अधिक अद्वितीय परिदृश्य-कौशल कवरेज दिखाया।

5. महत्व और भविष्य का कार्य (Significance and Future Work)

• पैराडाइम शिफ्ट: टर्मिनल टास्क सिंथेसिस को "वॉल्यूम-आधारित" (कई समान कार्य उत्पन्न करना) से "विविधता-नियंत्रित" (स्टेट-एक्शन स्पेस के कवरेज को सुनिश्चित करना) में बदलना।
• लागत दक्षता: उच्च-गुणवत्ता वाले प्रशिक्षण डेटा को उत्पन्न करने के लिए एक स्केलेबल, कम लागत वाला तरीका प्रदान करता है, जिससे छोटे मॉडल टर्मिनल कार्यों में बड़े प्रोप्रायटरी मॉडल्स के साथ प्रतिस्पर्धा करने में सक्षम होते हैं।
• वास्तविक दुनिया के साथ संरेखण: संश्लेषण को वास्तविक दुनिया के कौशलों (ClawHub/GitHub) और परिदृश्य संक्रमणों में ग्राउंड करके, उत्पन्न कार्य वास्तविक उपयोगकर्ता वर्कफ़्लो को बेहतर ढंग से दर्शाते हैं।
• भविष्य की दिशाएं: बड़े डेटा शासन (data regimes) तक स्केल करना, सस्ते मॉडल्स को अनुकूलित करना, और कई कौशलों के समानांतर निष्पादन को सक्षम करने के लिए सबग्राफ सैंपलिंग का पता लगाना, जिससे कार्य की जटिलता और बढ़ सके।

निष्कर्ष: SkillSynth प्रभावी रूप से उच्च-गुणवत्ता वाले टर्मिनल डेटा की कमी और विविध प्रशिक्षण प्रक्षेपवर्या की आवश्यकता के बीच के अंतर को पाटता है, जो स्केलेबल, स्वचालित टर्मिनल एजेंट प्रशिक्षण के लिए एक नया मानक स्थापित करता है।