🤖 AI

Socratic-SWE: Self-Evolving Coding Agents via Trace-Derived Agent Skills

Socratic-SWE एक क्लोज्ड-लूप सेल्फ-इवोल्यूशन फ्रेमवर्क पेश करता है जो एक एजेंट के ऐतिहासिक समाधान ट्रैसेस को संरचित कौशलों में परिवर्तित करता है ताकि लक्षित, सत्यापन योग्य मरम्मत कार्य उत्पन्न किए जा सकें, जिससे निरंतर सुधार सक्षम होता है और निश्चित उत्परिवर्तन प्रक्रियाओं पर निर्भर किए बिना SWE बेंचमार्क पर अत्याधुनिक प्रदर्शन प्राप्त होता है।

मूल लेखक: Chuan Xiao, Zhengbo Jiao, Shaobo Wang, Wei Wang, Bing Zhao, Hu Wei, Linfeng Zhang, Lin Qu

प्रकाशित 2026-06-08

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Chuan Xiao, Zhengbo Jiao, Shaobo Wang, Wei Wang, Bing Zhao, Hu Wei, Linfeng Zhang, Lin Qu

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को टूटे हुए सॉफ़्टवेयर को ठीक करना सिखाने की कोशिश कर रहे हैं। आमतौर पर, आपको रोबोट के लिए हज़ारों विशिष्ट "होमवर्क असाइनमेंट" लिखने होते हैं, उनके उत्तर खोजने होते हैं और फिर उन्हें ग्रेड देना होता है। यह महंगा है, धीमा है, और अक्सर होमवर्क रोबोट की वास्तविक कमजोरियों से मेल नहीं खाता है।

यह पेपर Socratic-SWE का परिचय देता है, जो इन कोडिंग रोबोट्स को प्रशिक्षित करने का एक नया तरीका है। एक शिक्षक द्वारा होमवर्क बांटने के बजाय, रोबोट अपनी गलतियों और सफलताओं का विश्लेषण करके खुद को सिखाता है, और उन्हें एक व्यक्तिगत अध्ययन मार्गदर्शिका (study guide) में बदल देता है।

यह कैसे काम करता है, यहाँ सरल उपमाओं (analogies) का उपयोग करके समझाया गया है:

1. पुराना तरीका: एक स्थिर पाठ्यपुस्तक (The Static Textbook)

कल्पत्वना कीजिए कि एक छात्र बढ़ईगिरी (carpentry) सीखने की कोशिश कर रहा है। पुराने तरीके में, एक शिक्षक उसे मरम्मत करने के लिए पहले से लिखे गए 1,000 ब्लूप्रिंट का एक ढेर देता है।

समस्या: कुछ ब्लूप्रिंट बहुत आसान हैं (छात्र पहले से ही जानता है कि उन्हें कैसे ठीक करना है), और कुछ असंभव हैं (छात्र के पास अभी सही उपकरण नहीं हैं)। शिक्षक को यह नहीं पता होता कि छात्र इस समय किस चीज़ के साथ संघर्ष कर रहा है।
परिणाम: छात्र अपना समय उन चीजों पर बर्बाद करता है जिन्हें वह पहले से जानता है या उन चीजों पर अटक जाता है जिन्हें वह हल नहीं कर सकता, और अंततः, वह सुधार करना बंद कर देता है।

2. नया तरीका: Socratic-SWE (स्व-शिक्षण प्रशिक्षु - The Self-Teaching Apprentice)

Socratic-SWE खेल बदल देता है। यह एक लूप (closed loop) बनाता है जहाँ रोबोट छात्र और शिक्षक दोनों की भूमिका निभाता है।

चरण 1: "ट्रेस" (वीडियो रीप्ले - The Trace)

हर बार जब रोबट एक बग (bug) को ठीक करने की कोशिश करता है, तो वह एक डिजिटल "पदचिह्न" छोड़ता है जिसे ट्रेस (trace) कहा जाता है। यह रोबोट की पूरी विचार प्रक्रिया के वीडियो रीप्ले की तरह है:

उसने कहाँ देखा?
उसने कौन सा कोड बदला?
क्या टेस्ट पास हुआ या फेल?
क्या उसने गलती से कुछ और तोड़ दिया?

अतीत में, शोधकर्ता केवल इन रीप्ले का उपयोग एक साधारण "पास" या "फेल" ग्रेड देने के लिए करते थे और फिर उस वीडियो को फेंक देते थे। Socratic-SWE कहता है, "रुको! चलो इस वीडियो को फिर से देखते हैं।"

चरण 2: "कौशल" को निचोड़ना (अध्ययन मार्गदर्शिका - Distilling Skills)

सिस्टम सभी रीप्ले को देखता है और पैटर्न खोजता है।

यदि रोबोट विफल रहा: वह देखता है, "ओह, हर बार जब मैं तीन टैब खुले होने वाली फ़ाइल को ठीक करने की कोशिश करता हूँ, तो मैं पहला टैब सेव करना भूल जाता हूँ।"
यदि रोबोट सफल रहा: वह देखता है, "जब मैं कोड एडिट करने से पहले एरर लॉग चेक करता हूँ, तो मैं आमतौर पर इसे सही कर लेता हूँ।"

यह इन पैटर्न को एक संरचित "एजेंट स्किल रजिस्ट्री" (Agent Skill Registry) में बदल देता है। इसे एक व्यक्तिगत "स्टडी गाइड" या "कोच की चीट शीट" के रूप में सोचें। यह स्पष्ट रूप से सूचीबद्ध करता है कि रोबोट किस चीज़ में बुरा है (जैसे, "साइड इफेक्ट्स की जांच करना न भूलें") और वह किस चीज़ में अच्छा है।

चरण 3: नया होमवर्क बनाना (कस्टम क्विज़ - Generating New Homework)

अब, रोबोट इस स्टडी गाइड का उपयोग करके नया होमवर्क बनाता है।

रैंडम बग चुनने के बजाय, रोबोट पूछता है: "मेरी स्टडी गाइड के आधार पर, मैं 'मल्टी-फाइल एडिट्स' में बार-बार असफल हो रहा हूँ। चलिए मैं एक नया, कठिन बग बनाता हूँ जिसके लिए मुझे विशेष रूप से एक साथ तीन फ़ाइलों को एडिट करने की आवश्यकता हो।"
यह सुनिश्चित करता है कि होमवर्क रोबोट की वर्तमान कमजोरियों के लिए पूरी तरह से लक्षित हो।

चरण 4: "वेरिफायर" गेटकीपर (The Verifier Gatekeeper)

रोबोट को नया होमवर्क देने से पहले, एक सख्त गेटकीपर इसकी जाँच करता है।

क्या वास्तव में वह बग मौजूद है?
क्या रोबोट वास्तव में इसे ठीक कर सकता है?
क्या टेस्ट विश्वसनीय है?
यदि होमवर्क टूटा हुआ या असंभव है, तो इसे बाहर कर दिया जाता है। केवल उच्च-गुणवत्ता वाले, हल करने योग्य कार्य ही ट्रेनिंग पूल तक पहुँचते हैं।

"ग्रेडिएंट अलाइनमेंट" (द कंपास - The Gradient Alignment)

इसमें एक और चतुर ट्रिक है। सिस्टम केवल यह नहीं चाहता कि रोबोट कोई भी समस्या हल करे; यह चाहता है कि रोबोट सही चीजों में बेहतर बने।

कल्पना कीजिए कि एक दिशा-सूचक यंत्र (compass) है। सिस्टम के पास एक "विश्वसनीय दिशा" (ज्ञात, उच्च-गुणवत्ता वाले कार्यों का एक सेट) है।
जब रोबोट एक नया कार्य बनाता है, तो सिस्टम पूछता है: "क्या इस नए कार्य को हल करने से रोबोट हमारे विश्वसनीय कंपास की दिशा में आगे बढ़ता है?"
यदि हाँ, तो कार्य को रखा जाता है। यदि नहीं, तो इसे हटा दिया जाता है। यह रोबोट को ऐसे "ट्रिक्स" सीखने से रोकता है जो केवल नकली समस्याओं पर काम करते हैं।

परिणाम: तेजी से स्मार्ट बनना (Getting Smarter Faster)

शोधकर्ताओं ने चार प्रमुख बेंचमार्क (कोडिंग एजेंटों के लिए फाइनल एग्जाम की तरह) पर इसका परीक्षण किया।

बेसलाइन (The Baseline): एक मानक रोबोट जिसे फिक्स्ड डेटा पर प्रशिक्षित किया गया है।
प्रतिस्पर्धा (The Competition): अन्य रोबोट जो इस विशिष्ट "स्किल रजिस्ट्री" पद्धति के बिना खुद को सिखाने की कोशिश करते हैं।
Socratic-SWE: केवल तीन राउंड के स्व-शिक्षण के बाद, इसने सबसे कठिन टेस्ट (SWE-bench Verified) पर 50.4% स्कोर किया। यह अन्यों की तुलना में एक बड़ी छलांग थी, जो या तो अटक गए थे या बहुत धीरे-धीरे सुधार कर रहे थे।

यह क्यों महत्वपूर्ण है

पेपर का दावा है कि Socratic-SWE यह साबित करता है कि आपको अंतहीन नया होमवर्क लिखने के लिए इंसान की ज़रूरत नहीं है। रोबोट के अपने इतिहास (ट्रेस) का उपयोग करके स्किल गाइड बनाने से, रोबोट अपना स्वयं का पाठ्यक्रम (curriculum) लगातार तैयार कर सकता है। यह रोबोट के पिछले असफलताओं को उसके भविष्य के ईंधन में बदल देता है, जिससे वह निरंतर मानव शिक्षकों की आवश्यकता के बिना विकसित और बेहतर हो सकता है।

संक्षेप में: यह एक ऐसे रोबोट की तरह है जो अपने गेम के रीप्ले देखता है, अपनी खुद की स्टडी गाइड लिखता है, अपने अभ्यास ड्रिल बनाता है, और फिर यह देखने के लिए टेस्ट देता है कि क्या उसने वास्तव में सुधार किया है। और यह साबित हुआ है कि यह स्व-कोचिंग विधि मानव द्वारा वर्कशीट बांटने से बेहतर काम करती है।

तकनीकी सारांश: Socratic-SWE

समस्या विवरण

लार्ज लैंग्वेज मॉडल (LLM) संचालित सॉफ्टवेयर इंजीनियरिंग (SWE) एजेंट वास्तविक दुनिया की बुद्धिमत्ता के लिए एक महत्वपूर्ण बेंचमार्क के रूप में उभरे हैं, जिन्हें बग स्थानीयकरण (bug localization), मरम्मत और सत्यापन के लिए कोड रिपॉजिटरी के साथ दीर्घकालिक (long-horizon) इंटरेक्शन की आवश्यकता होती है। हालाँकि, इन एजेंटों का प्रशिक्षण उच्च गुणवत्ता वाले SWE कार्यों की कमी के कारण बाधित होता है। मौजूदा सिंथेटिक डेटा विधियाँ आमतौर पर स्थिर उत्परिवर्तन (static mutation), बग इंजेक्शन, या निश्चित पुनर्लेखन प्रक्रियाओं पर निर्भर करती हैं। ये दृष्टिकोण ऐसे कार्य वितरण उत्पन्न करते हैं जो एजेंट की अपनी प्रशिक्षण प्रगति और विशिष्ट कमजोरियों से स्वतंत्र होते हैं, जिससे पाठ्यक्रम (curriculum) और मॉडल के वास्तविक क्षमता अंतराल (capability gaps) के बीच एक मिसअलाइनमेंट पैदा होता है। इसके अलावा, जबकि सुदृढीकरण शिक्षण (reinforcement learning - RL) प्रशिक्षण मूल्यवान "सॉल्विंग ट्रेसेस" (व्यवहार, टूल उपयोग और विफलताओं के रिकॉर्ड) का उत्पादन करता है, वर्तमान विधियाँ स्केलर रिवॉर्ड्स निकालने के बाद इन ट्रेसेस को हटा देती हैं, जिससे उन्हें प्रशिक्षण पाठ्यक्रम को विकसित करने के लिए उपयोग करने में विफल रहती हैं।

कार्यप्रणाली: Socratic-SWE

लेखक Socratic-SWE का प्रस्ताव करते हैं, जो एक क्लोज्ड-लूप, स्व-विकसित (self-evolving) फ्रेमवर्क है जो ऐतिहासिक सॉल्विंग ट्रेसेस को संरचित प्रशिक्षण संकेतों में बदल देता है। यह सिस्टम एक सह-विकासवादी लूप (co-evolutionary loop) के माध्यम से संचालित होता है जिसमें एक साझा पॉलिसी $\pi_\theta$ दो भूमिकाओं के बीच बारी-बारी से कार्य करती है: एक जेनेरेटर (Generator) और एक सॉल्वर (Solver)।

1. एजेंट स्किल रजिस्ट्री (ट्रेस डिस्टिलेशन)

ट्रेसेस को हटाने के बजाय, Socratic-SWE उन्हें एक एजेंट स्किल रजिस्ट्री ( $S$ ) में डिस्टिल करता है। इस प्रक्रिया में तीन चरण शामिल हैं:

ट्रेस कलेक्शन: सॉल्वर सीड रिपॉजिटरीज के साथ इंटरैक्ट करता है, जिससे सफल और विफल दोनों प्रकार के ट्रेसेस ( $T$ ) का एक संग्रह उत्पन्न होता है।
स्किल एक्सट्रैक्शन: एक डिस्टिलेशन मॉडल ( $M_{distill}$ ) इन ट्रेसेस का विश्लेषण करके आवर्ती व्यवहारिक पैटर्न (recurring behavioral patterns) की पहचान करता है। सफल ट्रेसेस के लिए, यह सामान्यीकरण योग्य रणनीतियों को निकालता है; विफल ट्रेसेस के लिए, यह विफलता मोड और सुधारात्मक सिद्धांतों का सारांश प्रस्तुत करता है।
रजिस्ट्री निर्माण: कैंडिडेट स्किल्स को डुप्लिकेट होने से बचाने और फ़िल्टर करने के बाद एक संरचित रजिस्ट्री बनाई जाती है। प्रत्येक स्किल एक संरचित दस्तावेज़ है जिसमें एक नाम, विवरण, लागू होने की शर्तें और ऑपरेशन्स की एक क्रमबद्ध सूची होती है।

2. स्किल-गाइडेड टास्क जनरेशन

जेनेरेटर भूमिका वास्तविक कोड रिपॉजिटरीज में लक्षित मरम्मत कार्य (repair tasks) बनाने के लिए एजेंट स्किल रजिस्ट्री का उपयोग करती है।

एडेप्टिव प्रपोजल: जेनेरेटर एक स्किल $s \in S$ और एक रिपॉजिटरी $r$ को सैंपल करता है ताकि एक कार्य $\tau$ और वेरिफिकेशन सिग्नल $v$ प्रस्तावित किया जा सके। यह प्रक्रिया सॉल्वर के पिछले प्रदर्शन से एकत्र किए गए साक्ष्य ( $E_t$ ) पर आधारित होती है, जिससे यह सुनिश्चित होता है कि कार्य वर्तमान क्षमता अंतराल को लक्षित करें।
स्टेज्ड वैलिडेशन: कैंडिडेट कार्यों को एक सैंडबॉक्स्ड एनवायरनमेंट में चार-चरणीय निष्पादन-आधारित (execution-based) वैलिडेशन पाइपलाइन से गुजरना पड़ता है:
1. फॉर्मेट: सिंटैक्टिक वैधता।
2. ग्राउंडिंग: सत्यापन कि कार्य के आर्टिफैक्ट्स रिपॉजिटरी में मौजूद हैं।
3. एक्जीक्यूशन: वेरिफिकेशन सूट की स्थिरता और पुनरुत्पादकता (reproducibility)।
4. सेमेंटिक्स: पुष्टि करना कि कार्य विफल और मरम्मत अवस्थाओं के बीच अंतर करता है।
ग्रेडिएंट-अवेयर रिवॉर्ड: यह सुनिश्चित करने के लिए कि कार्य केवल वैध ही नहीं बल्कि उपयोगी भी हों, जेनेरेटर को सॉल्वर-ग्रेडिएंट एलाइनमेंट के आधार पर रिवॉर्ड दिया जाता है। सिस्टम एक होल्ड-आउट सेट (held-out set) के विश्वसनीय वैलिडेशन कार्यों से एक लक्षित ग्रेडिएंट दिशा ( $G_v$ ) की गणना करता है। एक कैंडिडेट कार्य के लिए रिवॉर्ड, कार्य-प्रेरित सॉल्वर ग्रेडिएंट ( $g_\tau$ ) और $G_v$ के बीच कोसाइन समानता (cosine similarity) है। यह उन कार्यों को प्राथमिकता देता है जो सॉल्वर को विश्वसनीय सुधारों के अनुरूप दिशा में ले जाते हैं।

3. रिपॉजिटरी रिपेयर सॉल्वर

सॉल्वर भूमिका स्वीकृत पाठ्यक्रम के कार्यों पर प्रशिक्षण लेती है। यह पैच जेनरेट करने के लिए रिपॉजिटरी सैंडबॉक्स के साथ इंटरैक्ट करता है। रिवॉर्ड फंक्शन ( $r_S$ ) मल्टी-कंपोनेंट है, जो निम्नलिखित को पुरस्कृत करता है:

फुल सूट पास (सभी टेस्ट पास होना)।
पार्शियल रिपेयर रेट्स।
रिग्रेशन अवॉयडेंस (मूल रूप से पास होने वाले टेस्ट को सुरक्षित रखना)।
सॉल्वर को विषम (heterogeneous) रिवॉर्ड कंपोनेंट्स को प्रभावी ढंग से संभालने के लिए GDPO (ग्रुपड डायरेक्ट पॉलिसी ऑप्टिमाइज़ेशन) का उपयोग करके अनुकूलित किया जाता है।

मुख्य योगदान

ट्रेस-ड्रिवन सेल्फ-इवोल्यूशन पैराडाइम: पेपर यह प्रदर्शित करता है कि सॉल्विंग ट्रेसेस, जो आमतौर पर रिवॉर्ड कंप्यूटेशन के बाद हटा दिए जाते हैं, स्व-विकसित एजेंटों के लिए एक पुन: प्रयोज्य आधार (substrate) के रूप में कार्य कर सकते हैं। Socratic-SWE ऐतिहासिक व्यवहार को संरचित स्किल्स में बदल देता है जो एक क्लोज्ड ट्रेस-स्किल-टास्क लूप को निर्देशित करते हैं।
ग्रेडिएंट-अवेयर करिकुलम ऑप्टिमाइज़ेशन: लेखक एक करिकुलम मैकेनिज्म पेश करते हैं जो स्किल-कंडीशन्ड जनरेशन को निष्पादन-आधारित वैलिडेशन और एक सॉल्वर-ग्रेडिएंट एलाइनमेंट रिवॉर्ड के साथ जोड़ता है। यह सुनिश्चित करता है कि उत्पन्न कार्य सत्यापन योग्य (verifiable) और विश्वसनीय सुधार दिशाओं के साथ संरेखित हों।
श्रेष्ठ अनुभवजन्य प्रदर्शन (Superior Empirical Performance): फ्रेमवर्क समान कंप्यूट बजट के तहत समान स्व-विकसित बेसलाइन्स में स्टेट-ऑफ-द-आर्ट परिणाम प्राप्त करता है, जो मजबूत स्व-विकास और ट्रांसफर क्षमताओं को प्रदर्शित करता है।

प्रयोगात्मक परिणाम

फ्रेमवर्क का मूल्यांकन चार बेंचमार्क्स पर किया गया: SWE-bench Verified, SWE-bench Lite, SWE-bench Pro, और Terminal-Bench 2.0। प्रयोगों ने 36,000 ट्रेनिंग इंस्टेंस (3 इटरेशन में प्रति इटरेशन 12k) के फिक्स्ड कंप्यूट बजट का उपयोग किया और पांच स्व-विकसित बेसलाइन्स (SPIRAL, R-Zero, Absolute-Zero, Socratic-Zero, SSR) और एक बेस एजेंट के साथ तुलना की।

प्रदर्शन: तीन इटरेशन के बाद, Socratic-SWE ने SWE-bench Verified पर 50.40%, बेस एजेंट पर +7.80 पॉइंट का सुधार और सबसे मजबूत बेसलाइन (SSR) पर +3.40 पॉइंट का सुधार हासिल किया। इसने Lite पर 36.67%, Pro पर 22.85%, और Terminal-Bench 2.0 पर 14.61% भी प्राप्त किया।
स्केलिंग: अन्य बेसलाइन्स के विपरीत जो 2 इटरेशन के बाद स्थिर (plateau) हो जाते हैं या घट जाते हैं, Socratic-SWE ने तीसरे इटरेशन तक निरंतर लाभ दिखाया। 5 इटरेशन तक विस्तारित स्केलिंग ने SSR (48.00%) की तुलना में उच्च स्तर (52.00%) तक पहुँचते हुए दिखाया।
एब्लेशन स्टडीज: स्किल रजिस्ट्री को हटाने से सबसे बड़ा प्रदर्शन ड्रॉप (-4.20 पॉइंट्स) हुआ, जो पुष्टि करता है कि स्किल-गाइडेड करिकुलम डिज़ाइन प्राथमिक चालक है। मैनुअल स्किल्स के साथ ट्रेस डिस्टिलेशन को बदलने या मानक GRPO के बजाय GDPO का उपयोग करने से भी महत्वपूर्ण गिरावट आई।

महत्व और दावे

पेपर दावा करता है कि Socratic-SWE अपने स्वयं के सॉल्विंग ट्रेसेस का उपयोग करके अपने प्रशिक्षण पाठ्यक्रम को लगातार अनुकूलित करने के लिए एक स्केलेबल आधार प्रदान करता है। लेखक तर्क देते हैं कि यह दृष्टिकोण स्थिर, मॉडल-अग्नोस्टिक डेटा सिंथेसिस की सीमाओं को पार करता है, जिससे एक डायनेमिक, मॉडल-अवेयर लूप बनता है जहाँ:

ट्रेसेस को स्किल्स में बदला जाता है।
स्किल्स लक्षित कार्यों के निर्माण को निर्देशित करती हैं।
उत्पन्न कार्य आगे के विकास के लिए नए ट्रेसेस उत्पन्न करते हैं।

परिणाम बताते हैं कि सॉल्विंग ट्रेसेस में बाहरी एनोटेशन के बिना निरंतर स्व-सुधार को चलाने के लिए पर्याप्त सिग्नल होता है, जो प्रभावी रूप से अन्य सेल्फ-प्ले विधियों में देखे जाने वाले लर्निंग कर्व के सैचुरेशन को रोकता है। यह फ्रेमवर्क विशेष रूप से प्रभावी है क्योंकि यह SWE ट्रेसेस में निहित समृद्ध, नैदानिक (diagnosable) विफलता मोड का उपयोग करता है, जिसे नियत (deterministic) निष्पादन-आधारित सत्यापन के साथ जोड़ा गया है।

सीमाएँ

लेखक कई सीमाओं को स्वीकार करते हैं:

क्लोज्ड-वर्ल्ड सेटिंग: मूल्यांकन एक निश्चित सीड रिपॉजिटरीज पूल पर निर्भर करता है। जैसे-जैसे स्किल रजिस्ट्री अधिक पूर्ण होती जाती है, सिस्टम रेडंडेंट ट्रेनिंग सिग्नल्स के कारण घटते रिटर्न (diminishing returns) का सामना करता है।
वैलिडेशन डिपेंडेंस: विधि एक होल्ड-आउट सेट पर निर्भर करती है जो जेनेटर-ग्रेडिएंट एलाइनमेंट रिवॉर्ड को परिभाषित करता है, जो रोबस्टनेस को सीमित कर सकता है यदि वैलिडेशन वितरण लक्षित परिनियोजन (deployment) सेटिंग का प्रतिनिधित्व नहीं करता है।
एक्जीक्यूशन आवश्यकताएं: दृष्टिकोण निष्पादन योग्य सत्यापन और सैंडबॉक्स्ड इंटरेक्शन मानता है, जिसका अर्थ है कि लाभ सीधे उन सेटिंग्स में स्थानांतरित नहीं हो सकते हैं जिनमें विश्वसनीय टेस्ट या नियत निष्पादन की कमी है।
स्कोप: मूल्यांकन वर्तमान में विशिष्ट SWE और टर्मिनल-एजेंट बेंचमार्क्स तक सीमित है; अन्य भाषाओं या वर्कफ़्लो में व्यापक ट्रांसफर अभी स्थापित किया जाना बाकी है।