Squeez: Task-Conditioned Tool-Output Pruning for Coding Agents
यह शोध पत्र "Squeez" को पेश करता है, जो एक टास्क-कंडीशन्ड टूल-आउटपुट प्रूनिंग विधि है जो लंबे टूल ऑब्जर्वेशन से केवल सबसे प्रासंगिक साक्ष्य को पहचानने और बनाए रखने के लिए एक फाइन-ट्यून्ड Qwen 3.5 2B मॉडल का उपयोग करती है, जिससे 92% इनपुट टोकन को हटाते हुए उच्च रिकॉल और F1 स्कोर प्राप्त होता है और बड़े ज़ीरो-शॉट मॉडल्स और ह्यूरिस्टिक बेसलाइन्स की तुलना में काफी बेहतर प्रदर्शन होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक जटिल अपराध को सुलझाने की कोशिश कर रहे एक जासूस हैं, लेकिन आपको सबूतों का एक साफ-सुथरा सारांश देने के बजाय, लाखों दस्तावेजों, ऑडियो टेप और वीडियो क्लिपों से भरा एक विशाल, अराजक गोदाम थमा दिया जाता है। हर बार जब आप कोई सवाल पूछते हैं, तो आपको अपना अगला कदम उठाने से पहले उस गोदाम की हर एक चीज़ पढ़नी पड़ती है। यह धीमा, थकाऊ है, और अक्सर आप ढेर सारे अप्रासंगिक कागजी काम के नीचे दबे एक महत्वपूर्ण सुराग को भी 놓 (miss) कर देते हैं।
यही वह समस्या है जिसका सामना आज कोडिंग एजेंट (AI प्रोग्रामर) कर रहे हैं। जब वे किसी बग (bug) को ठीक करने की कोशिश करते हैं, तो उन्हें भारी मात्रा में लॉग्स, एरर मैसेज और कोड फाइलें मिलती हैं। यह सारा डेटा "शोर" (noise) है, लेकिन AI को इसे प्रोसेस करना ही पड़ता है, जो बेहद अक्षम है।
मिलिए Squeez से: AI के लिए एक "स्मार्ट श्रेडर" (Smart Shredder)।
मूल विचार: घास के ढेर में सुई खोजना
इस पेपर के लेखकों ने महसूस किया कि AI को सुई खोजने के लिए पूरे घास के ढेर को पढ़ने की ज़रूरत नहीं है। उन्होंने Squeez नामक एक सिस्टम बनाया है जो एक सुपर-स्मार्ट फिल्टर की तरह काम करता है।
यह सरल शब्दों में इस प्रकार काम करता है:
- इनपुट (Input): आप AI को एक विशिष्ट प्रश्न देते हैं (जैसे, "लॉगिन क्यों विफल हुआ?") और टेक्स्ट की एक विशाल दीवार (जैसे, 500 लाइनों का एरर लॉग)।
- जादू (The Magic): पूरे टेक्स्ट को पढ़ने के बजाय, Squeez तुरंत टेक्स्ट को स्कैन करता है और केवल उन छोटी, विशिष्ट लाइनों को काटकर निकाल देता है जो वास्तव में उस प्रश्न का उत्तर देती हैं।
- आउटपुट (Output): यह AI को केवल वे कुछ लाइनें सौंप देता है, और बाकी 92% कचरे को फेंक देता है।
"शेफ" का उदाहरण
एक कोडिंग एजेंट को एक शेफ के रूप में सोचें जो सूप बनाने की कोशिश कर रहा है।
- पुराना तरीका: शेफ को किराने के सामान से भरा एक ट्रक दिया जाता है (टूल आउटपुट)। नमक खोजने के लिए, शेफ को खाना बनाना शुरू करने से पहले हर बैग खोलना होगा, हर सब्जी को चखना होगा और हर लेबल को पढ़ना होगा। इसमें बहुत समय लगता है।
- Squeez का तरीका: एक असिस्टेंट शेफ (Squeez) ट्रक के पास खड़ा है। मुख्य शेफ पूछता है, "नमक कहाँ है?" असिस्टेंट शेफ तुरंत केवल नमक की डिब्बी उठाता है और उसे थमा देता है, जबकि गाजर और आलू से भरा ट्रक वहीं पीछे छोड़ देता है। अब मुख्य शेफ तुरंत खाना बना सकता है।
उन्होंने इसे कैसे बनाया
अपने AI को यह कौशल सिखाने के लिए, शोधकर्ताओं ने केवल अनुमान नहीं लगाया। उन्होंने 11,000 से अधिक अभ्यास परिदृश्यों के साथ एक विशाल ट्रेनिंग जिम बनाया।
- उन्होंने वास्तविक दुनिया की कोडिंग समस्याओं (एक प्रसिद्ध डेटासेट जिसे SWE-bench कहा जाता है) का उपयोग किया और विभिन्न प्रोग्रामिंग भाषाओं के लिए नकली समस्याएं बनाईं।
- उन्होंने एक छोटे, कुशल AI मॉडल (Qwen का 2-बिलियन पैरामीटर वाला संस्करण) को एक प्रश्न और एक अस्त-व्यस्त लॉग को देखने, और फिर महत्व की सटीक लाइनों या एरर मैसेज को हाइलाइट करने के लिए प्रशिक्षित किया।
- उन्होंने इसका परीक्षण "बड़े दिमाग" वाले मॉडल्स (जैसे, 35-बिलियन पैरामीटर वाला AI) और सरल नियमों (जैसे, "बस पहली 10 लाइनें पढ़ें") के खिलाफ किया।
परिणाम: छोटा ही सुंदर है
परिणाम आश्चर्यजनक और प्रभावशाली थे:
- छोटा मॉडल जीता: छोटा, विशिष्ट AI (Squeez) सही सुराग खोजने में विशाल, महंगे 35-बिलियन पैरामीटर वाले AI की तुलना में कहीं अधिक बेहतर था।
- गति और दक्षता: Squeez ने अनावश्यक टेक्स्ट को 92% तक हटा दिया। इसने 86% बार सही सबूत खोजा (Recall), जो बड़े मॉडल्स को बड़े अंतर से पीछे छोड़ गया।
- बड़े मॉडल्स क्यों विफल हुए: बड़े, "ज़ीरो-शॉट" मॉडल्स (वे मॉडल्स जिन्हें विशेष रूप से इसके लिए प्रशिक्षित नहीं किया गया था) बहुत अधिक बातें करने वाले (chatty) थे। वे अक्सर टेक्स्ट का सारांश देने या उसे फिर से लिखने की कोशिश करते थे, या वे समान दिखने वाली लेकिन गलत जानकारी से विचलित हो जाते थे। हालाँकि, Squelez ने एक सख्त "एक्सट्रैक्टर" (extractor) बनना सीखा—यह बस आवश्यक लाइनों को बिना बदले, हूबहू निकाल लेता है।
यह क्यों मायने रखता है
AI कोडिंग की दुनिया में, ध्यान (attention) एक सीमित संसाधन है। यदि एक AI अप्रासंगिक लॉग्स को पढ़ने में बहुत अधिक समय बिताता है, तो यह धीमा हो जाता है, इसे चलाने की लागत बढ़ जाती है, और यह भ्रमित भी हो सकता है।
Squeez एक लेजर-गाइडेड स्पॉटलाइट की तरह है। यह कहानी के केवल उस हिस्से पर चमकता है जो मायने रखता है, जिससे AI एजेंट तेजी से और समझदारी से आगे बढ़ पाता है। यह साबित करता है कि डेटा को फ़िल्टर करने के लिए आपको "सुपर-जीनियस" AI की आवश्यकता नहीं है; आपको बस एक छोटे, अच्छी तरह से प्रशिक्षित विशेषज्ञ की आवश्यकता है जो जानता हो कि क्या खोजना है।
संक्षेप में: Squeez AI एजेंटों के लिए अंतिम "Ctrl+F" है, लेकिन केवल एक शब्द खोजने के बजाय, यह संदर्भ को समझता है, कचरे को काट देता है, और एजेंट को समस्या को हल करने के लिए आवश्यक सटीक सबूत सौंप देता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।