Sandboxed Coding Agents are Competitive Omni-modal Task Solvers
यह शोध पत्र यह प्रदर्शित करता है कि सैंडबॉक्स्ड टूल्स से लैस केवल टेक्स्ट-आधारित कोडिंग एजेंट, मल्टीमॉडल समस्याओं को सूचना-प्रसंस्करण वर्कफ़्लो में बदलकर जटिल ऑडियो-वीडियो कार्यों को प्रभावी ढंग से हल कर सकते हैं, जो अक्सर नेटिव ओम्नीमॉडल मॉडलों से बेहतर प्रदर्शन करते हैं, साथ ही यह ओपन-सोर्स मैनी-मोडैलिटी प्रोसेसिंग को आगे बढ़ाने के लिए कोड-एक्स (Code-X) ट्रेनिंग रेसिपी और टर्मिनलबेंच-ओ (TerminalBench-O) बेंचमार्क को भी पेश करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
यहाँ एक सरल भाषा और रचनात्मक उपमाओं (analogies) का उपयोग करके पेपर का स्पष्टीकरण दिया गया है।
मुख्य विचार: "स्मार्ट इंटर्न" बनाम "सुपर-जीनियस"
कल्पना कीजिए कि आपके पास वीडियो क्लिप्स, ऑडियो रिकॉर्डिंग और दस्तावेज़ों से बनी एक विशाल, जटिल पहेली है। आपको इसे सुलझाना है।
लंबे समय तक, तकनीकी दुनिया ने माना कि इसे हल करने के लिए आपको एक "सुपर-जीनियस" (एक नेटिव ओम्नीमोडल AI) की आवश्यकता होगी। यह सुपर-जीनियस एक ऐसा मॉडल है जिसने पूरे वीडियो और ऑडियो फ़ाइल को एक साथ "निगल" लिया है, और अपने दिमाग के भीतर हर एक फ्रेम और ध्वनि तरंग को एक साथ समझने की कोशिश कर रहा है।
यह पेपर तर्क देता है कि आपको इसके लिए वास्तव में एक सुपर-जीनियस की आवश्यकता नहीं है। इसके बजाय, आप एक "स्मार्ट इंटर्न" (एक कोडिंग एजेंट) का उपयोग कर सकते हैं।
स्मार्ट इंटर्न पूरे वीडियो को निगलने की कोशिश नहीं करता। इसके बजाय, उसके पास एक टूलबॉक्स होता है। वह फ़ाइल को देखता है, एक विशिष्ट उपकरण (जैसे एक वीडियो एडिटर या स्पीच-टू-टेक्स्ट मशीन) उठाता है, केवल उतनी ही जानकारी निकालता है जिसकी उसे आवश्यकता है (जैसे एक ट्रांसक्रिप्ट या एक विशिष्ट फ्रेम), और फिर उस छोटे से सबूत का उपयोग करके पहेली को हल करता है।
पेपर का मुख्य दावा: स्मार्ट इंटर्न, टूल्स का उपयोग करके, उस सुपर-जीनियस की तुलना में वास्तव में तेज़, सस्ता और अक्सर इन पहेलियों को सुलझाने में बेहतर होता है जो एक ही बार में सब कुछ याद रखने की कोशिश करता है।
"स्मार्ट इंटर्न" कैसे काम करता है
स्मार्ट इंटर्न को एक लाइब्रेरी में एक जासूस के रूप में सोचें।
- पुराना तरीका (नेटिव मॉडल्स): सुपर-जीनियर लाइब्रेरी में जाता है और शेल्फ पर मौजूद हर किताब पढ़ने, हर ऑडियो टेप सुनने और हर मूवी को एक साथ देखने की कोशिश करता है। वह बहुत अधिक बोझ महसूस करता है, बहुत अधिक ऊर्जा (टोकन) खर्च करता है, और कभी-कभी विवरण चूक जाता है क्योंकि वह एक साथ बहुत अधिक चीज़ों को प्रोसेस करने की कोशिश कर रहा होता है।
- नया तरीका (सैंडबॉक्स्ड एजेंट्स): स्मार्ट इंटर्न लाइब्रेरी में जाता है लेकिन केवल वही किताबें या टेप लेता है जिनकी उसे आवश्यकता है।
- यदि उसे यह जानने की आवश्यकता है कि किसी ने क्या कहा, तो वह ऑडियो को लिखित ट्रांसक्रिप्ट में बदलने के लिए स्पीच-टू-टेक्स्ट टूल का उपयोग करता है।
- यदि उसे यह जानने की आवश्यकता है कि वीडियो में क्या है, तो वह कुछ प्रमुख तस्वीरें निकालने के लिए फ्रेम-एक्सट्रैक्शन टूल का उपयोग करता है।
- फिर वह उस प्रश्न का उत्तर देने के लिए उस ट्रांसक्रिप्ट को पढ़ता है या उन चित्रों को देखता है।
परिणाम: स्मार्ट इंटर्न बहुत कम ऊर्जा (कम "टोकन") का उपयोग करता है क्योंकि वह पूरे पुस्तकालय को अपने सिर में लेकर नहीं घूमता। वह केवल वही विशिष्ट साक्ष्य लेकर चलता है जिसकी उसे आवश्यकता है।
प्रमाण: दौड़ में कौन जीतता है?
शोधकर्ताओं ने इसका परीक्षण वीडियो और ऑडियो से जुड़ी चार अलग-अलग "पहेली प्रतियोगिताओं" (बेंचमार्क) पर किया।
- परिणाम: स्मार्ट इंटर्न (GPT-5.4 और Claude Opus जैसे मॉडल का उपयोग करते हुए) कई श्रेणियों में सर्वश्रेष्ठ सुपर-जीनियस मॉडल्स (जैसे Gemini 3.1 Pro) को हरा देते हैं।
- उपमा: यह एक ऐसे व्यक्ति के बीच दौड़ की तरह है जो एक सामान्य ज्ञान के प्रश्न का उत्तर देने के लिए पूरी विश्वकोश (encyclopedia) को याद करने की कोशिश कर रहा है, बनाम एक ऐसे व्यक्ति के बीच जिसे पता है कि लाइब्रेरी इंडेक्स में कौन सा पेज देखना है। इंडेक्स वाला व्यक्ति जीतता है क्योंकि वह कुशल और सटीक है।
वे क्यों जीतते हैं? ("टूल" का लाभ)
शोधकर्ताओं ने पाया कि स्मार्ट इंटर्न इसलिए जीतते हैं क्योंकि वे वीडियो/ऑडियो को स्टोर करने वाली "यादों" के रूप में नहीं, बल्कि प्रोसेस करने वाले "कच्चे माल" के रूप में देखते हैं।
- चयनात्मक पुनर्प्राप्ति (Selective Retrieval): एक गोल खोजने के लिए 90 मिनट का सॉकर मैच देखने के बजाय, इंटर्न वीडियो को "गोल" घटनाओं को स्कैन करने के लिए एक टूल का उपयोग करता है और केवल उन 30 सेकंडों को देखता है।
- त्रुटि सुधार (Error Correction): यदि कोई टूल विफल हो जाता है (उदाहरण के लिए, स्पीच-टू-टेक्स्ट मशीन शोर के कारण भ्रमित हो जाती है), तो इंटर्न एक अलग टूल आज़मा सकता है या इसे ठीक करने के लिए एक छोटा स्क्रिप्ट लिख सकता है। एक सुपर-जीनियस अक्सर शोर के कारण अटक जाता है।
क्या गलत होता है? (विफलता वर्गीकरण/Failure Taxonomy)
स्मार्ट इंटर्न भी गलतियाँ करते हैं। शोधकर्ताओं ने यह समझाने के लिए एक "विफलता मेनू" बनाया कि ऐसा क्यों हुआ:
- खराब श्रवण (Bad Hearing): स्पीच-टू-टेक्स्ट टूल ने ऑडियो को गलत सुना।
- खराब दृष्टि (Bad Eyes): टूल ने गलत वीडियो फ्रेम चुना।
- जल्दी हार मान लेना (Giving Up Too Soon): एजेंट सुराग खोजने से पहले ही रुक गया।
- गलत तथ्य (Wrong Facts): उसने सही वीडियो तो ढूँढा लेकिन डेटाबेस में गलत जानकारी ढूँढी।
- खराब गणित (Bad Math): उसके पास सही तथ्य थे लेकिन उसने गणना गलत की।
- टूटे हुए टूल्स (Broken Tools): कंप्यूटर में टूल चलाने के लिए सही सॉफ्टवेयर इंस्टॉल नहीं था।
क्या हम इंटर्न को बेहतर बना सकते हैं? (स्किल इंजेक्शन)
शोधकर्ताओं ने पूछा: "क्या हम उसके दिमाग को फिर से बनाए बिना इंटर्न को और भी स्मार्ट बना सकते हैं?"
उन्होंने तीन तरीके आजमाए:
- मानवीय कोचिंग (Human Coaching): विशेषज्ञों द्वारा लिखा गया एक मैनुअल देना।
- स्व-अभ्यास (Self-Practice): इंटर्न को खुद प्रयास करने, विफल होने और एक साधारण "सही/गलत" चेक के आधार पर अपने नियमों को समायोजित करने देना।
- लॉग्स से सीखना (Learning from Logs): एक दूसरा AI इंटर्न के कार्य लॉग्स (work logs) को देखता है, उन पैटर्न को ढूंढता है कि क्या काम किया और क्या नहीं, और इंटर्न के लिए एक नया "सर्वश्रेष्ठ अभ्यास" (Best Practices) गाइड लिखता है।
विजेता: लॉग-ड्रिवन सेल्फ-डिस्टिलेशन (लॉग्स से सीखना) सबसे अच्छा रहा। यह कोच द्वारा इंटर्न के गेम टेप की समीक्षा करने और यह कहने जैसा था, "तुम समय का अनुमान लगाने से पहले टाइमस्टैम्प चेक करना भूल जाते हो।" इसने इंटर्न की सटीकता में काफी सुधार किया।
भविष्य: "समझने" से "करने" तक
यह पेपर तर्क देता है कि हम उस युग से आगे बढ़ रहे हैं जहाँ AI केवल मीडिया को समझता है (वीडियो के बारे में सवालों के जवाब देना) और उस युग में प्रवेश कर रहे हैं जहाँ AI मीडिया को प्रोसेस करता है (वीडियो को एडिट करना, ऑडियो को काटना, एक नई फ़ाइल बनाना)।
उन्होंने इन कार्यों को मापने के लिए TerminalBench-O नामक एक नया टेस्ट पेश किया।
- कार्य: केवल यह पूछने के बजाय कि "इस वीडियो में कौन है?", AI को एक हाइलाइट रील बनानी होगी, एक कैप्शन लिखना होगा और फ़ाइल को सेव करना होगा।
- चुनौती: यह बहुत कठिन है। यहाँ तक कि सर्वश्रेष्ठ AI भी इन कार्यों में केवल 24% ही सफल हो पाया। इसके लिए लंबी योजना और विश्वसनीय टूल उपयोग की आवश्यकता होती है, जो इन "स्मार्ट इंटर्न" के लिए अगला मोर्चा है।
सारांश
जटिल समस्याओं को हल करने के लिए आपको हर वीडियो और ध्वनि को याद रखने वाले एक विशाल, महंगे दिमाग की आवश्यकता नहीं है। आपको एक स्मार्ट, कुशल एजेंट की आवश्यकता है जो अपनी ज़रूरत के विशिष्ट साक्ष्य निकालने के लिए टूल्स का उपयोग करना जानता हो। यह दृष्टिकोण सब कुछ एक साथ "समझने" की कोशिश करने की तुलना में सस्ता, तेज़ और अक्सर अधिक सटीक होता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।