Learning to Ideate for Machine Learning Engineering Agents
यह शोध पत्र MLE-Ideator को प्रस्तुत करता है, जो एक दोहरा-एजेंट ढांचा है जो रणनीतिक विचारोन्मेष (ideation) को कार्यान्वयन से अलग करता है ताकि मशीन लर्निंग इंजीनियरिंग प्रदर्शन को महत्वपूर्ण रूप से बढ़ाया जा सके, यह प्रदर्शित करते हुए कि सुदृढीकरण शिक्षण (reinforcement learning) द्वारा प्रशिक्षित Ideator, अपरिष्कृत बेसलाइन और क्लॉड सोनेट 3.5 (Claude Sonnet 3.5) जैसे अग्रणी वाणिज्यिक मॉडलों दोनों से बेहतर प्रदर्शन कर सकता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक जटिल मशीन बनाने की कोशिश कर रहे हैं, जैसे कि एक हाई-परफॉर्मेंस रेस कार, लेकिन आपके पास केवल एक बहुत ही प्रतिभाशाली मैकेनिक है जो पाना (wrench) घुमाने में तो माहिर है लेकिन कभी-कभी इस बात पर अटक जाता है कि आगे क्या ठीक करना है।
यह शोध पत्र (paper) AI एजेंटों को मशीन लर्निंग मॉडल बनाने में मदद करने का एक नया तरीका पेश करता है। वे अपने सिस्टम को MLE-IDEATOR कहते हैं। यह कैसे काम करता है, इसे सरल अवधारणाओं में यहाँ समझाया गया है:
समस्या: "अटक जाने वाला मैकेनिक" (The "Stuck Mechanic")
आमतौर पर, मशीन लर्निंग मॉडल बनाने की कोशिश करने वाले AI एजेंट अकेले काम करते हैं। वे एक ऐसे मैकेनिक की तरह हैं जो कार को ठीक करने की कोशिश करता है, एक चीज़ आज़माता है, और यदि वह तुरंत पूरी तरह से काम नहीं करती है, तो वे हार मान लेते हैं या नई चीज़ें आज़माना बंद कर देते हैं। वे कोड लिखने में अच्छे हैं (पाना घुमाने में), लेकिन वे कार को तेज़ बनाने के लिए नई रणनीतियाँ बनाने में संघर्ष करते हैं। वे अक्सर "सर्वश्रेष्ठ संभव" समाधान के बजाय एक "ठीक-ठाक" समाधान पर ही संतोष कर लेते हैं।
समाधान: "रणनीतिक कोच" (The "Strategic Coach")
लेखकों ने काम को दो अलग-अलग भूमिकाओं में विभाजित किया है, जिससे दो एजेंटों की एक टीम बनती है:
- इम्प्लीमेंटर (The Implementer - मैकेनिक): यह वह एजेंट है जो वास्तव में कोड लिखता है, परीक्षण (tests) चलाता है और मॉडल बनाता है। यह "करने वाला" (doer) है।
- IDEATOR (The Strategic Coach - रणनीतिक कोच): यह एक समर्पित एजेंट है जिसका एकमात्र काम सोचना है। यह कोड नहीं लिखता। इसके बजाय, यह मैकेनिक को काम करते हुए देखता है। जब मैकेनिक अटक जाता है या किसी बाधा से टकराता है, तो वह एक हाथ उठाता है (एक विशेष क्रिया का उपयोग करके जिसे
<seek_help>कहा जाता है) और कोच से सलाह मांगता है।
उपमा (Analogy):
सोचिए कि इम्प्लीमेंटर एक शतरंज खिलाड़ी है जो मोहरों को चलाने में बहुत अच्छा है लेकिन कभी-कभी जीतने वाली रणनीति को मिस कर देता है। IDEATOR उनके बगल में बैठा एक ग्रैंडमास्टर है। खिलाड़ी मोहरों को चलाने के लिए ग्रैंडमास्टर से नहीं पूछता; वे बस पूछते हैं, "मुझे आगे क्या करना चाहिए?" ग्रैंडमास्टर बोर्ड को देखता है और कहता है, "अपना नाइट यहाँ चलाओ क्योंकि इससे प्रतिद्वंद्वी फंस जाएगा।" खिलाड़ी फिर उस चाल को निष्पादित करता है।
उन्होंने बेहतर बनना कैसे सीखा ( "प्रशिक्षण" वाला हिस्सा)
पेपर यह भी दिखाता है कि उन्होंने "कोच" (IDEATOR) को बेहतर सलाह देने के लिए कैसे प्रशिक्षित किया।
- पहले: कोच को केवल पालन करने के लिए नियमों (प्रॉम्प्ट्स) का एक सेट दिया गया था। यह ठीक था, लेकिन एकदम सही नहीं।
- बाद में: उन्होंने रीइन्फोर्समेंट लर्निंग (Reinforcement Learning) नामक एक विधि का उपयोग किया। कल्पना कीजिए कि यह एक वीडियो गेम की तरह है जहाँ कोच को एक "पॉइंट" मिलता है जब भी उसकी सलाह मैकेनिक को एक तेज़ कार बनाने में मदद करती है। यदि सलाह से दुर्घटना होती है या कोई सुधार नहीं होता है, तो कोच को "पेनल्टी" मिलती है।
- परिणाम: केवल 1,000 उदाहरणों (AI के लिए एक बहुत ही छोटी मात्रा) के साथ खेलने के बाद, कोच अविश्वसनीय रूप से स्मार्ट हो गया। इसने सामान्य सलाह जैसे "अधिक प्रयास करें" देना बंद कर दिया और विशिष्ट, उच्च-प्रभाव वाले सुझाव जैसे "इस विशिष्ट डेटा फीचर को बदलें" देना सीख लिया।
बड़ी जीत (The Big Wins)
इस सिस्टम का परीक्षण एक बेंचमार्क पर किया गया जिसे MLE-Bench (वास्तविक दुनिया की मशीन लर्निंग चुनौतियों का एक संग्रह) कहा जाता है।
- टीमवर्क की जीत: केवल एक कोच होने से (भले ही वह विशेष रूप से प्रशिक्षित न हो) मैकेनिक अकेले काम करने की तुलना में बहुत बेहतर प्रदर्शन करता है।
- छोटा दिमाग, बड़ा प्रभाव: उन्होंने कोच के रूप में एक अपेक्षाकृत छोटे AI मॉडल (Qwen3-8B) को प्रशिक्षित किया। आश्चर्यजनक रूप से, इस छोटे, प्रशिक्षित कोच ने एक बहुत बड़े, शक्तिशाली AI मॉडल (Claude Sonnet 3.5) से बेहतर सलाह दी, जिसे केवल निर्देश दिए गए थे लेकिन "गेम" पुरस्कारों के साथ प्रशिक्षित नहीं किया गया था।
- बेहतर विचार: प्रशिक्षित कोच ने सही चीजों पर ध्यान केंद्रित करना सीख लिया। उसने महसूस किया कि केवल मॉडल (इंजन को ट्यून करना) को बदलने के बजाय डेटा या फीचर्स (कार को ईंधन देने का तरीका) को बदलना अक्सर अधिक प्रभावी होता है।
कमी (सीमाएं)
पेपर इसकी कमियों के बारे में ईमानदार है:
- इसमें लागत अधिक आती है: दो एजेंटों के आपस में बात करने में एक अकेले एजेंट के काम करने की तुलना में अधिक कंप्यूटर पावर और समय लगता है।
- प्रशिक्षण भारी है: कोच को अच्छा बनाने के लिए कई परीक्षणों को चलाने के लिए शक्तिशाली कंप्यूटरों (GPUs) की आवश्यकता होती है ताकि यह देखा जा सके कि विचार काम करते हैं या नहीं, जिसमें बहुत अधिक ऊर्जा और संसाधन लगते हैं।
सारांश
संक्षेप में, यह पेपर साबित करता है कि यदि आप विचार सोचने के काम को काम करने के काम से अलग कर देते हैं, तो आपको बहुत बेहतर परिणाम मिलते हैं। एक छोटे "कोच" को प्रशिक्षित करके जो वास्तविक रूप से काम करने वाली चीज़ों के आधार पर रणनीतिक सलाह दे सके, आप एक "मैकेनिक" को अकेले काम करने की तुलना में बेहतर मशीन लर्निंग मॉडल बनाने में मदद कर सकते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।