Toward Autonomous Long-Horizon Engineering for ML Research
यह शोध पत्र AiScientist को प्रस्तुत करता है, जो एक स्वायत्त प्रणाली है जो पदानुक्रमित ऑर्केस्ट्रेशन (hierarchical orchestration) को अवस्था निरंतरता (state continuity) बनाए रखने के लिए एक टिकाऊ "फ़ाइल-एज़-बस" (File-as-Bus) वर्कस्पेस के साथ जोड़कर लॉन्ग-होराइजन एमएल रिसर्च इंजीनियरिंग में महत्वपूर्ण प्रगति करती है, जिससे यह प्रमुख बेंचमार्क पर बेसलाइन से बेहतर प्रदर्शन करती है और यह प्रदर्शित करती है कि प्रभावी दीर्घकालिक अनुसंधान केवल एक स्थानीय तर्क चुनौती नहीं बल्कि एक सिस्टम्स समन्वय समस्या है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक विशाल, जटिल गगनचुंबी इमारत बनाने की कोशिश कर रहे हैं। आपके पास एक ब्लूप्रिंट (एक शोध पत्र) है, कच्चे माल का ढेर है, और श्रमिकों की एक टीम है। लेकिन यहाँ एक पेच है: ब्लूप्रिंट अस्पष्ट है, सामग्री बिखरी हुई है, और आपको बिना किसी मानवीय बॉस के हर घंटे जाँच किए, कई दिनों तक पूरी इमारत बनानी है।
आज के अधिकांश AI असिस्टेंट प्रतिभाशाली लेकिन कम ध्यान अवधि वाले इंटर्न की तरह हैं। वे एक शानदार पैराग्राफ लिख सकते हैं या एक छोटी सी लीकेज को ठीक कर सकते हैं, लेकिन यदि आप उनसे तीन दिनों में एक गगनचुंबी इमारत बनाने के लिए कहें, तो वे तीसरे दिन तक यह भूल जाते हैं कि उन्होंने पहले दिन क्या किया था। वे "संवादात्मक स्मृति" (Conversational Memory) पर निर्भर करते हैं (यह याद रखना कि आपने अभी क्या कहा), जो किसी को आखिरी वाक्य को फुसफुसाते हुए सुनकर 50 पन्नों की कहानी याद रखने जैसा है।
AiScientist एक नया सिस्टम है जिसे इसे हल करने के लिए डिज़ाइन किया गया है। यह AI रिसर्च को एक बातचीत के रूप में नहीं, बल्कि एक निर्माण स्थल (construction site) के रूप में देखता है जिसके पास एक स्थायी फाइलिंग सिस्टम है।
यह कैसे काम करता है, इसे सरल अवधारणाओं में यहाँ दिया गया है:
1. समस्या: "भुलक्कड़ इंटर्न"
पारंपरिक AI रिसर्च में, एक एजेंट एक लंबी चैट में सब कुछ करने की कोशिश करता है।
- समस्या: यदि प्रोजेक्ट में 24 घंटे लगते हैं, तो AI की "कॉन्टेक्स्ट विंडो" (उसकी अल्पकालिक स्मृति) भर जाती है। वह शुरुआती निर्णयों, लिखे गए कोड या मिली त्रुटियों को भूलने लगता है। यह 10-परत वाला केक बनाने की कोशिश करने जैसा है जबकि आप केवल पिछली परत को ही याद रख पा रहे हैं।
- परिणाम: AI भ्रमित हो जाता है, गलतियाँ दोहराता है, या हार मान लेता है।
2. समाधान: "पतला नियंत्रण, मोटा स्टेट" (Thin Control, Thick State)
AiScientist के लेखकों ने महसूस किया कि किसी जटिल चीज़ को बनाने के लिए, आपको दो चीज़ों की आवश्यकता होती है:
- पतला नियंत्रण (Thin Control): एक मैनेजर जो एक सरल, उच्च-स्तरीय चेकलिस्ट रखता है।
- मोटा स्टेट (Thick State): एक विशाल, विस्तृत फाइलिंग कैबिनेट जहाँ सब कुछ स्थायी रूप से लिखा जाता है।
AI द्वारा सब कुछ अपने दिमाग में याद रखने के बजाय, यह एक साझा कार्यक्षेत्र (shared workspace) में सब कुछ लिख देता है।
3. "फ़ाइल-एज़-बस" (जादुई फाइलिंग कैबिनेट)
यह इस पेपर का सबसे रचनात्मक विचार है। आमतौर पर, AI एजेंट एक चैट रूम में लोगों की तरह एक-दूसरे से बात करते हैं। AiScientist नियमों को बदल देता है: वे बात नहीं करते; वे नोट्स छोड़ते हैं।
- उपमा: एक निर्माण स्थल की कल्पना करें जहाँ आर्किटेक्ट इलेक्ट्रीशियन को निर्देश चिल्लाकर नहीं देता। इसके बजाय, आर्किटेक्ट व्हाइटबोर्ड पर एक नोट लिखता है: "वायरिंग लाल होनी चाहिए।" इलेक्ट्रीशियन आता है, व्हाइटबोर्ड को पढ़ता है, काम करता है, और एक नया नोट लिखता है: "लाल वायरिंग स्थापित कर दी गई है, लेकिन फ्यूज बॉक्स गायब है।"
- यह कैसे काम करता है: AI एजेंट अपनी योजनाएं, कोड और प्रयोग के परिणाम विशिष्ट फाइलों (जैसे
plan.md,code.py,experiment_log.txt) में लिखते हैं। जब अगला एजेंट शुरू होता है, तो वह यह नहीं पूछता कि "हमने क्या किया?" वह बस फाइलों को खोलता है और नवीनतम नोट्स पढ़ता है। - यह क्यों मदद करता है: यह टिकाऊ स्टेट (durable state) बनाता है। भले ही AI बातचीत भूल जाए, फाइलें कभी नहीं भूलतीं। प्रोजेक्ट की स्थिति एक हार्ड ड्राइव की तरह सुरक्षित रहती है, न कि एक क्षणिक विचार की तरह।
4. पदानुक्रम: "जनरल कॉन्ट्रैक्टर" और "विशेषज्ञ"
AiScientist एक टीम संरचना का उपयोग करता है जो एक वास्तविक रिसर्च लैब की नकल करती है:
- ऑर्केस्ट्रेटर (जनरल कॉन्ट्रैक्टर - मुख्य ठेकेदार): यह बॉस है। यह कोड नहीं लिखता या प्रयोग नहीं चलाता। यह बस "प्रोजेक्ट मैप" (फाइलों का सारांश) को देखता है, तय करता है कि आगे क्या किया जाना चाहिए, और कार्य सौंपता है। यह "नियंत्रण" को हल्का और सरल रखता है।
- स्पेशलिस्ट (विशेषज्ञ - ट्रेड्सपीपल): ये श्रमिक हैं।
- द रीडर (पठनकर्ता): पेपर को पढ़ता है और उसका सारांश लिखता है।
- द कोडर (कोडर): सारांश के आधार पर कोड लिखता है।
- द टेस्टर (परीक्षक): कोड चलाता है, बग ढूंढता है, और रिपोर्ट लिखता है।
- जादू: यदि टेस्टर को कोई बग मिलता है, तो वे कोडर को मौखिक रूप से नहीं बताते। वे
bug_report.txtफ़ाइल को अपडेट करते हैं। कोडर फ़ाइल को देखता है, बग को ठीक करता है, औरcode.pyफ़ाइल को अपडेट करता है। जनरल कॉन्ट्रैक्टर बस मैप को देखकर यह पता लगाता है कि काम पूरा हुआ या नहीं।
5. परिणाम: गगनचुंबी इमारत बनाना
शोधकर्ताओं ने दो कठिन चुनौतियों पर इस सिस्टम का परीक्षण किया:
- एक वैज्ञानिक पेपर को फिर से बनाना: क्या AI एक जटिल पेपर को पढ़ सकता है और शून्य से प्रयोग को फिर से बना सकता है?
- एक प्रतियोगिता जीतना: क्या AI मॉडल के स्कोर को सुधारने के लिए घंटों तक प्रयोग चला सकता है?
परिणाम:
- AiScientist ने अन्य AI सिस्टमों की तुलना में काफी बेहतर प्रदर्शन किया।
- जब उन्होंने "फ़ाइल-एज़-बस" को हटा दिया (AI को फिर से चैट मेमोरी पर निर्भर रहने के लिए मजबूर किया), तो प्रदर्शन गिर गया। इसने साबित कर दिया कि "फाइलिंग कैबिनेट" दृष्टिकोण ही असली सफलता का रहस्य है।
- यह बिना किसी मानवीय सहायता के 23 घंटे लगातार चल सका, 74 प्रयोग किए और अपने परिणामों को "C" ग्रेड से "A" ग्रेड तक सुधारा।
मुख्य निष्कर्ष
यह पेपर तर्क देता है कि AI को लंबी अवधि के, जटिल इंजीनियरिंग कार्य करने के लिए सक्षम बनाना केवल AI को "स्मार्टर" या "बेहतर तर्क करने वाला" बनाने के बारे में नहीं है। यह एक सिस्टम की समस्या है।
गगनचुंबी इमारत बनाने के लिए, आपको केवल एक स्मार्ट राजमिस्त्री की आवश्यकता नहीं है; आपको एक बेहतर ब्लूप्रिंट सिस्टम और यह सुनिश्चित करने के तरीके की आवश्यकता है कि सोमवार को किया गया कार्य शुक्रवार को भी दृश्यमान और उपयोगी रहे। AiScientist इसे फाइलों को स्मृति (memory) के रूप में उपयोग करके हल करता है, जिससे AI अपनी जगह खोए बिना लंबे, कठिन प्रोजेक्ट्स पर काम कर पाता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।