TraceML: An Empirical Analysis of Human-Agent Planning in Machine Learning Development
यह शोध पत्र TraceML प्रस्तुत करता है, जो 134 मशीन लर्निंग प्रतियोगिताओं में मानव और एजेंट प्रक्षेप पथों (trajectories) को जोड़ने वाला एक व्यापक डेटासेट और स्कीमा है, जो यह प्रकट करता है कि वर्तमान एजेंट मानव प्रदर्शन के साथ मेल करने में कोडिंग त्रुटियों के कारण नहीं, बल्कि इसलिए विफल होते हैं क्योंकि उनमें मानव विशेषज्ञों द्वारा प्रदर्शित रणनीतिक योजना और पुनरावृत्ति अन्वेषण व्यवहारों का अभाव है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आर्टिफिशियल इंटेलिजेंस की दुनिया में, एक एकल सही वाक्य लिखने और डेटा से सीखने वाली एक जटिल मशीन बनाने के बीच एक स्पष्ट अंतर है। लार्ज लैंग्वेज मॉडल्स, जो शक्तिशाली कंप्यूटर प्रोग्राम हैं जो ईमेल ड्राफ्ट कर सकते हैं या अलग-थलग कार्यों के लिए कोड लिख सकते हैं, पहले वाले कार्य में उल्लेखनीय रूप से कुशल हो गए हैं। हालाँकि, जब उन्हें स्वायत्त इंजीनियरों के रूप में कार्य करने के लिए कहा जाता है—मेसी (अव्यवस्थित) डेटा लोड करना, सही गणितीय मॉडल चुनना, उन्हें प्रशिक्षित करना, और फिर परिणामों के आधार पर अपने दृष्टिकोण को घंटों तक ट्यून करना—तो वे अक्सर लड़खड़ा जाते हैं। वे एक अंतिम उत्तर तो दे सकते हैं, लेकिन वे उस खोज के लंबे, घुमावदार रास्ते पर चलने में संघर्ष करते हैं जो उस उत्तर तक ले जाता है। यह अंतर केवल अंत में गलत संख्या प्राप्त करने के बारे में नहीं है; यह इस बारे में है कि काम कैसे किया जाता है। जबकि मानव विशेषज्ञ एक दर्जन अलग-अलग रणनीतियों को आजमा सकते हैं, विफल होने वाली रणनीतियों को त्याग सकते हैं, और उन पुराने विचारों पर वापस लौट सकते हैं जो कभी आशाजनक लग रहे थे, ये स्वचालित एजेंट अक्सर संकीर्ण लूप में फंस जाते हैं, बिना दिशा वास्तव में बदले एक ही छोटे समायोजन को दोहराते रहते हैं।
कार्नेगी मेलन यूनिवर्सिटी के शोधकर्ताओं ने यह समझने के लिए प्रयास किया कि यह विफलता ठीक कहाँ और क्यों होती है। उन्होंने मानव विशेषज्ञों और कृत्रिम एजेंटों दोनों के कार्य को देखने का एक नया तरीका बनाया, जिसमें उनके पूरे विकास की प्रक्रिया को केवल एक अंतिम स्कोर के बजाय एक एकल, निरंतर कहानी के रूप में माना गया। उन्होंने मशीन लर्निंग प्रतियोगिताओं को हल करने के मानवों के हजारों रिकॉर्ड एकत्र किए, जिसमें हर बार दर्ज किया गया कि उन्होंने अपने कोड का एक नया संस्करण कब सहेजा, उन्होंने मॉडल कब बदला, और उन्होंने अपने डेटा को कब समायोजित किया। फिर उन्होंने इसे एक ही समस्याओं पर काम कर रहे दो अलग-अलग प्रकार के स्वचालित एजेंटों के कार्य के साथ जोड़ा। इन इतिहासों को एक-दूसरे के बगल में रखकर, वे न केवल यह देख सके कि कौन जीता, बल्कि यह भी कि प्रतियोगिता के दौरान प्रत्येक पक्ष ने कैसे सोचा, कैसे कदम बढ़ाया और विफलता के प्रति कैसी प्रतिक्रिया दी।
उन्होंने पाया कि दोनों समूहों के बीच समस्या के प्रति दृष्टिकोण में एक स्पष्ट विभाजन था। मानव विशेषज्ञ एक तरल, अनुकूलन योग्य लय के साथ आगे बढ़ते थे। वे डेटा को साफ करने में समय बिताते थे, फिर एक नया मॉडल परीक्षण करने के लिए स्विच करते थे, फिर अपने परिणामों को सत्यापित करने के लिए पीछे हटते थे, और कभी-कभी, जब वे किसी दीवार से टकराते थे, तो वे एक ऐसे विचार पर वापस जाते थे जिसे उन्होंने दिनों पहले छोड़ दिया था। उन्होंने प्रक्रिया को प्रयोगों की एक श्रृंखला के रूप में माना, और जब साक्ष्य ने संकेत दिया कि एक नए मार्ग की आवश्यकता है, तो वे पूरी तरह से बदलने के लिए तैयार थे। इसके विपरीत, स्वचालित एजेंटों का व्यवहार ऐसा था जैसे वे एक ही कमरे में कैद हों। एक प्रकार का एजेंट, जो एक मानक कमांड-लाइन इंटरफेस पर निर्भर था, अपना अधिकांश समय पहले से ही खोजे गए एक एकल समाधान में सूक्ष्म, दोहराव वाले समायोजन करने में बिताता था, जैसे कि किसी नई रेसिपी को आजमाने के बजाय लगातार उन्हीं सामग्रियों को फिर से तौलना। दूसरा प्रकार का एजेंट, जो एक साथ कई विविधताओं को आज़माने के लिए एक सर्च मेथड का उपयोग करता था, लगातार अपने मॉडल बदलता रहता था लेकिन उन परिवर्तनों को एक सुसंगत रणनीति में समेकित करने में विफल रहा। वह एक विचार से दूसरे विचार पर इतनी बार कूदता था कि वह कभी भी वास्तविक प्रगति नहीं कर पाता था, और वह किसी पिछले दृष्टिकोण को बेहतर बनाने के लिए वापस भी लगभग नहीं लौटा।
शोधकर्ताओं ने पाया कि एजेंट केवल धीमे नहीं थे; उनमें एक महत्वपूर्ण मानवीय क्षमता की कमी थी: याद रखने और पुनः भ्रमण करने की क्षमता। जब एक मानव विशेषज्ञ को एहसास हुआ कि वर्तमान पथ एक डेड एंड (बंद रास्ता) है, तो वे अपने इतिहास को देख सकते थे, दिन के पहले के किसी आशाजनक डेड एंड को ढूंढ सकते थे, और उसे ठीक करने का प्रयास कर सकते थे। एजेंटों के पास, हालांकि, अपने स्वयं के इतिहास की कोई स्मृति नहीं थी। वे वर्तमान मॉडल को ट्यून करके एक खराब स्कोर से उबर सकते थे, लेकिन वे काम की उस लाइन को फिर से नहीं खोल सकते थे जिसे उन्होंने एक तरफ रख दिया था। स्मृति की इस कमी का अर्थ था कि वे लगातार पहिए का पुन: आविष्कार कर रहे थे या एक ही जगह पर टायर घुमा रहे थे, अपने पिछले प्रयासों के सबक पर निर्माण करने में असमर्थ थे। अध्ययन ने दिखाया कि हालांकि एजेंट कुछ मामलों में मनुष्यों की तुलना में असफलताओं से तेजी से उबर सकते थे, लेकिन उनमें एक विफल रणनीति को छोड़ने और बाद में एक बेहतर रणनीति पर लौटने के रणनीतिक धैर्य की कमी थी।
यह परीक्षण करने के लिए कि क्या यह व्यवहार केवल एजेंटों को बेहतर निर्देश देने का मामला था, शोधकर्ताओं ने एक नया दृष्टिकोण अपनाया। उन्होंने मानव विशेषज्ञों के कार्य करने के तरीके पर आधारित दिशानिर्देशों का एक सेट बनाया, जिसमें एजेंटों को विभिन्न प्रकार के कार्यों के बीच स्विच करने, एक ही चीज़ को बार-बार ट्यून करने से रुकने, और अधिक बार नए मॉडल आज़माने का निर्देश दिया गया। जब उन्होंने ये निर्देश एजेंटों को दिए, तो व्यवहार में बदलाव तो आया, लेकिन केवल विशिष्ट तरीकों से। एजेंटओं ने उन नियमों का पालन करना शुरू कर दिया कि कब कार्यों को बदलना है और मॉडलों की एक टीम कैसे बनानी है, और उनके स्कोर में कई प्रतियोगिताओं में सुधार हुआ। हालाँकि, उनके काम की अंतर्निहित लय अपरिवर्तित रही। वे अभी भी पुराने विचारों पर वापस नहीं लौटे, और उनमें अभी भी उस गहरी, लचीली स्मृति की कमी थी जिसने मनुष्यों को विकास के लंबे घंटों में नेविगेट करने में सक्षम बनाया। निर्देश एजेंटों को बता सकते थे कि क्या करना है, लेकिन वे उन्हें अपने स्वयं के इतिहास के बारे में सोचना नहीं सिखा सके।
अध्ययन निष्कर्ष निकालता है कि इस क्षेत्र में मानव और कृत्रिम बुद्धिमत्ता के बीच का अंतर केवल कच्चे कंप्यूटिंग पावर या कोड लिखने की क्षमता के बारे में नहीं है। यह स्वयं 'सर्च' (खोज) की वास्तुकला के बारे में है। एजेंटों में अपने पिछले कार्य को केवल चरणों की एक सूची के रूप में निष्पादित करने के बजाय, एक संसाधन के रूप में उपयोग करने की क्षमता की कमी है। जबकि निर्देशों का एक सरल सेट कुछ सतही व्यवहारों को ठीक कर सकता है, गहरा मुद्दा उनके डिजाइन के तरीके में एक मौलिक परिवर्तन की मांग करता है। उन्हें अपने सफर को याद रखने, यह पहचानने की आवश्यकता है कि वे कब एक लूप में फंस गए हैं, और एक अलग रास्ता अपनाने का आत्मविश्वास रखने की आवश्यकता है। जब तक वे ऐसा नहीं कर सकते, वे ऐसे शक्तिशाली उपकरण बने रहेंगे जो मानचित्र का पालन कर सकते हैं, लेकिन वे उन खोजकर्ताओं के रूप में संघर्ष करेंगे जो मानचित्र बनाते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।