Two Heads are Better Than One: Test-time Scaling of Multi-agent Collaborative Reasoning
यह शोध पत्र टेस्ट-टाइम स्केलिंग के लिए एक मल्टी-एजेंट सिस्टम फ्रेमवर्क प्रस्तावित करता है जो तर्क को सहयोगात्मक संदर्भों में विभाजित करके एकल-एजेंट सीमाओं को दूर करता है, जिसे M500 डेटासेट, अनुकूलन योग्य मार्गदर्शन के लिए एक "CEO" एजेंट और फाइन-ट्यून किए गए मॉडलों के माध्यम से मान्य किया गया है जो अपने बेस समकक्षों की तुलना में काफी बेहतर प्रदर्शन करते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
लार्ज लैंग्वेज मॉडल्स शक्तिशाली उपकरण हैं जो एक वाक्य में अगले शब्द की भविष्यवाणी करके पढ़, लिख और समस्याओं को हल कर सकते हैं। वर्षों से, शोधकर्ताओं ने इन प्रणालियों को अधिक डेटा देकर या उन्हें बड़ा बनाकर अधिक स्मार्ट बनाने का प्रयास किया है। हाल ही में, एक अलग दृष्टिकोण ने ध्यान आकर्षित किया है: मॉडल को उत्तर देने से पहले सोचने के लिए अधिक समय देना। यह विधि, जिसे 'टेस्ट-टाइम स्केलिंग' कहा जाता है, मॉडल को तर्क की एक लंबी श्रृंखला (चेन ऑफ थॉट) उत्पन्न करने, और चरण दर चरण अपने काम की जांच करने के लिए प्रोत्साहित करती है। हालांकि यह सरल कार्यों के लिए अच्छी तरह से काम करता है, लेकिन जब समस्याएं बहुत जटिल हो जाती हैं, तो यह एक सीमा तक पहुँच जाता है। यदि एक अकेला मॉडल किसी कठिन गणितीय समस्या या कोडिंग चुनौती को हल करने का प्रयास करता है, तो तर्क की श्रृंखला इतनी लंबी और उलझी हुई हो सकती है कि मॉडल अपना स्थान खो देता है, गलतियाँ करता है, या बस अपनी मेमोरी (स्मृति) समाप्त कर देता है। इसका परिणाम अक्सर एक भ्रमित उत्तर या एक ऐसी प्रणाली होता है जो अपने ही विचारों के बोझ तले क्रैश हो जाती है।
इसे हल करने के लिए, कई विश्वविद्यालयों और प्रौद्योगिकी कंपनियों के शोधकर्ताओं की एक टीम ने एक संरचनात्मक परिवर्तन प्रस्तावित किया। एक मॉडल से सारा सोचने के लिए कहने के बजाय, उन्होंने एक ऐसी प्रणाली बनाई जहाँ कई मॉडल मिलकर काम करते हैं, जिनमें से प्रत्येक एक विशिष्ट भूमिका निभाता है। कल्पना कीजिए कि विशेषज्ञों का एक समूह एक मेज के चारों ओर बैठा है, जिनमें से प्रत्येक की एक अलग विशेषज्ञता है, और वे मिलकर एक समस्या पर काम कर रहे हैं। इस नई व्यवस्था में, एक एजेंट 'रिक्रूटर' (भर्ती करने वाला) के रूप में कार्य करता है, जो पहचानता है कि किन विशेषज्ञों की आवश्यकता है। अन्य 'प्रॉब्लम सॉल्वर' (समस्या समाधानकर्ता) के रूप में कार्य करते हैं, जो समाधान प्रस्तावित करते हैं और एक-दूसरे के काम की आलोचना करते हैं। एक अंतिम 'इवैल्यूएटर' (मूल्यांकनकर्ता) गणित और तर्क की जांच करता है। एक विशाल, भ्रमित करने वाले कार्य को इन विभिन्न भूमिकाओं के बीच छोटे, प्रबंधनीय संवादों में तोड़कर, यह प्रणाली उस भ्रम से बच जाती है जो एक अकेले, अत्यधिक काम करने वाले मस्तिष्क को परेशान करता है। शोधकर्ताओं ने पाया कि यह सहयोगात्मक दृष्टिकोण मॉडलों को बिना भटके कहीं अधिक कठिन समस्याओं को संभालने की अनुमति देता है।
टीम ने इन मॉडलों को प्रभावी ढंग से मिलकर काम करना सिखाने के लिए एक नया डेटासेट बनाना शुरू किया। उन्होंने भौतिकी, जीव विज्ञान और उन्नत गणित जैसे क्षेत्रों से 500 कठिन प्रश्न चुने। एक शक्तिशाली मौजूदा मॉडल का उपयोग करके, उन्होंने विस्तृत रिकॉर्ड तैयार किए कि विशेषज्ञों की एक टीम को प्रत्येक समस्या को कैसे हल करना चाहिए। इन रिकॉर्डों में बातचीत का हर चरण शामिल था: किसे भर्ती किया गया, प्रत्येक विशेषज्ञ ने क्या सुझाव दिया, उन्होंने उत्तर पर कैसे बहस की, और वे अंततः सर्वसम्मति पर कैसे पहुँचे। शोधकर्ताओं ने फिर इस डेटासेट का उपयोग ओपन-सोर्स मॉडलों को प्रशिक्षित करने के लिए किया, जिससे उन्हें इन सहयोगात्मक पैटर्न को पहचानने और उनकी नकल करने की शिक्षा मिली। लक्ष्य केवल मॉडलों को गणित में स्मार्ट बनाना नहीं था, बल्कि उन्हें एक संरचित तरीके से दूसरों के साथ सहयोग करने का विशिष्ट कौशल सिखाना था।
इस प्रणाली को और भी प्रभावी बनाने के लिए, शोधकर्ताओं ने एक विशेष "सीईओ" (CEO) एजेंट पेश किया। मानव समूहों में, दिशा के अभाव में अंतहीन, अनुत्पादक बहस हो सकती है। सीईओ एजेंट एक नेता के रूप में कार्य करता है जो चर्चा की प्रगति की निगरानी करता है। वह निर्णय लेता है कि टीम ने समस्या को कब हल कर लिया है, उन्हें कब और अधिक विशेषज्ञों को बुलाने की आवश्यकता है, और प्रत्येक चरण में कितना समय या कम्प्यूटेशनल शक्ति लगनी चाहिए। यह एजेंट कार्य की कठिनाई के आधार पर तर्क की गहराई को गतिशील रूप से समायोजित करता है। यदि समस्या सरल है, तो टीम तेजी से आगे बढ़ती है। यदि समस्या जटिल है, तो सीईओ यह सुनिश्चित करता है कि टीम गहराई तक जाए, और सही उत्तर खोजने के लिए अधिक संसाधन आवंटित करे। यह अनुकूलन योग्य रणनीति सिस्टम को आसान कार्यों पर प्रयास बर्बाद करने या कठिन कार्यों पर जल्दी हार मान लेने से बचाती है।
इस दृष्टिकोण के परिणामों का परीक्षण सामान्य ज्ञान के प्रश्नों, उन्नत गणित और कंप्यूटर प्रोग्रामिंग सहित विभिन्न चुनौतियों पर किया गया। सहयोगात्मक डेटासेट पर प्रशिक्षित मॉडल अपने मूल संस्करणों की तुलना में काफी बेहतर प्रदर्शन करते हैं। मल्टी-एजेंट फ्रेमवर्क के भीतर काम करते समय, इन नए मॉडलों ने गणित की जटिल समस्याओं को सटीकता के उस स्तर के साथ हल किया जो कुछ सबसे उन्नत क्लोज्ड-सोर्स सिस्टम के बराबर या उससे भी अधिक था। उदाहरण के लिए, गणित प्रतियोगिता की एक कठिन सेट पर, सहयोगात्मक मॉडलों ने उन मॉडलों की तुलना में सफलता दर में नाटकीय सुधार दिखाया जो केवल अकेले काम करने के लिए प्रशिक्षित थे। अध्ययन ने प्रदर्शित किया कि सहयोग करने की क्षमता एक ऐसा कौशल है जिसे सीखा और परिष्कृत किया जा सकता है, और विशेषज्ञों की छोटी, विशिष्ट मॉडलों की एक टीम मिलकर बहुत बड़े, एकल मॉडलों के बराबर परिणाम प्राप्त कर सकती है।
शोधकर्ताओं ने अपने प्रयोगों के दौरान कुछ अप्रत्याशित भी देखा। कभी-कभी, सीईओ एजेंट समाधान में एक सूक्ष्म त्रुटि को पकड़ लेता था जिसे अन्य एजेंटों ने मिस कर दिया था, भले ही किसी और ने उस पर कोई आपत्ति न जताई हो। सीईओ फिर टीम को अपने काम की पुन: जांच करने के लिए निर्देशित करता था, जिससे एक सुधारा हुआ समाधान प्राप्त होता था। यह सुझाव देता है कि प्रशिक्षण प्रक्रिया ने एक प्रकार की 'सामूहिक सतर्कता' (collective vigilance) विकसित की थी, जहाँ सिस्टम समग्र रूप से अपने स्वयं के कार्यों को किसी भी व्यक्तिगत भाग की तुलना में बेहतर तरीके से पकड़ने में सक्षम हो गया था। यह अध्ययन पुष्टि करता है कि कृत्रिम बुद्धिमत्ता को एक एकाकी विचारक के बजाय एक सहयोगात्मक टीम के रूप में व्यवस्थित करके, हम वर्तमान तकनीक की सीमाओं को पार कर सकते हैं और ऐसे सिस्टम बना सकते हैं जो अधिक मजबूत, विश्वसनीय और सबसे जटिल समस्याओं को संभालने में सक्षम हों।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।