Single-Agent LLMs Outperform Multi-Agent Systems on Multi-Hop Reasoning Under Equal Thinking Token Budgets
यह शोध पत्र यह तर्क देता है कि समान टोकन बजट के तहत मल्टी-हॉप रीजनिंग (multi-hop reasoning) के लिए सिंगल-एजेंट LLMs, मल्टी-एजेंट सिस्टम की तुलना में अधिक सूचना-कुशल हैं, जो अनुभवजन्य अध्ययन और सूचना-सैद्धांतिक विश्लेषण के माध्यम से यह प्रदर्शित करता है कि रिपोर्ट किए गए मल्टी-एजेंट लाभ अक्सर अंतर्निहित वास्तुशिल्प लाभों के बजाय अनियंत्रित गणना और संदर्भ आर्टिफ़ैक्ट्स (context artifacts) से उत्पन्न होते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक बहुत ही कठिन पहेली को सुलझाने की कोशिश कर रहे हैं, जैसे कि कोई जटिल पहेली जिसे हल करने के लिए तीन अलग-अलग सुरागों को जोड़ना आवश्यक हो। आपके पास इसे हल करने के दो तरीके हैं:
- एक अकेला जीनियस (Single-Agent): एक बुद्धिमान व्यक्ति एक मेज पर बैठता है, गहराई से सोचता है, अपनी पूरी विचार प्रक्रिया को लिखता है, और अकेले ही उसे हल कर देता है।
- एक कमेटी (Multi-Agent): लोगों का एक समूह एक मेज के चारों ओर बैठता है। वे एक-दूसरे को नोट्स भेजते हैं, आपस में बहस करते हैं, काम को बांटते हैं, और मिलकर उसे हल करने की कोशिश करते हैं।
लंबे समय तक, सभी ने माना कि कमेटी बेहतर थी क्योंकि उनके पास अधिक "बौद्धिक क्षमता" थी और वे विचारों पर चर्चा कर सकते थे। लेकिन यह नया शोध पत्र एक महत्वपूर्ण प्रश्न पूछता है: क्या वे वास्तव में अधिक समझदार हैं, या वे केवल अधिक कागज और स्याही का उपयोग कर रहे हैं?
बड़ी खोज: यह बजट के बारे में है
शोधकर्ताओं ने महसूस किया कि पिछले अध्ययनों में, कमेटी को लगभग हमेशा बहुत अधिक कागज (टोकन) उपयोग करने की अनुमति दी गई थी। कमेटी 10 पन्नों के नोट्स लिख सकती थी जबकि जीनियस को केवल 1 पन्ना ही दिया गया था। बेशक, कमेटी बेहतर दिख रही थी! उनके पास सोचने के लिए अधिक जगह थी।
इस शोध पत्र ने उन्हें ठीक समान मात्रा में कागज (एक निश्चित "सोचने का बजट") का उपयोग करने के लिए मजबूर किया। जब उन्होंने ऐसा किया, तो परिणाम आश्चर्यजनक थे:
अकेला जीनियस लगभग हमेशा कमेटी के साथ जीतता या बराबरी करता था।
क्यों? "टेलीफोन गेम" की उपमा
लेखक इस बात को समझाने के लिए सूचना सिद्धांत (information theory) की एक अवधारणा का उपयोग करते हैं। कल्पना कीजिए कि आप टेलीफोन गेम (जहाँ एक संदेश एक व्यक्ति से दूसरे व्यक्ति तक फुसफुसाया जाता है) खेल रहे हैं।
- एक अकेला जीनियस पूरी कहानी एक बार सुनता है, उसके बारे में सोचता है, और उत्तर लिखता है। जानकारी उसके दिमाग में ताज़ा और पूर्ण रहती है।
- एक कमेटी को कहानी को व्यक्ति A से व्यक्ति B, फिर व्यक्ति C तक फुसफुसाना पड़ता है। हर बार जब वे एक नोट पास करते हैं, तो संदेश का एक छोटा सा हिस्सा खो जाता है, विकृत हो जाता है, या भुला दिया जाता है। भले ही वे सभी बहुत बुद्धिमान हों, संदेश को इधर-उधर भेजने की प्रक्रिया में "शोर" (noise) पैदा होता है।
यह शोध पत्र तर्क देता है कि जब तक कमेटी के पास कोई बड़ा लाभ (जैसे, बात करने के लिए बहुत बड़ा बजट) न हो, तब तक अकेला जीनियस अधिक कुशल होता है क्योंकि वे बातचीत के बीच में जानकारी खोते नहीं हैं।
कमेटी कब जीतती है?
शोध पत्र ने एक विशिष्ट स्थिति पाई जहाँ कमेटी चमकती है: जब पहेली "मैसी" (अव्यवस्थित) हो।
कल्पना कीजिए कि एक अकेला जीनियस एक किताब पढ़ने की कोशिश कर रहा है, लेकिन किसी ने पन्नों पर कॉफी गिरा दी है, आधे टेक्स्ट को फाड़ दिया है, या सुरागों के ऊपर बेतरतीब शब्द लिख दिए हैं। जीनियस भ्रमित हो जाता है और उत्तर नहीं ढूंढ पाता।
इस मामले में, कमेटी मदद कर सकती है। क्योंकि वे काम को बांट रहे हैं, एक व्यक्ति कॉफी के दागों को साफ करने पर ध्यान केंद्रित कर सकता है, दूसरा बेमतलब के शब्दों को अनदेखा कर सकता है, और तीसरा तथ्यों की दोबारा जांच कर सकता है। वे एक व्यक्ति की तुलना में जो सब कुछ एक साथ करने की कोशिश कर रहा है, "शोर" या गंदगी को बेहतर तरीके से फ़िल्टर कर सकते हैं।
सबक: यदि जानकारी स्पष्ट है, तो एक अकेला बुद्धिमान मस्तिष्क सबसे अच्छा है। यदि जानकारी अव्यवस्थित या टूटी हुई है, तो एक टीम कभी-कभी उसे ठीक कर सकती है।
परिणामों में "छिपी हुई ट्रिक"
शोधकर्ताओं ने यह भी पाया कि कुछ AI सिस्टम (विशेष रूप से गूगल के जेमिनी) अपने काम को रिपोर्ट करने में एक अजीब सी गलती करते हैं।
- जब "10,000 चरणों" के लिए सोचने को कहा जाता है, तो अकेला जीनियस अक्सर 300 चरणों के बाद लिखना बंद कर देता है, भले ही कंप्यूटर कहता है कि उसने 10,000 चरणों का उपयोग किया है।
- हालाँकि, कमेटी वास्तव में उन सभी 10,000 चरणों को लिख देगी क्योंकि वे अलग-अलग "लोगों" के बीच नोट्स पास कर रहे होते हैं।
इससे कमेटी ऐसा दिखा जैसे वह वास्तव में बहुत अधिक काम कर रही थी। यह शोध पत्र सुझाव देता है कि कई पिछले अध्ययन जो दावा करते थे कि "टीमें बेहतर हैं", वास्तव में केवल यह माप रहे थे कि "टीमों को अधिक कागज का उपयोग करने दिया गया था।"
मुख्य निष्कर्ष
यदि आप किसी तर्क संबंधी समस्या को कुशलतापूर्वक हल करना चाहते हैं:
- यह न मानें कि अधिक लोग = बेहतर परिणाम। यदि उन्हें समान संसाधन दिए जाएं, तो अक्सर एक अकेला, केंद्रित मन अधिक कुशल होता है।
- "नकली" प्रयास से सावधान रहें। सिर्फ इसलिए कि एक AI कहता है कि उसने बहुत अधिक "सोचा" है, इसका मतलब यह नहीं है कि उसने वास्तव में अधिक जानकारी को प्रोसेस किया है।
- एक टीम का उपयोग तभी करें जब चीजें मैसी (अव्यवस्थित) हों। यदि डेटा शोर भरा या भ्रमित करने वाला है, तो एक टीम संरचना खराब जानकारी को फ़िल्टर करने में मदद कर सकती है।
संक्षेप में: स्पष्ट सोच के लिए, एक अकेला बुद्धिमान मस्तिष्क आमतौर पर नोट्स पास करने वाली दिमागों की कमेटी से बेहतर होता है, जब तक कि नोट्स ही वह एकमात्र चीज़ न हों जो टीम को भटकने से बचा रही हों।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।