More Is Not Always Better: Cross-Component Interference in LLM Agent Scaffolding
यह शोध पत्र प्रदर्शित करता है कि LLM एजेंटों में अधिक स्कैफोल्डिंग घटकों को जोड़ने से अक्सर विनाशकारी क्रॉस-कंपोनेंट हस्तक्षेप होता है, जो यह सिद्ध करता है कि पारंपरिक "ऑल-इन" दृष्टिकोण की तुलना में कार्य-विशिष्ट उपसमुच्चय चयन (task-specific subset selection) बेहतर प्रदर्शन करता है और ग्रीडी चयन विधियाँ बार-बार होने वाले सबमॉड्यूलरिटी उल्लंघन के कारण अविश्वसनीय हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक कंप्यूटर प्रोग्राम (एक AI एजेंट) के लिए एक परम "सुपर-ब्रेन" बनाने की कोशिश कर रहे हैं ताकि वह कठिन पहेलियों को हल कर सके। विशेषज्ञों की मानक सलाह हमेशा से रही है: "ज्यादा ही बेहतर है।" विचार यह है कि यदि आप AI को एक प्लानर (योजनाकार), एक मेमोरी बैंक (स्मृति बैंक), उपकरणों का एक सेट, चरण-दर-चरण सोचने का एक तरीका और अपने काम की जांच करने का एक तरीका दे देते हैं, तो वह पूरी तरह से प्रदर्शन करेगा।
यह शोध पत्र तर्क देता है कि यह सलाह अक्सर गलत होती है। वास्तव में, बहुत अधिक फीचर्स को एक साथ जोड़ने से AI वास्तव में कम बुद्धिमान हो सकता है।
यहाँ शोधकर्ताओं द्वारा किए गए निष्कर्षों का विवरण दिया गया, जिसे सरल उपमाओं (analogies) का उपयोग करके समझाया गया है।
1. "बहुत सारे रसोइयों" वाली समस्या (The "Too Many Cooks" Problem)
शोधकर्ताओं ने पांच सामान्य AI फीचर्स (प्लानिंग, टूल्स, मेमोरी, रीजनिंग, और सेल्फ-रिफ्लेक्शन) के हर संभावित संयोजन का दो अलग-अलग प्रकार की पहेलियों पर परीक्षण किया:
- HotpotQA: यह एक ट्रिविया गेम की तरह है जहाँ आपको उत्तर खोजने के लिए कई दस्तावेजों में खोजना पड़ता है।
- GSM8K: यह गणित के होमवर्क असाइनमेंट की तरह है।
उन्होंने पाया कि छोटे AI मॉडल (8B संस्करण) के लिए, सबसे बुनियादी और प्रभावी सेटअप में अतिरिक्त फीचर्स जोड़ने से वास्तव में प्रदर्शन में कमी आई।
- उपमा: कल्पना कीजिए कि आप घास के ढेर में एक विशिष्ट सुई खोजने की कोशिश कर रहे हैं।
- सबसे अच्छा सेटअप: आप बस एक चुंबक (टूल) का उपयोग करते हैं। यह बहुत अच्छा काम करता है।
- "ऑल-इन" सेटअप: आप चुंबक पकड़े हुए व्यक्ति को एक नक्शा (प्लानिंग), एक नोटबुक (मेमोरी), एक टॉर्च (रीजनिंग), और निर्देश देने वाला एक कोच (रिफ्लेक्शन) देते हैं।
- परिणाम: व्यक्ति भ्रमित हो जाता है। नक्शा उसे चुंबक से विचलित कर देता है; कोच की आवाज उसके अपने विचारों को दबा देती है। वह सुई गिरा देता है। केवल साधारण चुंबक ही पूरे फैंसी किट की तुलना में 32% बेहतर था।
2. यह कार्य और "मस्तिष्क के आकार" पर निर्भर करता है
पेपर दिखाता है कि "सर्वश्रेष्ठ" फीचर्स की संख्या इस बात पर निर्भर करती है कि AI क्या कर रहा है और AI कितना स्मार्ट है।
- कार्य पर निर्भरता (Task Dependence):
- ट्रिविया गेम के लिए, सबसे अच्छा सेटअप केवल एक फीचर था: द टूल (उपकरण)। इसके अलावा कुछ भी जोड़ने से यह बदतर हो गया।
- मैथ गेम के लिए, सबसे अच्छा सेटअप तीन फीचर्स था: टूल + रीजनिंग + रिफ्लेक्शन। यहाँ, "कोच" और "चरण-दर-चरण सोच" वास्तव में मदद करते हैं। लेकिन "प्लानर" या "मेमोरी" जोड़ने से यह फिर भी खराब हो गया।
- मस्तिष्क का आकार (Brain Size/Model Scale):
- छोटा AI (8B): बहुत संवेदनशील। अतिरिक्त फीचर्स जोड़ने से बहुत अधिक हस्तक्षेप (interference) होता है। साधारण सेटअप और "ऑल-इन" सेटअप के बीच का अंतर बहुत बड़ा था (32%)।
- मध्यम AI (70B): अधिक मजबूत। यह अधिक फीचर्स को संभाल सकता है, लेकिन "ऑल-इन" सेटअप अभी भी सबसे अच्छा नहीं है। अंतर घटकर 19% रह गया।
- बहुत स्मार्ट AI (Claude Haiku): इतना सक्षम कि अतिरिक्त फीचर्स जोड़ने से न तो मदद मिलती है और न ही नुकसान होता है। यह एक जीनियस की तरह है जो विकर्षणों (distractions) को अनदेखा कर सकता है। अंतर गायब हो गया, लेकिन साधारण सेटअप अभी भी उतना ही अच्छा था जितना कि जटिल वाला।
3. ऐसा क्यों होता है? ("भीड़भाड़ वाले कमरे" का प्रभाव)
शोधकर्ता इसे क्रॉस-कंपोनेंट इंटरफेरेंस (CCI) कहते हैं।
- उपमा: कल्पना कीजिए कि एक छोटा, भीड़भाड़ वाला कमरा है जहाँ एक टीम समस्या को हल करने की कोशिश कर रही है।
- यदि आप एक "प्लानर" जोड़ते हैं जो शेड्यूल के बारे में चिल्लाता रहता है, तो "टूल यूजर" निर्देशों को नहीं सुन पाता है।
- यदि आप एक "मेमोरी" वाला व्यक्ति जोड़ते जो पुराने तथ्यों की याद दिलाता रहता है, तो "रीज़नर" अतीत में फंस जाता है।
- घटक (components) AI का ध्यान (इसके "कॉन्टेक्स्ट विंडो") खींचने के लिए लड़ रहे हैं। एक साथ काम करने के बजाय, वे एक-दूसरे से टकराते हैं।
4. आप केवल "जोड़ और जांच" (Add and Check) नहीं कर सकते
इन सिस्टम्स को बनाने का एक सामान्य तरीका "ग्रीडी सिलेक्शन" (greedy selection) है: शून्य से शुरू करें, एक फीचर जोड़ें, देखें कि क्या यह मदद करता है। यदि यह मदद करता है, तो इसे रखें। दूसरा जोड़ें। यदि यह मदद करता है, तो इसे रखें। तब तक रुकें जब तक कि यह मदद करना बंद न कर दे।
पेपर कहता है कि यह तरीका अविश्वसनीय है।
- उपमा: कल्पना कीजिए कि आप एक सैंडविच बना रहे हैं।
- ब्रेड + हैम = अच्छा।
- ब्रेड + हैम + चीज़ = बेहतर।
- ब्रेड + हैम + चीज़ + अचार = खराब (क्योंकि अचार हैम को गीला कर देता है)।
- लेकिन, ब्रेड + हैम + चीज़ + अचार + मस्टर्ड (सरसों का पेस्ट) = फिर से अद्भुत!
- यदि आप "खराब" चरण पर ही रुक जाते क्योंकि अचार ने नुकसान पहुँचाया, तो आप उस अद्भुत सैंडविच को कभी नहीं खोज पाते। पेपर में पाया गया कि कभी-कभी एक फीचर अकेले बुरा होता है लेकिन विशिष्ट अन्य चीजों के साथ मिलकर बहुत अच्छा होता है। आपको पूरे समूह का परीक्षण करना होगा, न कि केवल एक-एक करके जोड़ना होगा।
5. मुख्य निष्कर्ष
शोधकर्ताओं ने यह साबित करने के लिए 32,000 से अधिक परीक्षण चलाए। उनका निष्कर्ष सरल है:
यह न मानें कि एक "पूरी तरह से लोडेड" AI एजेंट ही सबसे अच्छा है।
- कई कार्यों के लिए, केवल सही टूल वाला एक साधारण एजेंट, प्लानर, मेमोरी और रिफ्लेक्शन वाले एक जटिल एजेंट की तुलना में बेहतर होता है।
- "सर्वश्रेष्ठ" सेटअप पूरी तरह से विशिष्ट कार्य और आपके द्वारा उपयोग किए जा रहे विशिष्ट AI मॉडल पर निर्भर करता है।
- यदि आप सब कुछ दीवार पर फेंक देते हैं, तो आप संभवतः शोर (noise) पैदा कर रहे हैं जो AI को भ्रमित करता है, न कि उसकी मदद करता है।
संक्षेप में: कभी-कभी, सबसे सरल उपकरण ही सबसे शक्तिशाली होता है। अधिक भाग जोड़ने से मशीन हमेशा तेज़ नहीं चलती; कभी-कभी, यह उसे लड़खड़ाने पर मजबूर कर देती है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।