More Agents Improve Math Problem Solving but Adversarial Robustness Gap Persists
यद्यपि एक सहयोगात्मक ढांचे में LLM एजेंटों की संख्या बढ़ाने से गणितीय समस्या-समाधान की सटीकता विश्वसनीय रूप से सुधरती है, फिर भी यह प्रतिकूल व्यवधानों, विशेष रूप से मानवीय त्रुटियों (typos) के विरुद्ध महत्वपूर्ण मजबूती के अंतर को पाटने में विफल रहता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
यहाँ सरल भाषा और रचनात्मक उपमाओं का उपयोग करके शोध पत्र (paper) की व्याख्या दी गई है।
मुख्य विचार: विशेषज्ञों की एक टीम बनाम एक शोर भरा कमरा
कल्पना कीजिए कि आपके पास एक बहुत ही स्मार्ट, लेकिन थोड़ी नाजुक रोबोट (एक लार्ज लैंग्वेज मॉडल या LLM) है जो गणित की समस्याएं हल करने में बहुत अच्छी है। आमतौर पर, यदि आप उससे एक प्रश्न पूछते हैं, तो वह आपको एक उत्तर देती है।
लेकिन क्या होगा यदि आप इन रोबots में से 25 को एक ही समय में एक ही प्रश्न पूछें, और फिर अंतिम उत्तर पर वोट लें? शोधकर्ता इसे "एजेंट फॉरेस्ट" (Agent Forest) कहते हैं।
शोध पत्र एक सरल प्रश्न पूछता है: यदि हम रोबोट्स की एक पूरी टीम को मिलकर काम करने के लिए लगा दें, तो क्या वे गलतियों से सुरक्षित (immune) हो जाएंगे?
विशेष रूप से, क्या होगा यदि वह प्रश्न जिसे वे पढ़ रहे हैं, बहुत अस्त-व्यस्त हो? क्या होगा यदि उसमें स्पेलिंग की गलतियाँ (typos), अजीब विराम चिह्न (punctuation), या ऐसा लगे कि उसे किसी टूटे हुए कीबोर्ड द्वारा टाइप किया गया है?
प्रयोग: "मेसी क्वेश्चन" (अस्त-व्यस्त प्रश्न) टेस्ट
शोधकर्ताओं ने छह अलग-अलग प्रकार के गणितीय रोबोट्स (Google, Meta और Alibaba जैसी कंपनियों के) को लिया और उन्हें चार प्रसिद्ध गणित परीक्षणों (जैसे प्राथमिक स्कूल के वर्ड प्रॉब्लम्स और उच्च स्तरीय प्रतियोगिता गणित) पर परखा।
उन्होंने रोबोट्स का परीक्षण तीन स्थितियों में किया:
- क्लीन (Clean): प्रश्न एकदम सही है।
- पंक्चुएशन नॉइज़ (Punctuation Noise): उन्होंने यादृच्छिक रूप से अतिरिक्त कॉमा, पूर्ण विराम और विस्मयादिबोधक चिह्न जोड़ दिए (जैसे
Hello, , world ! !)। - ह्यूमन टायपोस (Human Typos): उन्होंने वास्तविक दुनिया की वर्तनी की गलतियाँ पेश कीं, जैसे "for" के बजाय "por" या "at" के बजाय "nat" टाइप करना (जैसे कि पेपर में उल्लेखित "WikiTypo" और "R2ATA" हमले)।
इसके बाद उन्होंने 1 रोबोट, 5 रोबोट्स, 10 रोबोट्स और 25 रोबोट्स तक के साथ मिलकर काम करने का परीक्षण किया।
अच्छी खबर: अधिक हाथ, कम काम
निष्कर्ष: यदि प्रश्न साफ है या उसमें मामूली विराम चिह्न की त्रुटियां हैं, तो अधिक रोबोट्स जोड़ने से टीम सही उत्तर पाने में निश्चित रूप से मदद करती है।
उपमा: इसे एक शोर भरे कमरे में पहेली सुलझाने की कोशिश करने वाले लोगों के समूह की तरह समझें।
- 1 व्यक्ति: यदि कमरा शांत है, तो वे इसे जल्दी हल कर लेते हैं। यदि थोड़ा सा स्टैटिक शोर (विराम चिह्न) है, तो वे भ्रमित हो सकते हैं।
- 25 लोग: यदि आपके पास 25 लोग हैं, तो भले ही कमरा थोड़ा शोर भरा हो, बहुमत संभवतः सही चित्र को पहचान लेगा। "वोटिंग" प्रणाली भ्रम को दूर कर देती है।
शोध पत्र में पाया गया कि 1 रोबोट से 5 रोबोट्स तक जाने से सटीकता में भारी उछाल आया। 5 से 10 तक जाने से थोड़ा और लाभ हुआ। लेकिन लगभग 10 या 15 रोबोट्स के बाद, और अधिक जोड़ने से ज्यादा मदद नहीं मिली। यह एक कमरे में 25 लोगों के होने जैसा है जब 10 लोग पहले से ही पहेली सुलझाने के लिए पर्याप्त हैं; बाकी 15 बस खड़े रहते हैं।
बुरी खबर: "ह्यूमन टायपो" का जाल
निष्कर्ष: जबकि टीम के रोबोट्स यादृच्छिक विराम चिह्नों (punctuation) को अनदेखा करने में माहिर हैं, वे मानवीय वर्तनी की गलतियों (human typos) को संभालने में बहुत खराब हैं।
भले ही 25 रोबोट्स वोट दे रहे हों, यदि प्रश्न कहता है "The ducks lay 16 eggs por day" (for day के बजाय), तो पूरी टीम गलत हो जाती है।
उपमा: कल्पना कीजिए कि रोबोट्स एक गायक मंडली (choir) की तरह हैं।
- पंक्चुएशन नॉइज़: यह दर्शकों के खांसने या ताली बजाने जैसा है। गायक मंडली खांसने की आवाज़ को अनदेखा कर सकती है और अपना सही गाना गाती रह सकती है।
- ह्यूमन टायपोस: यह संगीत की शीट (sheet music) में गलत नोट्स छपने जैसा है। यदि संगीत कहता है "C बजाएं" लेकिन वह छपा है "Z बजाएं" के रूप में, तो पूरी मंडली, चाहे कितने भी गायक क्यों न हों, "Z" ही बजाएगी। वे सभी एक ही गलत शीट पढ़ रहे हैं।
शोधकर्ता इसे "कंसेंसस पैराडॉक्स" (Consensus Paradox - सहमति का विरोधाभास) कहते हैं। क्योंकि सभी रोबोट्स एक ही "मस्तिष्क" (एक ही बेस मॉडल) का उपयोग कर रहे हैं, वे सभी एक ही गलती करते हैं जब टेक्स्ट अजीब होता है। वे त्रुटि को सुधारने के लिए वोट नहीं देते; वे सब मिलकर गलत उत्तर के लिए वोट करते हैं।
निर्णय: एक अंतराल जो नहीं भरेगा
शोध पत्र दो मुख्य निष्कर्षों के साथ समाप्त होता है:
- सहयोग शक्तिशाली है: यदि आप कठिन गणित की समस्याएं हल करना चाहते हैं, तो 5 से 10 AI एजेंटों की टीम का उपयोग करना एक बेहतरीन रणनीति है। यह उन्हें एक अकेले एजेंट की तुलना में बहुत अधिक स्मार्ट बनाता है।
- मजबूती (Robustness) टूट गई है: हालांकि, यह टीम वर्क उन्हें वास्तविक दुनिया की गलतियों के खिलाफ सुरक्षित नहीं बनाता है। यदि कोई इंसान टाइपिंग की गलती करता है, तो AI टीम उतनी ही बुरी तरह विफल होती है जितनी कि एक अकेला AI होता।
अंतिम रूपक (Metaphor):
कल्पना कीजिए कि आप एक गंतव्य तक जाने के लिए कार चलाने की कोशिश कर रहे हैं।
- अधिक एजेंट जोड़ना आपको नेविगेट करने में मदद करने के लिए अधिक यात्रियों को जोड़ने जैसा है। यदि सड़क थोड़ी ऊबड़-खाबड़ है (विराम चिह्न), तो अतिरिक्त यात्री आपको सही रास्ते पर बनाए रखने में मदद करते हैं।
- लेकिन, यदि मानचित्र (map) में ही टाइपिंग की गलती है कि "बाएं मुड़ें" जबकि आपको "दाएं मुड़ना" चाहिए, तो 25 यात्रियों का होना भी मदद नहीं करेगा। वे सभी उस खराब मानचित्र को देखेंगे और एक साथ बाएं मुड़ जाएंगे।
सबक: हम केवल "स्केल अप" (अधिक एजेंट जोड़कर) करके AI सुरक्षा को ठीक नहीं कर सकते। हमें AI की "आंखों" (बेस मॉडल) को ठीक करने की आवश्यकता है ताकि वह बिखरे हुए, मानव-लिखित टेक्स्ट को सही ढंग से पढ़ सके। जब तक ऐसा नहीं होता, तब तक 25 एजेंटों की टीम भी एक साधारण स्पेलिंग मिस्टेक से धोखा खा सकती है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।