← नवीनतम पेपर
💬 NLP

MADA-RL: Multi-Agent Debate-Aware Reinforcement Learning for Parameter-Efficient Reasoning in Compact Models

MADA-RL एक पैरामीटर-कुशल पोस्ट-ट्रेनिंग फ्रेमवर्क है जो एक नवीन काउंटरफैक्चुअल क्रिटिक एडवांटेज के साथ मल्टी-एजेंट डिबेट मैकेनिज्म का उपयोग करके कॉम्पैक्ट लैंग्वेज मॉडल्स में रीजनिंग को बढ़ाता है ताकि LoRA के माध्यम से विशिष्ट जनरेटर और क्रिटिक एजेंटों को अनुकूलित किया जा सके, जिससे गणितीय बेंचमार्क पर सटीकता में उल्लेखनीय सुधार होता है और प्रशिक्षित पैरामीटर्स में भारी कमी आती है।

मूल लेखक: Martino M. L. Pulici, Cuong Xuan Chu, Evgeny Kharlamov, Zifeng Ding, Volker Tresp, Yunpu Ma

प्रकाशित 2026-07-21
📖 3 मिनट में पढ़ें☕ कॉफ़ी ब्रेक में पढ़ें
CC BY 4.0

मूल लेखक: Martino M. L. Pulici, Cuong Xuan Chu, Evgeny Kharlamov, Zifeng Ding, Volker Tresp, Yunpu Ma

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

एक ऐसी दुनिया की कल्पना करें जहाँ कंप्यूटर प्रतिभाशाली लेकिन अत्यधिक काम करने वाले छात्रों की तरह हैं। वर्षों से, सबसे बुद्धिमान छात्र (विशाल AI मॉडल) सबसे कठिन गणितीय पहेलियों को हल करने में सक्षम रहे हैं, लेकिन उन्हें सिखाने के लिए इतनी विशाल और महंगी लाइब्रेरी बनाने की आवश्यकता थी जिसे केवल कुछ ही दिग्गज वहन कर सकते थे। इस बीच, छोटे, अधिक संक्षिप्त छात्र (छोटे AI मॉडल) पीछे छूट गए, जो अक्सर सरल तर्क संबंधी समस्याओं पर अटक जाते थे क्योंकि वे विशाल प्रशिक्षण की "ट्यूशन फीस" देने में असमर्थ थे। वैज्ञानिक इन छोटे छात्रों को बिना भारी खर्च के अधिक गहराई से सोचने के लिए सिखाने की कोशिश कर रहे हैं, जिसके लिए उन्होंने दो मुख्य तरकीबों का उपयोग किया है: 'रीइन्फोर्समेंट लर्निंग' (जो कि एक छात्र को हर बार सही उत्तर देने पर गोल्ड स्टार देने जैसा है) और 'टेस्ट-टाइम स्केलिंग' (जो कि एक छात्र को अपना काम जमा करने से पहले खुद से बात करने या दोस्तों के समूह के साथ मिलकर काम को दोबारा जांचने देने जैसा है)। बड़ा सवाल यह है: क्या हम इन तरकीबों को मिलाकर एक छोटे, सस्ते छात्र को जीनियस की तरह सोचने के काबिल बना सकते हैं, बिना किसी सुपरकंप्यूटर की मदद के?

यहाँ आता है MADA-RL, एक नई विधि जो इन छोटे AI मॉडल्स के लिए एक चतुर क्लासरूम डिबेट कोच की तरह काम करती है। केवल छोटे मॉडल को "तुम सही हो" या "तुम गलत हो" बताने के बजाय, शोधकर्ताओं ने विशेषज्ञ एजेंटों की एक टीम तैयार की है: "जेनरेटर्स" का एक समूह जो उत्तर देने के लिए तेजी से आगे आता है, और "क्रिटिक्स" का एक समूह जिसका एकमात्र काम जेनरेटर्स को सुनना और उनकी गलतियों को सुधारना है। जादू इस बात में है कि क्रिटिक्स को कैसे पुरस्कृत किया जाता है। आमतौर पर, एक छात्र को केवल सही होने के लिए गोल्ड स्टार मिलता है। लेकिन इस प्रणाली में, क्रिटिक्स को एक विशेष बोनस स्टार तभी मिलता है जब वे ऐसी गलती पकड़ सकें जिसे जेनरेटर्स के पूरे समूह ने भी मिस कर दिया हो। यह एक खेल की तरह है जहाँ क्रिटिक बड़े अंक तब नहीं जीतता जब वह स्वयं समस्या हल करता है, बल्कि तब जीतता है जब वह यह कहने वाला व्यक्ति होता है कि, "रुको, बाकी सब इसमें गलत थे, लेकिन सही तरीका यह है!"

शोधकर्ताओं ने पाया कि यह "डिबेट-अवेयर" दृष्टिकोण आश्चर्यजनक रूप से अच्छा काम करता है। एक बहुत छोटे 1.5-बिलियन-पैरामीटर वाले मॉडल को इस विधि के साथ प्रशिक्षित करके, उन्होंने इसकी गणितीय तर्क सटीकता को 39.9% से बढ़ाकर 41.9% कर दिया। यह शायद बहुत बड़ी छलांग न लगे, लेकिन यह महत्वपूर्ण है क्योंकि उन्होंने इसे मॉडल के मस्तिष्क के केवल एक बहुत छोटे हिस्से को बदलकर हासिल किया—मानक, महंगे प्रशिक्षण विधियों की तुलना में 16 गुना कम समायोज्य भागों का उपयोग करके। अध्ययन बताता है कि असली सफलता केवल बहस में नहीं है, बल्कि इस विशिष्ट तरीके में है जिससे क्रिटिक्स को "काउंटरफैक्चुअल" विशेषज्ञों के रूप में प्रशिक्षित किया गया है: वे उस सुरक्षा जाल के रूप में कार्य करना सीखते हैं जो समूह की सामूहिक कमियों (ब्लाइंड स्पॉट्स) को पकड़ लेता है। हालांकि ये छोटे मॉडल अभी भी विशाल डेटासेट पर प्रशिक्षित दिग्गजों को मात नहीं दे सकते, लेकिन वे अब ब्लॉक के सबसे कुशल विचारक हैं, जो यह सिद्ध करते हैं कि सही कोचिंग के साथ, एक छोटी टीम अपने वजन से कहीं अधिक प्रभावशाली प्रदर्शन कर सकती है।

अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?

आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।

Digest आज़माएँ →

इसी तरह के और पेपर

इस विषय के सभी पेपर देखें 💬 cs.CL →