तकनीकी सारांश: सुधारने की तुलना में गुमराह करना अधिक आसान

समस्या विवरण

जैसे-जैसे लार्ज लैंग्वेज मॉडल्स (LLMs) को मल्टी-एजेंट सिस्टम (MAS) में तेजी से तैनात किया जा रहा है, वे अक्सर ऐसी स्थितियों का सामना करते हैं जहाँ उन्हें अन्य एजेंटों के आउटपुट की समीक्षा और प्रतिक्रिया देनी होती है। इन सेटिंग्स में एक महत्वपूर्ण जोखिम अनुरूपता (conformity) है: एक LLM अपने स्वयं के सही उत्तर को त्याग सकता है यदि बहुमत के अधिकांश साथी किसी अलग उत्तर पर सहमत हों। जबकि पूर्व शोध ने स्थापित किया है कि LLMs बहुमत वाले उत्तरों की ओर संशोधित होने की प्रवृत्ति रखते हैं, यह स्पष्ट नहीं है कि साथियों का प्रभाव शुरू में गलत मॉडल्स को सुधारने में उतना ही प्रभावी है जितना कि शुरू में सही मॉडल्स को गुमराह करने में। इसके अलावा, यह अज्ञात है कि क्या सामान्य तर्क संबंधी हस्तक्षेप (जैसे, चेन-ऑफ-थॉट) लाभकारी और हानिकारक संशोधनों के बीच विश्वसनीय रूप से अंतर कर सकते हैं।

कार्यप्रणाली

लेखकों ने चार ओपन-वेट LLMs (Qwen2.5-7B, Mistral-7B, Gemma-2-9B, Llama-3.1-8B) और सात QA/रीजनिंग डेटासेट्स (जिसमें BBH, MMLU-Pro, ARC-Challenge और TruthfulQA शामिल हैं) पर एक नियंत्रित अध्ययन किया। प्रयोगात्मक प्रोटोकॉल में एक दो-चरणीय प्रक्रिया शामिल थी:

1. राउंड 1: मॉडल स्वतंत्र रूप से एक बहुविकल्पीय प्रश्न का उत्तर देता है और एक स्व-आत्मविश्वास स्कोर (1–10) रिपोर्ट करता है।
2. राउंड 2: मॉडल को छह सिम्युलेटेड (simulated) सहकर्मी प्रतिक्रियाओं वाला एक प्रॉम्प्ट दिया जाता है और प्रश्न पर पुनर्विचार करने के लिए कहा जाता है।

अध्ययन ने सामाजिक-मनोविज्ञान सिद्धांत पर आधारित दो सामाजिक संकेतों (social cues) में हेरफेर किया:

• सहमति संरचना (Consensus Structure): तीन स्थितियों का परीक्षण किया गया: मिश्रित (3 साथी सही, 3 गलत), सभी-सही (6 साथी सही), और सभी-गलत (6 साथी गलत)।
• प्राधिकरण लेबल (Authority Labels): साथियों को या तो बिना लेबल के रखा गया या उन्हें एक संगठनात्मक भूमिका (जैसे, "टीम लीडर," "रिसर्च डायरेक्टर") सौंपी गई।

अध्ययन ने तीन अनुसंधान प्रश्नों (RQs) को संबोधित किया:

• RQ1 (संशोधन की गुणवत्ता): सहमति संरचना और प्राधिकरण लेबल कैसे लाभकारी संशोधन (गलत $\to$ सही) बनाम हानिकारक संशोधन (सही $\to$ गलत) की दरों को प्रभावित करते हैं?
• RQ2 (संकेत की शक्ति): जैसे-जैसे प्रतिबद्ध साथियों या प्राधिकरण-लेबल वाले साथियों की संख्या बढ़ती है, संशोधन दरें कैसे बदलती हैं?
• RQ3 (तर्क संबंधी हस्तक्षेप): क्या चेन-ऑफ-थॉट (CoT) और "रिफ्लेक्ट-देन-रिव्हाइस" (reflect-then-revise) प्रॉम्प्ट्स लाभकारी संशोधन को संरक्षित करते हुए हानिकारक संशोधन को कम करते हैं?

मुख्य योगदान और परिणाम

1. अनुरूपता में विषमता (Asymmetry in Conformity) (RQ1)

मुख्य निष्कर्ष यह है कि एक LLM को सुधारने की तुलना में उसे गुमराह करना काफी आसान है।

• हानिकारक बनाम लाभकारी: जब सभी साथी एक गलत उत्तर पर सहमत थे, तो हानिकारक संशोधन दर आधार रेखा के 15.6% से बढ़कर 62.9% (+47.3 प्रतिशत अंक) हो गई। इसके विपरीत, जब सभी साथी एक सही उत्तर पर सहमत थे, तो लाभकारी संशोधन दर केवल 32.7% से बढ़कर 51.5% (+18.8 प्रतिशत अंक) हुई।
• परिमाण (Magnitude): रिग्रेशन विश्लेषण ने संकेत दिया कि हानिकारक संशोधन पर सभी-गलत साथियों का प्रभाव, लाभकारी संशोधन पर सभी-सही साथियों के प्रभाव की तुलना में पांच गुना बड़ा था (ऑड्स रेशियो: 28.5 बनाम 5.2)।
• प्राधिकरण: प्राधिकरण लेबल ने समर्थित उत्तर चुनने की संभावना को बढ़ाया, लेकिन उनका प्रभाव आकार सहकर्मी सहमति की तुलना में छोटा था। महत्वपूर्ण रूप से, प्राधिकरण लेबल ने मॉडल्स को इस बात की परवाह किए बिना प्रभावित किया कि समर्थित उत्तर सही था या गलत।

2. सामाजिक संकेतों की शक्ति (Strength of Social Cues) (RQ2)

• प्रतिबद्ध साथी (Committed Peers): जैसे-जैसे अधिक साथी एक विशिष्ट उत्तर के प्रति प्रतिबद्ध हुए, संशोधन दरें बढ़ीं, लेकिन यह प्रभाव उप-रेखीय (sublinear - घटते प्रतिफल) था, जो सोशल इम्पैक्ट थ्योरी के अनुरूप है।
• प्राधिकरण लेबल: जैसे-जैसे प्राधिकरण-लेबल वाले साथियों की संख्या बढ़ी, मॉडल प्राधिकरण-समर्थित उत्तर की ओर संशोधित होने के प्रति अधिक प्रवृत्त हुए। यह तब भी हुआ जब प्राधिकरण ने सही या गलत उत्तर का समर्थन किया, और दोनों परिदृश्यों में प्रभाव का परिमाण समान था।

3. सामान्य तर्क संबंधी हस्तक्षेपों की अप्रभावीता (Ineffectiveness of Generic Reasoning Interventions) (RQ3)

मानक प्रॉम्प्ट-आधारित हस्तक्षेप हानिकारक संशोधन को बिना लाभ को कम किए सफलतापूर्वक कम करने में विफल रहे:

• चेन-ऑफ-थॉट (CoT): हालांकि CoT ने सभी-गलत साथी स्थितियों के तहत हानिकारक संशोधन को कम किया (63.9% से 36.5% तक), इसने सभी स्थितियों में लाभकारी संशोधन को भी दबा दिया। मॉडल सही सहकर्मी सुधारों को स्वीकार करने के प्रति कम इच्छुक हो गए।
• रिफ्लेक्ट-देन-रिव्हाइस (Reflect-Then-Revise): इस हस्तक्षेप ने मॉडल्स को समान रूप से अधिक रूढ़िवादी बना दिया। इसने हानिकारक संशोधन को कम किया, लेकिन लाभकारी संशोधन को भी काफी कम कर दिया (उदाहरण के लिए, सभी-सही साथियों के तहत 52.7% से गिरकर 33.4% हो गया)। यह एक सत्यापनकर्ता के बजाय प्रारंभिक उत्तर के "आंशिक रीसेट" के रूप में अधिक कार्य करता था।

महत्व और दावे

यह शोध पत्र तर्क देता है कि मल्टी-एजेंट LLM सिस्टम के लिए मुख्य जोखिम केवल यह नहीं है कि मॉडल अनुरूप होते हैं, बल्कि यह है कि गलत सहकर्मी सहमति, सही सहकर्मी सहमति द्वारा किए गए सुधार की तुलना में त्रुटियों को अधिक प्रभावी ढंग से प्रसारित करती है।

लेखक दावा करते हैं कि:

1. एकत्रीकरण अपर्याप्त है: सहकर्मी उत्तरों को एकत्रित करना (जैसे, मतदान या बहुमत नियम के माध्यम से) खतरनाक है क्योंकि यह सुधार करने की तुलना में त्रुटियों को अधिक बढ़ाता है।
2. प्राधिकरण एक सुरक्षा कवच नहीं है: भूमिका लेबल (जैसे, "विशेषज्ञ") शुद्धता की गारंटी नहीं देते हैं और इनका उपयोग सत्य की परवाह किए बिना मॉडल के आउटपुट को मैनिपुलेट करने के लिए किया जा सकता है।
3. तर्क प्रॉम्प्ट्स एक रामबाण नहीं हैं: CoT या रिफ्लेक्शन जैसे सामान्य हस्तक्षेप हानिकारक और लाभकारी प्रभाव को विश्वसनीय रूप से अलग नहीं करते हैं; वे अक्सर सही सहकर्मियों से सीखने की मॉडल की क्षमता को भी दबा देते हैं।

परिणामस्वरूप, लेखक निष्कर्ष निकालते हैं कि मल्टी-एजेंट सिस्टम को सहकर्मी उत्तरों को कार्य साक्ष्य (task evidence) के विरुद्ध सत्यापित करने के लिए डिज़ाइन किया जाना चाहिए, न कि केवल उन्हें एकत्रित करने के लिए। भविष्य के सिस्टमों को केवल "कौन से एजेंट सहमत हैं?" पूछने के बजाय "कौन सा उत्तर साक्ष्य द्वारा सबसे अच्छा समर्थित है?" पूछने की ओर बढ़ना चाहिए ताकि सहयोगी LLM वातावरण में त्रुटियों के प्रसार को रोका जा सके।