Contagion Networks: Evaluator Bias Propagation in Multi-Agent LLM Systems
यह शोध पत्र 'कंटेजन नेटवर्क' (Contagion Networks) ढांचे को पेश करता है जो यह मापने के लिए है कि मल्टी-एजेंट एलएलएम (LLM) प्रणालियों के माध्यम से मूल्यांकनकर्ता पूर्वाग्रह कैसे प्रसारित होते हैं, जो यह प्रकट करता है कि जबकि पूर्वाग्रह लगातार फैलते हैं, सजातीय मॉडल क्रॉस-मॉडल सेटअप की तुलना में काफी कमजोर संक्रामकता प्रदर्शित करते हैं और मूल्यांकनकर्ता समिति का आकार बढ़ाना एक प्रभावी शमन रणनीति प्रदान करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि तीन दोस्तों का एक समूह है, जो सभी एक ही प्रकार के स्मार्ट असिस्टेंट (मान लीजिए, "DeepSeek" दोस्त) का उपयोग कर रहे हैं, और वे मिलकर पहेलियों की एक श्रृंखला को हल करने की कोशिश कर रहे हैं। वे केवल एक-दूसरे के बगल में बैठकर काम नहीं करते; बल्कि वे एक-दूसरे के काम को ग्रेड (मूल्यांकन) करने के लिए बारी-बारी से काम करते हैं।
यह शोध पत्र इस बारे में है कि क्या होता है जब एक दोस्त की व्यक्तिगत "ग्रेडिंग शैली" दूसरों को संक्रमित करने लगती है।
सेटअप: "ग्रेडिंग चेन" (Grading Chain)
इस प्रयोग में, शोधकर्ताओं ने एक श्रृंखला प्रतिक्रिया (chain reaction) स्थापित की:
- दोस्त A (जिसे चरण-दर-चरण सूचियाँ पसंद हैं) दोस्त B के काम को ग्रेड करता है।
- दोस्त B उस फीडबैक को देखता है, और उसे एहसास होता है कि "ओह, A को सूचियाँ पसंद हैं," और वह अधिक सूचियाँ लिखना शुरू कर देता है।
- दोस्त B फिर दोस्त C के काम को ग्रेड करता है। क्योंकि B, A से प्रभावित हुआ है, इसलिए B भी अब सूचियों को प्राथमिकता देने लगा है।
- दोस्त C को फीडबैक मिलता है, वह सूचियों की प्राथमिकता को देखता है, और वह भी सूचियाँ लिखना शुरू कर देता है।
शोधकर्ता इसे एक "कंटेजियन नेटवर्क" (Contagion Network) कहते हैं। ठीक वैसे ही जैसे कोई जुकाम एक व्यक्ति से दूसरे व्यक्ति में फैलता है, एक "बायस" (सोचने के एक खास तरीके के प्रति झुकाव) एक AI एजेंट से दूसरे तक फैलता है।
बड़ी खोज: "वायरस" कमजोर है
शोधकर्ता जानना चाहते थे: क्या यह बायस इतना मजबूती से फैलता है कि हर कोई बिल्कुल एक जैसा सोचने लगता है, जिससे उनके अनूठे दृष्टिकोण नष्ट हो जाते हैं?
उन्होंने पाया कि कुछ आश्चर्यजनक था: इस विशिष्ट सेटअप में, "वायरस" बहुत कमजोर है।
- "सेम-मॉडल" प्रभाव (The "Same-Model" Effect): क्योंकि तीनों दोस्त बिल्कुल एक ही मूल मस्तिष्क (एक ही AI मॉडल) का उपयोग कर रहे थे, इसलिए उनके पास एक प्राकृतिक "इम्यून सिस्टम" (रोग प्रतिरोधक क्षमता) थी। भले ही वे एक-दूसरे को प्रभावित कर रहे थे, लेकिन प्रभाव जल्दी ही फीका पड़ गया।
- उपमा: कल्पना कीजिए कि तीन लोग एक ही बोली बोल रहे हैं। यदि एक व्यक्ति नई स्लैंग (बोलचाल की भाषा) का उपयोग करना शुरू करता है, तो अन्य लोग भी इसे अपना सकते हैं, लेकिन वे अचानक अपनी मूल भाषा को भूल नहीं जाएंगे। परिवर्तन छोटा है और कुछ चरणों के बाद समाप्त हो जाता है।
- आंकड़े: "बायस" को आगे बढ़ाने के तीन चरणों (A → B → C) के बाद, मूल प्रभाव लगभग खत्म हो गया था (99.4% कम हो गया)। सिस्टम ने स्वाभाविक रूप से प्रसार को रोक दिया।
तुलना: क्यों कुछ "वायरस" अधिक शक्तिशाली होते हैं
यह पेपर एक पिछले अध्ययन के साथ तुलना करता है जहाँ विभिन्न मॉडलों (जैसे GPT-4o द्वारा DeepSeek को ग्रेड करना) का उपयोग किया गया था।
- "क्रॉस-मॉडल" खतरा (The "Cross-Model" Danger): जब अलग-अलग मॉडल एक-दूसरे को ग्रेड करते हैं, तो बायस बहुत तेजी से और मजबूती से फैलता है।
- उपमा: कल्पना कीजिए कि एक व्यक्ति जो पूरी तरह से अलग भाषा बोलता है, किसी ऐसे व्यक्ति को नया शब्द सिखाने की कोशिश कर रहा है जो वह भाषा नहीं जानता। भ्रम इतना अधिक हो सकता है कि सुनने वाला अपनी बोलने की शैली को पूरी तरह से छोड़कर केवल नए शब्द के अनुरूप होने की कोशिश करने लगता है। "संक्रमण" इतना मजबूत है कि वह पूरे समूह पर कब्जा कर लेता है।
समाधान: "तीन लोगों की समिति" (The "Committee of Three")
शोधकर्ताओं ने एक सरल समाधान का परीक्षण किया: केवल एक दोस्त द्वारा काम को ग्रेड करने के बजाय, क्या होगा यदि तीन दोस्तों की एक समिति मिलकर काम को ग्रेड करे?
- परिणाम: जब उन्होंने तीन विविध मूल्यांकनकर्ताओं की एक समिति का उपयोग किया, तो "संक्रमण" (contagion) 72% गिर गया।
- यह क्यों काम करता है: यदि एक ग्रेडर को सूचियाँ पसंद हैं, दूसरे को संक्षिप्त उत्तर पसंद हैं, और तीसरा साक्ष्य (evidence) को पसंद करता है, तो उनके परस्पर विरोधी विचार एक-दूसरे को संतुलित कर देते हैं। लक्षित एजेंट को किसी एक दिशा में धकेला नहीं जाता; वह संतुलित रहता है।
- सीख: आपको प्रसार को पूरी तरह से रोकने की आवश्यकता नहीं है (क्योंकि इस सेटअप में यह पहले से ही कमजोर था), लेकिन अधिक विविध आवाजों को जोड़ने से सिस्टम अधिक सुरक्षित और रचनात्मक बनता है।
मिले हुए "नियमों" का सारांश
- बायस फैलता है: भले ही सभी AI एजेंट एक ही मस्तिष्क का उपयोग कर रहे हों, वे एक-दूसरे की सोचने की शैली को प्रभावित करेंगे।
- एक ही मस्तिष्क = सुरक्षित: यदि सभी एजेंट एक ही मॉडल का उपयोग करते हैं, तो बायस स्वाभाविक रूप से जल्दी समाप्त हो जाता है (Suppression)।
- अलग मस्तिष्क = जोखिम भरा: यदि एजेंट अलग-अलग मॉडल का उपयोग करते हैं, तो बायस बेतहाशा फैल सकता है और पूरे समूह पर कब्जा कर सकता है (Cascade)।
- अधिक आवाजें = बेहतर: तीन विविध मूल्यांकनकर्ताओं का समूह उपयोग करना, सिस्टम को संतुलित रखने और किसी भी एकल बायस को हावी होने से रोकने का एक शक्तिशाली तरीका है।
मुख्य निष्कर्ष: जब आप AI एजेंटों की एक टीम बना रहे हों जो एक-दूसरे को ग्रेड करते हैं, तो इस बात की चिंता न करें कि क्या वे सभी एक ही मॉडल का उपयोग करते हैं—वे स्वाभाविक रूप से एक-दूसरे को नियंत्रण में रखेंगे। लेकिन यदि आप अलग-अलग मॉडलों को मिलाते हैं, तो सावधान रहें, और टीम को विविध और स्वस्थ रखने के लिए हमेशा कम से कम तीन अलग-अलग न्यायाधीशों की एक समिति का उपयोग करें।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।