Who Decides What Is Harmful? Content Moderation Policy Through A Multi-Agent Personalised Inference Framework
यह शोध पत्र एक LLM-आधारित मल्टी-एजेंट फ्रेमवर्क का प्रस्ताव करता है जो विशिष्ट एजेंटों के माध्यम से व्यक्तिगत उपयोगकर्ता संवेदनशीलता का अनुकरण करके कंटेंट मॉडरेशन को व्यक्तिगत बनाता है, जिससे पारंपरिक केंद्रीकृत प्रणालियों की तुलना में 32% सटीकता में सुधार होता है और प्लेटफॉर्म गवर्नेंस के साथ उपयोगकर्ता स्वायत्तता को संतुलित करने के लिए एक स्केलेबल दृष्टिकोण प्राप्त होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि इंटरनेट एक विशाल, अराजक शहर के चौक की तरह है जहाँ लाखों लोग एक साथ चिल्ला रहे हैं, कहानियाँ साझा कर रहे हैं, बहस कर रहे हैं और मीम्स पोस्ट कर रहे हैं। वर्तमान में, "सुरक्षा गार्ड" (कंटेंट मॉडरेशन सिस्टम) जो इस चौक को सुरक्षित रखने की कोशिश करते हैं, वे सभी के लिए एक ही विशाल नियम पुस्तिका का उपयोग करते हैं। वे तय करते हैं कि क्या "हानिकारक" है, और यह निर्णय एक 'वन-साइज़-फिट्स-ऑल' (सबके लिए एक जैसा) सूची पर आधारित होता है। यदि कोई पोस्ट किसी नियम को तोड़ती है, तो उसे हटा दिया जाता है। यदि नहीं, तो वह वहीं रहती है।
समस्या यह है, जैसा कि इस शोध पत्र के लेखक बताते हैं, कि लोग अलग होते हैं। जिसे एक व्यक्ति मज़ेदार पाता है, दूसरा उसे बेहद कष्टदायक मान सकता है। जिसे एक व्यक्ति साहसी राजनीतिक विचार के रूप में देखता है, दूसरा उसे व्यक्तिगत हमला मान सकता है। वर्तमान प्रणाली व्यक्तिगत भावनाओं को अनदेखा करती है, जिससे लोग अक्सर ऐसे कंटेंट से घिरे रहते हैं जो उन्हें विषाक्त (toxic) लगता है, या इसके विपरीत, उन चीज़ों को हटा दिया जाता है जिन्हें वे वास्तव में पसंद करते हैं।
यह शोध पत्र सुरक्षा गार्ड स्टेशन चलाने का एक नया तरीका प्रस्तावित करता है। एक कठोर नियम पुस्तिका के बजाय, वे एक व्यक्तिगत, टीम-आधारित दृष्टिकोण का सुझाव देते हैं जिसे PRISM कहा जाता है।
मुख्य विचार: एक व्यक्तिगत सुरक्षा टीम
PRISM सिस्टम को एक एकल रोबोट के रूप में नहीं, बल्कि हर एक उपयोगकर्ता को सौंपी गई एक अनुकूलित (customized) सुरक्षा टीम के रूप में समझें। यह टीम कैसे काम करती है, इसके लिए सरल उपमाएँ यहाँ दी गई हैं:
1. "सेंसिटिविटी प्रोफाइल" (आपका व्यक्तिगत नियम पुस्तिका)
एक खाली स्लेट से शुरू करने के बजाय, सिस्टम आपके विशिष्ट "दर्द बिंदुओं" (pain points) को सीखता है।
- उपमा: कल्पना कीजिए कि आप तेज़ आवाज़ों के प्रति बहुत संवेदनशील हैं लेकिन बिखरे हुए कमरों से आपको फर्क नहीं पड़ता। वहीं, आपका पड़ोसी गंदगी से नफरत करता है लेकिन तेज़ संगीत पसंद करता है। PRISM सिस्टम आपके विशिष्ट स्तरों को सीखता है। यह एक प्रोफाइल बनाता है जो कहता है, "यह उपयोगकर्ता अपमान से आसानी से परेशान हो जाता है, लेकिन वे कड़े राजनीतिक तर्कों के साथ सहज हैं।"
- यह कैसे काम करता है: जैसे-जैसे आप सिस्टम के साथ बातचीत करते हैं (उसे यह बताते हुए, "मुझे यह पोस्ट पसंद नहीं है" या "यह ठीक है"), यह आपकी प्रोफाइल को अपडेट करता है। यह सीखता है कि आपके लिए वास्तव में क्या हानिकारक है, न कि वह जो एक सामान्य एल्गोरिदम सोचता है कि आपके लिए हानिकारक होना चाहिए।
2. "मैनेजर एजेंट" (टीम लीडर)
जब कोई नई पोस्ट आती है, तो एक केंद्रीय "मैनेजर" उसे और आपकी प्रोफाइल को देखता है।
- उपमा: मैनेजर एक ऑर्केस्ट्रा के कंडक्टर की तरह है। वे पोस्ट को देखते हैं और कहते हैं, "इस पोस्ट में कुछ आक्रामक भाषा है और एक विशिष्ट समूह का उल्लेख है। हमें पूरे ऑर्केस्ट्रा की ज़रूरत नहीं है; चलिए केवल समाजशास्त्री (जो समूह की गतिशीलता को जानता है) और मनोवैज्ञानिक (जो भावनात्मक प्रभाव को जानता है) को बुलाते हैं।"
- ट्विस्ट: मैनेजर विशेषज्ञों को आपकी विशिष्ट प्राथमिकताएं भी फुसफुसाकर बताता है। वे मनोवैज्ञानिक से कहते हैं, "याद रखें, यह उपयोगकर्ता अमानवीय भाषा के प्रति अत्यंत संवेदनशील है, इसलिए विशेष रूप से उसी की तलाश करें।"
3. "एक्सपर्ट एजेंट्स" (विशेषज्ञ)
सिस्टम विभिन्न कोणों से सामग्री का विश्लेषण करने के लिए अलग-अलग AI "विशेषज्ञों" का उपयोग करता है।
- समाजशास्त्री (The Sociologist): समूहों के प्रति भेदभाव या अनुचित व्यवहार को देखता है।
- भाषाविद् (The Linguist): अभद्र शब्दों, अपमान या आक्रामक लहजे को देखता है।
- मनोवैज्ञानिक (The Psychologist): खतरों या ऐसी चीज़ों को देखता है जो भावनात्मक संकट पैदा कर सकती हैं।
- "घोस्ट" एजेंट (The "Ghost" Agent): यह एक विशेष एजेंट है जो बिल्कुल आपकी तरह व्यवहार करता है। यदि विशेषज्ञ असहमत होते हैं, तो घोस्ट एजेंट हस्तक्षेप करता है और कहता है, "जैसा कि इस उपयोगकर्ता ने पहले हमें बताया है, वे इसे हानिकारक पाएंगे।"
4. "सिंथेसिस एजेंट" (निर्णय लेने वाला)
अंत में, एक सिंथेसिस एजेंट विशेषज्ञों और घोस्ट के सभी विचारों को एकत्र करता है और आपकी व्यक्तिगत प्रोफाइल के विरुद्ध उनके तर्कों का मूल्यांकन करता है और अंतिम निर्णय लेता है: "यह यूजर को दिखाएं" या "इसे छिपा दें।"
उन्हें क्या मिला?
शोधकर्ताओं ने इस प्रणाली का परीक्षण पुराने "वन-साइज़-फिट्स-ऑल" तरीकों और वर्तमान में उपयोग किए जाने वाले कुछ सबसे स्मार्ट मानक AI मॉडलों के विरुद्ध किया।
- बेहतर सटीकता: उनकी व्यक्तिगत टीम ने मानक, सामान्य प्रणालियों की तुलना में यह अनुमान लगाने में 32% अधिक सटीकता दिखाई कि एक विशिष्ट उपयोगकर्ता किस चीज़ को हानिकारक पाएगा।
- कम गलतियाँ: मल्टी-एजेंट टीम ने एक एकल AI द्वारा सब कुछ करने के प्रयास की तुलना में कम गलतियाँ कीं। समस्या को छोटे कार्यों में विभाजित करके (जैसे अपमान के लिए एक विशेषज्ञ और खतरों के लिए एक विशेषज्ञ), उन्होंने दोनों के बीच भ्रम को दूर कर दिया।
- तेज़ी से सीखना: सिस्टम को सीखने के लिए वर्षों की आवश्यकता नहीं थी। उपयोगकर्ता द्वारा केवल कुछ फीडबैक देने के बाद भी, सिस्टम बेहतर काम करने लगा। इसे आपकी "पसंद" समझने में ज़्यादा समय नहीं लगा।
बड़ी तस्वीर: निर्णय कौन लेता है?
यह शोध पत्र एक बड़ा सवाल पूछता है: "यह कौन तय करता है कि क्या हानिकारक है?"
वर्तमान में, उत्तर है "प्लेटफ़ॉर्म"। वे सभी के लिए निर्णय लेते हैं।
PRISM सिस्टम सुझाव देता है कि उत्तर होना चाहिए: "उपयोगकर्ता, एक स्मार्ट टीम की मदद से।"
लेखकों का तर्क है कि जबकि प्लेटफ़ॉर्म्स को बुनियादी सुरक्षा (जैसे हिंसा को रोकना) बनाए रखने की आवश्यकता है, किसी विशिष्ट व्यक्ति के लिए क्या "बहुत अधिक" है, इसके बारे में दिन-प्रतिदिन के निर्णय उस व्यक्ति के होने चाहिए। यह प्रणाली उपयोगकर्ताओं को एक ऐसा "फ़िल्टर" रखने की अनुमति देती है जो उनके अद्वितीय मानसिक स्वास्थ्य के अनुकूल हो, न कि सभी को एक ही कठोर नियमों के तहत रहने के लिए मजबूर करती है।
संक्षेप में: एक सुरक्षा गार्ड चिल्लाकर "कोई भी यह नहीं कह सकता!" पूरे भीड़ पर लागू करने के बजाय, PRISM हर व्यक्ति को एक व्यक्तिगत बॉडीगार्ड देता है जो जानता है कि वे क्या संभाल सकते हैं और क्या नहीं, जिससे यह सुनिश्चित होता है कि हर कोई अपने तरीके से सुरक्षित महसूस करे।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।