How Human Feedback Shapes AI-generated Community Notes
यह शोध पत्र X पर सहयोगात्मक नोट्स के एक विशाल संग्रह का विश्लेषण करता है ताकि यह प्रदर्शित किया जा सके कि हालांकि मानवीय फीडबैक AI द्वारा तैयार की गई सामग्री की उपयोगिता में महत्वपूर्ण सुधार करता है—विशेष रूप से तथ्यात्मक सुधारों और दावों को चुनौती देने के माध्यम से—ये हाइब्रिड नोट्स सीमित भागीदारी के कारण अपनाने में बाधाओं का सामना करते हैं और अंततः उन पोस्टों को लक्षित करके एक पूरक भूमिका निभाते हैं जिन्हें विशुद्ध रूप से मानवीय या केवल AI-आधारित मॉडरेशन द्वारा अनदेखा कर दिया जाता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि एक विशाल शहर का चौक है जहाँ लोग संदेश पोस्ट करते हैं, और कभी-कभी उन संदेशों में झूठ या आधे-अधूरे सच होते हैं। चौक को ईमानदार बनाए रखने के लिए, प्लेटफॉर्म एक सिस्टम का उपयोग करता है जिसे कम्युनिटी नोट्स (Community Notes) कहा जाता है। इसे एक पड़ोस की निगरानी (neighborhood watch) की तरह समझें जहाँ पेशेवर पुलिस अधिकारी नहीं, बल्कि आम नागरिक तथ्य-जांच (fact-checks) लिखने के लिए आगे आते हैं।
हाल ही में, प्लेटफॉर्म (X) ने एक नया प्रयोग किया: कोलेबोरेटिव नोट्स (Collaborative Notes)। इसमें इंसान द्वारा शून्य से तथ्य-जांच लिखने के बजाय, एक AI (एक रोबोट लेखक) पहले ड्राफ्ट तैयार करता है। फिर, मानव पड़ोसी उस ड्राफ्ट को पढ़ते हैं, बदलावों का सुझाव देते हैं, और AI उसे फिर से लिखता है। यह एक लूप की तरह चलता है जब तक कि नोट इतना अच्छा न हो जाए कि उसे सभी को दिखाया जा सके।
यह पेपर इस बारे में एक रिपोर्ट कार्ड की तरह है कि यह "इंसान + रोबोट" की टीम कितनी अच्छी तरह काम कर रही है। यहाँ शोधकर्ताओं ने जो पाया है, उसे सरल भाषा में समझाया गया है:
1. फीडबैक लूप: कौन बात कर रहा है और वे क्या कह रहे हैं?
जब AI एक ड्राफ्ट लिखता है, तो इंसान उसमें सुधार करने के लिए आते हैं। शोधकर्ताओं ने इन हजारों आलोचनाओं (critiques) का अध्ययन किया और उन्हें श्रेणियों में बांटा:
- "तथ्य-जांचकर्ता" (The Fact-Checkers): वे लोग जो गलतियों की ओर इशारा करते हैं या छूटे हुए संदर्भ जोड़ते हैं (जैसे, "यह स्रोत फर्जी है" या "आपने तारीख बताना भूल गए")।
- "संपादक" (The Editors): वे लोग जो व्याकरण या फॉर्मेटिंग ठीक करते हैं।
- "दार्शनिक" (The Philosophers): वे लोग जो इस बात पर बहस करते हैं कि क्या नोट का अस्तित्व होना चाहिए या अपनी व्यक्तिगत नैतिक राय व्यक्त करते हैं।
- "एंटी-रोबोट" भीड़ (The Anti-Robot Crowd): वे लोग जो स्पष्ट रूप से कहते हैं, "हम नहीं चाहते कि AI यह काम करे।"
निर्णय: AI "तथ्य-जांचकर्ताओं" और "संपादकों" की बात सुनने में बहुत अच्छा है। यदि आप इसे किसी स्रोत का लिंक या स्पष्ट सुधार देते हैं, तो यह आमतौर पर उसे ठीक कर देता है। हालाँकि, यह "दार्शनिकों" और "एंटी-रोबोट" भीड़ को काफी हद तक अनदेखा करता है। यदि आप बिना किसी विशिष्ट कारण के केवल यह कहते हैं कि "मुझे यह नोट पसंद नहीं है", तो AI ड्राफ्ट को वैसा ही रहने देता है।
कौन बात कर रहा है? यह पता चला है कि AI के ड्राफ्ट की आलोचना करने वाले लोग आपके औसत उपयोगकर्ता नहीं हैं। वे "अनुभवी" (veterans) हैं—वे लोग जो वर्षों से प्लेटफॉर्म पर हैं, जिन्होंने हजारों नोट्स को रेट किया है, और अक्सर बहुत मजबूत, ध्रुवीकृत (polarized) राजनीतिक विचार रखते हैं। यह ऐसा है जैसे शहर के चौक की बैठक में पूरे समुदाय के बजाय उन्हीं 50 शोर मचाने वाले, अनुभवी पड़ोसियों का दबदबा हो।
2. विकास: क्या नोट बेहतर होता है?
एक मूर्ति की कल्पना करें। AI पत्थर के एक खुरदरे ब्लॉक से शुरू करता है। इंसान उसे तराशते हैं, और AI उसे चिकना करता है।
- हाँ, यह बेहतर होता है: औसतन, नोट का अंतिम संस्करण उस पहले ड्राफ्ट की तुलना में बहुत अधिक उपयोगी होता है जो AI ने बनाया था।
- लेकिन यह उतार-चढ़ाव भरा है: सुधार एक सीधी रेखा में नहीं होता। कभी-कभी एक बदलाव नोट को बेहतर बनाने से पहले उसे बदतर बना देता है। यह "हॉट एंड कोल्ड" (सही या गलत का अनुमान लगाने वाला खेल) के खेल जैसा है जहाँ नोट एक अच्छा संस्करण बनने से पहले गुणवत्ता में उतार-चढ़ाव दिखाता है।
- अधिक राउंड = बेहतर परिणाम: सुधार के कई दौर (लंबे चैन) से गुजरने वाले नोट्स, जो केवल एक या दो बार में ही बदल दिए जाते हैं, उनकी तुलना में बहुत उच्च गुणवत्ता के होते हैं।
3. वास्तविकता की जाँच: क्या यह नया सिस्टम वास्तव में काम कर रहा है?
यहाँ पेचीदा बात है। भले ही इंसान की मदद से नोट्स बेहतर होते हैं, लेकिन "इंसान + रोबोट" वाले नोट्स, शुद्ध रूप से मानव-लिखित या शुद्ध रूप से AI-लिखित नोट्स की तुलना में संघर्ष कर रहे हैं।
- "उपयोगिता" का अंतर (The Helpfulness Gap): सहयोगी नोट्स को मानव-केवल या AI-केवल नोट्स की तुलना में बहुत कम बार "उपयोगी" माना जाता है। केवल लगभग 1.8% ही सफल हो पाते हैं, जबकि AI-केवल नोट्स के लिए यह 14% और मानव-केवल नोट्स के लिए 9% है।
- "गति" की समस्या (The Speed Problem): एक सहयोगी नोट को दिखाए जाने के लिए पर्याप्त वोट प्राप्त करने में बहुत अधिक समय लगता है। यह अन्य प्रणालियों की तेज़ कारों की तुलना में एक धीमी गति वाली ट्रेन की तरह है।
- "भीड़" की समस्या (The Crowd Problem): वे क्यों विफल हो रहे हैं? क्योंकि पर्याप्त लोग वोट नहीं दे रहे हैं।
- लोग AI ड्राफ्ट को रेट करने में हिचकिचाते दिखते हैं।
- लोग थक जाते हैं। यदि आप पहले ड्राफ्ट को रेट करते हैं, तो आप शायद ही कभी दूसरे या तीसरे ड्राफ्ट को रेट करने के लिए वापस आते हैं। "दर्शक" बदलता रहता है, इसलिए नोट कभी भी एक स्थिर सहमति (consensus) तक नहीं पहुँच पाता।
4. आशा की किरण: इसे जारी रखने का क्या कारण है?
यदि वे धीमे और कम लोकप्रिय हैं, तो वे इसकी परवाह क्यों करते हैं? शोधकर्ताओं ने पाया कि ये नोट्स एक पूरक भूमिका (complementary role) निभाते हैं।
फिर से उसी शहर के चौक की कल्पना करें। "मानव-केवल" और "AI-केवल" टीमें सबसे स्पष्ट और लोकप्रिय झूठ की जांच करने में व्यस्त हैं। लेकिन हजारों अन्य पोस्ट हैं जिन्हें कोई भी चेक नहीं कर रहा है। "सहयोगी" टीम उन भूले हुए पोस्ट की जांच करने के लिए आगे आती है जहाँ कोई और नहीं देख रहा है। वे उन रिक्त स्थानों को भरते हैं जहाँ कोई और नहीं देख रहा है।
सारांश
प्रयोग से पता चलता है कि AI एक अच्छा पहला ड्राफ्ट लिख सकता है, और इंसान उसे ठीक कर सकते हैं, लेकिन वर्तमान सिस्टम में कुछ खामियां हैं:
- बहुत कम लोग AI ड्राफ्ट को ठीक करने के लिए तैयार हैं।
- जो लोग मदद करते हैं, वे ज्यादातर वही "अनुभवी" लोग हैं जिनके विचार बहुत प्रबल हैं।
- प्रक्रिया बहुत धीमी है, और लोग पहले ड्राफ्ट के बाद रुचि खो देते हैं।
शोधपत्र सुझाव देता है कि इसे ठीक करने के लिए, प्लेटफॉर्म को आम लोगों के लिए इसमें शामिल होना आसान बनाना होगा, शायद उन्हें लंबे कमेंट लिखने के लिए मजबूर न करके, और उन्हें अपडेट किए गए संस्करणों पर वापस आकर वोट करने के लिए प्रोत्साहित करके। यदि वे अधिक लोगों को भाग लेने के लिए प्रोत्साहित कर सकते हैं, तो ये "इंसान + रोबोट" टीम वाले नोट्स इंटरनेट को साफ करने के लिए एक शक्तिशाली उपकरण बन सकते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।