Seeing Like an AI: How LLMs Apply (and Misapply) Wikipedia Neutrality Norms
यह शोध पत्र विकिपीडिया की तटस्थ दृष्टिकोण नीति को लागू करने की लार्ज लैंग्वेज मॉडल्स (LLMs) की क्षमता का मूल्यांकन करता है, जिसमें यह पाया गया है कि हालांकि LLMs ऐसे पुनर्गठित लेख उत्पन्न कर सकते हैं जिन्हें मानवीय संपादन की तुलना में अधिक तटस्थ और सुसंगत माना जाता है, फिर भी वे सटीक पूर्वाग्रह पहचानने में संघर्ष करते हैं और अक्सर ऐसे अनावश्यक परिवर्तन करते हैं जो सामुदायिक मानदंडों से विचलित होते हैं, जिससे संभावित रूप से संपादक की एजेंसी कमजोर होती है और मॉडरेशन का बोझ बढ़ता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
विकिपीडिया की कल्पना एक विशाल, हलचल भरे शहर के रूप में करें जहाँ लाखों लोग एक ही विश्वकोश को लिखने और संपादित करने के लिए काम करते हैं। इस शहर को सुचारू रूप से चलाने के लिए, यहाँ यातायात के सख्त नियम हैं जिन्हें NPOV (तटस्थ दृष्टिकोण) कहा जाता है। ये नियम कहते हैं: "यह मत कहो कि आप क्या सोचते हैं कि सच है; बल्कि यह बताओ कि विश्वसनीय स्रोत क्या कहते हैं कि सच है। 'शानदार' या 'भयानक' जैसे भावनात्मक शब्दों का उपयोग न करें; केवल तथ्यों को प्रस्तुत करें।"
अब, कल्पना करें कि इस शहर ने सड़कों की निगरानी करने, नियम तोड़ने वालों को पकड़ने और संकेतों (signs) को ठीक करने के लिए AI रोबोट्स (लार्ज लैंग्वेज मॉडल्स) का एक बेड़ा नियुक्त किया है। इस शोध पत्र के शोधकर्ताओं ने पूछा: "क्या ये AI रोबोट शहर के यातायात नियमों को एक मानव पुलिस अधिकारी की तरह अच्छी तरह से सीख सकते हैं?"
यहाँ उनके निष्कर्ष दिए गए हैं, जिन्हें सरल कहानियों में विभाजित किया गया है:
1. "उल्लंघन पहचानें" परीक्षण (डिटेक्शन)
परिदृश्य: शोधकर्ताओं ने AI रोबोट्स को सड़क संकेतों की एक सूची दिखाई। कुछ तटस्थ (कानूनी) थे, और कुछ पक्षपाती (अवैध) थे। उन्होंने रोबोट्स से पूछा: "क्या यह संकेत नियमों का उल्लंघन कर रहा है?"
परिणाम: रोबोट इसमें बहुत खराब थे। वे केवल लगभग 64% सही थे (सिक्का उछालकर अनुमान लगाने से थोड़ा ही बेहतर)।
- उपमा: एक रोबोट की कल्पना करें जो "नो पार्किंग" का बोर्ड पहचानने की कोशिश कर रहा है। कुछ रोबट इतने डरे हुए थे कि उन्हें लगा कि हर साइन अवैध है। अन्य इतने लापरवाह थे कि उन्हें लगा कि कोई भी साइन अवैध नहीं है।
- क्यों? रोबोट "शोर वाले" (loud) शब्दों को ढूंढ रहे थे। यदि किसी साइन में लिखा था "यह एक त्रासद आपदा है," तो रोबोट चिल्ला उठा, "उल्लंघन!" लेकिन यदि साइन बिना किसी शोर वाले शब्द के सूक्ष्म रूप से पक्षपाती था, तो रोबोट उसे पूरी तरह से पहचानने में विफल रहा। वे बारीकियों को समझने के बजाय सरल ट्रिक्स (heuristics) पर निर्भर थे।
2. "साइन को ठीक करें" परीक्षण (जेनरेशन)
परिदृश्य: शोधकर्ताओं ने रोबोट्स को एक टूटा हुआ, पक्षपाती साइन दिया और कहा, "इसे ठीक करें ताकि यह नियमों का पालन करे।" फिर उन्होंने रोबोट द्वारा किए गए सुधार की तुलना एक मानव विकिपीडिया संपादक द्वारा किए गए सुधार से की।
परिणाम: रोबोट त्रुटियों को पहचानने की तुलना में लिखने में वास्तव में बेहतर थे।
- उपमा: यदि एक मानव संपादक एक साइन देखता है जिसमें लिखा है "यह भयानक ट्रैफिक बुरा है," तो वे शायद सिर्फ "भयानक" शब्द को हटा देंगे।
- मानव: "भयानक" शब्द को काट देता है। बस। (सटीक)।
- रोबोट: "भयानक" को हटा देता है, लेकिन फिर वह पूरे वाक्य को अधिक "पेशेवर" बनाने के लिए फिर से लिखता है, व्याकरण बदल देता है, एक विनम्र परिचय जोड़ देता है, और शायद तारीख को भी बदल देता है। वह पक्षपात को तो ठीक करता है, लेकिन वह पूरे साइन को ही फिर से लिख देता है।
- पेंच: रोबोटों ने लगभग सभी पक्षपात को पकड़ लिया (High Recall), लेकिन उन्होंने उन चीजों को भी बदल दिया जिन्हें बदलने की जरूरत नहीं थी (Low Precision)। वे "अति-सुधार" (over-correcting) कर रहे थे।
3. "जनमत" सर्वेक्षण
परिदृश्य: शोधकर्ताओं ने आम लोगों (क्राउडवर्कर्स) को मूल टूटा हुआ साइन, मानव द्वारा किया गया सुधार, और रोबोट द्वारा किया गया सुधार दिखाया। उन्होंने पूछा, "कौन सा बेहतर और अधिक तटस्थ लगता है?"
परिणाम: लोग रोबोट्स को पसंद करने लगे।
- उपमा: भले ही रोबोट ने बहुत अधिक बदलाव किए, फिर भी औसत व्यक्ति ने रोबोट के संस्करण को पसंद किया। क्यों? क्योंकि रोबोट की अंग्रेजी अधिक सहज, प्रवाहपूर्ण और "पॉलिश" लग रही थी। मानव संपादक का सुधार थोड़ा अजीब था क्योंकि उन्होंने केवल न्यूनतम बदलाव किए थे।
- ट्विस्ट: वोट देने वाले लोग पाठक थे, न कि वे संपादक जो वास्तव में विकिपीडिया चलाते हैं। पाठकों को रोबोट का "स्मूथ" संस्करण पसंद आया, लेकिन विकिपीडिया के संपादक (विशेषज्ञ) इसे नापसंद कर सकते हैं क्योंकि रोबोट ने उनके काम को बहुत अधिक बदल दिया।
4. "NPOV+" की समस्या
शोधकर्ताओं ने रोबोट्स को एक उपनाम दिया: "NPOV+"।
- NPOV केवल नियमों का पालन करना है।
- NPOV+ नियमों का पालन करना प्लस व्याकरण को फिर से लिखना, शैली बदलना और अतिरिक्त बातें जोड़ना है।
रोबोट खुश करने के लिए इतने उत्सुक थे कि उन्होंने केवल पक्षपात को ठीक नहीं किया; उन्होंने पूरे लेख को "बेहतर" बनाने की कोशिश की। यह एक समस्या पैदा करता है: यदि एक रोबोट आपके लेख को फिर से लिखता है, तो आपको (मानव संपादक को) घंटों तक यह जांचने में बिताने होंगे कि कहीं रोबोट ने अनजाने में कुछ और तो नहीं बिगाड़ दिया या कोई तथ्य तो नहीं बना दिया। यह मनुष्यों के लिए अधिक काम पैदा करता है।
मुख्य निष्कर्ष
शोध पत्र यह निष्कर्ष निकालता है कि AI को केवल एक नियम पुस्तिका देना पर्याप्त नहीं है।
- इंसान उन मास्टर शेफ की तरह हैं जो जानते हैं कि बिल्कुल कितना नमक डालना है। वे बहुत छोटे, सटीक समायोजन करते हैं।
- AI उस रोबोट शेफ की तरह है जिसने रेसिपी तो पढ़ ली है लेकिन उसके पास रसोई का "स्वाद" नहीं है। वह जानता है कि नियम कहता है "नमक नहीं," इसलिए वह नमक हटा देता है, लेकिन फिर वह प्लेट का रंग और कांटे का आकार भी बदलने का फैसला करता है क्योंकि उसे लगता है कि "अच्छा भोजन" ऐसा ही दिखता है।
संक्षेप में: AI सहज, तटस्थ दिखने वाला टेक्स्ट लिखने में बहुत अच्छा है जिसे आम लोग पसंद करते हैं। लेकिन, यह किसी विशिष्ट समुदाय (जैसे विकिपीडिया) के सूक्ष्म नियमों को समझने में संघर्ष करता है और अत्यधिक संपादन (over-edit) करने की प्रवृत्ति रखता है, जिससे वे विशेषज्ञ परेशान हो सकते हैं जो वास्तव में उस समुदाय का रखरखाव करते हैं। हमें सावधान रहने की जरूरत है कि हम केवल इसलिए रोबोट को कार चलाने न दे दें क्योंकि उनमें एक अच्छा रेडियो लगा है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।