Subjective Multi-Bias Detection with Large Language Models
यह शोध पत्र एक ऐसे प्रोजेक्ट को प्रस्तुत करता है जो टेक्स्ट में तीन प्रकार के व्यक्तिपरक पूर्वाग्रहों—फ्रेमिंग (framing), ज्ञानमीमांसीय (epistemological), और जनसांख्यिकीय (demographic)—का पता लगाने और उन्हें वर्गीकृत करने के लिए लार्ज लैंग्वेज मॉडल्स का उपयोग करता है, जिसमें अनुचित दृष्टिकोणों और गलत प्रस्तुतियों की पहचान करने के लिए 4,000 से अधिक विकिपीडिया संपादन युग्मों के WIKIBIAS डेटासेट का लाभ उठाया गया है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक न्यूज़ फीड देख रहे हैं या विकिपीडिया का कोई लेख पढ़ रहे हैं, और आपकी नज़र एक ऐसे वाक्य पर पड़ती है जो थोड़ा सा अजीब लगता है। शायद वह किसी विशिष्ट समूह को बिना सीधे कहे ही खलनायक जैसा दिखाता है, या वह किसी संदिग्ध दावे को पूर्ण सत्य दिखाने के लिए भारी-भरकम शब्दों का उपयोग करता है। यह विषयगत पूर्वाग्रह (subjective bias) की दुनिया है। यह केवल झूठ बोलने के बारे में नहीं है; यह उन सूक्ष्म, चालाकी भरे तरीकों के बारे में है जिनसे लेखक सच्चाई को मोड़ सकते हैं या अपनी राय को "तथ्यों" के भीतर छिपा सकते हैं। इसे पकड़ना कंप्यूटर के लिए एक बड़ी चुनौती है क्योंकि, गणित की किसी स्पष्ट समस्या की तरह जिसका सही या गलत उत्तर होता है, पूर्वाग्रह अक्सर लहजे, शब्दों के चयन और अनकही धारणाओं में छिपा होता है।
वर्षों से, वैज्ञानिक BERT जैसे मॉडलों का उपयोग करके इन तरकीबों को पहचानने के लिए कंप्यूटर को सिखाने की कोशिश कर रहे हैं, जो एक बहुत ही बुद्धिमान छात्र की तरह है जिसने लाखों किताबें पढ़ी हैं लेकिन फिर भी कभी-कभी वह वाक्य के "भाव" (vibe) को समझने में चूक जाता है। हाल ही में, लार्ज लैंग्वेज मॉडल्स (LLMs) की एक नई पीढ़ी आई है। इन्हें शक्तिशाली AI मस्तिष्क समझें जो न केवल शब्दों को पढ़ते हैं बल्कि मानव भाषा, संस्कृति और संदर्भ के जटिल नृत्य को भी समझते हैं। बड़ा सवाल जो शोधकर्ता पूछ रहे हैं वह यह है: क्या ये विशाल AI मस्तिष्क अंततः उस सूक्ष्म, विषयगत पूर्वाग्रह को पकड़ पाएंगे जिसे पुराने मॉडल मिस कर देते हैं?
यह शोध पत्र उन शोधकर्ताओं की टीम की कहानी है जिन्होंने इन नए AI मस्तिष्क को परखने का फैसला किया। उन्होंने WIKIBIAS नामक एक कठिन डेटासेट को चुनौती दी, जिसमें विकिपीडिया संपादन से वाक्यों के 4,000 से अधिक जोड़े हैं। ये जोड़े "पहले और बाद" के स्नैपशॉट की तरह हैं, जहाँ किसी ने एक विशिष्ट प्रकार का पूर्वाग्रह जोड़ने के लिए एक वाक्य में बदलाव किया है। शोधकर्ता तीन विशिष्ट प्रकार की तरकीबों की तलाश कर रहे थे: फ्रेमिंग बायस (framing bias) (एकतरफा शब्दों का उपयोग करके एक दृष्टिकोण को बढ़ावा देना), एपिस्टेमोलॉजिकल बायस (epistemological bias) (सूक्ष्म भाषा जो किसी कहानी को वास्तविक से अधिक या कम विश्वसनीय बनाती है), और डेमोग्राफिक बायस (demographic bias) (ऐसे शब्द जो किसी व्यक्ति के लिंग, धर्म या पृष्ठभूमि के बारे में धारणा बनाते हैं)।
सबसे पहले, उन्होंने पुराने स्कूल के तरीके को आजमाया: एक मानक BERT मॉडल। यह एक मेहनती लेकिन थोड़ी दूरदर्शी दृष्टि वाले छात्र को पेपर ग्रेड करने के लिए कहने जैसा था। परिणाम क्या रहा? इसने "मैक्रो-F1" नामक एक स्कोर प्राप्त किया जो 0.33 था (एक पैमाना जो मॉडल के विभिन्न श्रेणियों में प्रदर्शन को मापता है)। मॉडल संघर्ष करता रहा, विशेष रूप से अधिक जटिल और कम सामान्य प्रकार के पूर्वाग्रहों के साथ, अक्सर उन्हें भ्रमित कर देता या पूरी तरह से मिस कर देता। यह स्पष्ट था कि पुराने उपकरण इस काम के लिए पर्याप्त तेज नहीं थे।
इसलिए, टीम ने कुछ नया बनाया: EnsembleLlama। केवल एक AI पर निर्भर रहने के बजाय, उन्होंने एक "विशेषज्ञों की टीम" बनाई। उन्होंने LLaMA2 (विशेष रूप से 7-बिलियन पैरामीटर वाला संस्करण) नामक एक शक्तिशाली ओपन-सोर्स मॉडल लिया और उसे एक विशेष काम दिया। सभी तीन पूर्वाग्रहों का एक साथ अनुमान लगाने के बजाय—जिससे मॉडल भ्रमित हो रहा था क्योंकि कुछ पूर्वाग्रही दुर्लभ होते हैं—उन्होंने तीन अलग-अलग "मिनी-एक्सपर्ट्स" को प्रशिक्षित किया। एक विशेषज्ञ केवल फ्रेमिंग बायस को देखता था, दूसरा केवल एपिस्टेमोलॉजिकल बायस को, और तीसरा केवल डेमोग्राफिक बायस को। फिर उन्होंने इन तीन विशेषज्ञों को एक साथ जोड़ा, जिससे वे अंतिम उत्तर पर मतदान कर सकें।
परिणाम क्रांतिकारी थे। इस टीम दृष्टिकोण का उपयोग करके, नए मॉडल ने अपने स्कोर को 0.33 से बढ़ाकर 0.59 कर दिया। यह पुराने बेसलाइन से 26% का सुधार है। इसने न केवल आसान चीजों में बेहतर प्रदर्शन किया; बल्कि इसने उन दुर्लभ और कठिन पूर्वाग्रहों को पकड़ने की अपनी क्षमता में भी महत्वपूर्ण सुधार किया जिन्हें पुराना मॉडल मिस कर देता था। उदाहरण के लिए, जब पुराने मॉडल ने एक मृत IRA स्वयंसेवक के बारे में वाक्य देखा और सोचा कि यह केवल "फ्रेमिंग" है, तो नए मॉडल ने इसे सही ढंग से "एपिस्टेमोलॉजिकल बायस" के रूप में पहचाना।
हालाँकि, शोधकर्ता सावधान हैं कि वे इसे एक पूर्ण समाधान नहीं कह सकते। वे स्वीकार करते हैं कि हालांकि उनका मॉडल बहुत बेहतर है, फिर भी यह पूर्ण नहीं है। ऐसे मामले हैं जहाँ AI भ्रमित हो जाता है, जैसे कि माता-पिता द्वारा स्थापित स्कूल के बारे में एक वाक्य को "कोई पूर्वाग्रह नहीं" के रूप में गलत लेबल किया गया जबकि वास्तव में उसमें "फ्रेमिंग बायस" था। वे सुझाव देते हैं कि मॉडल की सफलता अभी भी इस बात से जुड़ी है कि वह टेक्स्ट को कितनी अच्छी तरह समझता है और उसके पास क्या ज्ञान है। वे यह भी नोट करते हैं कि विशेषज्ञों को जोड़ने से मदद मिली, लेकिन भविष्य में उन्हें संयोजित करने के और भी स्मार्ट तरीके हो सकते हैं।
संक्षेप में, यह शोध पत्र दिखाता है कि एक कठिन समस्या को छोटे टुकड़ों में तोड़कर और प्रत्येक टुकड़े से निपटने के लिए एक शक्तिशाली नए AI मस्तिष्क का उपयोग करके, हम विषयगत पूर्वाग्रह को पहले की तुलना में बहुत बेहतर तरीके से पकड़ सकते हैं। यह एक बड़ा कदम है, लेकिन टेक्स्ट में मानवीय पूर्वाग्रह को पूरी तरह से समझने की यात्रा अभी भी जारी है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।