A Scalable Entity-Based Framework for Auditing Bias in LLMs
यह शोध पत्र एलएलएम (LLM) पूर्वाग्रह के ऑडिटिंग के लिए एक स्केलेबल, एंटिटी-आधारित ढांचे को प्रस्तुत करता है जो अब तक के सबसे बड़े अध्ययन (1.9 बिलियन डेटा पॉइंट्स) को संचालित करने के लिए सिंथेटिक डेटा का लाभ उठाता है, जो राजनीतिक और भौगोलिक पक्षपात जैसे व्यवस्थित विचलनों को प्रकट करता है जो इंस्ट्रक्शन ट्यूनिंग के बावजूद बने रहते हैं और मॉडल के बढ़ते स्केल द्वारा और अधिक बढ़ जाते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक बहुत ही बुद्धिमान, सुशिक्षित लाइब्रेरियन है जिसका नाम "द मॉडल" (The Model) है। इस लाइब्रेरियन ने इंटरनेट पर लिखी गई लगभग हर चीज़ पढ़ ली है। अब, कल्पना कीजिए कि आप यह परीक्षण करना चाहते हैं कि क्या यह लाइब्रेरियन अलग-अलग लोगों, देशों या कंपनियों के बारे में बात करते समय निष्पक्ष है।
समस्या यह है कि यदि आप केवल लाइब्रेरियन से पूछेंगे, "क्या देश X एक अच्छी जगह है?" तो वे समाचारों में जो कुछ भी पढ़ा है, उसके आधार पर उत्तर दे सकते हैं, जो पक्षपाती हो सकता है। यदि आप पूछते हैं, "क्या राजनेता Y ईमानदार है?" तो वे वर्षों तक पढ़ने से बनी अपनी व्यक्तिगत राय की ओर झुक सकते हैं।
यह शोध पत्र लाइब्रेरियन को धोखा दिए बिना या उनसे सीधे राय वाले प्रश्न पूछे बिना उनकी निष्पक्षता का परीक्षण करने का एक चतुर नया तरीका पेश करता है। उन्होंने इसे कैसे किया, यहाँ सरल रूप में समझाया गया है:
1. "नाम-बदलने" वाला खेल (The "Name-Swap" Game)
लाइब्रेरियन से उनकी राय पूछने के बजाय, शोधकर्ताओं ने एक खेल बनाया। उन्होंने लाखों छोटी कहानियाँ (वाक्य) लिखीं जहाँ तथ्य स्पष्ट रूप से एक उत्तर की ओर इशारा कर रहे थे, लेकिन केवल व्यक्ति या स्थान का नाम बदल रहा था।
- सेटअप: कल्पना कीजिए कि एक वाक्य है जो कहता है, "[नाम] के नेता ने एक ऐसी संधि पर हस्ताक्षर किए जिसे सभी ने निष्पक्ष माना।"
- परीक्षण: वाक्य की संरचना बिल्कुल समान है, लेकिन [नाम] को "फ्रांस", "उत्तर कोरिया", "जर्मनी" या "सीरिया" से बदल दिया गया है।
- तर्क: चूंकि वाक्य कहता है कि संधि "निष्पक्ष" थी, इसलिए उत्तर वही होना चाहिए चाहे नेता कोई भी हो। यदि लाइब्रेरियन अचानक कहता है कि "फ्रांस अच्छा है" लेकिन "उत्तर कोरिया बुरा है" जबकि वाक्य बिल्कुल एक जैसा है, तो यह साबित करता है कि लाइब्रेरियन तथ्यों के बजाय नाम के आधार पर निर्णय ले रहा है।
2. "फेक न्यूज" फैक्ट्री (सिंथेटिक डेटा)
इसे बड़े पैमाने पर परीक्षण करने के लिए, शोधकर्ताओं ने केवल वास्तविक समाचार लेखों (जो अव्यवस्थित और नियंत्रित करना कठिन होते हैं) का उपयोग नहीं किया। उन्होंने 1.9 बिलियन नकली वाक्य उत्पन्न करने के लिए एक "फैक्ट्री" बनाई।
इसे एक वीडियो गेम की तरह समझें जहाँ आप हजारों समान कमरे बना सकते हैं, लेकिन आप बस दीवार पर पेंटिंग बदल देते हैं। इसने शोधकर्ताओं को एक ऐसे पैमाने पर परीक्षण करने की अनुमति दी जो पहले कभी नहीं देखा गया था, जिसमें अंग्रेजी, रूसी और चीनी भाषा में राजनेता, देश और कंपनियां शामिल थीं।
बड़ी खोज: उन्होंने जांचा कि क्या ये "नकली" वाक्य वास्तविक वाक्यों की तरह काम करते हैं। उन्होंने पाया कि नकली वाक्यों में लाइब्रेरियन का पक्षपात वास्तविक समाचारों में उनके पक्षपात से पूरी तरह मेल खाता है। इसका मतलब है कि उनका "फैक्ट्री" मॉडल वास्तविक दुनिया के लाखों उदाहरणों की आवश्यकता के बिना निष्पक्षता का परीक्षण करने का एक वैध तरीका है।
3. लाइब्रेरियन ने वास्तव में क्या कहा (परिणाम)
जब उन्होंने 1.9 बिलियन डेटा पॉइंट्स के साथ यह खेल चलाया, तो उन्हें कुछ बहुत ही सुसंगत पैटर्न मिले। लाइब्रेरियन तटस्थ नहीं था; उसके पास नामों के आधार पर मजबूत "पूर्व-धारणाएं" थीं:
- राजनीति: लाइब्रेरियन ने वामपंथी (Left) नेताओं को पसंद किया और अत्यधिक दक्षिणपंथी (Far-Right) नेताओं को नापसंद किया। वे महिला राजनेताओं को पुरुष राजनेताओं की तुलना में थोड़ा अधिक उच्च रेटिंग देने की ओर भी झुके हुए थे।
- भूगोल: लाइब्रेरियन के पास एक मजबूत "पश्चिम बनाम शेष" (West vs. Rest) का पक्षपात था। धनी पश्चिमी देशों (जैसे स्वीडन या स्विट्जरलैंड) को उच्च स्कोर मिले। ग्लोबल साउथ के देशों (जैसे सीरिया या उत्तर कोरिया) को बहुत कम स्कोर मिले, भले ही वाक्य सकारात्मक था।
- व्यवसाय: पश्चिमी कंपनियों को छूट मिली। रक्षा (हथियार) और फार्मास्युटिकल (दवा) क्षेत्रों की कंपनियों को दंडित किया गया, संभवतः इसलिए क्योंकि लाइब्रेरियन उनके प्रशिक्षण डेटा में विवादों के साथ उन्हें जोड़ता है।
4. क्या आकार या भाषा मायने रखती है?
शोधकर्ताओं ने परीक्षण किया कि क्या लाइब्रेरियन को "अधिक बुद्धिमान" (बड़े मॉडल) बनाने या अलग भाषा बोलने से मदद मिलती है।
- बड़ा होना बेहतर नहीं है: आश्चर्यजनक रूप से, बड़े, अधिक शक्तिशाली मॉडल वास्तव में अधिक पक्षपाती थे। उनके विचार छोटे मॉडलों की तुलना में अधिक मजबूत थे।
- भाषा इसे ठीक नहीं करती: आप सोच सकते हैं कि रूसी या चीनी में पूछने से लाइब्रेरियन रूसी या चीनी संस्थाओं के प्रति अधिक निष्पक्ष होगा। ऐसा नहीं हुआ। भले ही उन्हें उनकी मूल भाषा में पूछा गया हो, लाइब्रेरियन अभी भी पश्चिमी संस्थाओं का पक्ष लेता रहा। ऐसा लगता है कि लाइब्रेरियन का "दिमाग" मुख्य रूप से अंग्रेजी डेटा पर बना था, और यह अंग्रेजी पक्षपात किसी भी भाषा में बना रहता है।
- निर्देश थोड़ा मदद करते हैं: यदि आप लाइब्रेरियन को कहते हैं, "तटस्थ रहें और नियमों का पालन करें" (इंस्ट्रक्शन ट्यूनिंग), तो वे थोड़े कम पक्षपाती हो जाते हैं, लेकिन वे पक्षपाती होना बंद नहीं करते हैं। वे बस अपनी राय को थोड़ा कम कर देते हैं।
5. यह क्यों महत्वपूर्ण है
यह शोध पत्र निष्कर्ष निकालता है कि ये बड़े भाषा मॉडल (LLMs) दुनिया की मौजूदा असमानताओं को दर्शाने वाले दर्पण की तरह हैं। यदि आप इनका उपयोग यह तय करने के लिए करते हैं कि किसे ऋण मिलना चाहिए, कौन सी खबर दिखानी चाहिए, या किसी देश के जोखिम का आकलन कैसे किया जाए, तो वे केवल उनके नाम के कारण कुछ समूहों को अनुचित रूप से दंडित कर सकते हैं, न कि वास्तविक साक्ष्य के आधार पर।
लेखकों ने एक "बायस डिटेक्टर" (पक्षपात का पता लगाने वाला) टूल बनाया है (जिसे उन्होंने सार्वजनिक किया है), ताकि इन AI मॉडलों को महत्वपूर्ण कार्यों के लिए उपयोग करने से पहले, कोई भी इस "नाम-बदलने" वाले खेल को चलाकर देख सके कि क्या मॉडल निष्पक्ष है।
संक्षेप में: यह शोध पत्र दिखाता है कि भले ही आप एक AI को सभी तथ्य दे दें, फिर भी वह अक्सर आपके नाम, आपके देश या आपकी कंपनी के उद्योग के आधार पर आपका निर्णय करता है, और AI को बड़ा बनाना या उससे अलग भाषा में बात करना इस समस्या को ठीक नहीं करता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।