ConsistencyAI: A Benchmark to Assess LLMs' Factual Consistency When Responding to Different Demographic Groups
यह शोध पत्र ConsistencyAI को प्रस्तुत करता है, जो एक स्वतंत्र बेंचमार्क है जो विविध जनसांख्यिकीय व्यक्तित्वों (डेमोग्राफिक पर्सोना) के माध्यम से तथ्यात्मक निरंतरता के लिए 19 बड़े भाषा मॉडलों का मूल्यांकन करता है, जिससे यह पता चलता है कि निरंतरता स्कोर मॉडल प्रदाता और विषय दोनों के आधार पर काफी भिन्न होते हैं, जिसका औसत बेंचमार्क थ्रेशोल्ड 0.8656 है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आधुनिक सूचना युग में, हम अपने प्रश्नों के उत्तर पाने के लिए तेजी से आर्टिफिशियल इंटेलिजेंस (कृत्रिम बुद्धिमत्ता) की ओर मुड़ रहे हैं, चाहे वह दूध की कीमत हो या जटिल इतिहास का विवरण। ये सिस्टम, जिन्हें लार्ज लैंग्वेज मॉडल्स (बड़े भाषा मॉडल) के रूप में जाना जाता है, मानव भाषा को समझने और ऐसा टेक्स्ट जेनरेट करने के लिए डिज़ाइन किए गए हैं जो बातचीत जैसा महसूस हो। वे तथ्यों तक पहुँचने का एक प्राथमिक तरीका बन गए हैं, जो अक्सर त्वरित उत्तरों के लिए पारंपरिक सर्च इंजन की जगह ले लेते हैं। हालाँकि, एक मौलिक प्रश्न बना हुआ है कि ये मशीनें कैसे काम करती हैं: क्या वे सभी को एक ही कहानी सुनाती हैं, या पूछने वाले व्यक्ति के आधार पर तथ्यों को बदल देती हैं? यदि कोई कंप्यूटर प्रोग्राम जानता है कि आप एक युवा छात्र हैं, तो क्या यह एक अलग प्रकार के सत्य प्रस्तुत करता है जो वह किसी उम्रदराज कार्यकारी (एग्जीक्यूटिव) को देता? यह संभावना निष्पक्षता और सूचना की अखंडता के बारे में चिंताएँ पैदा करती है। यदि तथ्य स्वयं व्यक्ति की पृष्ठभूमि, जैसे कि उनकी आयु, लिंग या व्यवसाय के आधार पर बदलते हैं, तो यह सुझाव देता है कि सिस्टम न केवल एक प्रश्न का उत्तर दे रहा है, बल्कि एक विशिष्ट दर्शक के अनुरूप वास्तविकता को ढाल रहा है। यह घटना, यदि वास्तविक है, तो सूक्ष्म रूप से इस बात को आकार दे सकती है कि विभिन्न समूह दुनिया को कैसे समझते हैं, जिससे संभावित रूप से दूरियाँ कम होने के बजाय बढ़ सकती हैं।
इसकी जांच करने के लिए, ड्यूक यूनिवर्सिटी और यूनिवर्सिटी ऑफ नॉर्थ कैरोलिना के शोधकर्ताओं ने 'कंसिस्टेंसी एआई' (ConsistencyAI) नामक एक नया परीक्षण बनाया। उनका लक्ष्य यह देखना था कि क्या लार्ज लैंग्वेज मॉडल्स अलग-अलग लोगों को अलग-अलग तथ्य बताते हैं। उन्होंने मॉडल्स से यह नहीं पूछा कि जानकारी सही है या नहीं; इसके बजाय, उन्होंने यह पूछा कि क्या मॉडल्स ने एक 25 वर्षीय शिक्षक को वही तथ्य दिए जो उन्होंने एक 60 वर्षीय निर्माण श्रमिक (कंस्ट्रक्शन वर्कर) को दिए थे। टीम ने संयुक्त राज्य अमेरिका के विविध लोगों का एक समूह सिम्युलेट किया, जो आयु, व्यवसाय और पृष्ठभूमि की एक विस्तृत श्रृंखला का प्रतिनिधित्व करते थे। फिर उन्होंने पच्चीस अलग-अलग आर्टिफिशियल इंटेलिजेंस मॉडल्स से पंद्रह विभिन्न विषयों, जैसे कि आवास लागत, व्यापार घाटा और राजनीतिक संघर्षों पर पाँच तथ्य प्रदान करने के लिए कहा। प्रत्येक प्रश्न प्रत्येक मॉडल से सौ बार पूछा गया था, जिसमें पूछने वाले व्यक्ति का संदर्भ (पर्सोना) हर बार एक प्रतिनिधि डेटासेट से लिए गए 100 पर्सोना का उपयोग करके बदला गया था। जवाबों की तुलना करके, शोधकर्ता यह माप सके कि पर्सोना बदलने पर सामग्री कितनी बदल गई।
परिणामों से पता चला कि हालांकि कई मॉडल्स आम तौर पर सुसंगत (कंसिस्टेंट) हैं, लेकिन वे पूरी तरह से सुसंगत नहीं हैं। शोधकर्ताओं ने पाया कि मॉडल्स वास्तव में इस आधार पर तथ्य बदल देते थे कि वे किसे संबोधित कर रहे हैं। 100 पर्सोना वाले एक बड़े पैमाने के परीक्षण में, मॉडल्स के लिए कंसिस्टेंसी स्कोर 0.9137 के उच्च स्तर से लेकर 0.6719 के निम्न स्तर तक रहा, जिसका औसत स्कोर 0.8555 था। यह औसत अध्ययन के लिए एक बेंचमार्क बन गया। सबसे सुसंगत मॉडल xAI का Grok-4 था, जो उपयोगकर्ता की परवाह किए बिना अपने तथ्यों में उल्लेखनीय रूप से स्थिर रहा। दूसरी ओर, कई हल्के और मध्यम श्रेणी के मॉडल्स में सबसे अधिक भिन्नता देखी गई। अध्ययन से पता चला कि चर्चा किया जा रहा विषय, मॉडल के स्वयं के होने जितना ही महत्वपूर्ण था। उदाहरण के लिए, जब अमेरिकी व्यापार घाटे के बारे में पूछा गया, जो स्पष्ट और मानकीकृत सरकारी डेटा वाला विषय है, तो मॉडल्स अत्यधिक सुसंगत थे। हालाँकि, जब आवास लागत के बारे में पूछा गया, जो जटिल और विविध डेटा स्रोतों वाला विषय है, तो मॉडल्स ने अलग-अलग लोगों को बहुत अलग उत्तर दिए।
शोधकर्ताओं ने यह भी पाया कि मॉडल्स केवल अपनी टोन या शैली ही नहीं बदलते, बल्कि वे वास्तव में अलग-अलग तथ्यों का चयन भी करते हैं। जब पर्सोना बदलता है, तो प्रतिक्रिया में उल्लेखित विशिष्ट विवरण, संगठन और संख्याएँ अक्सर बदल जाती हैं। उदाहरण के लिए, सीमा सुरक्षा के विषय पर, एक मॉडल वृद्ध उपयोगकर्ताओं के लिए कानून प्रवर्तन पर केंद्रित उत्तर देने की प्रवृत्ति रखता था, जबकि युवा उपयोगकर्ताओं को भूगोल पर केंद्रित उत्तर मिलते थे। एक अन्य मॉडल ने नाबालिगों को सरल, उपमा-प्रधान (एनालॉजी-हेवी) प्रतिक्रियाएं दीं, लेकिन वयस्कों को सीधे, तथ्यात्मक उत्तर दिए। यह सुझाव देता है कि मॉडल्स जनसांख्यिकीय संकेतों के प्रति संवेदनशील हैं और तदनुसार अपनी जानकारी को समायोजित करते हैं। अध्ययन में यह भी नोट किया गया कि अधिक उन्नत या "रीजनिंग" (तर्क करने वाले) मॉडल होना बेहतर निरंतरता की गारंटी नहीं देता है। कुछ छोटे, पुराने मॉडल्स ने नवीनतम, सबसे जटिल प्रणालियों की तुलना में बेहतर प्रदर्शन किया, जो यह दर्शाता है कि निरंतरता केवल मॉडल के आकार या बुद्धिमत्ता का परिणाम नहीं है।
शोध का एक महत्वपूर्ण हिस्सा विवादास्पद विषयों पर केंद्रित था। इजराइल-फिलिस्तीन संघर्ष में उत्तरों में सबसे अधिक भिन्नता देखी गई, जहाँ कुछ मॉडल्स बहुत सुसंगत तथ्य दे रहे थे और अन्य बहुत अलग-अलग तथ्य दे रहे थे। इस विषय पर, कुछ मॉडल्स ने उत्तर देने से भी इनकार कर दिया या त्रुटियां (एरर) दिखाईं, विशेष रूप रूप से तब जब उपयोगकर्ता को एक बच्चा पहचाना गया था। यह सुझाव देता है कि मॉडल्स में ऐसे इन-बिल्ट फिल्टर्स हो सकते हैं जो उन्हें उपयोगकर्ता की पहचान के आधार पर संवेदनशील विषयों से पीछे हटने के लिए प्रेरित करते हैं। अध्ययन ने यह भी पाया कि केवल राजनीतिक संवेदनशीलता ही असंगतता की भविष्यवाणी नहीं करती थी। जबकि कुछ राजनीतिक विषय अत्यधिक असंगत थे, अन्य नहीं थे, और आवास लागत जैसे गैर-राजनीतिक विषयों ने भी कम निरंतरता दिखाई। यह इंगित करता है कि एक एकल, स्थिर नैरेटिव खोजने में डेटा की कठिनाई एक प्रमुख कारक है। यदि किसी विषय पर उपलब्ध जानकारी अव्यवस्थित या विवादित है, तो मॉडल के अधिक संभावना है कि वह अलग-अलग लोगों को अलग-अलग तथ्य प्रस्तुत करेगा।
लेखक इस बात पर जोर देते हैं कि उनका कार्य यह निर्धारित नहीं करता कि तथ्य सत्य हैं या नहीं, बल्कि यह कि क्या तथ्य स्थिर हैं। उनका तर्क है कि भले ही जानकारी सही हो, लेकिन अलग-अलग लोगों को अलग-अलग तथ्य प्रस्तुत करना हानिकारक हो सकता है। यह पुष्टिकरण पूर्वाग्रह (कन्फर्मेशन बायस) की ओर ले जा सकता है, जहाँ लोग केवल वास्तविकता के उस संस्करण को सुनते हैं जो उनके मौजूदा विश्वासों के अनुकूल होता है, या यह रूढ़ियों को पुख्ता कर सकता है। अध्ययन का सुझाव है कि आर्टिफिशियल इंटेलिजेंस के वास्तव में विश्वसनीय होने के लिए, इसे पूछने वाले की परवाह किए बिना तथ्यों का एक स्थिर सेट प्रदान करना चाहिए। शोधकर्ताओं ने अपने परीक्षण उपकरण और एक इंटरैक्टिव वेबसाइट जारी की है ताकि पत्रकार, डेवलपर्स और जनता स्वयं देख सकें कि विभिन्न मॉडल्स कैसे व्यवहार करते हैं। वे आशा करते हैं कि यह पारदर्शिता कंपनियों को ऐसे सिस्टम बनाने के लिए प्रोत्साहित करेगी जो उपयोगकर्ता के अनुसार सत्य को ढालने की कम संभावना रखते हैं, यह सुनिश्चित करते हुए कि हम जिस जानकारी पर भरोसा करते हैं वह सुसंगत और विश्वसनीय बनी रहे।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।