GPF-LiveNews: A Streaming Evaluation Protocol for Group-Conditioned Framing in Large Language Models
यह शोध पत्र GPF-LiveNews प्रस्तुत करता है, जो एक स्ट्रीमिंग मूल्यांकन प्रोटोकॉल और बेंचमार्क है जो गतिशील, वास्तविक दुनिया के इनपुट के माध्यम से अर्थ संबंधी और संवेग संबंधी विविधताओं का विश्लेषण करके यह ऑडिट करता है कि बड़े भाषा मॉडल (large language models) विभिन्न पहचान समूहों के लिए उभरती समाचार घटनाओं को कैसे रूपायित करते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक बहुत ही बुद्धिमान, विद्वान लाइब्रेरियन (पुस्तकालयाध्यक्ष) है जो आपको दुनिया के बारे में कुछ भी बता सकता है। आप जानना चाहते हैं कि क्या वह लाइब्रेरियन सभी के साथ निष्पक्ष व्यवहार करता है।
समस्या यह है कि दुनिया हर दिन बदलती है। नई खबरें आती रहती हैं, लाइब्रेरियन को अपडेट मिलते रहते हैं, और जो बातें वे कह सकते हैं, उनके नियम बदलते रहते हैं। यदि आप केवल पुराने प्रश्नों की एक निश्चित सूची (जैसे, "फ्रांस की राजधानी क्या है?") के साथ लाइब्रेरियन का परीक्षण करते हैं, तो आप यह समझने में चूक सकते हैं कि वे आज की ताज़ा खबरों पर कैसी प्रतिक्रिया देते हैं।
यह शोध पत्र GPF-LIVENEWS पेश करता है, जो इन AI "लाइब्रेरियनों" को वास्तविक समय (real-time) में परखने का एक नया तरीका है। यह कैसे काम करता है, इसके लिए सरल उपमाओं का उपयोग किया गया है:
1. "लाइव न्यूज़" टेस्ट
AI को एक स्थिर क्विज़ देने के बजाय, शोधकर्ता इसे वास्तविक समाचार स्रोतों (जैसे BBC और Reuters) से ताज़ा सुर्खियाँ देते हैं। इसे ऐसे समझें जैसे आप लाइब्रेरियन को पिछले साल की पाठ्यपुस्तक के बजाय हर सुबह एक नया समाचार पत्र दे रहे हों।
2. "अलग-अलग टोपियाँ" वाला प्रयोग
मुख्य विचार यह देखना है कि क्या AI, इस आधार पर कि कौन पूछ रहा है, एक ही कहानी अलग तरह से सुनाता है।
कल्पना कीजिए कि आप लाइब्रेरियन से कर (tax) से संबंधित एक नए कानून के बारे में पूछते हैं।
- व्यक्ति A (एक धनी व्यवसायी) पूछता है: "यह मुझे कैसे प्रभावित करता है?"
- व्यक्ति B (एक छात्र) पूछता है: "यह मुझे कैसे प्रभावित करता है?"
- व्यक्ति C (एक सेवानिवृत्त व्यक्ति) पूछता है: "यह मुझे कैसे प्रभावित करता है?"
शोधकर्ता एक "जनरलाइज्ड प्रॉम्प्ट फ्रेमवर्क" (GPF) का उपयोग करके AI को 42 विभिन्न समूहों (जैसे विभिन्न नस्लों, धर्मों, लिंगों या आय स्तरों) की भूमिका निभाने के लिए कहते हैं और उनसे उसी समाचार कहानी के बारे में 7 अलग-अलग प्रकार के प्रश्न पूछते हैं।
- उदाहरण प्रश्न: "मैं एक [समूह X] हूँ। यह समाचार मेरे समुदाय को कैसे प्रभावित करता है?"
3. "बदलाव" को मापना
शोधकर्ता केवल यह नहीं देख रहे हैं कि AI बुरा या विषाक्त (toxic) व्यवहार कर रहा है या नहीं। वे फ्रेमिंग शिफ्ट (framing shifts) यानी कहानी कहने के तरीके में बदलाव को देख रहे हैं। वे उत्तरों को मापने के लिए दो मुख्य "रूलर" (पैमानों) का उपयोग करते हैं:
- "अर्थ" का पैमाना (Semantic Sensitivity): यदि AI धनी व्यवसायी को बताता है कि टैक्स कानून एक "शानदार अवसर" है, लेकिन छात्र को बताता है कि यह एक "तबाही" है, तो "अर्थ" बदल गया है। शोधकर्ता मापते हैं कि ये अर्थ एक-दूसरे से कितने दूर हैं। यदि पूछने वाले के आधार पर उत्तर बहुत भिन्न होते हैं, तो स्कोर बढ़ जाता है।
- "मिजाज" का पैमाना (Sentiment Disparity): यह मापता कि पूछने वाले के आधार पर AI का स्वर खुश, क्रोधित या उदास है या नहीं। क्या यह एक समूह के लिए उत्साहजनक और दूसरे के लिए निराशाजनक लगता है?
4. उन्हें क्या पता चला
शोधकर्ताओं ने 23 अलग-अलग AI मॉडलों (OpenAI, Google और Anthropic जैसी कंपनियों से) के साथ 12 बार यह परीक्षण चलाया। यहाँ उनकी खोजें दी गई हैं:
- "एक्शन" वाले प्रश्न सबसे अधिक शोर मचाते हैं: जब उन्होंने नीति और कार्यों (जैसे, "मुझे इस बारे में क्या करना चाहिए?") के बारे में प्रश्न पूछे, तो पूछने वाले के आधार पर AI के उत्तर सबसे अधिक बदले। ऐसा लग रहा था जैसे AI अलग-अलग दर्शकों के लिए अलग-अलग वेशभूषा पहन रहा हो।
- "मिजाज" अधिक स्थिर था: भावनात्मक स्वर (खुश बनाम उदास) वास्तविक अर्थ की तुलना में उतना नाटकीय रूप से नहीं बदला। AI एक समान "आवाज़" बनाए रखने की कोशिश करता है, भले ही वह कहानी बदल जाए।
- कोई स्थायी रैंकिंग नहीं: शोध पत्र बहुत स्पष्ट है: आप यह नहीं कह सकते कि एक AI दूसरे की तुलना में "बेहतर" या "अधिक निष्पक्ष" है। उच्च स्कोर का मतलब केवल यह है कि उस विशिष्ट दिन पर अलग-अलग लोगों के लिए AI की कहानी बहुत बदल गई। यह यह साबित नहीं करता कि AI पक्षपाती या हानिकारक है; यह केवल संकेत देता है कि कहानी अलग थी।
5. "सुरक्षा कैमरे" की उपमा
लेखक कहते हैं कि यह प्रणाली एक जज (न्यायाधीश) की तरह नहीं, बल्कि एक सुरक्षा कैमरे की तरह है।
- एक जज तय करता है कि कोई दोषी है या नहीं।
- एक सुरक्षा कैमरा बस यह रिकॉर्ड करता है कि "दोपहर 2:00 बजे हलचल हुई।"
यह उपकरण AI के लिए एक सुरक्षा कैमरा है। यह रिकॉर्ड करता है: "हे, जब हमने इस समाचार कहानी के बारे में AI से पूछा, तो इसने समूह A को एक बात बताई और समूह B को कुछ और।"
यह क्यों महत्वपूर्ण है
शोध पत्र का तर्क है कि हम केवल एक बार AI का परीक्षण करके उसे "निष्पक्ष" नहीं कह सकते। क्योंकि दुनिया बदलती है, इसलिए AI का व्यवहार भी बदलता है। यह प्रणाली हमें AI पर नज़र रखने की अनुमति देती है कि क्या नई घटनाओं के साथ-साथ वह अलग-अलग लोगों को अलग-अलग कहानियाँ सुनाना शुरू कर देता है।
संक्षेप में: इस शोध पत्र ने एक ऐसी मशीन बनाई है जो AI समाचार रिपोर्टरों पर नज़र रखती है कि क्या वे सुनने वाले के आधार पर अपनी कहानी बदलते हैं। उन्होंने पाया कि वे अक्सर ऐसा करते हैं, विशेष रूप से समाचारों के बारे में यह बताने के दौरान कि लोगों को क्या करना चाहिए। लेकिन शोध पत्र इस बात पर जोर देता है कि यह केवल मनुष्यों के लिए बारीकी से देखने के लिए एक चेतावनी लाइट है, न कि इस पर अंतिम फैसला कि AI "अच्छा" है या "बुरा"।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।