Automated Coding of Communication Data Using ChatGPT: Consistency Across Subgroups
यह अध्ययन प्रदर्शित करता है कि ChatGPT-आधारित संचार डेटा की कोडिंग लिंग और नस्लीय/जातीय उपसमूहों में निरंतर प्रदर्शन करती है, जो मानव रेटर विश्वसनीयता से मेल खाती है और बड़े पैमाने पर सहयोगात्मक मूल्यांकनों के लिए इसकी क्षमता को प्रमाणित करती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप समूह परियोजना (group project) की बातचीत के एक विशाल ढेर को ग्रेड करने की कोशिश कर रहे हैं। अतीत में, आपको हर एक चैट संदेश को पढ़ने के लिए शिक्षकों की एक टीम रखनी पड़ती, यह तय करना पड़ता कि प्रत्येक संदेश किस "कौशल" (skill) को दर्शाता है (जैसे कि "विचार साझा करना" या "अभद्र होना") और उसे लिखना पड़ता। यह धीमा, महंगा और थका देने वाला काम था।
हाल ही में, हमने एक सुपर-स्मार्ट AI (जैसे ChatGPT) की खोज की है जो इन चैट्स को पढ़ सकता है और हमारे लिए तुरंत ग्रेडिंग कर सकता है। लेकिन, एक नए कर्मचारी की तरह, हमें पूछना होगा: "क्या यह AI निष्पक्ष है? क्या यह हर किसी को एक ही तरह से ग्रेड करता है, चाहे वह पुरुष हो या महिला, या किसी विशिष्ट नस्लीय पृष्ठभूमि से हो?"
यह शोध पत्र उस AI कर्मचारी का रिपोर्ट कार्ड है। यहाँ इसका सरल विवरण दिया गया है:
1. सेटअप: द "ग्रेडिंग मशीन"
शोधकर्ताओं ने तीन अलग-अलग प्रकार की समूह चुनौतियों को लिया:
- नेगोशिएशन (The Negotiation): एक समूह जो फंडरेजर की योजना बनाने की कोशिश कर रहा है जहाँ हर कोई अलग चीजें चाहता है।
- डिसीजन (The Decision): एक समूह जो सबसे अच्छा अपार्टमेंट चुनने की कोशिश कर रहा है, लेकिन हर कोई केवल आधे तथ्य जानता है।
- पज़ल (The Puzzle): एक समूह जो एक गुप्त कोड को हल करने की कोशिश कर रहा है जहाँ अक्षर संख्याओं के बराबर होते हैं।
वास्तविक लोगों ने इन कार्यों के बारे में चैट की। फिर, उन्होंने प्रत्येक चैट संदेश के साथ दो चीजें करने को कहा:
- एक मानवीय विशेषज्ञ (Human Expert) ने इसे पढ़ा और इसे एक श्रेणी के साथ टैग किया (जैसे, "यह 'जानकारी साझा करना' है")।
- ChatGPT ने ठीक उसी संदेश को पढ़ा और उसी श्रेणी के साथ उसे टैग करने की कोशिश की।
2. बड़ा सवाल: क्या AI पक्षपाती है?
शोधकर्ता चिंतित थे कि AI एक सख्त शिक्षक की तरह हो सकता है जो अनजाने में एक प्रकार के छात्र को दूसरे पर तरजीह देता है। हो सकता है कि AI को इंटरनेट डेटा पर प्रशिक्षित किया गया हो जो यह समझता हो कि "श्वेत पुरुष" कैसे बात करते हैं, लेकिन यह नहीं समझ पाता कि "अश्वेत महिलाएं" कैसे बात करती हैं। यदि AI पक्षपाती है, तो यह कुछ समूहों को अनुचित स्कोर दे सकता है, जो परीक्षण के परिणामों को खराब कर देगा।
इसे जांचने के लिए, उन्होंने तीन विशिष्ट "निष्पक्षता परीक्षण" (fairness tests) चलाए:
- परीक्षण 1: सहमति की जाँच (The Agreement Check)। क्या AI और मानव सभी के लिए टैग्स पर समान रूप से सहमत हुए? या क्या वे श्वेत छात्रों की तुलना में अश्वेत छात्रों के लिए अधिक असहमत थे?
- परीक्षण 2: विश्वसनीयता की जाँच (The Reliability Check)। क्या AI की ग्रेडिंग सुसंगत है? यदि AI आज एक संदेश को ग्रेड करता है, तो क्या वह कल उसी तरह से ग्रेड करेगा? क्या यह निरंतरता सभी समूहों के लिए बनी रहती है?
- परीक्षण 3: "दूसरी राय" की जाँच (The "Second Opinion" Check)। यदि एक दूसरा मानव शिक्षक संदेशों को पढ़ता, तो क्या वे AI के साथ उतना ही सहमत होते जितना वे पहले मानव शिक्षक के साथ सहमत होते हैं? यह जांचता है कि क्या AI एक इंसान की तरह व्यवहार कर रहा है।
3. परिणाम: AI पास हो गया (एक छोटी सी खामी के साथ)
अच्छी खबर:
ज्यादातर मामलों में, AI निष्पक्ष है। इसने पुरुषों और महिलाओं, और विभिन्न नस्लों के लोगों को समान सटीकता और निरंतरता के साथ ग्रेड किया। ऐसा नहीं लगा कि उसका किसी विशेष समूह के प्रति कोई "पसंदीदा" भाव था। यह AI इन परीक्षणों को बड़े पैमाने पर लागू करने के लिए तैयार है ताकि हम हजारों छात्रों का मूल्यांकन बिना सेना की तरह शिक्षकों को नियुक्त किए कर सकें।
एक अजीब सी गड़बड़ी:
"नेगोशिएशन" कार्य में एक छोटी सी समस्या आई। डेटा से पता चला कि AI ने श्वेत प्रतिभागियों की तुलना में अश्वेत प्रतिभागियों के लिए मानव विशेषज्ञ के साथ कम बार सहमति व्यक्त की।
लेकिन यहाँ एक मोड़ है: शोधकर्ताओं ने गहराई से जांच की और महसूस किया कि यह इसलिए नहीं था क्योंकि AI अश्वेत प्रतिभागियों के प्रति बुरा या पक्षपाती था।
- उपमा (Analogy): कल्पना कीजिए कि एक बास्केटबॉल रेफरी है। आमतौर पर, रेफरी और कोच 90% कॉल्स पर सहमत होते हैं। लेकिन श्वेत टीम के लिए, रेफरी और कोच 99% कॉल्स पर सहमत थे (शायद इसलिए क्योंकि श्वेत टीम बहुत अनुमानित तरीके से खेल रही थी)। अश्वेत टीम के लिए, उनकी सहमति केवल 80% थी।
- वास्तविकता: अश्वेत टीम की 80% सहमति वास्तव में बिल्कुल सामान्य थी (ठीक वैसे ही जैसे इंसान आपस में सहमत होते हैं)। यह अंतर केवल इसलिए बड़ा लग रहा था क्योंकि श्वेत टीम की सहमति असामान्य रूप से उच्च थी, न कि इसलिए कि अश्वेत टीम की सहमति असामान्य रूप से कम थी। AI अश्वेत टीम को फेल नहीं कर रहा था; बल्कि श्वेत टीम उस विशिष्ट खेल के लिए AI के ट्रेनिंग डेटा के लिए एक "परफेक्ट मैच" थी।
4. निष्कर्ष: एक सहायक, न कि एक विकल्प
शोध पत्र निष्कर्ष निकालता है कि ChatGPT संचार कौशल को ग्रेड करने के लिए एक शानदार उपकरण है। यह तेज़, सस्ता और सबसे महत्वपूर्ण बात यह है कि विभिन्न समूहों के लिए निष्पक्ष है।
हालाँकि, लेखक कुछ महत्वपूर्ण चेतावनियाँ भी देते हैं:
- यह जादू नहीं है: हमें अभी भी काम की जाँच करने के लिए मनुष्यों की आवश्यकता है, विशेष रूप से जटिल कार्यों के लिए।
- यह एक प्रगतिशील प्रक्रिया है: जैसे-जैसे AI स्मार्ट होता जा रहा है, हमें यह सुनिश्चित करने के लिए परीक्षण जारी रखने की आवश्यकता है कि यह निष्पक्ष बना रहे।
- "स्कोर" मायने रखता है: भले ही AI प्रत्येक चैट संदेश को निष्पक्ष रूप से ग्रेड करता है, हमें अभी भी यह सुनिश्चित करने की आवश्यकता है कि छात्र को दिया गया अंतिम स्कोर निष्पक्ष हो।
संक्षेप में: हमने पाया कि एक रोबोट समूह चैट को एक मानव शिक्षक की तरह ग्रेड कर सकता है, और वह सभी के साथ निष्पक्ष व्यवहार करता है। यह वास्तविक दुनिया में कौशल परीक्षण की दिशा में एक बड़ा कदम है, लेकिन हमें इस पर नज़र रखनी होगी ताकि यह सुनिश्चित हो सके कि यह अच्छा काम करता रहे।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।