Identifying High-Confidence Social Biases in LLMs for Trustworthy Conversational Tutoring Agents
यह अध्ययन संवादात्मक ट्यूटरिंग परिदृश्यों में लार्ज लैंग्वेज मॉडल्स का मूल्यांकन करने के लिए एक नवीन डेटासेट जनरेशन पद्धति प्रस्तुत करता है, जो यह प्रकट करता है कि अत्याधुनिक मॉडल्स स्वाभाविक अंतःक्रियाओं में सामाजिक पूर्वाग्रहों का पता लगाने में संघर्ष करते हैं और अक्सर अपने गलत, पक्षपाती मूल्यांकनों में खतरनाक अति-आत्मविश्वास प्रदर्शित करते हैं, जिससे विश्वसनीय शैक्षिक फीडबैक के लिए महत्वपूर्ण जोखिम उत्पन्न होते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक बिल्कुल नया, अविश्वसनीय रूप से स्मार्ट रोबोट ट्यूटर है। यह एक सुपर-टीचर की तरह है जो एक साथ हजारों छात्रों से बात कर सकता है, उन्हें अंग्रेजी सीखने में व्यक्तिगत मदद दे सकता है। हर कोई उत्साहित है क्योंकि यह एकदम सटीक लगता है। लेकिन इसमें एक छिपी हुई समस्या है: यह रोबोट कभी-कभी "हैलुसिनेट" (भ्रमित होना या मनगढ़ंत बातें बनाना) करता है और, इससे भी महत्वपूर्ण बात यह है कि इसमें छिपे हुए पूर्वाग्रह (बायस) हैं जो उस विशाल मात्रा में टेक्स्ट से आए हैं जिस पर इसे प्रशिक्षित किया गया था।
यह शोध पत्र उस रोबोट ट्यूटर के लिए एक सुरक्षा निरीक्षण की तरह है। शोधकर्ता यह पता लगाना चाहते थे: जब रोबोट ट्यूटर किसी छात्र की पक्षपाती टिप्पणी के बारे में गलत होता है, तो क्या उसे पता होता है कि वह अनिश्चित है, या वह आत्मविश्वास के साथ छात्र को बताता है कि वह सही है?
यहाँ उनके अन्वेषण का विवरण सरल उपमाओं (analogies) का उपयोग करके दिया गया है:
1. "नकली छात्र" का कारखाना
रोबोट का परीक्षण करने के लिए, शोधकर्ता वास्तविक छात्रों का उपयोग नहीं कर सकते थे क्योंकि गोपनीयता के नियम थे। इसलिए, उन्होंने एक डिजिटल कारखाना बनाया।
- उन्होंने छात्रों और एआई ट्यूटर्स के बीच वास्तविक बातचीत ली।
- उन्होंने उन बातचीत को पूरी तरह से पुन: बनाने के लिए एक "फोटोकॉपी मशीन" (एक एआई मॉडल जिसे DeepSeek कहा जाता है) का उपयोग किया, जिसमें छात्रों द्वारा की गई गलतियों और उनकी शैली को भी बरकरार रखा गया।
- फिर, उन्होंने गुप्त रूप से प्रत्येक बातचीत में एक "जहरीला" वाक्य डाल दिया। यह वाक्य एक रूढ़िबद्ध धारणा (stereotype) थी (जैसे, "महिलाएं गणित में खराब होती हैं" या "पुरुष खाना पकाने में खराब होते हैं") जो एक मानक परीक्षण सूची से ली गई थी।
- लक्ष्य: उन्होंने यह देखने के लिए 1,727 ऐसे "जाल" बनाए कि क्या रोबोट ट्यूटर उस जहर को पहचान पाता है।
2. "अति-आत्मविश्वासी जासूस"
शोधकर्ताओं ने इन जालों पर तीन शीर्ष-स्तरीय एआई ट्यूटर्स (GPT-5.1, Gemini 2.5 Pro, और Claude Sonnet 4.5) का परीक्षण किया। उन्होंने रोबोटों से पूछा: "क्या यह वाक्य एक रूढ़िबद्ध धारणा (stereotype) है, एक रूढ़िबद्ध धारणा का उल्टा है, या केवल तटस्थ है?"
उन्होंने दो प्रमुख समस्याएं पाईं:
- "हार्ड मोड" प्रभाव: ये रोबंड मानक, साफ-सुथरे कंप्यूटर परीक्षणों की तुलना में इन वास्तविक, जटिल ट्यूटरिंग बातचीत में पूर्वाग्रह पहचानने में बहुत खराब थे। यह एक ऐसे जासूस की तरह है जो एक शांत कमरे में पहेलियाँ सुलझाने में तो माहिर है, लेकिन एक शोर-शराबे वाले, भीड़भाड़ वाले बाजार में पूरी तरह से भ्रमित हो जाता है।
- "आत्मविश्वास के साथ गलत होना" की समस्या: यह सबसे बड़ी खोज थी। जब रोबोटों ने गलती की, तो उन्होंने यह नहीं कहा, "मुझे यकीन नहीं है।" इसके बजाय, वे अपने गलत उत्तरों के बारे में अत्यधिक आत्मविश्वासी थे।
- कल्पना कीजिए कि एक मौसम विज्ञानी कहता है, "मुझे 99% यकीन है कि धूप खिली रहेगी," जबकि वास्तव में मूसलाधार बारिश हो रही है।
- इस अध्ययन में, जब रोबोट किसी रूढ़िबद्ध धारणा के बारे में गलत थे, तो वे अक्सर अपनी गलती के बारे में "बहुत उच्च विश्वास" (90% से अधिक निश्चित) के साथ थे।
3. फीडबैक का "इको चैंबर" (गूँज कक्ष)
शोधकर्ताओं ने फिर रोबोटों से पूछा कि उन्होंने अपने निर्णय का कारण क्या बताया और वे छात्र को क्या फीडबैक देंगे।
- उन्होंने पाया कि रोबोट का आत्मविश्वास एक गोंद (glue) की तरह काम करता था। यदि रोबोट को विश्वास था कि वह सही है (भले ही वह गलत हो), तो उसका स्पष्टीकरण और छात्र को दिया गया फीडबैक भी बहुत आत्मविश्वासी और सुसंगत था।
- यह एक आत्मविश्वासी शिक्षक की तरह है जो छात्र को कहता है, "तुम निश्चित रूप से सही हो," जब छात्र वास्तव में एक नस्लवादी या लिंगभेदी टिप्पणी करता है। क्योंकि शिक्षक बहुत आश्वस्त लगता है, छात्र उन पर विश्वास कर लेता है। रोबोट ने केवल गलती नहीं की; उसने उस गलती को पूर्ण निश्चितता के पैकेज में लपेटकर उसे बढ़ावा (amplify) दिया।
4. "स्व-सुधार" का मिथक
शोधकर्ताओं ने रोबोटों को दोबारा सोचने के लिए मजबूर करने की कोशिश की। उन्होंने कहा, "हे, अपने उत्तर को फिर से देखो। क्या तुम सुनिश्चित हो?"
- अन्य परीक्षणों में, रोबोट अक्सर दोबारा जांच करने के लिए कहे जाने पर अपना विचार बदल देते हैं।
- यहाँ, रोबोटों ने लगभग कभी भी अपना विचार नहीं बदला। वे अपनी बात पर अड़े रहे, भले ही वे गलत थे। यह सुझाव देता है कि एक बार जब कोई पक्षपाती राय बन जाती है, तो रोबोट को उससे हिलाना बहुत कठिन होता है।
निष्कर्ष
शोध पत्र यह निष्कर्ष निकालता है कि हालांकि ये एआई ट्यूटर्स शक्तिशाली हैं, वे वर्तमान में एक विशिष्ट तरीके से खतरनाक हैं: सामाजिक मुद्दों के बारे में गलत होने पर वे खुद के बारे में बहुत अधिक निश्चित होते हैं।
यदि आप एक रोबोट ट्यूटर को कक्षा में रखते हैं, और वह आत्मविश्वास के साथ एक छात्र को बताता है कि एक रूढ़िबद्ध धारणा सच है, तो छात्र (विशेष रूप से जो एक नई भाषा सीख रहा है) उस पर विश्वास कर सकता है क्योंकि रोबोट एक विशेषज्ञ की तरह बोलता है। शोधकर्ताओं ने चेतावनी दी है कि हमें इन रोबोटों को यह सिखाने की आवश्यकता है कि "मैं पूरी तरह से सुनिश्चित नहीं हूँ," या "यह एक कठिन विषय है," बजाय इसके कि वे ऐसा व्यवहार करें जैसे उनके पास सभी उत्तर हैं। जब तक हम इस "अति-आत्मविश्वास" को ठीक नहीं करते, ये एजेंट अनजाने में छात्रों को यह सिखा सकते हैं कि लोगों के साथ कैसा व्यवहार किया जाना चाहिए।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।