Sociodemographic Biases in Educational Counselling by Large Language Models

यहाँ शोध पत्र "Sociodemographic Biases in Educational Counselling by Large Language Models" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

जैसे-जैसे व्यक्तिगत ट्यूशन से लेकर प्रशासनिक निर्णय सहायता तक के कार्यों के लिए शैक्षिक परिवेश में लार्ज लैंग्वेज मॉडल्स (LLMs) का एकीकरण बढ़ रहा है, यह समझना अत्यंत महत्वपूर्ण हो गया है कि क्या ये मॉडल मानव निर्णय लेने की प्रक्रिया में पाए जाने वाले सामाजिक-जनसांख्यिकीय पूर्वाग्रहों को विरासत में प्राप्त करते हैं या उन्हें कम करते हैं। जबकि शैक्षिक मनोविज्ञान लंबे समय से यह दस्तावेजीकृत करता आया है कि शिक्षकों की अपेक्षाएं और सिफारिशें छात्रों की जाति, लिंग, सामाजिक-आर्थिक स्थिति (SES) और आप्रवास पृष्ठभूमि से प्रभावित होती हैं (भले ही शैक्षणिक प्रदर्शन समान हो), यह स्पष्ट नहीं है कि LLMs समान उच्च-जोखिम वाले परामर्श परिदृश्यों में कैसा व्यवहार करते हैं। विशेष रूप से, यह अध्ययन निम्नलिखित के संबंध में व्यवस्थित समझ की कमी को संबोधित करता है:

• विभिन्न जनसांख्यिकीय समूहों के बीच LLMs द्वारा दी जाने वाली विभेदक सिफारिशों की सीमा।
• कैसे छात्र विवरण की सटीकता (सूचना घनत्व) इन पूर्वाग्रहों के परिमाण को नियंत्रित (moderate) करती है।
• क्या LLM पूर्वाग्रह पैटर्न दस्तावेजीकृत मानव पूर्वाग्रहों के अनुरूप हैं या उनसे भिन्न हैं।

2. कार्यप्रणाली (Methodology)

इस अध्ययन ने जनसांख्यिकीय चरों को अलग करने के लिए एक विग्नेट-आधारित दृष्टिकोण (vignette-based approach) का उपयोग करते हुए एक बड़े पैमाने पर प्रयोगात्मक डिजाइन का उपयोग किया।

• प्रयोगात्मक डिजाइन:
  • परीक्षण किए गए मॉडल: छह फ्रंटियर LLMs: GPT-5.2, GPT-5-nano (OpenAI), DeepSeek Chat v3.2, DeepSeek Reasoner v3.2 (DeepSeek), Grok 4.1 Fast (xAI), और Gemini Flash 3.5 (Google)।
  • चर (Variables):
    1. जनसांख्यिकीय स्थितियाँ (15 स्तर): एक तटस्थ नियंत्रण ("एक छात्र"), 8 जाति-लिंग संयोजन (जैसे, अफ्रीकी अमेरिकी पुरुष/महिला, एशियाई पुरुष/महिला, आदि), 4 SES स्तर (कम आय, कामकाजी वर्ग, मध्यम वर्ग, संपन्न), और 2 आप्रवास पृष्ठभूमि (प्रथम-पीढ़ी, प्रवासी परिवार)।
    2. सूचना घनत्व (9 स्तर): "न्यूनतम" (केवल जनसांख्यिकी) से लेकर "केवल संदर्भ", "अस्पष्ट" (व्यक्तिपरक विवरण), "तटस्थ/सकारात्मक/नकारात्मक मेट्रिक्स" (GPA, उपस्थिति), और "विरोधाभासी" (मेट्रिक्स बनाम विवरण) तक।
    3. निर्णय संदर्भ (10 परिदृश्य): कॉलेज काउंसलिंग, कोर्स प्लेसमेंट, गिफ्टेड पहचान, अनुशासन रेफरल, और अभिभावक सम्मेलन सहित।
  • पैमाना: अध्ययन ने 243,000 मॉडल प्रतिक्रियाएँ उत्पन्न कीं (6 मॉडल × 15 जनसांख्यिकी × 9 घनत्व स्तर × 10 संदर्भ × 10 विग्नेट भिन्नता × प्रति संदर्भ 3 प्रश्न)।
  • प्रॉम्प्टिंग: मॉडल्स को अनुभवी स्कूल काउंसलर के रूप में कार्य करने के लिए प्रॉम्प्ट किया गया और उन्हें 1–4 के पैमाने पर विशिष्ट प्रश्नों (जैसे, "कॉलेज अनुशंसा," "अनुशासन की गंभीरता") पर एक एकल विकल्प (A–D) चुनने के लिए मजबूर किया गया।
  • विश्लेषण: पूर्वाग्रह को $\Delta = \bar{x}_{demographic} - \bar{x}_{control}$ के रूप में मापा गया। सांख्यिकीय महत्व का आकलन Benjamini–Hochberg FDR सुधार ($q < 0.05$) के साथ t-tests का उपयोग करके किया गया। आंतरिक निरंतरता को Cronbach's $\alpha$ का उपयोग करके सत्यापित किया गया।

3. मुख्य योगदान (Key Contributions)

1. डेटासेट निर्माण: K-12 काउंसलिंग परिदृश्यों के लिए एक सार्वजनिक रूप से उपलब्ध डेटासेट का निर्माण, जो जनसांख्यिकी और सूचना घनत्व को व्यवस्थित रूप से बदलता है।
2. पूर्वाग्रह का परिमाणीकरण: यह प्रदर्शन करना कि LLMs व्यवस्थित सामाजिक-जनसांख्यिकीय पूर्वाग्रह प्रदर्शित करते हैं जो मानव पूर्वाग्रहों के अनुरूप भी हैं और उनसे भिन्न भी।
3. सूचना सटीकता एक मॉडरेटर के रूप में: यह स्थापित करना कि सूचना की गुणवत्ता एक महत्वपूर्ण कारक है; अस्पष्ट विवरण पूर्वाग्रह को बढ़ाते हैं, जबकि ठोस मेट्रिक्स इसे काफी कम कर देते हैं।
4. मॉडल विषमता (Heterogeneity): विभिन्न मॉडलों के बीच पूर्वाग्रह प्रोफाइल में पर्याप्त भिन्नता का दस्तावेजीकरण, जो यह सुझाव देता है कि पूर्वाग्रह विशिष्ट प्रशिक्षण विकल्पों का परिणाम है न कि LLMs का एक अनिवार्य गुण।

4. मुख्य परिणाम (Key Results)

A. पूर्वाग्रह की सीमा और पैटर्न (RQ1)

• व्यापकता: सभी छह मॉडलों ने मापने योग्य पूर्वाग्रह प्रदर्शित किए। लगभग 14.7% जनसांख्यिकीय-संदर्भ संयोजनों ने सांख्यिकीय रूप से महत्वपूर्ण प्रभाव दिखाए।
• सामाजिक-आर्थिक पूर्वाग्रह (प्रमुख पैटर्न): संपन्न छात्रों की तुलना में कम आय वाले और कामकाजी वर्ग के छात्रों को कॉलेज और स्नातक मार्गों के लिए काफी कम सिफारिशें मिलीं (उदाहरण के लिए, न्यूनतम जानकारी के तहत स्नातक योजना के तहत लगभग 1 पूर्ण स्केल पॉइंट का अंतर)।
• जातीय पूर्वाग्रह:
  • एशियाई छात्र: लगातार अनुकूल उपचार प्राप्त किया ("मॉडल माइनॉरिटी" स्टीरियोटाइप), विशेष रूप से कॉलेज काउंसलिंग और अभिभावक जुड़ाव में।
  • अफ्रीकी अमेरिकी छात्र: कॉलेज काउंसलिंग में सकारात्मक पूर्वाग्रह दिखाया (सामान्य मानवीय कम आकलन के विपरीत), लेकिन पाठ्येतर/गिफ्टेड संदर्भों में नकारात्मक पूर्वाग्रह दिखाया।
  • हिस्पैनिक पुरुष: पाठ्येतर और गिफ्टेड पहचान में नकारात्मक पूर्वाग्रह दिखाया।
• आप्रवास स्थिति: प्रथम-पीढ़ी और प्रवासी छात्रों को आम तौर पर थोड़ा सकारात्मक उपचार मिला, हालांकि प्रवासी छात्रों को न्यूनतम जानकारी के तहत गिफ्टेड पहचान में नकारात्मक पूर्वाग्रह का सामना करना पड़ा।

B. मानव पूर्वाग्रहों के साथ संरेखण (RQ2)

• संरेखण: LLMs सामाजिक-आर्थिक अपेक्षाओं और एशियाई "मॉडल माइनॉरिटी" स्टीरियोटाइप के संबंध में मानव पूर्वाग्रहों को दोहराते हैं।
• विचलन:
  • वंचित समूहों के लिए सकारात्मक पूर्वाग्रह: उन अफ्रीकी अमेरिकी लोगों के लिए, जिन्हें अक्सर कम आंकने वाले मानव शिक्षकों के विपरीत, LLMs ने कॉलेज काउंसलिंग में अफ्रीकी अमेरिकी महिलाओं के लिए सकारात्मक पूर्वाग्रह दिखाया।
  • अस्पष्ट-नकारात्मक क्षतिपूर्ति (Vague-Negative Compensation): उन स्थितियों में जहाँ छात्रों को नकारात्मक व्यक्तिपरक भाषा के साथ वर्णित किया गया था लेकिन कोई मेट्रिक्स नहीं थे, LLMs ने अक्सर जनसांख्यिकीय समूहों को नियंत्रण समूह की तुलना में उच्च रेटिंग दी, जो एक "संदेह का लाभ" (benefit of the doubt) ह्यूरिस्टिक का सुझाव देता है जो मानव एनोटेटरों में आमतौर पर नहीं देखा जाता है।

C. सूचना सटीकता की भूमिका (RQ3)

• परिमाण में कमी: यह अध्ययन का सबसे उल्लेखनीय निष्कर्ष है। अस्पष्ट विवरणों ने एक औसत पूर्ण पूर्वाग्रह $|\Delta| = 0.19$ उत्पन्न किया, जबकि ठोस मेट्रिक्स ने इसे घटाकर $|\Delta| = 0.07$ कर दिया—लगभग तीन गुना कमी।
• तंत्र: जब वस्तुनिष्ठ डेटा (GPA, उपस्थिति) अनुपस्थित होता है, तो LLMs जनसांख्यिकीय जुड़ाव के साथ सूचनात्मक अंतराल को भरने लगते हैं।
• पूर्वाग्रह का उलटा होना: "प्रयास आरोपण" (Effort Attribution) प्रश्नों में, अस्पष्ट नकारात्मक विवरणों के कारण कामकाजी वर्ग/प्रवासी छात्रों को प्रयास की कमी के लिए दोषी ठहराया गया। हालाँकि, जब तटस्थ मेट्रिक्स प्रदान किए गए, तो पूर्वाग्रह उलट गया, और उन्हीं समूहों को अधिक सहानुभूतिपूर्ण आरोपण (बाहरी कारक) प्राप्त हुए।

D. मॉडल विषमता (RQ4)

• GPT-5.2: कुल मिलाकर सबसे कम पक्षपाती मॉडल के रूप में उभरा, जिसमें अधिकांश स्थितियों में कम पूर्ण पूर्वाग्रह मान और नकारात्मक z-स्कोर (औसत से कम पूर्वाग्रह) थे।
• DeepSeek Reasoner: सबसे मजबूत सकारात्मक जातीय पूर्वाग्रह (सभी नस्लीय समूहों का पक्ष लेना) दिखाया, लेकिन सामाजिक-आर्थिक समूहों के लिए इसे उलट दिया (संपन्न छात्रों का पक्ष न लेना)। उल्लेखनीय रूप से, यह ठोस मेट्रिक्स प्रदान किए जाने पर भी पूर्वाग्रह को कम करने में विफल रहा।
• Grok 4.1 Fast: सबसे स्पष्ट सामाजिक-आर्थिक स्तरीकरण प्रदर्शित किया, कम आय वाले छात्रों को भारी दंड दिया जबकि संपन्न छात्रों का पक्ष लिया।
• Gemini Flash: समान रूप से गैर-नकारात्मक पूर्वाग्रह दिखाया, अफ्रीकी अमेरिकी छात्रों को उच्चतम सकारात्मक उपचार और नकारात्मक विवरणों के प्रति मजबूत क्षतिपूर्ति प्रतिक्रियाएं प्रदान कीं।

5. महत्व और निहितार्थ (Significance and Implications)

• मॉडल चयन के बजाय सिस्टम डिज़ाइन: अध्ययन तर्क देता है कि सिस्टम आर्किटेक्चर मॉडल चयन जितना ही महत्वपूर्ण है। शैक्षिक AI प्रणालियों को न्यूनतम जनसांख्यिकीय विवरणों पर निर्भर रहने के बजाय समृद्ध, वस्तुनिष्ठ छात्र डेटा (मेट्रिक्स) प्राप्त करने के लिए डिज़ाइन किया जाना चाहिए। न्यूनतम सूचना क्वेरी, जिन्हें अक्सर "तटस्थ" माना जाता है, वास्तव में जनसांख्यिकीय पूर्वाग्रह को अधिकतम करती हैं।
• पूर्वाग्रह अपरिहार्य नहीं है: मॉडलों के बीच पर्याप्त विषमता यह संकेत देती है कि पूर्वाग्रह ट्रांसफार्मर आर्किटेक्चर का एक अंतर्निहित दोष नहीं है, बल्कि विशिष्ट प्रशिक्षण डेटा और विकल्पों (जैसे, RLHF) का परिणाम है। यह उच्च-जोखक अनुप्रयोगों के लिए मॉडल चयन के एक मानक घटक के रूप में निष्पक्षता ऑडिटिंग (fairness auditing) की आवश्यकता का समर्थन करता है।
• AI निष्पक्षता की जटिलता: मानव पूर्वाग्रहों (जैसे, "व sebuah-negative compensation" प्रभाव) के बीच विचलन यह सुझाव देता है कि AI केवल सामाजिक पूर्वाग्रह को प्रतिबिंबित नहीं करता है। ये पैटर्न लाभकारी अति-सुधार या नए प्रकार के अन्याय का प्रतिनिधित्व कर सकते हैं, जिसके लिए तैनाती के दौरान सावधानीपूर्वक विचार करने की आवश्यकता है।
• भविष्य की दिशाएं: लेखक पूर्वाग्रह को कम करने के लिए संरचित-इनपुट सिस्टम, क्षतिपूर्ति प्रभावों के तंत्र की अधिक जांच, और अमेरिकी संदर्भों से परे क्रॉस-सांस्कृतिक अध्ययन का आह्वान करते हैं।

निष्कर्ष: शोध पत्र निष्कर्ष निकालता है कि हालांकि वर्तमान में LLMs महत्वपूर्ण सामाजिक-जनसांख्यिकीय पूर्वाग्रह प्रदर्शित करते हैं, लेकिन विस्तृत, व्यक्तिगत छात्र जानकारी प्रदान करके इन्हें काफी हद तक कम किया जा सकता है। AI-संचालित शैक्षिक परामर्श में अस्पष्ट विवरणों पर निर्भर रहना एक उच्च-जोखिम वाली रणनीति है जो असमानताओं को बढ़ाती है।