Four Types of LLM Reliance and Their Predictors Among Undergraduate Writers: A Mixed-Methods Study at a Minority-Serving R1 University

तकनीकी सारांश: स्नातक लेखकों के बीच LLM निर्भरता के चार प्रकार और उनके भविष्यवक्ता

समस्या विवरण
स्नातक शैक्षणिक लेखन में लार्ज लैंग्वेज मॉडल्स (LLMs) के लगभग सार्वभौमिक उपयोग (लगभग 92% छात्र) के बावजूद, गुणात्मक रूप से भिन्न प्रकार की AI निर्भरता को अलग करने के लिए प्रमाणित ढांचों का अभाव है। मौजूदा शोध निर्भरता को एक एकल, निरंतर आवृत्ति निर्माण (जैसे, बार-बार बनाम कभी-कभार उपयोग करने वाले) के रूप में संचालित करता है, जो संज्ञानात्मक जुड़ाव के महत्वपूर्ण अंतरों को अस्पष्ट कर देता है। यह संरचनात्मक सीमा ऐसे परिणाम मापों को जन्म देती है जो बौद्धिक लेखकत्व के बजाय संज्ञानात्मक निर्भरता को व्यवस्थित रूप से पुरस्कृत करती हैं। विशेष रूप से, वर्तमान उपकरण "AI थ्रूपुट" (कार्य में AI का कितना योगदान था) को मापते हैं, न कि लेखन की गुणवत्ता या संज्ञा적인 विकास को; जिससे एक मापन आर्टिफैक्ट (measurement artifact) उत्पन्न होता है जहाँ उच्चतम संज्ञानात्मक एजेंसी (रणनीतिक संयम) का अभ्यास करने वाले छात्र सबसे कमजोर प्रदर्शन करने वाले प्रतीत होते हैं। इसके अलावा, साहित्य ने इन गतिकी का अल्पसंख्यक-सेवा संस्थानों (MSIs) के भीतर पर्याप्त परीक्षण नहीं किया है, जहाँ तैयारी की विषमता और प्रथम-पीढ़ी की स्थिति AI साक्षरता संबंधी असमानताओं को बढ़ा सकती है।

कार्यप्रणाली
इस अध्ययन में एक सार्वजनिक R1 अल्पसंख्यक-सेवा संस्थान (MSI) और एशियाई अमेरिकी एवं नेटिव अमेरिकन प्रशांत द्वीप समूह-सेवा संस्थान (AANAPISI) में एक अनुक्रमिक व्याख्यात्मक मिश्रित-विधि डिजाइन का उपयोग किया गया।

• प्रतिभागी: मात्रात्मक चरण में $N=382$ स्नातक छात्र शामिल थे। गुणात्मक चरण में 14 उद्देश्यपूर्ण रूप से चुने गए साक्षात्कार, 35 खुले अंत वाले सर्वेक्षण उत्तर (SUR35), और 361 संक्षिप्त खुले अंत वाले उत्तर (SUR361) शामिल थे, जो कुल 1,435 कोडेड उदाहरण हैं।
• सैद्धांतिक ढांचा: अध्ययन ने तीन ढांचों को एकीकृत किया:
  1. AI साक्षरता ढांचा: निर्भरता के प्रकार (गुणात्मक दिशा) की भविष्यवाणी करने के लिए।
  2. एक्सपेक्टेंसी-वैल्यू थ्योरी (EVT): निर्भरता की तीव्रता (मात्रात्मक परिमाण) की भविष्यवाणी करने के लिए।
  3. बिग्स का प्रिसेज-प्रोसेस-प्रोडक्ट (3P) मॉडल: छात्र विशेषताओं, निर्भरता व्यवहार और परिणामों को जोड़ने वाले संरचनात्मक आर्किटेक्चर को प्रदान करने के लिए।
• उपकरण: एक नया 20-आइटम वाला LLM निर्भरता स्केल विकसित और मान्य किया गया, जो चार अलग-अलग प्रकारों को मापता है: रणनीतिक (Strategic), यंत्रवत (Instrumental), संवादात्मक (Dialogic), और आश्रित (Dependent)। भविष्यवक्ता मापों में AI साक्षरता (कोर और एक्सपोज़र) और एक्सपेक्टेंसी-वैल्यू विश्वास शामिल थे।
• विश्लेषण: मात्रात्मक विश्लेषण में एक्सप्लोरेटरी फैक्टर एनालिसिस (EFA), विश्वसनीयता परीक्षण, वन-वे एनोवा (one-way ANOVA), पदानुक्रमित बहु-प्रतिगमन (hierarchical multiple regression), और मल्टीनोमियल लॉजिस्टिक रिग्रेशन शामिल थे। गुणात्मक विश्लेषण ने टाइपोलॉजी को मान्य करने और मात्रात्मक पैटर्न की व्याख्या करने के लिए रिफ्लेक्सिव थीमेटिक विश्लेषण का उपयोग किया।

प्रमुख योगदान

1. अनुभवजन्य रूप से मान्य टाइपोलॉजी: अध्ययन चार अलग-अलग LLM निर्भरता प्रकारों की पहचान और सत्यापन करता है:
   • रणनीतिक (34.3%): सक्रिय सत्यापन और पूर्ण लेखक नियंत्रण के साथ जानबूझकर, लक्ष्य-निर्देशित जुड़ाव।
   • यंत्रवत (30.9%): वैचारिक सामग्री को सौंपे बिना यांत्रिक कार्यों (रूपरेखा, संपादन) के लिए सीमित उपयोग।
   • संवादात्मक (30.4%): पुनरावृत्त सह-निर्माण जहाँ AI एक सोचने वाले साथी के रूप में कार्य करता है जबकि लेखक की एजेंसी सुरक्षित रहती है।
   • आश्रित (4.5%): न्यूनतम निरीक्षण के साथ लेखन कार्यों के पूर्णतः आउटसोर्सिंग के माध्यम से संज्ञानात्मक त्याग।
2. दो-स्तरीय भविष्यवक्ता आर्किटेक्चर: अध्ययन स्थापित करता है कि दो अलग-अलग, गैर-परस्पर विनिमेय प्रणालियाँ निर्भरता को नियंत्रित करती हैं:
   • AI साक्षरता यह भविष्यवाणी करती है कि छात्र किस प्रकार की निर्भरता अपनाता है (जैसे, उच्च साक्षरता 'रणनीतिक' के बजाय 'आश्रित' की संभावना कम करती है)।
   • एक्सपेक्टेंसी-वैल्यू विश्वास यह भविष्यवाणी करते हैं कि छात्र कितनी तीव्रता से LLMs पर निर्भर है, चाहे प्रकार कुछ भी हो।
3. मापन आर्टिफैक्ट की पहचान: अध्ययन मौजूदा LLM परिणाम अनुसंधान में एक मौलिक वैधता संकट को उजागर करता है। ऐसे उपकरण जो "मैं X प्राप्त करने के लिए AI का उपयोग करता हूँ" के इर्द-गिर्द संरचित हैं, वे स्वतंत्र लेखन गुणवत्ता के बजाय AI के योगदान को पकड़ते हैं। फलस्वरूप, रणनीतिक उपयोगकर्ता—जो जानबूझकर AI की भूमिका को सीमित करते हैं—इन मापों पर निम्न स्कोर करते हैं, जिससे उनके कम प्रदर्शन का गलत आभास होता है।
4. दो-मॉडल आर्किटेक्चर: गुणात्मक निष्कर्षों ने "सिद्धांतवादी गैर-उपयोगकर्ताओं" (principled non-users) की एक आबादी (13% उत्तरदाता) का खुलासा किया जो नैतिक या पर्यावरणीय मूल्यों के आधार पर परहेज करते हैं। ये छात्र कम-तीव्रता वाले रणनीतिक उपयोगकर्ताओं से भिन्न हैं और मौजूदा निर्भरता ढांचों के व्याख्यात्मक दायरे से बाहर हैं, जिसके लिए एक अलग वर्जन मॉडल की आवश्यकता है।

परिणाम

• वितरण: रणनीतिक (34.3%), यंत्रवत (30.9%), संवादात्मक (30.4%), और आश्रित (4.5%) प्रमुख प्रकार थे।
• परिणामों में असमानता: मात्रात्मक परिणामों ने दिखाया कि रणनीतिक उपयोगकर्ताओं ने सभी दस लेखन प्रक्रिया और परिणाम चरों (जैसे, गुणवत्ता, मौलिकता, आलोचनात्मक सोच) पर आश्रित उपयोगकर्ताओं की तुलना में काफी कम स्कोर किया, जिसमें बड़े प्रभाव आकार ($\eta^2$ रेंज .166–.329) देखे गए।
• भविष्यवाणी मॉडलिंग:
  • तीव्रता: एक्सपेक्टेंसी-वैल्यू विश्वास निर्भरता की तीव्रता के सबसे मजबूत भविष्यवक्ता थे ($\beta = .630, \Delta R^2 = .256$), जिन्होंने जनसांख्यिकी या AI साक्षरता के संयुक्त प्रभाव से अधिक भिन्नता (variance) की व्याख्या की।
  • प्रकार: AI साक्षरता निर्भरता के प्रकार का सबसे मजबूत भविष्यवक्ता था। AI साक्षरता में प्रत्येक इकाई वृद्धि 'आश्रित' बनाम 'रणनीतिक' वर्गीकरण की संभावना को लगभग दस गुना कम कर देती है ($OR = 0.11, p < .001$)।
  • जनसांख्यिकी: प्रथम-पीढ़ी की स्थिति उच्च निर्भरता तीव्रता का एक महत्वपूर्ण भविष्यवक्ता थी ($\beta = .153$), जो एक प्रतिपूरक गतिशीलता का सुझाव देती है जहाँ AI शैक्षणिक संसाधनों की कमी को पूरा करता है।
• गुणात्मक सत्यापन: थीमेटिक विश्लेषण ने टाइपोलॉजी की पुष्टि की और विकासात्मक प्रक्षेपवक्र (समय के साथ आश्रित से रणनीतिक की ओर बढ़ना) और निम्न साक्षरता के बजाय नैतिक बाधाओं द्वारा संचालित सिद्धांतवादी गैर-उपयोग के अस्तित्व को प्रकट किया।

महत्व और दावे
यह शोध दावा करता है कि क्षेत्र की वर्तमान समझ संरचनात्मक रूप से त्रुटिपूर्ण है। यह तथ्य कि रणनीतिक उपयोगकर्ता सबसे कम स्कोर करते हैं, खराब प्रदर्शन का प्रमाण नहीं है बल्कि एक मापन आर्टिफैक्ट है जो संज्ञानात्मक एजेंसी को दंडित करता है। अध्ययन तर्क देता है कि:

• हस्तक्षेप विशिष्ट होने चाहिए: AI साक्षरता कार्यक्रमों को जुड़ाव के प्रकार (आलोचनात्मक से अनियंत्रित की ओर बदलना) को लक्षित करना चाहिए, जबकि प्रेरणादायक हस्तक्षेपों को जुड़ाव की तीव्रता को संबोधित करना चाहिए। उन्हें परस्पर विनिमेय मानना अप्रभावी है।
• समता (Equity) निहितार्थ केंद्रीय हैं: MSIs में, AI साक्षरता की असमानताएं मौजूदा संरचनात्मक असमानताओं को बढ़ा देती हैं। प्रथम-पीढ़ी के छात्र संसाधन अंतराल की भरपाई के लिए AI पर अधिक निर्भर हो सकते हैं, और वर्तमान परिणाम माप उनके परिष्कृत संयम को विफलता के रूप में गलत प्रस्तुत करते हैं।
• भविष्य के उपकरण: क्षेत्र को ऐसे नए उपकरणों की आवश्यकता है जो AI-मध्यस्थ उपलब्धि और स्वतंत्र लेखन सक्षमता के बीच अंतर कर सकें ताकि सबसे संज्ञानात्मक रूप से परिष्कृत छात्रों का व्यवस्थित रूप से गलत प्रतिनिधित्व करने से बचा जा सके।

अध्ययन निष्कर्ष निकालता है कि इन मापन और सैद्धांतिक अंतरालों को संबोधित किए बिना, शिक्षा में LLMs के संबंध में साक्ष्य आधार विकृत रहेगा, जो निर्भरता को पुरस्कृत करेगा और सिद्धांतवादी, रणनीतिक AI उपयोग के लाभों को अस्पष्ट कर देगा।