Human–AI collaboration in deductive coding of classroom dialogue: prompt engineering and collaboration patterns

कल्पना कीजिए कि आप एक कक्षा में बोली जाने वाली गुप्त भाषा को डिकोड करने की कोशिश कर रहे हैं। शिक्षक और छात्र एक गहरी, जटिल बातचीत कर रहे हैं, और आपका काम हर एक वाक्य को विशिष्ट श्रेणियों में छाँटना है जैसे कि "तर्क" (Reasoning), "सोचने के लिए आमंत्रण" (Invitation to think), या "सहमति" (Agreement)। यह सब हाथों से करना ऐसा ही है जैसे आग के फव्वारे से पानी पीने की कोशिश करना: यह थका देने वाला है, इसमें बहुत समय लगता है, और आपका दिमाग थक जाता है।

यहाँ आता है कस्टमाइज्ड जीपीटी कोडिंग असिस्टेंट (CGCA)। इस एआई (AI) को एक ऐसे जादुई रोबोट के रूप में न देखें जो सब कुछ जानता हो, बल्कि एक बहुत ही स्मार्ट, बहुत तेज़ इंटर्न के रूप में देखें जिसे एक विशिष्ट नियम पुस्तिका (जिसे कैम्ब्रिज डायलॉग एनालिसिस स्कीम कहा जाता है) और अध्ययन के लिए कुछ नमूना वाक्य दिए गए हैं। कैम्ब्रिज विश्वविद्यालय के शोधकर्ता यह देखना चाहते थे: क्या हम इस इंटर्न को भारी काम करने के लिए प्रशिक्षित कर सकते हैं? और हम एक-दूसरे के साथ कैसे काम करें ताकि इंटर्न सब कुछ अपने हाथ में न ले ले या इंसान परेशान न हो जाए?

यहाँ उन्होंने जो पाया है, उसे स्पष्ट रखने के लिए कुछ रूपकों (metaphors) के साथ प्रस्तुत किया गया है।

1. "इंटर्न" को सही निर्देशों की आवश्यकता है (प्रॉम्प्ट इंजीनियरिंग)

शुरुआत में, शोधकर्ताओं ने बस एआई को पूरी नियम पुस्तिका थमा दी और कहा, "शुरू हो जाओ!" परिणाम क्या रहा? एआई भ्रमित हो गया। यह एक नए कर्मचारी को 500 पन्नों का मैनुअल देने और यह उम्मीद करने जैसा था कि वह पहले ही दिन में सब कुछ जान जाएगा। एआई की सटीकता कम थी, कुछ श्रेणियों के लिए 6.7% जितनी कम।

शोधकर्ताओं को एहसास हुआ कि एआई का "दिमाग" इंसान के दिमाग से अलग तरीके से काम करता है। यदि आप इसे एक बार में बहुत अधिक टेक्स्ट देते हैं, तो यह घबरा जाता है। इसलिए, उन्होंने प्रॉम्प्ट इंजीनियरिंग शुरू की। यह इंटर्न के लिए निर्देशों को फिर से लिखने जैसा है। ढेर सारे टेक्स्ट के बजाय, उन्होंने:

• नियमों को एक "निर्णय वृक्ष" (Decision Tree) में तोड़ दिया (यदि X होता है, तो Y करें)।
• एआई को सैकड़ों के बजाय कुछ बेहतर उदाहरण दिए (लगभग 5–15 सावधानीपूर्वक चुने गए उदाहरण)।
• निर्देशों को चरण-दर-चरण बनाया।

परिणाम: इन बदलावों के बाद, एआई की सटीकता बढ़कर 64.9% हो गई। यह एकदम सटीक नहीं है (इंसान आमतौर पर आपस में 70–75% बार सहमत होते हैं), लेकिन यह एक सहायक के रूप में काम करने के लिए पर्याप्त है। पेपर सुझाव देता है कि केवल एक इंसान की ट्रेनिंग मैनुअल को कंप्यूटर प्रॉम्प्ट में पेस्ट करना काम नहीं करता; आपको निर्देशों को इस तरह से पुनर्गठित करना होगा कि वे एआई के सोचने के तरीके के अनुकूल हों।

2. कौन पहले जाता है? "ह्यूमन-फर्स्ट" बनाम "एआई-फर्स्ट" का नृत्य

शोधकर्ताओं ने इस एआई इंटर्न के साथ काम करने के दो तरीके आजमाए। उन्होंने छह शैक्षिक शोधकर्ताओं (कुछ नए कोडर, कुछ विशेषज्ञ) से 55 क्लासरूम संवादों पर दोनों तरीकों का परीक्षण करवाया।

• स्थिति A (ह्यूमन-फर्स्ट): इंसान पहले वाक्य को कोड करता है, फिर पूछता है, "तुम्हें क्या लगता है?"
• स्थिति B (एआई-फर्स्ट): इंसान पहले एआई से पूछता है, "तुम्हें क्या लगता है?" फिर इंसान तय करता है कि वह सहमत है या नहीं।

निष्कर्ष:
जब इंसान पहले गया, तो इंसान और "गोल्ड स्टैंडर्ड" (मूल विशेषज्ञ कोडर) के बीच सहमति लगभग 0.40 (यह मापने का एक तरीका है कि वे कितने मेल खाते हैं) थी।
जब एआई पहले गया, तो यह संख्या थोड़ा बढ़कर 0.45 हो गई।
नोट: पेपर कहता है कि यह अंतर छोटा है और सांख्यिकीय रूप से यह साबित नहीं हुआ है कि यह एक बड़ी जीत है क्योंकि समूह बहुत छोटा था, लेकिन रुझान यह सुझाव देता है कि एआई से शुरुआत करने से लोगों को नियमों का पालन करने में मदद मिल सकती है।

साथ ही, जब एआई पहले गया, तो इंसानों ने काम जल्दी पूरा किया। हालाँकि, शोधकर्ताओं ने गौर किया कि "एआई-फर्स्ट" समूह में, कुछ लोगों को लगा कि वे केवल एआई के काम की जाँच कर रहे हैं, जबकि "ह्यूम-फर्स्ट" समूह में, उन्हें लगा कि एआई उन्हें चेक कर रहा है।

3. गुप्त सामग्री: आप एआई के साथ कैसा व्यवहार करते हैं

यह सबसे दिलचस्प हिस्सा है। शोधकर्ताओं ने पाया कि इंसान एआई के बारे में कैसा महसूस करता है, यह काम के क्रम से अधिक महत्वपूर्ण था। उन्होंने कोडर्स के काम करने के तरीके में दो अलग-अलग "व्यक्तित्व" देखे:

"डायलॉजिक" पार्टनर (सहयोगी)
टीम के लगभग आधे हिस्से (प्रतिभागी C, D, और E) ने एआई को एक क्रिटिकल फ्रेंड (आलोचनात्मक मित्र) या बहस करने वाले साथी की तरह माना।

• रूपक: एक ऐसे टेनिस पार्टनर के साथ खेलने की कल्पना करें जो गेंद को आपके पास वापस मारता है ताकि आप उसे और ज़ोर से मार सकें। उन्होंने एआई पर अंधा विश्वास नहीं किया, बल्कि उन्होंने अपने स्वयं के विचारों का परीक्षण करने के लिए इसके सुझावों का उपयोग किया। "हम्म, एआई कहता है कि यह 'तर्क' है। क्यों? ओह, मैं देख सकता हूँ, क्योंकि यहाँ 'क्योंकि' शब्द है। ठीक है, मैं सहमत हूँ।"
• परिणाम: भले ही इनमें से कुछ लोग कोडिंग में नए थे, लेकिन वास्तव में उनमें सबसे अधिक सुधार हुआ। उन्होंने एआई को अपने निर्णयों को सीखने और परिष्कृत करने के उपकरण के रूप में इस्तेमाल किया।

"सुपरवाइजरी" वॉचडॉग (शंकालु)
बाकी आधे हिस्से (प्रतिभागी A, B, और F) ने एआई को एक संदिग्ध या एक मशीन की तरह माना जिसे लगातार जांचने की आवश्यकता है।

• रूपक: एक सुरक्षा गार्ड की कल्पना करें जो सोचता है कि कैमरा खराब है और लगातार उसे गलत साबित करने की कोशिश कर रहा है। उन्होंने कहा, "मैं चैटजीपीटी को चेक कर रहा हूँ" या "मुझे नहीं लगता कि यह एक सहकर्मी है।" उन्होंने दूरी बनाए रखी, और टूल के साथ "बातचीत" करने से इनकार कर दिया।
• परिणाम: इन लोगों में उतना सुधार नहीं हुआ। उनकी कोडिंग सटीकता कम बनी रही, और उन्होंने एआई के तर्क के साथ जुड़ने में कम समय बिताया। वे एआई को सत्यापित करने पर इतने केंद्रित थे कि वे उसके साथ सहयोग करने का अवसर चूक गए।

4. जो चीजें यह पेपर खारिज करता है

यह जानना महत्वपूर्ण है कि यह अध्ययन क्या नहीं कहता:

• यह कोई जादुई समाधान नहीं है: आप केवल डेटा का एक बड़ा ढेर और एक मानक नियम पुस्तिका एआई में नहीं डाल सकते और पूर्ण कार्य करने की उम्मीद नहीं कर सकते। पेपर स्पष्ट रूप से तर्क देता है कि "मानव प्रशिक्षण कोडबुक को सीधे प्रॉम्प्ट में स्थानांतरित करना अपर्याष्टि है।"
• यह कौशल का विकल्प नहीं है: अध्ययन यह दावा नहीं करता कि एआई इंसानों को तुरंत विशेषज्ञ बना देता है। वास्तव में, एक प्रतिभागी (प्रतिभागी E) ने आत्मविश्वास की कमी के कारण एआई के सामने झुकते हुए शुरुआत की, और बाद में ही उसने एआई के काम का आलोचनात्मक मूल्यांकन करना सीखा। पेपर का सुझाव है कि यह आत्मविश्वास में एक अस्थायी वृद्धि हो सकती है, न कि आवश्यक रूप से एक स्थायी स्वतंत्र कौशल।
• यह "एक ही आकार के सभी के लिए" (one-size-fits-all) समाधान नहीं है: पेपर का तर्क है कि एआई का उपयोग करने का कोई एक आदर्श तरीका नहीं है। जो चीज़ एक "डायलॉजिक" पार्टनर के लिए काम करती है, वह एक "सुपरवाइजरी" वॉचडॉग के लिए काम नहीं कर सकती।

5. हम कितने आश्वस्त हैं?

शोधकर्ता अपने शब्दों के प्रति सावधान हैं। वे कहते हैं कि उनके निष्कर्ष सुझाव देते हैं कि एक "डायलॉजिक" दृष्टिकोण (एआई को एक साथी के रूप में मानना) बेहतर परिणाम देता है। वे सुझाव देते हैं कि एआई से शुरुआत करना (एआई-फर्स्ट) निरंतरता में मदद कर सकता है।

• विश्वास का स्तर: यह अध्ययन केवल छह लोगों के साथ एक "लघु-स्तरीय" अन्वेषण है। लेखक स्वीकार करते हैं कि समूह बहुत छोटा होने के कारण, वे निश्चित रूप से यह नहीं कह सकते कि "एआई-फर्स्ट" विधि निश्चित रूप से बेहतर है; वे केवल यह कह सकते हैं कि आंकड़े उस दिशा में झुके थे।
• सटीकता: एआई ने 64.9% परिशुद्धता (precision) प्राप्त की। पेपर में कहा गया है कि यह मानव सहमति के स्तर 70–75% के "करीब पहुँच रहा है", लेकिन अभी तक वहाँ नहीं पहुँचा है। यह एक "संरचित निर्णय-सहायता उपकरण" है, न कि अंतिम उत्तर कुंजी।

बड़ी तस्वीर

यह अध्ययन मानव-एआई सहयोग को केवल "इंसान बनाम मशीन" या "मशीन काम कर रही है" के सरल परिदृश्य के रूप में नहीं, बल्कि एक गतिशील नृत्य के रूप में चित्रित करता है।

इस नृत्य की सफलता तीन चीजों के तालमेल पर निर्भर करती है:

1. कदम (एआई डिज़ाइन): निर्देश सरल, चरण-दर-चरण और एआई के मस्तिष्क के अनुकूल होने चाहिए (जैसे कि एक निर्णय वृक्ष)।
2. संगीत (संदर्भ): संचालन का क्रम (कौन पहले जाता है) लय को बदल देता है।
3. नर्तक की मानसिकता (इंसान): यदि आप एआई को एक साथी के रूप में देखते हैं, तो आप बेहतर नाचते हैं। यदि आप इसे एक दुश्मन के रूप में देखते हैं जिसे चेक करने की आवश्यकता है, तो आप लड़खड़ा जाते हैं।

पेपर निष्कर्ष निकालता है कि अनुसंधान में एआई एक सामाजिक-तकनीकी प्रक्रिया (socio-technical process) है। यह केवल कोड के बारे में नहीं है; यह इस बारे में है कि इंसान कैसा महसूस करता है, कैसे सोचता है और टूल के साथ कैसे बातचीत करता है। एक जिज्ञासु किशोर के लिए, सबक यह है: टूल उतना ही अच्छा है जितना कि वह रिश्ता जो आप उसके साथ बनाते हैं। यदि आप इसे एक स्मार्ट टीममेट की तरह मानते हैं, तो यह आपको बढ़ने में मदद करता है। यदि आप इसे एक संदिग्ध अजनबी की तरह मानते हैं, तो यह बस चेक किए जाने के इंतजार में बैठा रहता है।