AIn't Nothing But a Survey? Using Large Language Models for Coding German Open-Ended Survey Responses on Survey Motivation
यह अध्ययन भागीदारी प्रेरणा पर जर्मन मुक्त-अंत (ओपन-एंडेड) सर्वेक्षण प्रतिक्रियाओं को कोडिंग करने के लिए विभिन्न लार्ज लैंग्वेज मॉडल्स और प्रॉम्प्टिंग रणनीतियों की प्रभावशीलता का मूल्यांकन करता है, जिसमें यह पाया गया कि हालांकि मॉडल्स के बीच प्रदर्शन में काफी भिन्नता है, केवल फाइन-ट्यून्ड एलएलएम ही मानव विशेषज्ञों के तुलनीय संतोषजनक सटीकता प्राप्त करते हैं, जो स्वचालित कोडिंग विधियों को अपनाने वाले शोधकर्ताओं के लिए महत्वपूर्ण समझौतों (ट्रेड-ऑफ) को रेखांकित करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास 5,000 हस्तलिखित नोट्स का एक विशाल डिब्बा है, जिनमें लोगों ने बताया है कि उन्होंने एक सर्वे में भाग क्यों लिया। कुछ कहते हैं, "मुझे पैसा पसंद है," कुछ कहते हैं, "मैं जिज्ञासु हूँ," और कुछ बस "???" या "मुझे नहीं पता" लिख देते हैं। आपका काम इन नोट्स को 22 अलग-अलग फोल्डरों में छाँटना है। इसे हाथ से करना रेत के ढेर को एक-एक कण करके छाँटने जैसा है: इसमें बहुत समय लगता है, बहुत पैसा खर्च होता है, और आप थक भी सकते हैं जिससे गलतियाँ हो सकती हैं।
यह पेपर एक सरल प्रश्न पूछता है: क्या एक सुपर-स्मार्ट कंप्यूटर रोबोट (जिसे लार्ज लैंग्वेज मॉडल या LLM कहा जाता है) यह छँटाई का काम हमारे लिए कर सकता है?
शोधकर्ताओं ने जर्मन सर्वे नोट्स पर तीन अलग-अलग "रोबोट्स" (GPT-4o, Llama, और Mistral) का परीक्षण किया यह देखने के लिए कि वे सॉर्टर के रूप में कितनी अच्छी तरह काम कर सकते हैं। यहाँ उन्हें क्या मिला, कुछ रोज़मर्रा की तुलनाओं का उपयोग करते हुए:
1. सभी रोबोट एक जैसे नहीं होते
इन तीन रोबोटों को अलग-अलग प्रकार की कारों के रूप में सोचें:
- GPT-4o एक लक्जरी स्पोर्ट्स कार की तरह है। इसे किराए पर लेना महंगा है (आप प्रति शब्द भुगतान करते हैं), लेकिन यह सुचारू रूप से चलती है, जटिल मोड़ों को अच्छी तरह संभालती है, और आपको भरोसेमंद तरीके से गंतव्य तक पहुँचाती है।
- Llama और Mistral बजट कॉम्पैक्ट कारों की तरह हैं। यदि आप अपना खुद का गैरेज (यानी अपने कंप्यूटर पर उन्हें चलाते हैं) रखते हैं, तो इन्हें चलाना मुफ्त है, लेकिन उन्हें ऊबड़-खाबड़ रास्तों पर थोड़ा संघर्ष करना पड़ता है। उन्हें काम को सही ढंग से करने के लिए ड्राइवर से बहुत अधिक मदद की आवश्यकता होती है।
परिणाम: लक्जरी कार (GPT) ने बजट कारों की तुलना में नोट्स को छाँटने में बहुत बेहतर काम किया, भले ही बजट कारों को अतिरिक्त निर्देश दिए गए थे।
2. "निर्देश पुस्तिका" मायने रखती है (प्रॉम्प्टिंग)
शोधकर्ताओं ने रोबोट को निर्देश देने के अलग-अलग तरीके आजमाए, जो एक नए कर्मचारी को जॉब डिस्क्रिप्शन (कार्य विवरण) देने जैसा है:
- ज़ीरो-शॉट (The "बस कर दो" दृष्टिकोण): आप रोबट को कहते हैं, "ये रहे फोल्डर, इन नोट्स को छाँटो।" कोई उदाहरण नहीं।
- परिणाम: बजट कारें बहुत भ्रमित हो गईं। लक्जरी कार ठीक-ठाक थी, लेकिन एकदम सटीक नहीं।
- फ्यू-शॉट (The "मुझे एक उदाहरण दिखाओ" दृष्टिकोण): आप कहते हैं, "ये रहे फोल्डर, और ये रहे प्रत्येक फोल्डर में जाने वाले नोट्स के तीन उदाहरण।"
- परिणाम: इससे बजट कारों को काफी मदद मिली। वे छाँटने में बहुत बेहतर हो गईं। लक्जरी कार भी बेहतर हुई, लेकिन वह पहले से ही काफी अच्छी थी।
- फाइन-ट्यूनिंग (The "इंटर्नशिप" दृष्टिकोण): आप नोट्स का एक ढेर लेते हैं जिन्हें मनुष्यों ने पहले ही सही ढंग से छाँटा है, और आप रोबोट को बाकी नोट्स छाँटने के लिए कहने से पहले उसे कुछ समय के लिए अध्ययन करने देते हैं।
- परिणाम: यह जादुई समाधान (मैजिक बुलेट) था। जब लक्जरी कार (GPT) इस "इंटर्नशिप" से गुजरी, तो वह लगभग एक मानव विशेषज्ञ जितनी अच्छी हो गई। उसने कठिन नोट्स को भी पूरी तरह से छाँटा।
3. "कचरे के डिब्बे" की समस्या
सबसे बड़ी चुनौतियों में से एक उन नोट्स को छाँटना था जो वास्तव में कुछ नहीं कहते थे, जैसे "???" , "मुझे नहीं पता," या खाली स्थान।
- मानव समस्या: मनुष्य यह समझने में अच्छे होते हैं कि, "हे, यह तो बस बकवास है," और उन्हें "कोई कारण नहीं" वाले फोल्डर में डाल देते हैं।
- रोबोट समस्या: बिना "इंटर्नशिप" (फाइन-ट्यूनिंग) के, रोबोट अक्सर इन खाली नोट्स से भ्रमित हो जाते थे। या तो उन्होंने उन्हें अनदेखा कर दिया या उन्हें उस श्रेणी में डालने की कोशिश की जहाँ वे नहीं belonged करते थे।
- समाधान: केवल वही रोबोट जिसने "इंटर्नशिप" (फाइन-ट्यूनिंग) की थी, इन "बकवास" नोट्स को सही ढंग से पहचानने और छाँटने में सक्षम था। अन्य रोबोटों ने या तो उन्हें गलत जगहों पर छोड़ दिया या उन्हें छाँटा ही नहीं।
4. निचोड़: क्या रोबोट इंसान की जगह लेने के लिए तैयार है?
पेपर निष्कर्ष निकालता है कि रोबोट अभी इस विशिष्ट कार्य के लिए "सेट इट एंड फॉरगेट इट" (चालू करो और भूल जाओ) समाधान नहीं हैं।
- यदि आप बस रोबोट से यह करने को कहते हैं (ऑफ-द-शेल्फ): तो यह एक स्मार्ट इंटर्न को काम पर रखने जैसा है जिसे आपके विशिष्ट नियमों पर प्रशिक्षित नहीं किया गया है। वे गलतियाँ करेंगे, खासकर पेचीदा या अस्पष्ट नोट्स के साथ। वास्तव में, एक सरल, पुराने कंप्यूटर तरीके (जैसे सपोर्ट वेक्टर मशीन) ने इस विशिष्ट जर्मन संदर्भ में प्रशिक्षित रोबोटों की तुलना में बेहतर काम किया।
- यदि आप पहले रोबोट को प्रशिक्षित करते हैं (फाइन-ट्यूनिंग): तो यह एक सुपर-एफिशिएंट वर्कर बन जाता है जो मानवीय गुणवत्ता से मेल खाता है। लेकिन, इसे प्रशिक्षित करने के लिए, आपको अभी भी मनुष्यों को पहले नोट्स के एक ढेर को सही ढंग से छाँटने का कठिन काम करना होगा ताकि रोबोट को सिखाया जा सके।
मुख्य बात (Takeaway):
AI रोबोट का उपयोग करना एक हाई-टेक ब्लेंडर का उपयोग करने जैसा है। यदि आप सब्जियों को बिना तैयार किए (फाइन-ट्यूनिंग के बिना) उसमें डाल देते हैं, तो आपको एक गंदा स्मूदी मिलेगा। यदि आप पहले सब्जियों को काटते हैं (मानव कोडिंग) और फिर ब्लेंडर को बाकी काम करने देते हैं, तो आपको एक बेहतरीन ड्रिंक मिलेगा।
इसलिए, फिलहाल के लिए, इंसानों का प्रक्रिया में होना (in the loop) आवश्यक है। आप बस एक स्विच चालू करके अपने सर्वे डेटा को पूरी तरह से छाँटने के लिए AI को नहीं छोड़ सकते, खासकर यदि डेटा जर्मन जैसी भाषा में है या प्रश्न जटिल हैं। आपको पहले AI को सिखाना होगा, जिसका अर्थ है कि आपको अभी भी खुद कुछ काम करना होगा।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।