More Parameters Than Populations: A Systematic Literature Review of Large Language Models within Survey Research
यह वर्किंग पेपर एक व्यवस्थित साहित्य समीक्षा प्रस्तुत करता है जो सर्वेक्षण अनुसंधान के डेटा संग्रह-पूर्व, डेटा संग्रह और डेटा संग्रह-पश्च चरणों में लार्ज लैंग्वेज मॉडल्स (LLMs) के वर्तमान अनुप्रयोगों, संभावित उपयोग के मामलों और कमियों को वर्गीकृत करता है, साथ ही LLMs के परिशोधन में योगदान देने के लिए क्षेत्र के अवसरों पर प्रकाश डालता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
सर्वेक्षण अनुसंधान (survey research) की कल्पना एक विशाल, उच्च-दांव वाली कुकिंग प्रतियोगिता के रूप में करें। दशकों से, शेफ (शोधकर्ता) एक आदर्श व्यंजन (डेटा) बनाने के लिए मानव स्वाद-परीक्षकों, हस्तलिखित व्यंजनों और सावधानीपूर्वक मैन्युअल गिनती पर भरोसा करते आए हैं। लेकिन अब, रसोई में एक नया, अविश्वसनीय रूप से शक्तिशाली किचन रोबोट आया है: लार्ज लैंग्वेज मॉडल (LLLLM)।
यह शोध पत्र (लेख) एक टीम ऑफ फूड क्रिटिक्स (लेखकों) की तरह है जो रसोई में घूमकर यह देख रहे हैं कि इन रोबोटों का उपयोग अब तक वास्तव में कैसे किया जा रहा है। उन्होंने केवल अनुमान नहीं लगाया; उन्होंने वर्तमान स्थिति का मानचित्र बनाने के लिए लगभग 190 विशिष्ट रिपोर्टों (पत्रों) का अध्ययन किया।
यहाँ उनके निष्कर्ष दिए गए, जिन्हें सरल रूप में विभाजित किया गया है:
1. रसोई के तीन चरण
लेखकों ने अपने निष्कर्षों को सर्वेक्षण बनाने के तीन मुख्य चरणों के आधार पर व्यवस्थित किया है, जहाँ वे LLM को एक उपकरण के रूप में देखते हैं जो प्रक्रिया के विभिन्न बिंदुओं पर मदद कर सकता है:
- खाना पकाने से पहले (डेटा संग्रह से पूर्व - Pre-Data Collection): यह रेसिपी लिखने का चरण है। शोध पत्र नोट करता है कि रोबोटों का यहाँ काफी उपयोग किया जा रहा है। वे प्रश्न लिखने, व्यंजनों का विभिन्न भाषाओं में अनुवाद करने और यहाँ तक कि "स्वाद-परीक्षक" होने का नाटक करने में मदद करते हैं ताकि यह देखा जा सके कि क्या कोई प्रश्न भ्रमित करने वाला है, इससे पहले कि वास्तविक लोग उसे आजमाएं।
- सावधानी: कभी-कभी रोबोट भोजन चखता है और कहता है कि यह स्वादिष्ट है, लेकिन वास्तव में वह 'हैलुसिनेट' (भ्रमित होकर कुछ भी बना देना) कर रहा होता है। वह सोच सकता है कि एक प्रश्न समझ में आने योग्य है, जबकि वास्तव में वह वास्तविक मानव के लिए निरर्थक हो सकता है।
- खाना पकाने के दौरान (डेटा संग्रह - Data Collection): यह वह चरण है जब रोबोट एक सहायक शेफ या एक नकली ग्राहक के रूप में कार्य करता है। कुछ शोधकर्ता "सिंथेटिक" लोग (नकली उत्तरदाता) उत्पन्न करने के लिए LLMs का उपयोग कर रहे हैं ताकि यह देखा जा सके कि एक सर्वेक्षण कैसे हो सकता है।
- सावधानी: यदि आप एक रोबोट के लिए भोजन पकाते हैं, तो हो सकता है कि उसका स्वाद उस भोजन जैसा न हो जो एक वास्तविक मानव खाएगा। शोध पत्र चेतावनी देता है कि ये नकली प्रतिक्रियाएं वास्तविक लोगों का प्रतिनिधित्व करने के लिए पर्याप्त सटीक नहीं हो सकती हैं, विशेष रूप से जटिल राजनीतिक विचारों के मामले में।
- खाना पकाने के बाद (डेटा संग्रह के बाद - Post-Data Collection): यह सफाई और प्लेटिंग का चरण है। एक बार जब वास्तविक मनुष्यों ने सर्वेक्षण का उत्तर दे दिया होता है, तो रोबोटों का उपयोग अव्यवस्थित नोट्स को छाँटने, लोगों द्वारा कही गई बातों का सारांश निकालने और डेटा को व्यवस्थित करने के लिए किया जाता है।
- सावधानी: जिस तरह से एक रोबोट हाथ से लिखे नोट को गलत पढ़ सकता है, उसी तरह वह कभी-कभी सूक्ष्म मानवीय भावनाओं या विचारों को गलत वर्गीकृत कर सकता है, जिससे इस बारे में गलत निष्कर्ष निकल सकता है कि "डिनर पार्टी" ने वास्तव में क्या सोचा था।
2. रसोई में असंतुलन
इस समीक्षा का सबसे बड़ा निष्कर्ष यह है कि रोबोट तैयारी और सफाई के चरणों में बहुत अधिक काम कर रहे हैं, लेकिन वे वास्तविक खाना पकाने (लाइव इंटरव्यू लेना और वास्तविक लोगों की भर्ती करना) को लगभग स्पर्श भी नहीं कर रहे हैं।
लेखक बताते हैं कि यह अजीब है क्योंकि ये रोबोट बात करने और कई भाषाओं को समझने में विशेषज्ञ माने जाते हैं। फिर भी, हम उन्हें लोगों से वास्तव में बात करने या उन्हें भर्ती करने के लिए उपयोग होते हुए अधिक नहीं देख रहे हैं। यह एक ऐसे रोबोट जैसा है जो 50 भाषाएँ बोल सकता है, लेकिन हम उसका उपयोग केवल मेनू लिखने और प्लेटों को गिनने के लिए करते हैं, भोजन परोसने के लिए कभी नहीं।
3. रोबोट को शेफ की भी ज़रूरत है
यह पत्र पासा भी पलट देता है। यह केवल शेफ की मदद करने के लिए रोबोट के बारे में नहीं है; यह इस बारे में भी है कि शेफ रोबोट की मदद कैसे कर सकता है।
- रोबोट को प्रशिक्षित करना: सर्वेक्षण शोधकर्ता त्रुटियों को पहचानने और गुणवत्ता सुनिश्चित करने में विशेषज्ञ होते हैं। शोध पत्र सुझाव देता है कि सर्वेक्षण शोधकर्ताओं द्वारा उपयोग की जाने वाली कठोर विधियाँ इन रोबोटों को स्मार्ट बनाने और तथ्य बनाने (hallucination) की उनकी प्रवृत्ति को कम करने में मदद कर सकती हैं।
- रोबोट को समझना: सर्वेक्षणों का उपयोग लोगों से यह पूछने के लिए भी किया जा रहा है, "आप इन रोबोटों के बारे में क्या सोचते हैं?" यह हमें यह समझने में मदद करता है कि जनता इस तकनीक को कैसे देखती है।
4. आगे क्या है?
लेखक स्वीकार करते हैं कि यह एक "प्रगति पर कार्य" (work-in-progress) है। वे वर्तमान में अपने 189 पत्रों की सूची की दोबारा जाँच कर रहे हैं ताकि यह सुनिश्चित किया जा सके कि उनसे कुछ छूटा तो नहीं है। वे गहराई से देखने की योजना बना रहे हैं कि क्या रोबट कुछ समूहों के लिए अन्य समूहों की तुलना में बेहतर काम करते हैं, या क्या वे विषय बहुत जटिल होने पर विफल हो जाते हैं।
संक्षेप में: लार्ज लैंग्वेज मॉडल्स (LLMs) सर्वेक्षण अनुसंधान में दिखाई दे रहे हैं, मुख्य रूप से प्रश्न लिखने और डेटा को साफ करने में मदद करने के लिए। वे आशाजनक उपकरण हैं, लेकिन वे उत्तर भी बना सकते हैं या बारीकियों को गलत समझ सकते हैं। यह पत्र तर्क देता है कि हमें सावधान रहने, उनका पूरी तरह से परीक्षण करने और अपने मानवीय विशेषज्ञता का उपयोग करने की आवश्यकता है ताकि यह सुनिश्चित हो सके कि ये डिजिटल सहायक हमारी रेसिपी खराब न कर दें।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।