The threat of analytic flexibility in using large language models to simulate human data
यह शोध पत्र यह प्रदर्शित करता है कि लार्ज लैंग्वेज मॉडल्स के साथ बड़े पैमाने पर सिंथेटिक "सिलिकॉन नमूने" उत्पन्न करने में निहित पर्याप्त विश्लेषणात्मक लचीलापन मानव डेटा के साथ उनके पत्राचार को भौतिक रूप से बदल सकता है, जिससे अनुसंधान निष्कर्षों की वैधता को खतरा उत्पन्न होता है और अधिक कठोर विन्यास रणनीतियों की आवश्यकता होती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक शेफ हैं जो किसी प्रसिद्ध, जटिल व्यंजन (जैसे कि एक आदर्श लासग्ना) को फिर से बनाने की कोशिश कर रहे हैं, बिना कभी उसके असली स्वाद को चखे। केवल सामग्री खरीदने और खाना पकाने के बजाय, आप एक सुपर-स्मार्ट, लेकिन थोड़े अजीबोगरीब रोबोट शेफ से पूछते हैं कि वह सालों पहले पढ़ी गई एक रेसिपी बुक के आधार पर अंदाज़ा लगाए कि उस व्यंजन का स्वाद कैसा होगा।
यह वास्तव में वही है जो सामाजिक वैज्ञानिक कर रहे हैं जब वे "सिलिकॉन सैंपल्स" (Silicon Samples) बनाने के लिए "लार्ज लैंग्वेज मॉडल्स" (LLMs) का उपयोग करते हैं। वास्तविक मनुष्यों से सर्वेक्षण भरने के लिए कहने के बजाय, वे AI मॉडल्स से पूछते हैं कि वे इंसानों होने का नाटक करें और सवालों के जवाब दें। उम्मीद यह है कि AI समय, पैसा और प्रयास बचा सकता है और सटीक परिणाम दे सकता है।
हालाँकि, जेमी कमिंग्स का पेपर तर्क देता है कि यह "रोबोट शेफ" इस बात के प्रति अविश्वसनीय रूप से संवेदनशील है कि आप उसे "कैसे खाना बनाना सिखाते हैं"।
समस्या: "विभाजित रास्तों का बगीचा" (The Garden of Forking Paths)
पेपर एक रूपक का उपयोग करता है जिसे "विभाजित रास्तों का बगीचा" कहा जाता है। कल्पना कीजिए कि आप एक बगीचे में घूम रहे हैं जिसमें हजारों रास्ते हैं। हर बार जब आप एक निर्णय लेते हैं (बाएं या दाएं मुड़ना), तो आप बगीचे के एक पूरी तरह से अलग हिस्से में पहुँच जाते हैं। आप जो भी निर्णय लेते हैं, आप एक नया रास्ता चुन रहे होते हैं। इन निर्णनों में शामिल हैं:
- किस AI मॉडल का उपयोग करना है (जैसे, GPT-4 बनाम GPT-3.5)।
- AI कितना "रचनात्मक" या "अनिश्चित" हो सकता है (एक सेटिंग जिसे "टेम्परेचर" कहा जाता है)।
- AI को क्या विवरण देना है (जैसे, "मानो तुम 30 वर्षीय पुरुष हो" बनाम "मानो तुम 30 वर्षीय पुरुष हो जिसे जैज़ पसंद है और तुम ओहियो में रहते हो")।
- सवाल कैसे पूछने हैं (एक बड़ा टेक्स्ट ब्लॉक बनाम एक बार में एक सवाल पूछना)।
प्रयोग: अराजकता की रेसिपी
लेखक ने यह देखने के लिए दो बड़े प्रयोग चलाए कि जब आप इन "रास्तों" को बदलते हैं तो क्या होता है।
अध्ययन 1: स्वाद परीक्षण (The Taste Test)
लेखक ने अलग-अलग AI कॉन्फ़िगरेशन को दो मानक मनोवैज्ञानिक प्रश्नों (नस्लीय भावनाओं और एक "न्यायपूर्ण दुनिया" में विश्वासों के बारे में) का उत्तर देने के लिए कहा। उन्होंने AI के उत्तरों की तुलना 85 वास्तविक मनुष्यों के उत्तरों से की।
- परिणाम: यह एक गड़बड़ी थी। आपके द्वारा चुने गए "पथ" (कॉन्फ़िगरेशन) के आधार पर, AI के उत्तर पूरी तरह से अलग दिखते थे।
- कभी-कभी, AI मानव रैंकिंग से पूरी तरह मेल खाता था।
- अन्य समय में, AI रैंकिंग को उल्टा कर देता था।
- महत्वपूर्ण बात यह है कि एक कॉन्फ़िगरेशन जो एक चीज़ का अनुमान लगाने में बहुत अच्छा था, वह अक्सर दूसरी चीज़ का अनुमान लगाने में बहुत खराब था। ऐसा कोई "जादुई सेटिंग" नहीं था जो हर चीज़ का अनुमान लगाने में AI को पूर्ण बना सके।
अध्ययन 2: पुन: प्रयास (The Re-Do)
लेखक ने 2023 के एक प्रसिद्ध, अत्यधिक उद्धृत अध्ययन को लिया जिसमें दावा किया गया था कि AI राजनीतिक विचारों की नकल करने में पूरी तरह सक्षम है। लेखक ने उस अध्ययन को 66 अलग-अलग "रास्तों" (अलग-अलग सेटिंग्स) का उपयोग करके फिर से चलाया।
- परिणाम: मूल अध्ययन ने AI और मनुष्यों के बीच एक मजबूत मिलान का दावा किया था। लेकिन जब लेखक ने सेटिंग्स को थोड़ा बदला, तो वह मिलान "बहुत मजबूत" से गिरकर "कमजोर" या "गैर-मौजूद" हो गया।
- यह पता चला कि मूल सफलता केवल हजारों रास्तों में से एक भाग्यशाली रास्ता था। यदि मूल शोधकर्ताओं ने थोड़ा अलग रास्ता चुना होता, तो वे यह निष्कर्ष निकाल सकते थे कि AI पूरी तरह से बेकार है।
मुख्य निष्कर्ष: "संकट में नींद में चलना" (Sleepwalking into Trouble)
पेपर चेतावनी देता है कि वैज्ञानिक समुदाय वर्तमान में एक संकट की ओर "नींद में चल रहा है"। क्योंकि AI का उपयोग करना बहुत आसान है, शोधकर्ता अनजाने में वह रास्ता चुन सकते हैं जो उन्हें वह परिणाम देता है जिसे वे देखना चाहते हैं, बिना यह जाने कि वे आसानी से एक अलग रास्ता चुन सकते थे जो पूरी तरह से अलग परिणाम देता।
यह खतरनाक है क्योंकि:
- यह नकली विज्ञान बनाता है: आप सेटिंग्स को थोड़ा बदलकर कोई भी परिणाम प्राप्त कर सकते जैसा कि आप चाहते हैं।
- यह कमजोर लोगों को नुकसान पहुँचाता है: यदि हम AI को "औसत" लोगों की नकल करने में भी सही ढंग से सक्षम नहीं बना सकते, तो हम निश्चित रूप से इसे कठिन परिस्थितियों वाले या कमजोर समूहों की नकल करने के लिए भरोसा नहीं कर सकते।
- यह समय बर्बाद करता है: यदि आपको "सही" सेटिंग खोजने के लिए इतने सारे AI सेटिंग्स का परीक्षण करने में इतना समय बिताना पड़ता है, तो आप उतने ही बेहतर होते यदि आप वास्तविक मनुष्यों से ही पूछ लेते।
समाधान: एक सतर्क वास्तुकार बनें
लेखक का सुझाव है कि यदि हम अनुसंधान के लिए AI का उपयोग करना चाहते हैं, तो हम इसे बस "तुक्के से" नहीं कर सकते। हमें:
- पहले से योजना बनानी चाहिए: शुरू करने से पहले तय करें कि आप वास्तव में क्या मापने की कोशिश कर रहे हैं।
- सब कुछ टेस्ट करें: केवल एक टेस्ट न चलाएं; कई अलग-अलग संस्करण चलाएं ("स्पेसिफिकेशन कर्व") यह देखने के लिए कि आपके विकल्पों के आधार पर आपके परिणाम कितने बदलते हैं।
- काम को विभाजित करें: अपने AI सेटिंग्स को "प्रशिक्षित" या "कैलिब्रेट" करने के लिए कुछ वास्तविक मानव डेटा का उपयोग करें, और फिर देखें कि क्या यह वास्तव में काम करता है, इसके लिए AI का परीक्षण नए मानव डेटा पर करें।
संक्षेप में
मनुष्यों का अनुकरण करने के लिए AI का उपयोग करना एक रोबोट का उपयोग करके चित्र बनाने जैसा है। यदि आप रोबोट को कहते हैं "एक चेहरा बनाओ," तो वह एक उत्कृष्ट कृति बना सकता है। लेकिन यदि आप उसे कहते हैं "एक चेहरा बनाओ, लेकिन आँखें नीली और बैकग्राउंड हरा रखो," तो वह एक राक्षस बना सकता है।
पेपर कहता है: बस एक रैंडम सेटिंग न चुनें और उम्मीद न करें कि सब ठीक हो जाएगा। यदि आप रोबोट को दिए जाने वाले अपने हर निर्देश को सावधानीपूर्वक नियंत्रित और परीक्षण नहीं करते हैं, तो मानव व्यवहार का आपका "चित्र" एक भ्रम (hallucination) हो सकता है, वास्तविकता नहीं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।