What Helps Language Models Predict Human Beliefs: Demographics or Prior Stances?
यह अध्ययन इस बात का मूल्यांकन करता है कि कैसे लार्ज लैंग्वेज मॉडल्स जनसांख्यिकीय डेटा और पूर्व दृष्टिकोणों का उपयोग करके मानव विश्वासों की भविष्यवाणी करते हैं, यह पाते हुए कि हालांकि दोनों प्रकार की जानकारी को संयोजित करने से सर्वोत्तम परिणाम प्राप्त होते हैं, लेकिन उनका सापेक्ष भविष्य कहने वाला मूल्य विभिन्न विश्वास डोमेन में महत्वपूर्ण रूप से भिन्न होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप किसी अजनबी के बारे में यह अनुमान लगाने की कोशिश कर रहे हैं कि वह किसी विशेष विषय के बारे में क्या सोचता है, जैसे कि क्या वह भूतों में विश्वास करता है या उसे कुत्तों के बजाय बिल्लियाँ पसंद हैं। आपके पास उस अनुमान को लगाने के दो मुख्य तरीके हैं:
- "वे कौन हैं" का सुराग: आप उनकी पृष्ठभूमि देखते हैं। क्या वे युवा हैं या वृद्ध? पुरुष हैं या महिला? वे शहर में रहते हैं या किसी खेत/गाँव में? उनका धर्म या राजनीतिक दल क्या है?
- "उन्होंने पहले क्या कहा है" का सुराग: आप उन अन्य चीजों की एक सूची देखते हैं जिनसे वे पहले सहमत या असहमत हुए हैं। उदाहरण के लिए, यदि उन्होंने पहले कहा था, "मुझे तीखा खाना पसंद नहीं है," तो आप अनुमान लगा सकते हैं कि उन्हें नया तीखा व्यंजन पसंद नहीं आएगा।
यह शोध पत्र एक सरल प्रश्न पूछता है: इन दोनों में से कौन सा सुराग एक कंप्यूटर (विशेष रूप से एक लार्ज लैंग्वेज मॉडल, या LLM) को मानवीय विश्वासों का बेहतर अनुमान लगाने में मदद करता है?
प्रयोग: एक डिजिटल डिबेट क्लब
शोधकर्ताओं ने एक ऑनलाइन बहस वेबसाइट Debate.org के एक विशाल संग्रह का उपयोग किया। इसे बहस के तर्कों के एक विशाल पुस्तकालय के रूप में समझें जहाँ लाखों लोगों ने हजारों विषयों पर "हाँ" या "नहीं" में मतदान किया है, जिनमें "क्या जलवायु परिवर्तन वास्तविक है?" जैसे गंभीर मुद्दों से लेकर "क्या बैटमैन सुपरमैन से बेहतर है?" जैसे मजेदार विषय शामिल हैं।
उन्होंने 9 अलग-अलग AI मॉडलों (अनुमान लगाने वालों) को एक चुनौती दी: एक विशिष्ट उपयोगकर्ता किसी नए विषय पर कैसे वोट करेगा, इसका पूर्वानुमान लगाना।
यह देखने के लिए कि क्या काम करता है, उन्होंने प्रत्येक उपयोगकर्ता के लिए प्रयोग को चार बार चलाया:
- अंधा अनुमान (The Blind Guess): AI को उपयोगकर्ता के बारे में कुछ भी पता नहीं था। उसने केवल औसत व्यक्ति के आधार पर अनुमान लगाया।
- बैकग्राउंड चेक (The Background Check): AI को उपयोगकर्ता की आयु, लिंग, राजनीति और धर्म का पता था, लेकिन उसे यह नहीं पता था कि वे पहले क्या मानते थे।
- हिस्ट्री चेक (The History Check): AI को उन चीजों की एक सूची पता थी जिन पर उपयोगकर्ता ने पहले मतदान किया था, लेकिन उसे उनकी पृष्ठभूमि के बारे में कुछ भी पता नहीं था।
- पूरा पैकेज (The Full Package): AI को पृष्ठभूमि और इतिहास दोनों का पता था।
परिणाम: यह विषय पर निर्भर करता है
अध्ययन से पता चला कि अनुमान लगाने का कोई एक "सर्वश्रेष्ठ" तरीका नहीं है। यह पूरी तरह से इस बात पर निर्भर करता है कि आप किस बारे में अनुमान लगा रहे हैं।
1. "पहचान" वाले विषय (राजनीति, धर्म, समाज)
- उपमा: कल्पना कीजिए कि आप अनुमान लगाने की कोशिश कर रहे हैं कि क्या कोई विशिष्ट राजनीतिक दल का समर्थन करता है।
- क्या काम आया: यह जानना कि वे कौन हैं (जनसांख्यिकी) यहाँ अविश्वसनीय रूप से शक्तिशाली था। यदि आप जानते हैं कि एक 25 वर्षीय उदारवादी व्यक्ति शहर में रहता है, तो AI बिना उनके पिछले वोटों को जाने भी उनके राजनीतिक विचारों के बारे में एक बहुत अच्छा अनुमान लगा सकता है।
- क्यों: ये विश्वास सामाजिक समूहों और पहचान से गहराई से जुड़े होते हैं। AI ने सीखा कि समान पृष्ठभूमि वाले लोग एक जैसा सोचते हैं।
2. "व्यक्तिगत पसंद" वाले विषय (खेल, मनोरंजन, कारें, यात्रा)
- उपमा: कल्पना कीजिए कि आप अनुमान लगाने की कोशिश कर रहे हैं कि क्या किसी को द अवेंजर्स फिल्म या द लेकर्स टीम पसंद है।
- क्या काम आया: यह जानना कि उन्होंने पहले क्या कहा था (पिछले विश्वास) विजेता रहा। यह जानना कि कोई "25 वर्षीय पुरुष" है, इसमें ज्यादा मदद नहीं मिली। लेकिन यदि AI को पता चलता कि उन्होंने पहले "मुझे सुपरहीरो फिल्में पसंद हैं" को "हाँ" कहा था, तो वह आसानी से अनुमान लगा सकता था कि वे एक नई सुपरहीरो फिल्म के लिए भी "हाँ" वोट देंगे।
- क्यों: ये प्राथमिकताएं व्यक्तिगत (idiosyncratic) होती हैं। वे व्यक्तिगत अनुभवों और विशिष्ट रुचियों से आकार लेती हैं, न कि केवल आयु या लिंग से।
3. "पूरा पैकेज" (दोनों सुराग)
- अधिकांश मामलों में, AI को पृष्ठभूमि की जानकारी और इतिहास दोनों देने से सबसे अच्छे परिणाम मिले। यह किसी व्यक्ति की पूरी फाइल (डोजियर) होने जैसा है।
- हालाँकि, कभी-कभी दूसरा सुराग जोड़ने से AI का अनुमान लगाना और भी खराब हो गया। उदाहरण के लिए, यदि AI पहले से ही पिछले वोटों के आधार पर खेल की पसंद का अनुमान लगाने में अच्छा था, तो उपयोगकर्ता की आयु जोड़ने से वह भ्रमित हो गया और सटीकता कम हो गई।
मुख्य निष्कर्ष
शोध पत्र निष्कर्ष निकालता है कि AI मॉडल मानवीय विश्वासों के बीच संबंध को समझने में बेहतर हो रहे हैं, लेकिन वे पूर्ण नहीं हैं।
- वे "समूह सोच" (Group Thinking) में अच्छे हैं: वे आसानी से उन विश्वासों की भविष्यवाणी कर सकते हैं जो सामाजिक पहचान (जैसे राजनीति) से जुड़े होते हैं क्योंकि उन्होंने लाखों समान पृष्ठभूमि वाले लोगों को समान चीजें कहते देखा है।
- वे "व्यक्तिगत पैटर्न" में बेहतर हैं: वे इस बात को जोड़ने में आश्चर्यजनक रूप से सक्षम हैं कि एक व्यक्ति ने पहले क्या कहा है और वह आगे क्या कह सकता है, विशेष रूप से शौक और मनोरंजन के मामले में।
- सीमा: इतनी सारी जानकारी के बावजूद, AI मन-पठन (mind-reader) नहीं है। यह अभी भी गलतियाँ करता है क्योंकि मानवीय विश्वास हमेशा तर्कसंगत नहीं होते, और लोग हमेशा सुसंगत भी नहीं होते।
संक्षेप में: यदि आप चाहते हैं कि कोई AI आपके राजनीतिक विचारों का अनुमान लगाए, तो उसे बताएं कि आप कौन हैं। यदि आप चाहते हैं कि वह आपकी पसंदीदा फिल्म का अनुमान लगाए, तो उसे दिखाएं कि आपको पहले क्या पसंद आया है। और यदि आप इसे दोनों देते हैं, तो यह आमतौर पर अपना सबसे अच्छा काम करता है—जब तक कि अतिरिक्त जानकारी मामले को भ्रमित न कर दे।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।