Language Model Fine-Tuning on Scaled Survey Data for Predicting Distributions of Public Opinions
यह शोध पत्र SubPOP का परिचय देता है, जो 3,362 सर्वेक्षण प्रश्नों और 70,000 उप-जनसंख्या-प्रतिक्रिया युग्मों का एक बड़े पैमाने का डेटासेट है, यह प्रदर्शित करने के लिए कि इस डेटा पर बड़े भाषा मॉडलों (large language models) को फाइन-ट्यून करना, विविध उप-जनसंख्याओं और अनदेखे सर्वेक्षणों में जनमत वितरणों की सटीक भविष्यवाणी करने में प्रॉम्प्ट इंजीनियरिंग (prompt engineering) की तुलना में काफी बेहतर प्रदर्शन करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक शहर योजनाकार (city planner) हैं जो एक नया पार्क बनाना चाहते हैं। आपको यह जानने की ज़रूरत है कि निवासी क्या चाहते हैं: क्या वे एक खेल का मैदान (playground) चाहते हैं या एक डॉग पार्क? क्या वे छाया पसंद करते हैं या खुली धूप?
परंपरागत रूप से, आपको घर-घर जाना होगा, हज़ारों लोगों से पूछना होगा, और परिणाम मिलने के लिए महीनों इंतज़ार करना होगा। यह महंगा है, धीमा है, और कभी-कभी आप उन लोगों को भी चूक जाते हैं जो दरवाज़ा नहीं खोलते।
अब, कल्पना कीजिए कि आपके पास एक सुपर-स्मार्ट रोबोट (एक लार्ज लैंग्वेज मॉडल, या LLM) है जिसने इंटरनेट पर लिखी गई लगभग हर चीज़ को पढ़ा है। आप उससे पूछते हैं, "इस पड़ोस के किशोर (teenagers) क्या चाहते हैं?" रोबोट अंदाज़ा लगाता है, लेकिन वह अक्सर गलत होता है। उसे लग सकता है कि सभी किशोर स्केट पार्क चाहते हैं क्योंकि उसने स्केटबोर्डिंग के बारे में बहुत सारी खबरें पढ़ी हैं, यह नज़रअंदाज़ करते हुए कि कई लोग केवल शांत बगीचे चाहते हैं। यह ऐसा है जैसे रोबोट का एक "डिफ़ॉल्ट व्यक्तित्व" है जो उन विशिष्ट समूहों से मेल नहीं खाता जिन्हें आप समझने की कोशिश कर रहे हैं।
यह शोध पत्र उस रोबोट को एक बहुत बेहतर "लोगों का पर्यवेक्षक" (people-observer) बनाने के बारे में है।
यहाँ बताया गया है कि शोधकर्ताओं ने क्या किया, सरल उपमाओं (analogies) का उपयोग करते हुए:
1. समस्या: रोबोट की "डिफ़ॉल्ट सेटिंग"
शोधकर्ताओं ने पाया कि केवल रोबोट को "एक रूढ़िवादी ईसाई जो ओहियो से है, होने का नाटक करने" (एक तकनीक जिसे प्रॉम्प्टिंग कहा जाता है) के लिए कहना ठीक से काम नहीं कर रहा था। रोबोट अभी भी अपने ही विचारों में फंसा हुआ था, वास्तविक डेटा के बजाय रूढ़ियों (stereotypes) के आधार पर अनुमान लगा रहा था। यह एक ऐसे शेफ की तरह था जिसे केवल इतालवी खाना बनाना आता है और अचानक उससे सिर्फ इसलिए एक बेहतरीन थाई भोजन बनाने के लिए कहा जाता है क्योंकि आपने उसे "थाई होने का अभिनय करने" के लिए कहा है। वह कोशिश तो करेगा, लेकिन स्वाद सही नहीं होगा।
2. समाधान: वास्तविक सर्वेक्षण डेटा पर "रट्टा मारना" (Cramming)
केवल रोबोट को यह बताने के बजाय कि उसे क्या करना है, शोधकर्ताओं ने उसे पुनः प्रशिक्षित (retrain) करने का निर्णय लिया। उन्होंने एक विशाल अध्ययन गाइड बनाई जिसे SubPOP कहा गया।
- अध्ययन गाइड: उन्होंने 3,362 वास्तविक सर्वेक्षण प्रश्न और महत्वपूर्ण रूप से, 70,000 विभिन्न समूहों के लोगों के वास्तविक उत्तर एकत्र किए (जैसे, "30-40 आयु वर्ग की एशियाई महिलाओं का जलवायु परिवर्तन के बारे में क्या विचार है?")।
- प्रशिक्षण: उन्होंने इस डेटा को रोबोट में डाला। केवल प्रश्नों को पढ़ने के बजाय, रोबोट ने एक विशिष्ट समूह को देखना और उत्तरों के वितरण (distribution) की भविष्यवाणी करना सीखा।
- उपमा: कल्पना कीजिए कि एक शिक्षक रोबोट को 100 छात्रों की एक कक्षा दिखा रहा है। केवल यह पूछने के बजाय कि, "एक सही उत्तर क्या है?", शिक्षक कहता है, "देखो, 40 छात्रों ने 'हाँ' के लिए हाथ उठाया, 30 ने 'शायद' के लिए और 30 ने 'नहीं' के लिए। जब आप इस तरह के समूह को देखते हैं, तो आपको ठीक इसी मिश्रण की भविष्यवाणी करनी चाहिए।"
3. परिणाम: एक "गिरगिट" (Chameleon) जैसा रोबोट
इस प्रशिक्षण के बाद, रोबोट एक कुशल गिरगिट बन गया।
- बेहतर सटीकता: किसी विशिष्ट समूह के बारे में पूछे जाने पर, रोबोट की भविष्यवाणियां पहले की तुलना में वास्तविक मानव उत्तरों के 46% अधिक करीब थीं।
- सामान्यीकरण (Generalization): सबसे अच्छी बात? रोबोट ने केवल उन विशिष्ट समूहों को याद नहीं किया जिनका उसने अध्ययन किया था। उसने यह सीखा कि विभिन्न समूह कैसे सोचते हैं, इसका पैटर्न क्या है। इसलिए, जब उसे किसी ऐसे समूह के बारे में पूछा गया जिसे उसने पहले कभी नहीं देखा था (जैसे "मिडवेस्ट के उदारवादी किशोर"), तो वह फिर भी एक बहुत अच्छा अनुमान लगा सका। उसने केवल शब्दावली नहीं, बल्कि जनमत की "व्याकरण" सीखी।
4. यह क्यों महत्वपूर्ण है
यह शोधकर्ताओं और नीति निर्माताओं के लिए गेम-चेंजर है।
- "पायलट टेस्ट" की उपमा: एक राजनेता द्वारा एक नए कानून का परीक्षण करने के लिए लाखों डॉलर के वास्तविक सर्वेक्षण पर खर्च करने से पहले, वे अब इस प्रशिक्षित रोबोट से पूछ सकते हैं: "यदि हम इस विशिष्ट जनसांख्यिकीय (demographic) के 1,000 लोगों से पूछते हैं, तो परिणाम क्या होंगे?"
- समय और पैसा बचाना: यह शोधकर्ताओं को यह पता लगाने में मदद करता है कि किन समूहों का सर्वेक्षण अधिक सावधानी से करने की आवश्यकता है, या यदि कोई प्रश्न भ्रमित करने वाला है, तो वास्तविक दुनिया का सर्वेक्षण शुरू करने से पहले ही।
निचोड़ (The Bottom Line)
शोधकर्ताओं ने एक स्मार्ट लेकिन थोड़े "दुनिया से कटे हुए" AI को लिया और उसे एक व्यापक, उच्च-गुणवत्ता वाला क्रैश कोर्स दिया कि वास्तविक लोग वास्तव में कैसे सोचते हैं और वोट देते हैं। उन्होंने AI को एक अनुमान लगाने वाले से बदलकर जनमत के एक विश्वसनीय सिम्युलेटर में बदल दिया, जिससे हमें विविध समूहों को पहले की तुलना में अधिक तेज़ी से और अधिक सटीकता से समझने में मदद मिलती है।
संक्षेप में: उन्होंने AI को यह अनुमान लगाना छोड़ दिया कि लोग क्या हो सकता है कि सोचें और यह भविष्यवाणी करना सिखाया कि वे वास्तव में क्या सोचते हैं, इस आधार पर कि विभिन्न समूह दुनिया के प्रति कैसे प्रतिक्रिया देते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।