Beyond Marginal Distributions: A Framework to Evaluate the Representativeness of Demographic-Aligned LLMs
यह शोधपत्र केवल सीमांत वितरणों (marginal distributions) के बजाय बहुभिन्नीय सहसंबंध पैटर्न (multivariate correlation patterns) का विश्लेषण करके जनसांख्यिकीय-संरेखित बड़े भाषा मॉडलों की प्रतिनिधित्व क्षमता का मूल्यांकन करने के लिए एक रूपरेखा प्रस्तावित करता है, जो यह प्रकट करता है कि वर्तमान स्टीयरिंग तकनीकें व्यक्तिगत प्रतिक्रिया दरों से मेल खाने के बावजूद मानवीय मूल्यों के अंतर्निहित संरचनात्मक संबंधों को पकड़ने में विफल रहती हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक वास्तविक मानव समाज का डिजिटल ट्विन (digital twin) बनाने की कोशिश कर रहे हैं। आप चाहते हैं कि यह AI कह सके, "यदि मैं जर्मनी का एक 60 वर्षीय रूढ़िवादी पुरुष होता, तो अर्थव्यवस्था के बारे में मेरा विचार यह होता," या "यदि मैं ब्राजील की एक युवा उदारवादी महिला होती, तो जलवायु परिवर्तन पर मेरा दृष्टिकोण यह होता।"
लंबे समय तक, शोधकर्ताओं को लगा कि वे एक शानदार काम कर रहे हैं। वे AI से कई सवाल पूछते, जवाबों की जांच करते, और कहते, "अरे, AI का औसत उत्तर वास्तविक मानव उत्तर के काफी करीब है!"
यह शोध पत्र तर्क देता है कि यह एक खतरनाक भ्रम है।
यहाँ सरल उपमाओं (analogies) का उपयोग करके इस शोध पत्र के निष्कर्षों का विवरण दिया गया है।
1. "औसत" का जाल (Marginal Distributions)
कल्पना कीजिए कि आप एक फ्रूट सलाद (फल का सलाद) बनाने की कोशिश कर रहे हैं।
- पुराना तरीका (Marginal Distributions): आप कटोरे को देखते हैं और फलों को गिनते हैं। आप देखते हैं कि इसमें 50% सेब, 25% अंगूर और 25% केले हैं। आप AI को एक फ्रूट सलाद बनाने के लिए कहते हैं। AI एक कटोरा बनाता है जिसमें 50% सेब, 25% अंगूर और 25% केले हैं।
- परिणाम: गिनती बिल्कुल सटीक मेल खाती है! शोधकर्ता कहते हैं, "बहुत बढ़िया, AI प्रतिनिधि (representative) है!"
लेकिन यहाँ समस्या है: AI ने शायद सारे सेब एक कोने में, सारे अंगूर दूसरे कोने में और सारे केले तीसरे कोने में रख दिए होंगे। वास्तविक दुनिया में, फल आपस में मिले हुए होते हैं। AI के कटोरे में, स्वाद उस तरह से आपस में नहीं मिलते जैसे उन्हें मिलना चाहिए।
शोध पत्र में, लेखक इसे Marginal Distributions कहते हैं। उन्होंने पाया कि AI मॉडल (विशेष रूप रूप से OpinionGPT नामक एक मॉडल) सही गिनती प्राप्त करने में बहुत कुशल थे। यदि 60% वास्तविक लोग नीति A का समर्थन करते हैं, तो AI ने भी कहा कि 60% इसका समर्थन करते हैं।
2. गायब "स्वाद" (Correlation Structures)
अब, कल्पना कीजिए कि आप उस AI के फ्रूट सलाद का एक निवाला लेते हैं।
- वास्तविक मनुष्य: यदि आप किसी वास्तविक व्यक्ति से पूछते हैं, "क्या आपको सेब पसंद हैं?" और वे कहते हैं, "हाँ," तो इस बात की उच्च संभावना है कि वे यह भी कहेंगे कि "हाँ, मुझे एप्पल पाई भी पसंद है।" ये विचार सहसंबंधित (correlated) हैं। वे व्यक्ति के गहरे विश्वदृष्टि (worldview) द्वारा आपस में जुड़े हुए हैं।
- AI: AI "सेब" के लिए "हाँ" कह सकता है और "एप्पल पाई" के लिए "नहीं" कह सकता है, भले ही वास्तविक दुनिया में, ये दोनों उत्तर आमतौर पर एक साथ आते हैं।
लेखक इसे Correlation Structures कहते हैं। यह विभिन्न विचारों के बीच संबंधों का छिपा हुआ जाल है। सिर्फ इसलिए कि AI व्यक्तिगत उत्तर सही दे रहा है, इसका मतलब यह नहीं है कि वह समझता है कि वे उत्तर एक सुसंगत व्यक्तित्व या संस्कृति बनाने के लिए आपस में कैसे जुड़ते हैं।
3. प्रयोग: AI को "निर्देशित" करने के दो तरीके
शोधकर्ताओं ने AI को विशिष्ट समूहों के लोगों की तरह व्यवहार करने के लिए दो अलग-अलग तरीकों का परीक्षण किया:
विधि A: "अभिनय" विधि (Persona Prompting)
- यह कैसे काम करती है: आप AI को कहते हैं, "हे, मान लो कि तुम एक रूढ़िवादी अमेरिकी हो।" यह एक अभिनेता द्वारा वेशभूषा पहनने जैसा है।
- परिणाम: AI विचारों के बीच के संबंधों को बनाए रखने में वास्तव में बेहतर था। वह समझता था कि यदि आप एक रूढ़िवादी हैं, तो संभवतः आपके पास विशिष्ट जुड़े हुए विश्वास होंगे। हालाँकि, यह थोड़ा अधिक कठोर था, अक्सर सभी को एक ही उत्तर देता था (जैसे कि एक रोबोट अभिनेता)।
विधि B: "सीखने" की विधि (Fine-Tuning)
- यह कैसे काम करती है: आप AI को रूढ़िवादी अमेरिकियों (Reddit से) द्वारा लिखे गए हजारों वास्तविक पोस्ट खिलाते हैं और उसे सीखने देते हैं। यह ऐसा है जैसे AI वास्तव में वह व्यक्ति बन जाता है।
- परिणाम: यह विधि गिनती को सही करने में बेहतर थी। वह जानता था कि कितने लोग किस बात का समर्थन करते हैं। लेकिन, यह संबंधों (connections) में विफल रहा। उसने हर विचार को एक अलग तथ्य के रूप में माना, यह भूल गया कि वास्तविक जीवन में, ये विचार एक 'पैकेज डील' की तरह होते हैं।
4. बड़ा आश्चर्य
यह शोध पत्र एक चौंकाने वाला मोड़ प्रकट करता है:
- "सीखने" वाली विधि (Fine-tuning) सतह पर एकदम सही दिखती थी (फलों की गिनती सही थी)।
- "अभिनय" वाली विधि (Prompting) सतह पर थोड़ी खराब दिखती थी।
- लेकिन, जब आपने गहरे ढांचे (फलों के मिश्रण) को देखा, तो "अभिनय" वाली विधि वास्तव में वास्तविक मनुष्यों के सोचने के तरीके के अधिक करीब थी, जबकि "सीखने" वाली विधि में आंतरिक तर्क (internal logic) खो गया था।
दोनों में से कोई भी विधि पूर्ण नहीं थी। दोनों ही मानवीय मूल्यों के जटिल, परस्पर जुड़े जाल को पूरी तरह से पकड़ने में विफल रहीं।
5. यह क्यों मायने रखता है
लेखक हमें अत्यधिक आशावादी होने के प्रति चेतावनी देते हैं। यदि हम केवल यह जाँचते हैं कि क्या AI "औसत" उत्तर सही दे रहा है, तो हमें लग सकता है कि वह मानव समाज को समझता है। लेकिन यदि वह यह नहीं समझता कि हमारे विचार आपस में कैसे जुड़े हैं, तो यह एक ऐसे मानचित्र की तरह है जिसमें सभी शहर तो सही जगह पर हैं, लेकिन उन्हें जोड़ने वाली सड़कें गायब हैं।
निष्कर्ष:
AI को मानवता का वास्तविक प्रतिनिधि बनाने के लिए, हम केवल एक समूह के सांख्यिकी (statistics) की नकल करने के लिए नहीं पूछ सकते। हमें इसे उन सांख्यिकीओं के बीच के संबंधों को सिखाना होगा। हमें यह सुनिश्चित करने की आवश्यकता है कि AI यह समझे कि "उदारवादी" या "रूढ़िवादी" होना केवल यादृच्छिक (random) विचारों की एक सूची नहीं है, बल्कि एक सुसंगत, परस्पर जुड़ा हुआ विश्वदृष्टि है।
जब तक हम ऐसा नहीं कर पाते, हमारे "डिजिटल ट्विन्स" केवल दिखावटी पात्र (caricatures) हैं, मानव अनुभव का वास्तविक प्रतिबिंब नहीं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।