Reasoning Boosts Opinion Alignment in LLMs
यह शोध पत्र प्रदर्शित करता है कि बड़े भाषा मॉडलों (लार्ज लैंग्वेज मॉडल्स) को संरचित तर्क (स्ट्रक्चर्ड रीजनिंग) का उपयोग करने के लिए प्रशिक्षित करना, अमेरिकी, यूरोपीय और स्विस संदर्भों में राजनीतिक विचारों के साथ उनके संरेखण की क्षमता में सुधार करता है, हालांकि यह पूर्वाग्रह को पूरी तरह से समाप्त नहीं करता है, जिससे निष्ठावान राजनीतिक डिजिटल ट्विन्स बनाने के लिए एक नया आधार रेखा (बेसलाइन) स्थापित होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप किसी विशिष्ट व्यक्ति का डिजिटल ट्विन (digital twin) बनाना चाहते हैं—उनका एक आभासी संस्करण जो एक कमरे में बैठ सके, एक राजनीतिक प्रश्न पढ़ सके, और बिल्कुल वैसा ही उत्तर दे सके जैसा कि वे देते।
यह शोध पत्र (paper) बड़े भाषा मॉडलों (LLMs) को ठीक यही करने के लिए सिखाने के बारे में है। लेकिन यहाँ एक पेंच है: यदि आप एक मानक AI से पूछते हैं, "एक रूढ़िवादी मतदाता इस बारे में क्या सोचेगा?" तो वह अक्सर एक सामान्य, थोड़ा पक्षपाती उत्तर देता है जो वास्तविक व्यक्ति से मेल नहीं खाता। यह एक पेशेवर अभिनेता को एक भूमिका निभाने के लिए कहने जैसा है, लेकिन उसे केवल चरित्र का एक अस्पष्ट विवरण दिया गया है; वे लहजा तो सही पकड़ सकते हैं, लेकिन वे उसकी आत्मा को मिस कर जाते हैं।
ETH ज्यूरिख के लेखकों ने पूछा: क्या हम इन AI मॉडलों को केवल रूढ़ियों (stereotypes) के आधार पर अनुमान लगाने के बजाय, सही उत्तर तक पहुँचने के लिए "सोचने" का तरीका सिखा सकते हैं?
यहाँ उनके सफर का विवरण दिया गया, जिसे रोजमर्रा के उदाहरणों के साथ समझाया गया है।
1. समस्या: "रूढ़िवादिता" का जाल (The "Stereotype" Trap)
वर्तमान AI मॉडल अति-उत्साही समाचार एंकरों की तरह हैं। यदि आप उनसे कहते हैं, "आप एक डेमोक्रेट हैं," तो वे तुरंत वही सामान्य डेमोक्रेटिक बातें बोलना शुरू कर सकते हैं जो उन्होंने लाखों बार सुनी हैं। वे "जनसांख्यिकीय शॉर्टकट" (जैसे, "बूढ़े लोग आमतौर पर इस तरह वोट करते हैं") पर निर्भर रहते हैं।
लेकिन वास्तविक लोग जटिल होते हैं। एक 60 वर्षीय रूढ़िवादी पर्यावरण कानूनों को पसंद कर सकता है, और एक युवा उदारवादी उन्हें नापसंद कर सकता है। जब AI शॉर्टकट पर निर्भर होता है, तो वह इन अनूठी, व्यक्तिगत बारीकियों को पकड़ने में विफल रहता है। यह किसी के केवल उसकी उम्र और नौकरी को जानकर उसके पसंदीदा आइसक्रीम के स्वाद का अनुमान लगाने जैसा है—यह अक्सर गलत होता है।
2. समाधान: "रीज़निंग जिम" (The "Reasoning Gym")
लेखकों ने महसूस किया कि किसी विशिष्ट व्यक्ति के विचारों को वास्तव में समझने के लिए, AI को समस्या के माध्यम से तर्क (reasoning) करना होगा, ठीक वैसे ही जैसे एक इंसान करता है।
उन्होंने GRPO (Group Relative Policy Optimization) नामक तकनीक का उपयोग किया। इसे AI के लिए एक पर्सनल ट्रेनर के रूप में समझें।
- वर्कआउट: AI को एक राजनीतिक प्रश्न दिया जाता है (जैसे, "क्या हमें टैक्स बढ़ाना चाहिए?")।
- दिनचर्या: केवल उत्तर चिल्लाने के बजाय, AI को पहले एक छोटा "रीज़निंग ट्रेस" (तर्क प्रक्रिया) लिखने के लिए मजबूर किया जाता है। उसे यह समझाना होगा कि वह एक निश्चित तरीके से क्यों सोचता है।
- पुरस्कार प्रणाली: यदि AI का अंतिम उत्तर वास्तविक व्यक्ति के सर्वेक्षण वाले वास्तविक उत्तर से मेल खाता है, तो उसे एक "इनाम" (reward) मिलता है। यदि वह गलत होता है, तो उसे एक कोमल सुधार मिलता है।
समय के साथ, AI सीखता है: "ओह, मैं समझ गया। इस विशिष्ट व्यक्ति के लिए 'निष्पक्षता' 'अर्थव्यवस्था' से अधिक महत्वपूर्ण है, इसलिए जब मैं टैक्स के बारे में तर्क करूँ, तो मुझे निष्पक्षता पर ध्यान केंद्रित करना चाहिए।"
3. प्रशिक्षण डेटा: "राजनीतिक ट्रिविया" (The "Political Trivia")
इन डिजिटल ट्विन्स को प्रशिक्षित करने के लिए, शोधकर्ताओं ने वास्तविक लोगों से ली गई तीन विशाल "ट्रिविया बुक्स" (डेटासेट) का उपयोग किया:
- स्विस उम्मीदवार: 18 राजनेता, 60 प्रश्नों के उत्तर देते हुए।
- जर्मन पार्टियाँ: 6 प्रमुख राजनीतिक दल, प्रश्नों के उत्तर देते हुए।
- अमेरिकी मतदाता: 2020 के चुनाव के 21 व्यक्तिगत मतदाता।
उन्होंने केवल AI को उत्तर नहीं खिलाए; उन्होंने उसे प्रश्न और उत्तर दोनों दिए, और AI को उनके बीच के "सोचने के चरणों" को भरने के लिए सिखाया।
4. परिणाम: अच्छा, लेकिन पूर्ण नहीं (Good, But Not Perfect)
परिणाम उत्साहजनक थे, जैसे कि कोई छात्र जिसने कड़ी मेहनत की और टेस्ट में B+ प्राप्त किया, लेकिन अभी भी कुछ छोटी गलतियाँ कीं।
- जीत: वह AI जिसे "तर्क" करने (चरण-दर-चरण सोचने) के लिए प्रशिक्षित किया गया था, वह केवल जनसांख्यिकी के आधार पर अनुमान लगाने वाले AI की तुलना में वास्तविक लोगों की नकल करने में बहुत बेहतर था। वह एक विशिष्ट व्यक्ति के विचारों की सूक्ष्मता को पकड़ सकता था।
- "तटस्थ" का जाल: AI को उन लोगों के साथ सबसे अधिक संघर्ष करना पड़ा जिन्होंने "तटस्थ" (Neutral) या "मुझे नहीं पता" उत्तर दिया। एक AI के लिए अनिश्चित होना सीखना कठिन है! यह अक्सर "हाँ" या "नहीं" में उत्तर देने की कोशिश करता है, भले ही वास्तविक व्यक्ति दुविधा में हो।
- राजनीतिक पूर्वाग्रह: AI में अभी भी एक हल्का "वामपंथी झुकाव" (left-leaning bias) था (जो कई AI मॉडलों की एक सामान्य विशेषता है)। यह दक्षिणपंथी मतदाताओं की तुलना में वामपंथी मतदाताओं की नकल करने में बेहतर था। यह ऐसा है जैसे AI का "मूल व्यक्तित्व" स्वाभाविक रूप से एक तरफ के राजनीतिक स्पेक्ट्रम के साथ संरेखित था, जिससे दूसरे पक्ष की सटीक नकल करना कठिन हो गया।
5. बड़ी तस्वीर: यह क्यों मायने रखता है (The Big Picture: Why This Matters)
लेखक इंसानों को रोबोट से बदलने की कोशिश नहीं कर रहे हैं। इसके बजाय, वे डिजिटल लोकतंत्रों (Digital Democracies) के लिए उपकरण बना रहे हैं।
कल्पना कीजिए कि भविष्य में, कोई कानून पारित होने से पहले, हम यह सिम्युलेट (simulate) कर सकें कि वास्तविक मतदाताओं (वास्तविक लोगों के डिजिटल ट्विन) के हजारों अलग-अलग रूप उस पर कैसी प्रतिक्रिया देंगे। हम पूछ सकते हैं, "यदि हम इस टैक्स नीति को बदलते हैं, तो ओहियो की एक एकल माँ बनाम टेक्सास के एक छोटे व्यवसायी की प्रतिक्रिया क्या होगी?"
यह शोध पत्र दिखाता है कि यदि हम AI को केवल याद करने के बजाय तर्क करने के लिए सिखाते हैं, तो हम मानव राय के बहुत अधिक सटीक और निष्पक्ष सिमुलेशन बना सकते हैं। हालाँकि, इन डिजिटल ट्विन्स पर हमारे प्रतिनिधि के रूप में मतदान करने के लिए भरोसा करने से पहले हमें "पूर्वाग्रह" और "तटस्थता" के मुद्दों को ठीक करने की आवश्यकता है।
संक्षेप में: लेखकों ने AI को अनुमान लगाना बंद करके सोचना सिखाया, जिससे यह मानव राजनीतिक विचारों का एक बहुत बेहतर नकलची बन गया, हालांकि इसे मुख्यधारा में आने से पहले अभी भी कुछ कमियों को सुधारने की आवश्यकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।