Using Reinforcement Learning to Train Large Language Models to Explain Human Decisions
यह शोध पत्र यह प्रदर्शित करता है कि पूर्व-प्रशिक्षित बड़े भाषा मॉडलों (लार्ज लैंग्वेज मॉडल्स) को फाइन-ट्यून करने के लिए परिणाम-आधारित पुरस्कारों के साथ सुदृढीकरण शिक्षण (रीइन्फोर्समेंट लर्निंग) का उपयोग करने से वे दोहरे उद्देश्य वाले संज्ञानात्मक मॉडल के रूप में कार्य करने में सक्षम होते हैं जो मानव जोखिम भरे विकल्पों के लिए मजबूत भविष्य कहने वाली सटीकता और व्याख्या योग्य प्राकृतिक भाषा स्पष्टीकरण दोनों एक साथ उत्पन्न करते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
मुख्य विचार: AI को "ज़ोर से सोचने" के लिए सिखाना
कल्पना कीजिए कि आपके पास एक बहुत ही बुद्धिमान छात्र है (एक लार्ज लैंग्वेज मॉडल, या LLM) जो यह अनुमान लगाने में अविश्वसनीय रूप से कुशल है कि आप आगे क्या करेंगे। यदि आप उन्हें एक कठिन गणितीय समस्या दिखाते हैं, तो वे आमतौर पर आपको सही उत्तर दे सकते हैं। लेकिन, यदि आप उनसे पूछते हैं कि उन्होंने वह उत्तर कैसे प्राप्त किया, तो वे शायद बस इतना कह सकते हैं, "मुझे बस पता चल गया था," या एक ऐसा अस्पष्ट स्पष्टीकरण दे सकते हैं जिसका कोई खास अर्थ नहीं निकलता।
मनोविज्ञान की दुनिया में, वैज्ञानिक ऐसे मॉडल्स चाहते हैं जो केवल उत्तर का अनुमान न लगाएं (मानव व्यवहार की भविष्यवाणी करें) बल्कि यह भी समझाएं कि लोग वे विकल्प क्यों चुनते हैं (संज्ञानात्मक तंत्र/cognitive mechanism को प्रकट करें)।
यह शोध पत्र पूछता है: क्या हम एक AI को न केवल मानव निर्णयों की भविष्यवाणी करना सिखा सकते हैं, बल्कि उसे इस तरह से "ज़ोर से सोचने" (think out loud) के लिए भी तैयार कर सकते हैं जो वास्तव में मानव मनोविज्ञान की व्याख्या करता हो?
प्रयोग: "जोखिम भरा चुनाव" खेल
इसका परीक्षण करने के लिए, शोधकर्ताओं ने एक क्लासिक मनोवैज्ञानिक खेल का उपयोग किया जिसे "रिस्की चॉइस" (risky choice) कहा जाता है। कल्पना कीजिए कि आपको दो विकल्प दिए जाते हैं:
- विकल्प A: आपको निश्चित रूप से $27 मिलेंगे।
- विकल्प B: आपके पास 92 पाने की 10% संभावना है।
अधिकांश लोगों को एक सुरक्षित दांव और एक जोखिम भरे जुए के बीच चयन करना होता है। शोधकर्ताओं के पास वास्तविक मनुष्यों द्वारा इन विकल्पों को चुनने का हजारों का एक विशाल डेटासेट था। वे एक AI को प्रशिक्षित करना चाहते थे जो विकल्पों को देखे और कहे, "70% लोग विकल्प A चुनेंगे, और 30% लोग विकल्प B चुनेंगे।"
तीन प्रशिक्षण विधियाँ
शोधकर्ताओं ने AI को इस कार्य को सिखाने के लिए तीन अलग-अलग तरीके आजमाए, जैसे तीन अलग-अलग कोचिंग शैलियाँ:
- "रटने वाला" (मानक प्रशिक्षण - Standard Training): उन्होंने AI को प्रश्नों और सही उत्तरों के हजारों उदाहरण दिखाए। AI ने पैटर्न को कॉपी करना सीख लिया। वह प्रतिशत का अनुमान लगाने में अच्छा हो गया, लेकिन उसने वास्तव में यह नहीं सीखा कि क्यों। यह उस छात्र की तरह था जिसने उत्तर कुंजी रट ली है लेकिन गणित नहीं समझा सकता।
- "मास्क वाला रटने वाला" (सेंटॉर-शैली - Masked Memorizer): यह पहले तरीके का एक उन्नत संस्करण है जहाँ AI को उत्तर में केवल संख्याओं पर ध्यान केंद्रित करने के लिए मजबूर किया जाता है, बाकी टेक्स्ट को अनदेखा करते हुए। यह भी अनुमान लगाने में अच्छा था, लेकिन फिर भी एक अच्छा स्पष्टीकरण नहीं दे सका।
- "स्कोरबोर्ड वाला कोच" (रीइन्फोर्समेंट लर्निंग - RL): यही असली सितारा है। यहाँ, AI को अपना अंतिम उत्तर देने से पहले एक "चेन ऑफ थॉट" (सोचने की चरण-दर-चरण प्रक्रिया) लिखने की अनुमति दी गई।
- ट्विस्ट: AI को केवल सही होने के लिए अंक नहीं मिले। उसे अंक इस आधार पर मिले कि उसका अंतिम अनुमान वास्तविक मनुष्यों द्वारा किए गए कार्यों के कितने करीब था।
- परिणाम: अंक जीतने के लिए, AI को एहसास हुआ कि उसे एक मनोवैज्ञानिक की तरह "सोचना" होगा। उसने ऐसी बातें लिखना शुरू किया जैसे, "लोग जोखिम से डरते हैं (risk-averse)," या "वे अपेक्षित मूल्य (expected value) की गणना करते हैं।" खेल जीतने (मानव डेटा से मेल खाने) की कोशिश में, उसने अनजाने में उन मनोवैज्ञानिक नियमों को शब्दों में पिरोना सीख लिया जिनका मनुष्य पालन करते हैं।
परिणाम: AI एक मनोवैज्ञानिक बन जाता है
शोधकर्ताओं ने पाया कि "स्कोरबोर्ड वाला कोच" (RL) तरीका दो कारणों से गेम-चेंजर साबित हुआ:
- यह सटीक भविष्यवाणी करता था: यह अन्य तरीकों की तरह ही मनुष्यों के चुनाव का अनुमान लगाने में सक्षम था।
- यह बेहतर स्पष्टीकरण देता था: "ज़ोर से सोचने" वाले हिस्से (चेन ऑफ थॉट) वास्तव में उच्च गुणवत्ता वाले मनोवैज्ञानिक स्पष्टीकरण थे।
- उपमा: कल्पना कीजिए कि अन्य तरीके एक मौसम ऐप की तरह हैं जो कहता है, "बारिश होगी।" RL तरीका एक मौसम विज्ञानी की तरह है जो कहता है, "बारिश होगी क्योंकि एक ठंडा मोर्चा गर्म हवा से टकरा रहा है, जिससे कम दबाव बन रहा है।"
- AI ने वास्तविक मनोवैज्ञानिक अवधारणाओं का उपयोग करना शुरू कर दिया जैसे जोखिम से बचना (Risk Aversion) (लोग नुकसान से डरते हैं), अपेक्षित मूल्य (Expected Value) (संभावनाओं पर गणित लगाना), और निश्चितता प्रभाव (Certainty Effect) (लोग गारंटी वाले जीत को पसंद करते हैं)।
"स्मार्टनेस" की आवश्यकता
हालाँकि, एक शर्त भी थी। शोधकर्ताओं ने इसी "कोच" पद्धति को एक छोटे, कमजोर AI मॉडल पर आज़माया।
- उपमा: एक जटिल रणनीति सिखाने के लिए एक टॉडलर (छोटे बच्चे) बनाम एक कॉलेज छात्र की तुलना करें। टॉडलर (छोटा मॉडल) गणित या रणनीति को समझ नहीं पाया, भले ही उसके पास कोच मौजूद था। वह बस भ्रमित हो गया और गलत उत्तर देने लगा।
- निष्कर्ष: "कोच" पद्धति केवल इसलिए काम कर पाई क्योंकि मूल AI पहले से ही उन अवधारणाओं को समझने के लिए पर्याप्त स्मार्ट था। यदि AI शुरुआत में ही "अपेक्षित मूल्य" (Expected Value) को समझने के लिए पर्याप्त स्मार्ट नहीं है, तो आप उसे इसकी व्याख्या करने के लिए प्रशिक्षित नहीं कर सकते।
"रूप बदलने वाला" परीक्षण (Shape-Shifting Test)
यह साबित करने के लिए कि AI केवल रटे-रटाए वाक्यांश नहीं बोल रहा है, शोधकर्ताओं ने खेल के नियम बदल दिए। वास्तविक मानव डेटा के बजाय, उन्होंने AI को एक ऐसे रोबोट द्वारा उत्पन्न डेटा दिया जो केवल गणित (अपेक्षित मूल्य) की परवाह करता था।
- परिणाम: AI ने तुरंत अपनी "सोच" बदल दी। उसने मानवीय डर और जोखिम से बचने की बातें करना बंद कर दिया और पूरी तरह से गणित और तर्क के बारे में बात करने लगा।
- सीख: इससे सिद्ध हुआ कि AI केवल एक स्क्रिप्ट की नकल नहीं कर रहा था; वह वास्तव में अपने डेटा के अनुसार अपनी तर्क प्रक्रिया को अनुकूलित कर रहा था। वह वास्तव में उस विशिष्ट खेल के नियमों को "सीख" रहा था जो वह खेल रहा था।
सारांश
यह शोध पत्र दिखाता है कि यदि आप एक स्मार्ट AI को रिवॉर्ड सिस्टम (जैसे वीडियो गेम स्कोर) का उपयोग करके मानव व्यवहार की भविष्यवाणी करने के लिए प्रशिक्षित करते हैं, तो वह स्वाभाविक रूप से उन्हीं मनोवैज्ञानिक नियमों का उपयोग करके "ज़ोर से सोचना" शुरू कर देगा जिनका उपयोग मनुष्य करते हैं। यह AI को एक साधारण अनुमान लगाने वाले से बदलकर एक ऐसे मॉडल में बदल देता है जो समझा सकता है कि हम अपने निर्णय क्यों लेते हैं। हालाँकि, यह तभी काम करता है जब AI पहले से ही उन अवधारणाओं को समझने के लिए पर्याप्त स्मार्ट हो।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।