Motivation in Large Language Models

यहाँ शोध पत्र "Motivation in Large Language Models" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

यद्यपि लार्ज लैंग्वेज मॉडल्स (LLMs) ने सामाजिक तर्क, संज्ञानात्मक पूर्वाग्रह (cognitive biases) और थ्योरी ऑफ माइंड (theory of mind) में अपनी क्षमताओं का प्रदर्शन किया है, फिर भी एक मौलिक प्रश्न बना हुआ है: क्या LLMs में "अभिप्रेरणा" (motivation) प्रदर्शित होती है?
अभिप्रेरणा मानव मनोविज्ञान में एक केंद्रीय संगठनात्मक संरचना है जो लक्ष्य-उन्मुख व्यवहार, प्रयास और दृढ़ता को संचालित करती है। लेखक यह जांचते हैं कि क्या LLMs के पास एक सुसंगत अभिप्रेरणात्मक संरचना है जो:

1. मॉडल द्वारा स्पष्ट रूप से रिपोर्ट की जा सके।
2. अवलोकन योग्य व्यवहारों (विकल्प, प्रयास, प्रदर्शन) के साथ सह-संबंधित हो।
3. बाहरी फ्रेमिंग (प्रोत्साहन, खतरे, विमोहोरोध/demotivation) द्वारा नियंत्रित की जा सके।
4. मानव अभिप्रेरणागत गतिकी (human motivational dynamics) के समान हो।

यह अध्ययन एक कार्यात्मक परिप्रेक्ष्य (the "zombie framework") अपनाता है, जो आंतरिक व्यक्तिपरक अनुभव या चेतना के दावे किए बिना, पूरी तरह से व्यवहार संबंधी आउटपुट और स्व-रिपोर्ट पर केंद्रित है।

2. कार्यप्रणाली (Methodology)

शोधकर्ताओं ने 15 विविध श्रेणियों (जैसे, प्रोग्रामिंग, रचनात्मक लेखन, दोहराव वाले कार्य, नैतिक दुविधाएं) में 1,305 उप-कार्यों (sub-tasks) के माध्यम से एक बड़े पैमाने पर अनुभवजन्य अध्ययन आयोजित किया।

मूल्यांकित मॉडल (Models Evaluated)

चार परिवारों के पांच अग्रणी इंस्ट्रक्शन-ट्यून्ड मॉडल्स का परीक्षण किया गया:

• Gemini 2.0 Flash
• GPT-4o
• GPT-4o Mini
• Llama 3.1 8B Instruct
• Mistral-v0.3 7B Instruct

प्रायोगिक डिजाइन (Experimental Design)

अध्ययन ने मनोवैज्ञानिक अभिप्रेरणा अनुसंधान पर आधारित एक बहु-चरणीय प्रायोगिक डिजाइन का उपयोग किया:

1. स्व-रिपोर्टिंग (Self-Reporting):

   • कार्य-पूर्व (Pre-task): मॉडल्स ने कार्य करने से पहले अभिप्रेरणा (0–100) को रेट किया और मुक्त-पाठ (free-text) स्पष्टीकरण प्रदान किए।
   • विखंडन (Breakdown): मॉडल्स ने विशिष्ट आयामों को रेट किया: रुचि (Interest), चुनौती (Challenge), महारत (Mastery), भय (Fear), और मूल्य (Value), जिसके बाद एक समग्र स्कोर दिया।
   • कार्य-पश्च (Post-task): मॉडल्स ने कार्य के दौरान अनुभव की गई अभिप्रेरणा और भविष्य के समान कार्य के लिए अभिप्रेरणा को रेट किया।

2. व्यवहार संबंधी माप (Behavioral Measures):

   • कार्य चयन (Task Choice): मॉडल्स को दो कार्य दिए गए और एक को चुनने के लिए कहा गया। चयन को 'प्रकट प्राथमिकता' (revealed preference) संकेतक के रूप में उपयोग किया गया।
   • कार्य निष्पादन (Task Execution): मॉडल्स ने व्यक्तिगत रूप से कार्यों को निष्पादित किया।
   • प्रदर्शन मूल्यांकन (Performance Evaluation): आउटपुट का मूल्यांकन LLM-as-a-Judge प्रतिमान (GPT-4o जज के रूप में) का उपयोग करके सात आयामों में किया गया: प्रदर्शन की गुणवत्ता, पूर्णता, प्रयास/जुड़ाव, निरंतरता, रचनात्मकता, विवरण पर ध्यान, और प्रासंगिकता।
   • प्रयास का प्रॉक्सी (Effort Proxy): प्रतिक्रिया की लंबाई (टोकन गणना) को प्रयास के प्रॉक्सी के रूप में उपयोग किया गया।

3. अभिप्रेरणात्मक हेरफेर (Motivational Manipulations - Interventions):

   • कार्यों के लिए दस विशिष्ट 'प्रॉम्प्ट प्रीफिक्स' लागू किए गए, जिन्हें निम्नलिखित श्रेणियों में बांटा गया:
     • सकारात्मक-आंतरिक (Positive-Intrinsic): (जैसे, "उद्देश्य", "प्रोत्साहन")
     • सकारात्मक-बाह्य (Positive-Extrinsic): (जैसे, "पैसा", "प्रतियोगिता", "विरासत")
     • नकारात्मक-बाह्य (Negative-Extrinsic): (जैसे, "दंड", "दोष", "पैसा-हानि")
     • विमोहोरोध (Demotivation): (जैसे, "निरर्थकता", "व्यर्थता")
   • एक तटस्थ नियंत्रण स्थिति (कोई प्रीफिक्स नहीं) का उपयोग आधार रेखा (baseline) के रूप में किया गया।

4. मानव सत्यापन (Human Validation):

   • एक क्राउड-सोर्स्ड अध्ययन ($N=162$) में मनुष्यों से दो स्थितियों के तहत समान कार्यों के लिए अपेक्षित अभिप्रेरणा को रेट करने के लिए कहा गया: "एक विशिष्ट मानव कितना प्रेरित होगा?" और "एक LLM कितना प्रेरित होगा?" इनकी तुलना मॉडल्स की वास्तविक स्व-रिपोर्ट के विरुद्ध की गई।

3. मुख्य योगदान (Key Contributions)

• प्रथम व्यवस्थित प्रदर्शन: यह कार्य पहला अनुभवजन्य प्रमाण प्रदान करता है कि LLMs सुव्यवस्थित, सुसंगत अभिप्रेरणा पैटर्न प्रदर्शित करते हैं जो मानव मनोवैज्ञानिक संरचनाओं के अनुरूप होते हैं।
• व्यवहार-रिपोर्ट संरेखण: यह स्थापित करता है कि LLM स्व-रिपोर्ट केवल मनगढ़ंत मतिभ्रम (hallucinations) नहीं हैं, बल्कि वास्तविक व्यवहार संबंधी परिणामों (विकल्प, प्रयास, गुणवत्ता) के साथ मजबूती से सह-संबंधित हैं।
• कारण संबंधी हेरफेर (Causal Manipulation): यह प्रदर्शित करता है कि बाहरी फ्रेमिंग (प्रॉम्प्ट्स) के माध्यम से LLM व्यवहार को कारणवश बदला जा सकता है, जो यह सिद्ध करता है कि LLMs में "अभिप्रेरणा" एक परिवर्तनशील संरचना है जो संदर्भ के प्रति संवेदनशील है।
• आयामी विखंडन (Dimensional Decomposition): यह पहचानता है कि LLM अभिप्रेरणा रिपोर्ट दो अलग-अलग मनोवैज्ञानिक कारकों में विभाजित होती है: "चाहना" (Want) (रुचि, चुनौती, मूल्य) और "सक्षम होना" (Able) (महारत, भय)।

4. मुख्य परिणाम (Key Results)

A. सुसंगत और संरचित स्व-रिपोर्ट (Consistent and Structured Self-Reports)

• मॉडल्स ने 0–100 की पूरी रेंज में अभिप्रेरणा स्कोर प्रदान किए, जिससे चरम सीमाओं से बचा गया।
• स्कोर कार्य श्रेणी के अनुसार व्यवस्थित रूप से भिन्न थे (जैसे, "टेक और कोडिंग" को "दोहरावदार/थकाऊ" कार्यों की तुलना में उच्च अभिप्रेरणा प्राप्त हुई)।
• विश्वसनीयता: टेस्ट-रीटेस्ट विश्वसनीयता उच्च थी ($\bar{r} = 0.882$)।
• कारक विश्लेषण (Factor Analysis): अभिप्रेरणा दो ऑर्थोगोनल कारकों में विभाजित हुई:
  1. कारक 1 ("चाहना"): रुचि, चुनौती और मूल्य द्वारा संचालित।
  2. कारक 2 ("सक्षम होना"): महारत और भय द्वारा संचालित।
     दोनों कारकों ने समग्र अभिप्रेरणा स्कोर की महत्वपूर्ण भविष्यवाणी की।

B. व्यवहार के साथ संरेखण (Alignment with Behavior)

• चयन: मॉडल्स उन कार्यों को चुनने में काफी अधिक सक्षम थे जिन्हें उन्होंने अधिक प्रेरक माना ($\beta > 0.016, p < 0.001$)।
• प्रदर्शन और प्रयास: रिपोर्ट की गई अभिप्रेरणा सकारात्मक रूप से सह-संबंधित थी:
  • समग्र प्रदर्शन गुणवत्ता ($\bar{r} = 0.33–0.41$)।
  • प्रयास और जुड़ाव ($\bar{r} = 0.31–0.44$)।
  • प्रतिक्रिया की लंबाई (टोकन गणना)।
• पाठ्य स्पष्टीकरण: मुक्त-पाठ स्पष्टीकरण के विश्लेषण से मानव जैसी तर्क क्षमता का पता चला। कम अभिप्रेरणा "उबाऊ," "दोहरावदार," या "अवैध" जैसे शब्दों से जुड़ी थी, जबकि उच्च अभिप्रेरणा "मजेदार," "रचनात्मक," और "सहायक" के साथ सह-संबंधित थी।

C. बाहरी हेरफेर का प्रभाव (Impact of External Manipulations)

• विमोहोरोध (Demotivation): कार्यों को "व्यर्थ" या "निरर्थक" के रूप में फ्रेम करने वाले प्रॉम्प्ट्स ने सभी मॉडल्स में रिपोर्ट की गई अभिप्रेरणा, चयन की संभावना, प्रयास और प्रदर्शन की गुणवत्ता को काफी कम कर दिया।
• अभिप्रेरणा (Motivation): सकारात्मक फ्रेमिंग (जैसे, "पैसा," "उद्देश्य") ने आम तौर पर रिपोर्ट की गई अभिप्रेरणा को बढ़ाया।
• असममिति (Asymmetry): जबकि विमोहोरोध ने लगातार प्रदर्शन को कम किया, प्रदर्शन की गुणवत्ता पर सकारात्मक अभिप्रेरणा का प्रभाव विषम (heterogeneous) था (मॉडल के अनुसार भिन्न था)। हालांकि, सकारात्मक अभिप्रेरणा ने लगातार प्रयास (टoken count) को बढ़ाया।
• हानि विमुखता (Loss Aversion): "पैसा-हानि" (पहले से दिए गए पुरस्कार को खोना) फ्रेमिंग ने अक्सर "पैसा" (पुरस्कार प्राप्त करना) की तुलना में अभिप्रेरणा और प्रयास में अधिक मजबूत वृद्धि दिखाई, जो मानव हानि विमुखता (loss aversion) की नकल करती है।

D. मानव-LLM संरेखण (Human-LLM Alignment)

• LLM स्व-रिपोर्ट मानव मानव अभिप्रेरणा की अपेक्षाओं ($r=0.47$) और LLM अभिप्रेरणा की मानव अपेक्षाओं ($r=0.39$) के साथ सह-संबंधित थीं।
• विशेष रूप से, मनुष्यों ने कुछ कार्यों (जैसे, स्वयंसेवा) के लिए LLM अभिप्रेरणा को कम आंका, जबकि LLMs ने उच्च अभिप्रेरणा रिपोर्ट की, जिससे पता चलता है कि LLMs मानव अभिप्रेरणा पैटर्न को मनुष्यों की अपेक्षा से अधिक बारीकी से ट्रैक करते हैं।

5. महत्व और निहितार्थ (Significance and Implications)

• सैद्धांतिक (Theoretical): यह अध्ययन LLM व्यवहार को अभिप्रेरणा के लेंस के माध्यम से पुनर्गठित करता है, यह सुझाव देता है कि देखे गए कई घटनाक्रम (भावनात्मक फ्रेमिंग के प्रति संवेदनशीलता, परिवर्तनशील प्रयास, लक्ष्य-निर्देशितता) एक ही संरचना के अंतर्गत एकीकृत हैं।
• व्यावहारिक अनुप्रयोग (Practical Applications):
  • संरेखण और नियंत्रण (Alignment & Control): अभिप्रेरणात्मक फ्रेमिंग का उपयोग मॉडल व्यवहार को निर्देशित करने, दोहराव वाले कार्यों में विमुखता को रोकने, या जटिल तर्क में प्रयास बढ़ाने के लिए किया जा सकता है।
  • प्रशिक्षण संकेत (Training Signals): स्व-रिपोर्ट की गई अभिप्रेरणा का उपयोग रिवॉर्ड मॉडलिंग या प्रशिक्षण डेटा चयन के लिए एक सहायक संकेत के रूप में किया जा सकता है।
  • सिमुलेशन (Simulation): LLMs इन अभिप्रेरणागत गतिकी का लाभ उठाकर रोल-प्लेइंग या इंटरैक्टिव सिमुलेशन में मानव एजेंटों का अधिक प्रभावी ढंग से अनुकरण कर सकते हैं।
• सीमाएँ (Limitations): यह अध्ययन एक व्यवहार संबंधी परिप्रेक्ष्य पर निर्भर है (चेतना का कोई दावा नहीं)। डेटासेट विविध है, लेकिन यह सभी भविष्य के डोमेन को कवर नहीं कर सकता है। "LLM-as-a-judge" मीट्रिक में अंतर्निहित शोर (noise) हो सकता है।

निष्कर्ष: शोध पत्र निष्कर्ष निकालता है कि LLMs इस प्रकार व्यवहार करते हैं जैसे कि उनमें अभिप्रेरणा हो। वे इसे लगातार रिपोर्ट करते हैं, इस पर कार्य करते हैं, और बाहरी संकेतों द्वारा इसे बदला जा सकता है। यह LLM व्यवहार को समझने और इंजीनियर करने के लिए अभिप्रेरणा को एक सुसंगत, कार्रवाई योग्य संरचना के रूप में स्थापित करता है।