🤖 machine learning

Trace-Mediated Peak Bias: Bridging Temporal Credit Assignment and Cognitive Heuristics in Deep Reinforcement Learning

यह शोध पत्र "ट्रेस-मीडिएटेड पीक बायस" (TMPB) की पहचान करता है, जो डीप रिइन्फोर्समेंट लर्निंग में एक व्यवस्थित विफलता है जहाँ मध्यवर्ती एलिजिबिलिटी ट्रेसेस (intermediate eligibility traces) अननॉर्मलाइज्ड ग्रेडिएंट शॉक्स के कारण एजेंटों को संचयी रिटर्न के बजाय तर्कहीन रूप से उच्च-परिमाण वाले रिवॉर्ड पीक्स को प्राथमिकता देने के लिए प्रेरित करते हैं, जो मानव पीक-एंड रूल (Peak-End Rule) के लिए एक यांत्रिक स्पष्टीकरण प्रदान करता है और यह प्रदर्शित करता है कि इस पैथोलॉजी को कम करने के लिए एडेप्टिव ऑप्टिमाइज़र्स सैद्धांतिक रूप से आवश्यक हैं।

मूल लेखक: Viktor Veselý, Aleksandar Todorov, Erwan Escudie, Matthia Sabatelli

प्रकाशित 2026-06-04

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Viktor Veselý, Aleksandar Todorov, Erwan Escudie, Matthia Sabatelli

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को खजाना पाने के लिए दो अलग-अलग रास्तों में से एक को चुनना सिखाने की कोशिश कर रहे हैं। यह रिनफोर्समेंट लर्निंग (Reinforcement Learning) का मूल आधार है: एक एजेंट चीजों को आजमाकर और यह याद रखकर सीखता है कि क्या काम आया।

यह शोध पत्र यह पता लगाता है कि इन रोबोट्स के सीखने के तरीके में एक अजीब सी गड़बड़ी (glitch) है, जिसे लेखक ट्रेस-मीडिएटेड पीक बायस (Trace-Mediated Peak Bias - TMPB) कहते हैं। यह पता चलता है कि यह गड़बड़ी रोबोटों को अपने पिछले अनुभवों को याद रखने के मामले में आश्चर्यजनक रूप से इंसानों की तरह व्यवहार करने पर मजबूर कर देती है।

यहाँ उनके द्वारा की गई खोज का विवरण दिया गया, जिसे सरल उपमाओं (analogies) का उपयोग करके समझाया गया है:

1. सेटअप: दो रास्ते, एक चुनाव

शोधकर्ताओं ने एक सरल खेल बनाया जिसमें एक ही बिंदु से शुरू होने वाले दो रास्ते थे:

"स्टेडी" (Steady) रास्ता: आपको एक छोटा, निरंतर इनाम मिलता है (जैसे कि 10 दिनों तक हर दिन $2 मिलना)। कुल मिलाकर, यह रास्ता बहुत अधिक धन के बराबर है।
"पीक" (Peak) वाला रास्ता: आपको लगभग कुछ भी नहीं मिलता, सिवाय एक बड़े, रोमांचक इनाम के जो बीच में मिलता है (जैसे कि तीसरे दिन $10 मिलना) और अंत में एक ठीक-ठाक इनाम मिलता है। कुल मिलाकर, यह रास्ता स्टेडी रास्ते की तुलना में कम धन का है।

तर्कसंगत विकल्प (Rational Choice): एक पूरी तरह से तार्किक कैलकुलेटर स्टेडी रास्ता चुनेगा क्योंकि कुल धन अधिक है।

2. गड़बड़ी: "हाइलाइट रील" का प्रभाव

जब शोधकर्ताओं ने एक मानक सीखने की विधि (जिसे "एलिजिबिलिटी ट्रेसेस" के साथ SGD कहा जाता है) का उपयोग किया, तो रोबोट ने एक गलती की। वह पीक वाले रास्ते को पसंद करने लगा, भले ही वह कुल मिलाकर कम मूल्य का था।

क्यों?
रोबोट की मेमोरी सिस्टम एक "हाइलाइट रील" की तरह काम करती है।

एलिजिबिलिटी ट्रेसेस (Eligibility Traces) एक मानसिक 'स्टिकी नोट' की तरह हैं जो कहती हैं, "याद रखो कि तुमने कुछ कदम पहले क्या किया था, क्योंकि शायद उसी के कारण यह इनाम मिला है।"
जब रोबोट को उस बड़े $10 के "पीक" इनाम का सामना करना पड़ा, तो इसने उसकी मेमोरी में एक बहुत बड़ा "झटका" (shock) पैदा कर दिया। क्योंकि सीखने की प्रणाली इतनी स्मार्ट नहीं थी कि वह इसे संतुलित कर सके, उस एक बड़े क्षण ने सभी छोटे, स्थिर पुरस्कारों की यादों को पूरी तरह से मिटा दिया (overwrite कर दिया)।

रोबट "अतार्किक" हो गया। वह कुल मूल्य को भूल गया और केवल सबसे तीव्र क्षण को ही याद रखा।

3. मानवीय संबंध: "पीक-एंड" नियम

पेपर बताता है कि यह केवल एक रोबोट की खामी नहीं है; यह एक मानवीय खामी भी है।

मनोविज्ञान में, एक प्रसिद्ध विचार है जिसे "पीक-एंड रूल" (Peak-End Rule) कहा जाता है। यह कहता है कि जब इंसान किसी अनुभव (जैसे कि कोई छुट्टी या फिल्म) को याद करते हैं, तो वे उस अनुभव के कुल आनंद को याद नहीं रखते। इसके बजाय, वे इसे अपने सबसे तीव्र क्षण (Peak) और अंतिम क्षण (End) के आधार पर आंकते हैं।
पेपर दिखाता है कि रोबोट की यह गड़बड़ी इस मानवीय पूर्वाग्रह (bias) का एक गणितीय संस्करण है। रोबोट, बिल्कुल एक इंसान की तरह, उस तीव्र क्षण की तीव्रता से "हाइजैक" हो गया और उसने उबाऊ, स्थिर वास्तविकता को अनदेखा कर दिया।

4. समाधान: एक "स्मार्ट" शिक्षक

शोधकर्ताओं ने इस गलती को रोकने का एक तरीका खोजा। उन्होंने सीखने की विधि को एक "फिक्स्ड-स्टेप" शिक्षक से बदलकर एक अनुकूलनशील ऑप्टिमाइज़र (adaptive optimizer) (जैसे कि RMSprop) में बदल दिया।

पुराना तरीका (Fixed): यदि आपको एक बड़ा इनाम मिलता है, तो शिक्षक चिल्लाकर कहता है "सब कुछ बदल दो!" और रोबोट घबरा जाता है, जिससे उसकी पूरी याद मिट जाती है।
नया तरीका (Adaptive): यह शिक्षक अधिक समझदार है। वह बड़े इनाम को देखता है और कहता है, "ठीक है, वह एक बड़ा झटका था, लेकिन चलो घबराएं नहीं। आइए अपनी यादों को सावधानी से व्यवस्थित करें ताकि एक बड़ा क्षण पूरी कहानी को मिटा न दे।"

जब उन्होंने इस "स्मार्ट शिक्षक" का उपयोग किया, तो रोबटा तर्कहीन होना बंद हो गया। उसने सही ढंग से स्टेडी रास्ता चुना, यह समझते हुए कि एक एकल हाइलाइट की तुलना में कुल मूल्य अधिक महत्वपूर्ण है।

मुख्य निष्कर्ष

पेपर का तर्क है कि "अतार्किक" मानवीय व्यवहार (जैसे कि पूरी छुट्टी को उसके सबसे अच्छे दिन से आंकना) हमारे मस्तिष्क की खामी नहीं है, बल्कि यह हमारे मस्तिष्क द्वारा पुरस्कारों को प्रोसेस करने के तरीके का एक स्वाभाविक परिणाम है। यदि हमारे मस्तिष्क एक साधारण "शॉक-आधारित" लर्निंग सिस्टम का उपयोग करते हैं जिसमें उन झटकों को संतुलित करने के लिए कोई "स्मार्ट फिल्टर" नहीं है, तो हम स्वाभाविक रूप से इन पूर्वाग्रहों (biases) के शिकार होंगे।

आर्टिफिशियल इंटेलिजेंस के लिए सबक स्पष्ट है: यदि आप चाहते हैं कि आपका AI वास्तव में तर्कसंगत हो और "हाइलाइट रील" के जाल में न फंसे, तो आपको उन स्मार्ट, अडैप्टिव लर्निंग टूल्स का उपयोग करना ही होगा जो इन बड़े झटकों को सामान्य (normalize) करते हैं। अन्यथा, आपका AI स्वाभाविक रूप से मानवीय तर्कहीनताओं को विरासत में ले लेगा।

तकनीकी सारांश: डीप रिइन्फोर्समेंट लर्निंग में ट्रेस-मीडिएटेड पीक बायस (Trace-Mediated Peak Bias)

समस्या विवरण
टेम्पोरल क्रेडिट असाइनमेंट (Temporal credit assignment)—अर्थात यह निर्धारित करने की प्रक्रिया कि वर्तमान पुरस्कारों के लिए कौन सी पिछली अवस्थाएँ जिम्मेदार हैं—जैविक और कृत्रिम दोनों प्रकार की बुद्धिमत्ता में एक मौलिक चुनौती है। जबकि एलिजिबिलिटी ट्रेसेस (जैसे कि TD( $\lambda$ ) एल्गोरिदम में) टैबुलर सेटिंग्स में टेम्पोरल अंतराल को प्रभावी ढंग से पाटते हैं, डीप रिइन्फोर्समेंट लर्निंग (RL) में नॉन-लीनियर फंक्शन एप्रोक्सिमेशन के साथ उनकी अंतःक्रिया अभी भी अज्ञात है। यह शोध पत्र डीप RL में एक व्यवस्थित विफलता मोड की पहचान करता है जिसे ट्रेस-मीडिएटेड पीक बायस (TMPB) कहा जाता है। इस घटना में, एलिजिबिलिटी ट्रेसेस और नॉन-लीनियर न्यूरल नेटवर्क से लैस एजेंट, उच्च-परिमाण वाले पुरस्कार "शिखरों" (peaks) वाली प्रक्षेपवक्रों (trajectories) को उन विकल्पों पर अतार्किक रूप से प्राथमिकता देते हैं जिनमें उच्च संचयी प्रतिफल (cumulative returns) होते हैं। यह व्यवहार मानव पीक-एंड रूल (Peak-End Rule) का प्रतिबिंब है, जो एक संज्ञानात्मक ह्यूरिस्टिक है जहाँ अनुभवों का रेट्रोस्पेक्टिव मूल्यांकन एकीकृत उपयोगिता के बजाय सबसे तीव्र क्षणों द्वारा संचालित होता है। मुख्य समस्या यह है कि मानक अनुकूलन विधियाँ दूरस्थ, उच्च-सैलियंसी (high-saliency) पुरस्कारों के कारण होने वाले "ग्रेडिएंट शॉक्स" (gradient shocks) को सामान्य करने में विफल रहती हैं, जिससे वैश्विक मूल्य अति-आकलन (global value overestimation) और उप-इष्टतम नीति चयन होता है।

कार्यप्रणाली (Methodology)
इस अंतःक्रिया को चित्रित करने के लिए, लेखकों ने एक शैलीबद्ध एपिसोडिक मार्कोव निर्णय प्रक्रिया (MDP) जिसे टू-डोर एनवायरनमेंट (Two-Door Environment) कहा जाता है, को डिज़ाइन किया। इस वातावरण में एक सामान्य अवस्था $S_0$ से शुरू होने वाले लंबाई $T=10$ के दो अलग-अलग पथ हैं:

$\tau_{steady}$ : प्रत्येक चरण पर $r_t = 2$ का निरंतर पुरस्कार प्रदान करता है।
$\tau_{peak}$ : एक स्पार्स रिवॉर्ड प्रोफाइल प्रदान करता है जिसमें एक उच्च-परिमाण वाला "पीक" ( $r_3 = 10$ ), एक समापन पुरस्कार ( $r_{10} = 6$ ), और शेष स्थानों पर शून्य है।

एक डिस्काउंट फैक्टर $\gamma = 0.95$ के साथ, तर्कसंगत इष्टतम मान $V^*(S_0|\tau_{steady}) \approx 16.05$ और $V^*(S_0|\tau_{peak}) \approx 12.81$ हैं। लेखकों ने 16 ReLU यूनिट्स वाले एक हिडन लेयर वाले न्यूरल नेटवर्क का उपयोग करके वैल्यू अनुमानों का मूल्यांकन किया। प्रशिक्षण 1,000 एपिसोड्स के दौरान एक यूनिफॉर्म बिहेवियर पॉलिसी और फिक्स्ड लर्निंग रेट के साथ स्टोकेस्टिक ग्रेडिएंट डिसेंट (SGD) का उपयोग करके किया गया। लॉस फंक्शन ने ग्रेडिएंट-आधारित एलिजिबिलिटी ट्रेस के फॉरवर्ड-व्यू समकक्ष का उपयोग किया:
$\mathcal{L}(\theta) = \sum_{t=0}^{T-1} \lambda^t (V_\theta(s_t) - [r_t + \gamma V_\theta(s_{t+1})])^2$
अध्ययन ने विभिन्न ट्रेस डेप्थ ( $\lambda$ ) के विरुद्ध फिक्स्ड-स्टेप-साइज़ SGD के विरुद्ध एडेप्टिव ऑप्टिमाइज़र (विशेष रूप से RMSprop) के प्रदर्शन की तुलना की।

मुख्य परिणाम
प्रयोगों ने मध्यवर्ती ट्रेस डेप्थ ( $0.15 < \lambda < 0.50$ ) के साथ SGD का उपयोग करते समय "पीक" प्रक्षेपवक्र के मूल्य के व्यवस्थित अति-आकलन ( $V(S_0|\tau_{peak})$ ) को प्रकट किया। इस "इरेशनैलिटी ज़ोन" (Irrationality Zone) में, कमतर पथ के लिए मूल्य अनुमान त्रुटिपूर्ण रूप से श्रेष्ठ "स्टेडी" पथ से अधिक हो गया, जिससे एजेंट ने उप-इष्टतम प्रक्षेपवक्र को चुन लिया।

इसके विपरीत, जब इसी सेटअप को एडेप्टिव ऑप्टिमाइज़र RMSprop का उपयोग करके प्रशिक्षित किया गया, तो इस बायस को कम कर दिया गया, और एजेंट ने सही ढंग से "स्टेडी" पथ को इष्टतम के रूप में पहचाना। परिणाम दर्शाते हैं कि यह बायस स्वयं ट्रेस तंत्र के कारण नहीं है, बल्कि यह एक विशिष्ट आर्टिफैक्ट है कि कैसे फिक्स्ड-स्टेप-साइज़ ऑप्टिमाइज़र एक वितरित न्यूरल सिस्टम में उच्च-परिमाण वाले पुरस्कारों से उत्पन्न होने वाले वेरिएंस को संभालते हैं।

मैकेनिस्टिक विवरण (Mechanistic Account)
शोध पत्र TMPB के लिए एक मैकेनिस्टिक स्पष्टीकरण प्रदान करता है:

ग्रेडिएंट शॉक्स (Gradient Shocks): उच्च-परिमाण वाले पुरस्कार बड़े टेम्पोरल डिफरेंस (TD) एरर ( $\delta_t$ ) उत्पन्न करते हैं। एलिजिबिलिटी ट्रेसेस की उपस्थिति में, ये एरर समय के माध्यम से पीछे की ओर प्रसारित होते हैं, जिससे "ग्रेडिएंट शॉक्स" ( $\Delta\theta_t = \alpha \delta_t z_t$ ) पैदा होते हैं।
कमी का अभाव (Lack of Normalization): फिक्स्ड-स्टेप-साइज़ SGD में, पैरामीटर शिफ्ट सीधे पुरस्कार के परिमाण के समानुपाती होता है। इसके परिणामस्वरूप, एक एकल पीक अपडेट साझा वेट्स (weights) को असंगत रूप से पुनर्गठित कर सकता है, प्रभावी रूप से न्यूरल मैनिफोल्ड को "हाईजैक" कर सकता है और स्थिर, कम-परिमाण वाले अपडेट के एकीकृत योग से अधिक हो सकता है।
एडेप्टिव मिटिगेशन (Adaptive Mitigation): RMSprop जैसे एडेप्टिव ऑप्टिमाइज़र ग्रेडिएंट्स के सेकंड मोमेंट के व्युत्क्रम (inverse) द्वारा अपडेट को स्केल करते हैं। यह नॉर्मलाइजेशन उच्च-वेरिएंस वाले आउटलेर्स (पीक रिवॉर्ड्स) के प्रभाव को कम करता है, जिससे ग्रेडिएंट शॉक्स को ग्लोबल वैल्यू एस्टीमेशन को विकृत करने से रोका जा सके।

महत्व और योगदान
यह शोध पत्र तीन प्राथमिक योगदान देता है:

TMPB की पहचान: यह औपचारिक रूप से 'ट्रेस-मीडिएटेड पीक बायस' को एक व्यवस्थित विफलता मोड के रूप में पहचानता और परिभाषित करता है, जहाँ एजेंट उच्च-सैलियंसी, निम्न-संचयी-पुरस्कार वाले प्रक्षेपवक्रों के प्रति "अतार्किक" प्राथमिकता प्रदर्शित करते हैं।
संज्ञानात्मक पूर्वाग्रह के साथ कम्प्यूटेशनल समानांतर: यह दर्शाता है कि TMPB, मनोवैज्ञानिक पीक-एंड रूल के प्रत्यक्ष कम्प्यूटेशनल समानांतर के रूप में कार्य करता है। यह सुझाव देता है कि कुछ मानव-समान "अतार्किकताएं" वितरित प्रणालियों में क्रेडिट असाइनमेंट के गणितीय बाधाओं के कारण उत्पन्न होने वाले गुण हो सकते हैं, न कि केवल जैविक ह्यूरिस्टिक्स।
एडेप्टिव ऑप्टिमाइज़ेशन की सैद्धांतिक आवश्यकता: लेखक तर्क देते हैं कि नॉन-लीनियर सिस्टम में तर्कसंगत वैल्यू एस्टीमेशन के लिए एडेप्टिव ऑप्टिमाइज़ेशन एक सैद्धांतिक आवश्यकता है। वेरिएंस-आधारित नॉर्मलाइजेशन के बिना, वितरित प्रतिनिधित्व और ट्रेस-जैसे क्रेडिट असाइनमेंट का उपयोग करने वाली प्रणालियाँ संरचनात्मक रूप से सैलियंसी डिस्टॉर्शन के प्रति संवेदनशील होती हैं।

निष्कर्ष
यह कार्य संज्ञानात्मक मनोविज्ञान और रिइन्फोर्समेंट लर्निंग के बीच के संबंध को पुनर्परिभाषित करता है। जबकि RL ऐतिहासिक रूप से मनोविज्ञान से प्रेरणा लेता रहा है, यह शोध पत्र प्रतिपादित करता है कि आधुनिक डीप RL के गणितीय पैथोलॉजी अब मानवीय "अतार्किकता" को समझाने के लिए एक कठोर भाषा प्रदान करते हैं। निष्कर्ष बताते हैं कि मानव सैलियंसी डिस्टॉर्शन, उन्नत एडेप्टिव आर्टिफिशियल सिस्टम में पाए जाने वाले परिष्कृत नॉर्मलाइजेशन की कमी वाले सरल ग्रेडिएंट-आधारित अपडेट पर जैविक निर्भरता को प्रतिबिंबित कर सकते हैं। AI विकास के लिए, यह रेखांकित करता है कि "मानव-समान" न्यूरल आर्किटेक्चर स्वाभाविक रूप से मानव-समान कमजोरियों को भी विरासत में पाते हैं, जिससे ऑप्टिमाइज़र का चुनाव एक केवल हाइपरपैरामीटर ट्यूनिंग कार्य के बजाय एक मौलिक सैद्धांतिक चिंता बन जाता है।