🤖 machine learning

$α$ -fair heterogeneous agent reinforcement learning

यह शोध पत्र मल्टी-एजेंट सिस्टम में असमान पुरस्कार वितरण को संबोधित करने के लिए $\alpha$ -फेयरनेस को हेट्रोजेनियस-एजेंट ट्रस्ट रीजन लर्निंग के साथ एकीकृत करने वाला एक नवीन ढांचा प्रस्तावित करता है, जो सैद्धांतिक रूप से पुष्ट एल्गोरिदम ( $\alpha$ -fair HATRPO और HAPPO) प्रदान करता है जो अनुक्रमिक सामाजिक दुविधाओं (sequential social dilemmas) में बेहतर उपयोगितावादी दक्षता और श्रेष्ठ सामाजिक कल्याण दोनों को प्राप्त करते हैं।

मूल लेखक: Yao-hua Franck Xu, Tayeb Lemlouma, Jean-Marie Bonnin, Arnaud Braud

प्रकाशित 2026-06-12

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Yao-hua Franck Xu, Tayeb Lemlouma, Jean-Marie Bonnin, Arnaud Braud

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि दोस्तों का एक समूह एक बड़ी पॉटलक डिनर (potluck dinner) आयोजित करने की कोशिश कर रहा है। आर्टिफिशियल इंटेलिजेंस (AI) की दुनिया में, इसे मल्टी-एजेंट रीइन्फोर्समेंट लर्निंग (Multi-Agent Reinforcement Learning) कहा जाता है। आमतौर पर, लक्ष्य सरल होता है: मेज पर अधिक से अधिक भोजन लाना। इसे एक "उपयोगितावादी" (utilitarian) दृष्टिकोण कहा जाता है। यदि परिणाम 100 स्वादिष्ट व्यंजन हैं, तो हर कोई खुश है, है ना?

जरूरी नहीं। इस परिदृश्य में, एक दोस्त ने 99 व्यंजन बनाए होंगे जबकि अन्य नौ दोस्तों ने कुछ नहीं किया होगा। कुल योग अधिक है, लेकिन वितरण अनुचित है। जो दोस्त कुछ नहीं कर रहे थे, वे आक्रोश महसूस कर सकते हैं, या इससे भी बुरा, वे अगली बार मदद करना बंद कर सकते हैं। यह एक "लीडर-फॉलोअर" (नेता-अनुयायी) गतिशीलता पैदा करता है जहाँ समूह कुशल तो है लेकिन अस्थिर है।

यह शोध पत्र AI एजेंटों को सहयोग करना सिखाने का एक नया तरीका प्रस्तावित करता है जो दक्षता (अधिक से अधिक काम करना) और निष्पक्षता (यह सुनिश्चित करना कि सभी को उचित हिस्सा मिले) के बीच संतुलन बनाता है।

समस्या: "लालची" एल्गोरिदम (The "Greedy" Algorithm)

वर्तमान AI विधियाँ एक सख्त मैनेजर की तरह हैं जिसे केवल व्यंजनों की कुल संख्या की परवाह है। वे एजेंटों को अच्छा व्यवहार करने के लिए कुछ तरकीबें इस्तेमाल करते हैं, लेकिन ये तरकीबें खेल के नियमों को तोड़ सकती हैं, जिससे सीखने की प्रक्रिया अप्रत्याशित या गणितीय रूप से असुरक्षित हो जाती है। यह एक कुत्ते को छींकने पर ट्रीट देने के माध्यम से बैठने के लिए सिखाने जैसा है; यह एक पल के लिए काम कर सकता है, लेकिन कुत्ता तर्क को नहीं समझेगा, और व्यवहार बाद में ढह सकता है।

समाधान: "निष्पक्षता डायल" ( $\alpha$ -fairness)

लेखक $\alpha$ -fairness नामक एक अवधारणा पेश करते हैं। इसे एक मिक्सिंग बोर्ड पर लगे डायल की तरह समझें:

डायल को 0 पर घुमाएं: आप केवल कुल आयतन (दक्षता) की परवाह करते हैं। आवाज किसे मिल रही है इससे कोई फर्क नहीं पड़ता, जब तक कि वह तेज है।
डायल को 1 पर घुमाएं: आप एक संतुलित मिश्रण चाहते हैं (आनुपातिक निष्पक्षता)। हर किसी को उनकी जरूरतों के सापेक्ष उचित हिस्सा मिलता है।
डायल को अनंत ( $\infty$ ) पर घुमाएं: आप केवल सबसे शांत व्यक्ति की परवाह करते हैं। यदि एक व्यक्ति संघर्ष कर रहा है, तो पूरा सिस्टम उन पर ध्यान केंद्रित करता है, भले ही इसका मतलब यह हो कि दूसरों को कम मिले।

शोध पत्र का लक्ष्य एक ऐसा AI सिस्टम बनाना है जो इस डायल को किसी भी सेटिंग पर घुमा सके और साथ ही यह गारंटी दे सके कि सीखने की प्रक्रिया स्थिर और गणितीय रूप से सुदृढ़ बनी रहे।

इंजन: टीमों के लिए एक "ट्रस्ट रीजन" (A "Trust Region" for Teams)

इसे सफल बनाने के लिए, लेखकों ने HATRL (Heterogeneous-Agent Trust Region Learning) नामक एक ढांचे पर काम किया है।

एक टीम हाइकर्स (पर्वतारोहियों) की कल्पना करें जो एक साथ पहाड़ की चोटी तक पहुँचने की कोशिश कर रहे हैं।

पुराना तरीका: हर कोई जितनी तेजी से हो सके दौड़ता है। तेज चलने वाले हाइकर्स धीमे चलने वालों को पीछे छोड़ देते हैं, और समूह बिखर जाता है।
HATRL का तरीका: टीम छोटे, सावधानीपूर्ण कदम उठाने पर सहमत होती है। वे अपने "ट्रस्ट रीजन" की जांच करते हैं—एक सुरक्षित क्षेत्र जहाँ वे जानते हैं कि यदि वे एक कदम उठाते हैं, तो वे गलती से खाई में नहीं गिरेंगे। वे अपनी रणनीतियों को एक-एक करके, एक विशिष्ट क्रम में अपडेट करते हैं, यह सुनिश्चित करते हुए कि हर छोटा कदम समूह की एकजुटता को तोड़े बिना समूह की स्थिति में सुधार करे।

लेखकों ने इस "सुरक्षित हाइकिंग" पद्धति को अपने Fairness Dial के साथ काम करने के लिए अनुकूलित किया है। उन्होंने एक विशेष "फेयर एडवांटेज फंक्शन" (Fair Advantage Function) बनाया है। इसे एक स्कोरकार्ड के रूप में सोचें जो न केवल यह गिनता है कि एक एजेंट ने कितने सेब एकत्र किए, बल्कि उस स्कोर को इस आधार पर भी तौलता है कि बाकी सभी कैसा प्रदर्शन कर रहे हैं।

यदि कोई एजेंट पहले से ही बहुत अच्छा कर रहा है, तो उनके स्कोर की गिनती कम होती है (ताकि वे सारा ध्यान न खींच सकें)।
यदि कोई एजेंट संघर्ष कर रहा है, तो उनके स्कोर की गिनती अधिक होती है (ताकि टीम उनकी मदद करने पर ध्यान केंद्रित करे)।

नए एल्गोरिदम: $\alpha$ -fair HATRPO और HAPPO

शोध पत्र इन सिद्धांतों को व्यवहार में लाने के लिए दो विशिष्ट रेसिपी (एल्गोरिदम) पेश करता है:

$\alpha$ -fair HATRPO: एक सटीक, गणितीय रूप से गहन विधि जो सबसे सुरक्षित कदम की सावधानीपूर्वक गणना करती है, यह सुनिश्चित करती है कि समूह कभी पीछे न जाए।
$\alpha$ -fair HAPPO: एक थोड़ा तेज़, अधिक व्यावहारिक संस्करण जो "क्लिपिंग" (यह सीमा लगाना कि एक एजेंट एक बार में अपने व्यवहार को कितना बदल सकता है) का उपयोग करता है ताकि चीजों को स्थिर रखा जा सके।

परीक्षण: सफाई और कटाई (Cleaning Up and Harvesting)

अपने विचार को सिद्ध करने के लिए, लेखकों ने दो वीडियो-गेम जैसे परिदृश्यों में इन एल्गोरिदम का परीक्षण किया:

कॉमन हार्वेस्ट (Common Harvest): एजेंटों को सेब चुनने होते हैं। यदि वे बहुत अधिक चुनते हैं, तो सेब के पेड़ मर जाते हैं। यदि वे बहुत कम चुनते हैं, तो वे भूख से मर जाते हैं। उन्हें लालच और संयम के बीच संतुलन बनाना होगा।
क्लीनअप (CleanUp): एजेंटों को सेब चुनना होता है, लेकिन सेब तभी उगते हैं जब नदी साफ हो। कुछ एजेंटों को सेब चुनना बंद करके नदी साफ करनी होगी, जबकि अन्य सेब चुनते रहेंगे। यदि सभी लोग सेब चुनते हैं, तो नदी गंदी हो जाएगी, और किसी को सेब नहीं मिलेंगे।

परिणाम:

दक्षता: नए निष्पक्ष एल्गोरिदम पुराने "लालची" तरीकों की तुलना में सेब इकट्ठा करने में उतने ही अच्छे (या थोड़े बेहतर) थे।
निष्पक्षता: नए तरीकों ने फलों के वितरण में बहुत अधिक समानता हासिल की। "गिनी इंडेक्स" (असमानता का एक माप, जैसे अर्थशास्त्र में होता है) कम था, जिसका अर्थ है कि एजेंटों ने पुरस्कारों को अधिक समान रूप से साझा किया।
स्थिरता: अन्य कुछ "फेयर" विधियों के विपरीत जो टूट गईं या अप्रत्याशित हो गईं, ये नए एल्गोरिदम गणितीय नियमों का पालन करते हैं, जो एक स्थिर, निष्पक्ष समाधान की ओर बढ़ने की गारंटी देते हैं।

कमी (The Catch)

लेखक अपनी सीमाओं के बारे में ईमानदार हैं। वर्तमान में सिस्टम को यह आवश्यकता है कि "पुरस्कार" (जैसे सेब) हमेशा सकारात्मक और सीमित हों (आप नकारात्मक सेब नहीं रख सकते)। इसके अलावा, एजेंटों को पूरे बोर्ड को देखने में सक्षम होना चाहिए (पूर्ण अवलोकन योग्य/fully observable), जो वास्तविक दुनिया में दुर्लभ है। हालाँकि, नियंत्रित वातावरण के लिए, यह ढांचा AI को न केवल स्मार्ट, बल्कि निष्पक्ष होने के लिए सिखाने हेतु एक गणितीय रूप से सुरक्षित आधार प्रदान करता है।

तकनीकी सारांश: $\alpha$ -fair हेट्रोजेनियस एजेंट रिइन्फोर्समेंट लर्निंग

समस्या विवरण

मल्टी-एजेंट रिइन्फोर्समेंट लर्निंग (MARL) में, सहयोग को पारंपरिक रूप से उपयोगितावादी उद्देश्यों के माध्यम से अनुकूलित किया जाता है जो सभी एजेंटों के उपयोगिता योग को अधिकतम करते हैं। हालांकि यह कुशल है, लेकिन यह दृष्टिकोण अक्सर पुरस्कार वितरण की उपेक्षा करता है, जिससे असमान "लीडर-फॉलोअर" गतिशीलता उत्पन्न होती है जहाँ एजेंटों का एक समूह हाशिए पर चला जाता है। निष्पक्षता को एकीकृत करने के मौजूदा प्रयास आम तौर पर तीन श्रेणियों में आते हैं: रिवॉर्ड शेपिंग (जैसे, इनइक्विटी एवर्जन), निष्पक्षता बाधाएं (fairness constraints), और सोशल वेलफेयर ऑब्जेक्टिव्स। हालांकि, इन विधियों में गंभीर सीमाएं हैं:

स्टेशनैरिटी संबंधी मुद्दे: रिवॉर्ड शेपिंग विधियां अक्सर इतिहास-निर्भर पुरस्कारों पर निर्भर करती हैं, जो मार्कोव गेम्स के स्टेशनरी गुण को तोड़ देती हैं।
सैद्धांतिक गारंटी का अभाव: लोकप्रिय एल्गोरिदम जैसे इंडिपेंडेंट PPO (IPPO) या मल्टी-एजेंट PPO (MAPPO), भले ही उन्हें निष्पक्षता के लिए अनुकूलित किया गया हो, उनमें सिंगल-एजेंट ट्रस्ट रीजन लर्निंग (TRL) में पाई जाने वाली कठोर सैद्धांतिक अभिसरण (convergence) गारंटी का अभाव है।
सामान्यीकरण और व्याख्यात्मकता: बाधा-आधारित विधियां अक्सर डोमेन-विशिष्ट होती हैं, जबकि सोशल वेलफेयर ऑब्जेक्टिव्स (जैसे, $\alpha$ -fairness) अक्सर बिना किसी सैद्धांतिक सुरक्षा उपायों के एक्सट्रैपोलेटेड PPO ऑब्जेक्टिव्स पर निर्भर करते हैं या आदर्श मान्यताओं (जैसे, कॉनकेविटी) पर आधारित होते हैं।

समतापूर्ण उद्देश्य कार्यों और सैद्धांतिक रूप से सुरक्षित लर्निंग फ्रेमवर्क के बीच एक अंतर मौजूद है। यह शोध पत्र $\alpha$ -fairness के साथ नैश इक्विलिब्रियम (Nash Equilibria) की ओर मोनोटोनिक सुधार और अभिसरण सुनिश्चित करने वाला एक फ्रेमवर्क पेश करके इस अंतर को पाटने का लक्ष्य रखता है।

कार्यप्रणाली

सैद्धांतिक ढांचा: $\alpha$ -fair HATRL

लेखक $\alpha$ -fairness को हेट्रोजेनियस-एजेंट ट्रस्ट रीजन लर्निंग (HATRL) के साथ संयोजित करने वाला एक नया फ्रेमवर्क प्रस्तावित करते हैं।

ग्लोबल फेयर ऑब्जेक्टिव:
फ्रेमवर्क एक पूर्णतः सहयोगात्मक सेटिंग के लिए एक ग्लोबल ऑब्जेक्टिव फंक्शन $J(\vec{\pi})$ को परिभाषित करता है:
$J(\vec{\pi}) = \mathbb{E}_{s_0 \sim \rho_0} \left[ \sum_{i=1}^n U_\alpha(\nu + V_i^{\vec{\pi}}(s_0)) \right]$
जहाँ $U_\alpha$ एक $\alpha$ -fair उपयोगिता फलन है, $\nu$ एक धनात्मक स्थिरांक है जो सकारात्मकता सुनिश्चित करता है, और $V_i^{\vec{\pi}}$ एजेंट $i$ के लिए वैल्यू फंक्शन है।

जैसे-जैसे $\alpha \to 0$ होता है, ऑब्जेक्टिव उपयोगितावादी योग (utilitarian sum) की ओर बढ़ता है।
जैसे-जैसे $\alpha \to +\infty$ होता है, यह रॉल्सियन वेलफेयर (max-min) फंक्शन की ओर बढ़ता है।
$\alpha = 1$ पर, यह आनुपातिक निष्पक्षता (proportional fairness) के अनुरूप है।

फेयर एडवांटेज फंक्शन:
HATRL को अनुकूलित करने के लिए, लेखक एक फेयर एडवांटेज फंक्शन $A_F^{\vec{\pi}}(s, \vec{a})$ पेश करते हैं। मानक मल्टी-एजेंट एडवांटेज फंक्शनों के विपरीत, यह व्यक्तिगत एजेंटों के एडवांटेज फंक्शन का एक भारित योग (weighted sum) है, जहाँ वेट्स (weights) एजेंटों के अपेक्षित रिटर्न ( $1/V_j^{\vec{\pi}}(s)$ ) के व्युत्क्रम द्वारा गतिशील रूप से निर्धारित होते हैं। यह वेटिंग सुनिश्चित करती है कि उच्च अपेक्षित रिटर्न वाले एजेंट ग्रेडिएंट अपडेट में कम योगदान दें, जिससे कम प्रदर्शन करने वाले एजेंटों को सुधार के लिए स्थान मिल सके।
सीक्वेंशियल अपडेट और सरोगेट फंक्शन:
HATRL पर आधारित, लेखक एक सरोगेट फंक्शन $L_{\vec{\pi}}(\vec{\pi}')$ व्युत्पन्न करते हैं जो ग्लोबल फेयर ऑब्जेक्टिव में सुधार के निचले स्तर (lower bound) के रूप में कार्य करता है। वे सिद्ध करते हैं कि अंतर $J(\vec{\pi}') - J(\vec{\pi})$ इस सरोगेट फंक्शन और एक KL-डाइवर्जेंस पेनल्टी टर्म के अंतर द्वारा सीमित है।
महत्वपूर्ण रूप से, वे प्रदर्शित करते हैं कि सरोगेट फंक्शन को $n$ क्रमबद्ध पदों (ordered summands) में विभाजित किया जा सकता है। यह एक सीक्वेंशियल अपडेट स्कीम की अनुमति देता है जहाँ एजेंट एक-एक करके (एक रैंडम परम्यूटेशन में) अपनी पॉलिसी को अपडेट करते हैं, जिससे वे ट्रस्ट रीजन बाधा का सम्मान करते हुए ग्लोबल फेयर ऑब्जेक्टिव में अपने स्थानीय योगदान को अधिकतम करते हैं।
सैद्धांतिक गारंटी:
पेपर निम्नलिखित के लिए प्रमाण प्रदान करता है:

मोनोटोनिक सुधार (Monotonic Improvement): प्रत्येक इटरेशन पर ग्लोबल फेयर ऑब्जेक्टिव $J(\vec{\pi})$ के बढ़ने (या समान रहने) की गारंटी है।
अभिसरण (Convergence): संयुक्त नीतियां (joint policies) एक लिमिट पॉइंट की ओर अभिसरित होती हैं।
नैश इक्विलिब्रियम (Nash Equilibrium): लिमिट पॉइंट्स का सेट गैर-रिक्त है, और प्रत्येक लिमिट पॉइंट पूर्णतः सहयोगात्मक खेल के लिए एक नैश इक्विलिब्रियम बनाता है।

व्यावहारिक एल्गोरिदम

उच्च-आयामी स्थानों में इस फ्रेमवर्क को लागू करने के लिए, लेखक दो डीप रिइन्फोर्समेंट लर्निंग एल्गोरिदम विकसित करते हैं:

$\alpha$ -fair HATRPO: यह हेट्रोजेनियस-एजेंट ट्रस्ट रीजन पॉलिसी ऑप्टिमाइजेशन का एक विस्तार है। यह मानक मल्टी-एजेंट एडवांटेज को फेयर एडवांटेज फंक्शन से बदल देता है और एक KL-कंस्ट्रेंट और कंजुगेट ग्रेडिएंट अपडेट का उपयोग करके कंस्ट्रेंड ऑप्टिमाइजेशन समस्या को हल करता है।
$\alpha$ -fair HAPPO: यह हेट्रोजेनियस-एजेंट PPO का एक विस्तार है। यह हेसियन (Hessian) की गणना करने से बचने के लिए क्लिपिंग मैकेनिज्म के साथ एक फर्स्ट-ऑर्डर एप्रोक्सिमेशन का उपयोग करता है, जो इसे अधिक कम्प्यूटेशनल रूप से कुशल बनाता है जबकि सीक्वेंशियल अपडेट संरचना को बनाए रखता है।

मुख्य योगदान

सैद्धांतिक सेतु (Theoretical Bridge): पेपर एक सैद्धांतिक रूप से स्थापित फ्रेमवर्क पेश करता है जो $\alpha$ -fairness को हेट्रोजेनियस-एजेंट ट्रस्ट रीजन लर्निंग के साथ एकीकृत करता है, जो प्रो-सोशल व्यवहारों को सीखने के लिए गणितीय सुरक्षा (मोनोटोनिक सुधार और अभिसरण गारंटी) प्रदान करता है।
नवाचारी सरोगेट फंक्शन: एक फेयर एडवांटेज फंक्शन की परिभाषा जो अपेक्षित रिटर्न के आधार पर एजेंटों की उपयोगिता को गतिशील रूप से वेट करती है, जिससे उपयोगितावादी दक्षता से $\alpha$ -fairness वेलफेयर की ओर संक्रमण संभव होता है।
एल्गोरिदम विकास: दो व्यावहारिक एल्गोरिदम, $\alpha$ -fair HATRPO और $\alpha$ -fair HAPPO का प्रस्ताव, जो पैरामीट्रिक पॉलिसी सेटिंग्स में सैद्धांतिक ढांचे का विस्तार करते हैं।
अनुभवजन्य सत्यापन (Empirical Validation): यह प्रदर्शन करना कि ये एल्गोरिदम सीक्वेंशियल सोशल डिलेमा वातावरण में उपयोगितावादी दक्षता को बनाए रखते हुए या उससे अधिक सामाजिक परिणाम (कम गिनी इंडेक्स) प्राप्त करते हैं।

प्रयोगात्मक परिणाम

एल्गोरिदम का मूल्यांकन SocialJax सूट के दो सीक्वेंशियल सोशल डिलेमा (SSD) वातावरणों: CleanUp और CommonHarvest पर किया गया।

बेसलाइन्स: प्रस्तावित विधियों की तुलना मानक HATRPO/HAPPO (उपयोगितावादी) और FMAPPO (अनुपातिक निष्पक्षता का उपयोग करने वाला PPO-आधारित विधि) से की गई।
मेट्रिक्स: प्रदर्शन को दक्षता के लिए 'टोटल एप्पल्स कंज्यूम्ड' (TAC) और निष्पक्षता के लिए 'गिनी इंडेक्स' के माध्यम से मापा गया।
निष्कर्ष:
- निष्पक्षता: $\alpha$ पैरामीटर को बढ़ाने से आम तौर पर अधिक निष्पक्ष परिणाम (कम गिनी इंडेक्स) मिले। प्रस्तावित $\alpha$ -fair एल्गोरिदम उपयोगितावादी बेसलाइन्स की तुलना में काफी कम गिनी इंडेक्स प्राप्त करते हैं।
- दक्षता: CommonHarvest वातावरण में, $\alpha$ -fair HATRPO और HAPPO ने बेहतर निष्पक्षता प्राप्त करते हुए TAC के मामले में उपयोगितावादी बेसलाइन्स से थोड़ा बेहतर प्रदर्शन किया। CleanUp में, शुद्ध दक्षता के मामले में दक्षता लाभ न्यूनतम था, और FMAPPO कभी-कभी प्रस्तावित विधियों से बेहतर प्रदर्शन करता था, हालांकि प्रस्तावित विधियों ने अभी भी सामाजिक रूप से श्रेष्ठ परिणाम (कम गिनी) प्राप्त किए।
- FMAPPO के साथ तुलना: जबकि FMAPPO ने अच्छा प्रदर्शन किया, प्रस्तावित विधियों ने तुलनीय या बेहतर निष्पक्षता परिणामों के साथ एक सैद्धांतिक रूप से सुरक्षित विकल्प पेश किया।

महत्व और सीमाएं

महत्व:
पेपर का दावा है कि यह एजेंटों को टिकाऊ, प्रो-सोशल व्यवहार अपनाने के लिए प्रशिक्षित करने हेतु एक "गणितीय रूप से सुरक्षित आधार" स्थापित करता है। नैश इक्विलिब्रियम की ओर मोनोटोनिक सुधार और अभिसरण सुनिश्चित करके, यह फ्रेमवर्क मौजूदा फेयर MARL दृष्टिकोणों में मौजूद सैद्धांतिक गारंटी की कमी को संबोधित करता है। यह सफलतापूर्वक एक न्यायसंगत उद्देश्य कार्य और सुरक्षित लर्निंग फ्रेमवर्क के बीच के अंतर को भरता है।

सीमाएं:
लेखक कई बाधाओं को स्वीकार करते हैं:

हाइपरपैरामीटर संवेदनशीलता: उच्च $\alpha$ मान ( $\alpha > 1$ ) प्रदर्शन में गिरावट और प्रशिक्षण अस्थिरता का कारण बन सकते हैं। इसका कारण यह है कि फेयर एडवांटेज फंक्शन उच्च-प्रदर्शन करने वाले एजेंटों के भार को कम कर देता है, जिससे ग्लोबल ऑब्जेक्टिव "वर्स्ट लर्नर्स" के प्रति अत्यधिक संवेदनशील हो जाता है जो लोकल ऑप्टिमा में फंस सकते हैं।
सैद्धांतिक बाधाएं: फ्रेमवर्क धनात्मक, बाउंडेड रिवार्ड्स की धारणा पर निर्भर करता है, जो इसकी प्रयोज्यता को कुछ वातावरणों तक सीमित करता है।
अवलोकनीयता (Observability): एल्गोरिदम के लिए पूर्णतः दृश्यमान (fully observable) अवस्थाओं की आवश्यकता होती है। वास्तविक दुनिया के परिदृश्यों में, जहाँ आंशिक अवलोकनीयता (partial observability) होती है, वहां अनुमानों (जैसे, RNN का उपयोग) की आवश्यकता होगी, लेकिन उनमें वर्तमान सैद्धांतिक गारंटी नहीं होगी।

पेपर निष्कर्ष निकालता है कि भविष्य के कार्यों में अन्वेषण (exploration) को बढ़ाने (जैसे, एंट्रॉपी नॉर्मलाइजेशन) या जब $\alpha$ उच्च हो तो लर्निंग को स्थिर करने के लिए एडेप्टिव कंस्ट्रेंट्स के तंत्र का सुझाव दिया गया है।