📈 economics

Rationalizing Boltzmann Rationality: An Axiomatic Characterization of Entropy-Regularized Policies

यह शोध पत्र पर्यावरणीय संयोग और एजेंट के चयन के बीच अंतर स्पष्ट करके मानक सॉफ्टमैक्स नीति (softmax policy) और मार्कोव निर्णय प्रक्रिया (Markov decision process) के सिद्धांतों के बीच के सैद्धांतिक तनाव को हल करता है, यह प्रदर्शित करते हुए कि चयनात्मक नोड्स पर अप्रासंगिक विकल्पों की स्वतंत्रता (independence of irrelevant alternatives) और एकतत्व (monotonicity) को लागू करना अनन्य रूप से बोल्ट्ज़मैन नीति (Boltzmann policy) और एंट्रॉपी-नियमित प्रतिनिधित्व (entropy-regularized representation) को एक मानक डिजाइन विकल्प के रूप में व्युत्पन्न करता है जो यह दर्शाता है कि क्या एक एजेंट स्वयं के चुनने की क्षमता को महत्व देता है।

मूल लेखक: Silviu Pitis

प्रकाशित 2026-07-21

📖 9 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Silviu Pitis

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट मस्तिष्क बना रहे हैं जिसे विकल्पों से भरी दुनिया में नेविगेट करना सीखना है। कंप्यूटर विज्ञान की दुनिया में, इस क्षेत्र को 'रीइन्फोर्समेंट लर्निंग' (Reinforcement Learning) कहा जाता है, और यह एजेंटों (जैसे रोबोट या गेम खेलने वाले AI) को ऐसे निर्णय लेने के लिए सिखाने के बारे में है जिनसे उन्हें सबसे अच्छा इनाम मिले। इसे करने के लिए, एजेंट को दो चीजों के बीच संतुलन बनाना होगा: जो वह जानता है कि काम करता है उस पर टिके रहना (एक्सप्लोइटेशन/exploitation) और यह देखने के लिए नई चीजें आजमाना कि क्या वे और भी बेहतर हैं (एक्सप्लोरेशन/exploration)। दशकों से, इस "नई चीजें आजमाने" के तरीके को संभालने का मानक तरीका एक गणितीय रेसिपी है जिसे सॉफ्टमैक्स (softmax) फंक्शन कहा जाता है। इसे एक शेफ की तरह समझें जो यह तय कर रहा है कि सूप में प्रत्येक सामग्री कितनी डालनी है: यदि एक सामग्री थोड़ी बेहतर स्वाद देती है, तो शेफ उसमें थोड़ी और मात्रा जोड़ता है, लेकिन कभी भी दूसरों को पूरी तरह से नजरअंदाज नहीं करता है। यह रेसिपी इतनी आम है कि यह लगभग हर आधुनिक AI सिस्टम के लिए डिफॉल्ट सेटिंग है। लेकिन यहाँ एक रहस्य है: जबकि हर कोई इस रेसिपी का उपयोग करता है, कोई भी यह स्पष्ट नहीं कर सका कि शुरुआत से ही यह क्यों एकमात्र सही तरीका था। वास्तव में, इस रेसिपी का उपयोग करना कुछ मौलिक नियमों को तोड़ता हुआ प्रतीत होता था कि हम आमतौर पर तर्कसंगत (rational) विकल्पों के बारे में कैसे सोचते हैं, जिससे "क्या काम करता है" और "क्या समझ में आता है" के बीच एक भ्रमित करने वाला तनाव पैदा होता है।

यह शोध पत्र, जिसका शीर्षक "रैशनलाइजिंग बोल्ट्ज़मैन रैशनैलिटी" (Rationalizing Boltzmann Rationality) है, एक जासूसी कहानी की तरह इस रहस्य को सुलझाता है। लेखक, सिल्विउ पिटिस (Silviu Pitis), एक सरल लेकिन गहरा प्रश्न पूछते हैं: क्या हम यह सिद्ध कर सकते हैं कि यह विशिष्ट "सूप रेसिपी" (सॉफ्टमैक्स पॉलिसी) ही तार्किक विकल्प है यदि हम यह मान लें कि एजेंट तर्कसंगत होना चाहता है और अपने चयन करने की अपनी क्षमता को महत्व देता है? पेपर का तर्क है कि भ्रम दो अलग-अलग प्रकार की यादृच्छिकता (randomness) को मिलाने से पैदा हुआ था। कल्पना कीजिए कि आप एक चौराहे पर हैं। संयोग (Chance) ऐसा है जैसे मौसम अचानक बदल जाए, जो आपको आपकी इच्छा के विरुद्ध एक नए रास्ते पर जाने के लिए मजबूर करता है। चुनाव (Choice) वह है जब आप तय करते हैं कि कौन सा रास्ता लेना है। पेपर दिखाता है कि यदि आप "संयोग" (मौसम) और "चुनाव" (आपका निर्णय) को अलग-अलग चीजों के रूप में देखते हैं, और उन सामान्य नियमों को लागू करते हैं कि आपको अपने विकल्पों को कैसे महत्व देना चाहिए, तो सॉफ्टमैक्स रेसिपी ही एकमात्र समाधान के रूप में उभरती है। यह पता चलता है कि "एंट्रॉपी बोनस" (entropy bonus)—एक गणितीय शब्द जो एक दंड जैसा लगता है लेकिन वास्तव में विकल्पों के होने का एक इनाम है—वही ऑप्शन प्रीमियम (option premium) है। यह वह अतिरिक्त मूल्य है जो चुनने की स्वतंत्रता से प्राप्त होता है। पेपर यह सिद्ध करता है कि यदि कोई एजेंट अपने पथ को चुनने की अपनी क्षमता को महत्व देता है, तो उसे सुसंगत रहने के लिए इसी विशिष्ट फॉर्मूले का उपयोग करना ही होगा। यदि वह ऐसा नहीं करता है, तो वह तर्कसंगत नहीं है; वह बस असंगत है।

रोबोट शेफ की कहानी

आइए इस खोज के केंद्र में चलते हैं। कल्पना कीजिए कि आप तीन व्यंजनों: पिज्जा, टैकोस और सुशी वाले मेनू के साथ एक रसोई में एक रोबोट शेफ हैं। आपके पास अपने पिछले अनुभव के आधार पर प्रत्येक व्यंजन के स्वाद के लिए एक "स्कोर" है।

पुराना तरीका (कठोर विकल्प): सोचने के पुराने, सख्त तरीके में, यदि पिज्जा का स्कोर 10 है और टैकोस का 9 है, तो आप केवल पिज्जा ही चुनेंगे। यदि सुशी का स्कोर 5 है, तो आप उसे पूरी तरह से अनदेखा कर देंगे। इसे "हार्ड" निर्णय कहा जाता है।
नया तरीका (कोमल विकल्प): लेकिन वास्तविक दुनिया में, और अधिकांश आधुनिक AI में, हम एक "सॉफ्ट" विकल्प का उपयोग करते हैं। हम अभी भी पिज्जा को सबसे अधिक बार चुनते हैं, लेकिन हम टैकोस को एक छोटा मौका देते हैं और सुशी को बहुत कम मौका देते हैं। यह बोल्ट्ज़मैन पॉलिसी (Boltzmann policy) या सॉफ्टमैक्स है। यह कहने जैसा है, "पिज्जा सबसे अच्छा है, लेकिन शायद आज मैं कुछ और खाने का शौकीन हूँ।"

लंबे समय तक, वैज्ञानिकों ने इस सॉफ्ट विकल्प का उपयोग किया क्योंकि इसने रोबोटों को तेजी से सीखने और खोजने में मदद की। लेकिन एक समस्या बनी रही। "हार्ड" विकल्पों (जिसे एक्सपेक्टेड यूटिलिटी थ्योरी कहा जाता है) के पीछे का गणित कहता था कि यदि आप मेनू में एक नया, बुरा विकल्प (जैसे "जला हुआ टोस्ट") जोड़ते हैं, तो यह पिज्जा और टैकोस के बीच आपकी पसंद को नहीं बदलना चाहिए। इस नियम को इंडिपेंडेंस ऑफ इरेलेवेंट अल्टरनेटिव्स (IIA) कहा जाता है। हालाँकि, सॉफ्ट चॉइस का गणित इस नियम को तोड़ता हुआ प्रतीत होता था। यदि आपने "जला हुआ टोस्ट" जोड़ा, तो गणित सुझाव देता था कि पिज्जा के प्रति आपका प्रेम इसलिए बदल सकता है क्योंकि मेनू बड़ा हो गया है। इसने पूरे सिस्टम को अस्थिर महसूस कराया, जैसे कि एक ऐसी नींव पर बना घर जो पूरी तरह से फिट नहीं बैठती।

महान अंतर: मौसम बनाम इच्छा

यह पेपर संयोग (Chance) और चुनाव (Choice) के बीच एक शानदार अंतर बनाकर इसे हल करता है।

संयोग (Chance) तब होता है जब ब्रह्मांड आपके लिए सिक्का उछालता है। यदि आपको एक बैग से एक रैंडम व्यंजन खाने के लिए मजबूर किया जाता है, तो उस बैग का मूल्य उसके अंदर के व्यंजनों का औसत होता है। यह "मौसम" वाला हिस्सा है।
चुनाव (Choice) तब होता है जब आप चुनते हैं। जब आपके पास एक मेनू होता है, तो आप केवल एक रैंडम व्यंजन नहीं खा रहे होते हैं; आपके पास चुनने की शक्ति होती है। पेपर का तर्क है कि मेनू होना अपने आप में मूल्यवान है। यह एक खजाने के संदूक की चाबी रखने बनाम जेब में पहले से ही खजाना होने जैसा है। खजाना समान है, लेकिन संदूक खोलने की क्षमता अतिरिक्त मूल्य जोड़ती है।

लेखक दिखाते हैं कि यदि आप "संयोग" वाले हिस्सों (मौसम) पर तर्कसंगty के नियमों को लागू करते हैं और "चुनाव" वाले हिस्सों (आपकी इच्छा) पर नियमों का एक नया सेट लागू करते हैं, तो जादू होता है। चुनाव के नियम ये हैं:

इंडिपेंडेंस ऑफ इरेलेवेंट अल्टरनेटिव्स (IIA): पिज्जा और टैकोस के बीच आपकी पसंद नहीं बदलनी चाहिए सिर्फ इसलिए क्योंकि मेनू में "जला हुआ टोस्ट" है।
मोनोटोनिसिटी (Monotonicity): यदि पिज्जा का स्कोर बेहतर होता है, तो आपको उसे चुनने की संभावना अधिक होनी चाहिए।

जब आप इन दो सरल नियमों को "विकल्पों का होना मूल्यवान है" के विचार के साथ जोड़ते हैं, तो गणित आपको एक एकल, विशिष्ट आकार में ले जाता है। वह आकार बोल्ट्ज़मैन पॉलिसी है। यह पता चलता है कि "एंट्रॉपी बोनस" (वह अतिरिक्त मूल्य जो हम विकल्पों के होने के लिए देते हैं) वास्तव में ऑप्शन प्रीमियम है—वह मूल्य जो विकल्प खुले रखने से प्राप्त होता है। पेपर यह सिद्ध करता है कि यह केवल एक भाग्यशाली अनुमान या सुविधाजनक चाल नहीं है; यह एकमात्र तरीका है जिससे आप तर्कसंगत रह सकते हैं यदि आप मानते हैं कि चुनने की शक्ति रखना मूल्यवान है और आपके विकल्प वास्तव में स्वतंत्र हैं।

इसका भविष्य के लिए क्या अर्थ है

यह पेपर केवल यह नहीं कहता कि "यह अच्छा है"; यह हमें एक स्पष्ट मानचित्र देता है कि कब इस रेसिपी का उपयोग करना है और कब इसे फेंक देना है।

कब उपयोग करें: यदि आपका रोबोट स्वतंत्र चीजों (जैसे विभिन्न आइसक्रीम फ्लेवर जो एक-दूसरे को प्रभावित नहीं करते) के बीच चयन कर रहा है, तो बोल्ट्ज़मैन पॉलिसी एकदम सही, गणितीय रूप से सिद्ध विकल्प है। यह होने के लिए एकमात्र तरीका है कि आप सुसंगत रहें।
कब उपयोग न करें: पेपर चेतावनी देता है कि यदि आपके विकल्प "गुच्छों" (clumped) में हैं, तो यह रेसिपी विफल हो जाती है। कल्पना कीजिए कि एक मेनू जिसमें "लाल बस" के 10 अलग-अलग शेड्स हैं और 1 "नीली बस" है। यदि आप हर लाल बस को एक अलग विकल्प के रूप में देखते हैं, तो रोबोट अपना 90% समय लाल बस चुनने में बिता सकता है क्योंकि वे बहुत अधिक हैं, भले ही वह वास्तव में नीली बस को पसंद करता हो। इसे "सिमिलैरिटी इफेक्ट" (similarity effect) कहा जाता है। इन मामलों में, सरल बोल्ट्ज़मैन रेसिपी टूट जाती है क्योंकि स्वतंत्रता की धारणा का उल्लंघन होता है, और रोबोट को एक स्मार्ट मेनू सिस्टम की आवश्यकता होती है (जैसे लाल बसों को एक साथ समूहबद्ध करना)।

लेखकों ने यह भी खोजा कि रोबोट को कितना "तर्कसंगत" होने की आवश्यकता है। उन्होंने पाया कि एक "न्यूनतम तर्कसंगतता सीमा" (minimum rationality threshold) होती है। यदि रोबोट बहुत अनिश्चित है (तापमान पैमाने पर बहुत कम $\beta$ है), और वह ऐसी स्थिति का सामना करता है जहाँ एक विकल्प उसके पुरस्कारों को विस्फोट कर सकता है (जैसे कि एक निवेश जो दोगुना या तिगुना हो सकता है), तो गणित पूरी तरह से टूट जाता है। रोबोट का मूल्य अनंत और निरर्थक हो जाता है। हालाँकि, पेपर दिखाता है कि यदि हम यह मान लें कि रोबोट समझता है कि भविष्य अंततः मायने रखना बंद कर देता है (एक अवधारणा जिसे "होरिज़न कॉन्टिन्युटी" कहा जाता है), तो यह समस्या गायब हो जाती है, और गणित किसी भी स्तर की तर्कसंगतता के लिए काम करता है।

व्यापक परिदृश्य

अंत में, यह पेपर जटिल गणित की दुनिया में एक दुर्लभ कार्य करता है: यह अर्थशास्त्र, सूचना सिद्धांत (information theory) और आर्टिफिशियल इंटेलिजेंस के बीच के बिंदुओं को जोड़ता है। यह दिखाता है कि वही तर्क जो यह समझाता है कि मनुष्य गंबेल-फ्लेवर्ड आइसक्रीम (एक विशिष्ट प्रकार का रैंडम शोर) क्यों चुन सकते हैं, वही यह भी समझाता है कि AI को सॉफ्टमैक्स फंक्शन का उपयोग क्यों करना चाहिए। यह सिद्ध करता है कि "एंट्रॉपी बोनस" केवल सीखने को तेज करने के लिए डाला गया एक फज फैक्टर नहीं है; यह ऑप्शन प्रीमियम है। यह विकल्प चुनने वाला होने का मूल्य है, बजाय इसके कि विकल्प आपके लिए चुना जाए।

इसलिए, अगली बार जब आप किसी AI को थोड़ी सी यादृच्छिकता (randomness) के साथ निर्णय लेते हुए देखें, तो याद रखें: वह केवल अनुमान नहीं लगा रहा है। वह एक गहरे, गणितीय नियम का पालन कर रहा है जो कहता है: "चुनने की स्वतंत्रता होना मूल्यवान है, और यहाँ वह गणितीय रूप से पूर्ण तरीका है जिससे आप उस स्वतंत्रता का सम्मान करते हैं जब आपके विकल्प स्वतंत्र हों।" यह पेपर केवल उस उपकरण को न्यायसंगत नहीं बनाता जिसे हम वर्षों से उपयोग कर रहे हैं; यह हमें बताता है कि यह काम क्यों करता है, हमें इसकी आवश्यकता कब होती है, और हमें नया निर्माण कब करने की आवश्यकता होती है।

तकनीकी सारांश: बोल्ट्ज़मैन तर्कसंगतता का औचित्य (Rationalizing Boltzmann Rationality)

समस्या विवरण (Problem Statement)

सॉफ्टमैक्स पॉलिसी (softmax policy), जिसे $\pi(a | s) \propto \exp(\beta Q(s, a))$ के रूप में परिभाषित किया गया है, स्टोकेस्टिक चयन (stochastic choice) के लिए डिफ़ॉल्ट मॉडल के रूप में कार्य करती है, जो सॉफ्ट एक्टर-क्रिटिक (Soft Actor-Critic), एंट्रॉपी-रेगुलराइज्ड आरएल (entropy-regularized RL), और मानव फीडबैक से सुदृढीकरण शिक्षण (RLHF) जैसी विधियों का आधार है। इसकी व्यापकता के बावजूद, साहित्य में नॉर्मेटिव प्रथम सिद्धांतों (normative first principles) से सॉफ्ट फॉर्म के व्युत्पन्न (derivation) का अभाव है। मौजूदा औचित्य हेयुरिस्टिक्स (heuristics) जैसे कि मजबूती (robustness), अन्वेषण स्मूथिंग (exploration smoothing), या ट्रांसलेशन इनवेरिएंस (translation invariance) पर निर्भर करते हैं, लेकिन इनमें से कोई भी इस रूप को विशिष्ट रूप से व्युत्पन्न नहीं करता है और न ही एक मौलिक सैद्धांतिक तनाव को हल करता है: सॉफ्ट बेलमैन समीकरण (soft Bellman equation) में एंट्रॉपी बोनस अपेक्षित उपयोगिता सिद्धांत (Expected Utility Theory - EUT) के इंडिपेंडेंस एक्सिओम (Independence axiom) का उल्लंघन करता है। विशेष रूप से, मानक वॉन न्यूमैन-मॉर्गनस्टर्न (vNM) इंडिपेंडेंस एक्सिओम यह निहित करता है कि किसी लॉटरी का मूल्य उसके घटकों का भारित औसत होता है (कंपाउंड लॉटरी रिडक्शन), जबकि सॉफ्ट बेलमैन समीकरण एक एंट्रॉपी टर्म जोड़ता है जो इस औसत से स्पष्ट रूप से अधिक होता है, जिससे यह संकेत मिलता है कि एक विकल्प जोड़ने से एजेंट का मूल्य कम हो सकता है।

कार्यप्रणाली (Methodology)

यह शोध पत्र एक MDP में दो प्रकार की रैंडमनेस (randomness) के बीच अंतर करके इस तनाव को हल करता है: चांस (chance - पर्यावरणीय लॉटरी) और चॉइस (choice - व्यवहार संबंधी चयन)। कार्यप्रणाली में एक एक्सिओमैटिक ढांचे का निर्माण शामिल है जो मानक तर्कसंगतता एक्सिओम्स के दायरे को इन दो अलग-अलग डोमेन तक सीमित करता है:

डोमेन प्रतिबंध (Domain Restriction): लेखक VNM इंडिपेंडेंस को "बेस प्रॉस्पेक्ट्स" (base prospects) तक सीमित करते हैं, जो केवल पर्यावरणीय रैंडमनेस के अधीन नियतात्मक नीतियां (deterministic policies) हैं। यह पर्यावरणीय ट्रांज़िशन के लिए मानक बेलमैन संबंध को सुरक्षित रखता है।
चॉइस का एक्सिओमैटिक लक्षण वर्णन (Axiomatic Characterization of Choice): चॉइस नोड्स पर, यह शोध पत्र पॉलिसी और वैल्यू फंक्शन्स पर दो नए एक्सिओम्स लागू करता है:
- इंडिपेंडेंस ऑफ इरेलिवेंट अल्टरनेटिव्स (IIA):
  - पॉलिसी IIA: दो क्रियाओं के बीच प्रायिकता का अनुपात केवल उनके Q-वैल्यू के अंतर ( $Q_a - Q_b$ ) पर निर्भर करता है।
  - वैल्यू IIA: एक क्रिया को चुनने की प्रायिकता मेनू के कुल मूल्य में होने वाली हानि पर निर्भर करती है जो उस क्रिया को हटाने से होती है।
- मोनोटोनिसिटी (Monotonicity): बेहतर क्रियाएं उच्च चयन प्रायिकता प्राप्त करती हैं, और विकल्पों के मेनू का विस्तार करने से चॉइस नोड का मूल्य कम नहीं होता है।
व्युत्पन्न (Derivation): लेखक यह सिद्ध करते हैं कि अनंत-क्षितिज वाले MDPs (संभावित रूप से स्टेट-एक्शन-डिपेंडेंट डिस्काउंटिंग $\gamma(s, a)$ के साथ) के भीतर, ये एक्सिओम्स पॉलिसी और वैल्यू फंक्शन के कार्यात्मक रूप (functional form) को विशिष्ट रूप से निर्धारित करते हैं।

मुख्य योगदान (Key Contributions)

1. एक्सिओमैटिक लक्षण वर्णन (थ्योरम 3.1)

यह शोध पत्र बोल्ट्ज़मैन पॉलिसी के लिए एक पूर्ण 'एक्सिओम-टू-एल्गोरिदम' पथ प्रदान करता है। यह प्रदर्शित करता है कि यदि एक एजेंट बेस प्रॉस्पेक्ट्स पर VNM प्राथमिकताओं का पालन करता है और चॉइस नोड्स पर पॉलिसी IIA, वैल्यू IIA और मोनोटोनिसिटी का पालन करता है, तो निम्नलिखित सत्य होना चाहिए:

पॉलिसी: चॉइस रूल अनन्य रूप से बोल्ट्ज़मैन पॉलिसी है: $\pi(a | s) = \frac{\exp(\beta Q(s, a))}{\sum_{a'} \exp(\beta Q(s, a'))}$ ।
रिप्रेजेंटेशन: पॉलिसी एक एंट्रॉपी-रेगुलराइज्ड ऑब्जेक्टिव का अद्वितीय मैक्सिमाइज़र है: $\max_{\hat{\pi}} [\sum \hat{\pi}_a Q(s, a) + \frac{1}{\beta} H(\hat{\pi})]$ ।
वैल्यू फंक्शन: वैल्यू फंक्शन, Q-वैल्यूज का लॉग-सम-एक्सप (LSE) है: $V(s) = \frac{1}{\beta} \text{LSE}(\beta Q(s, \cdot))$ ।
सॉफ्ट बेलमैन समीकरण: वैल्यू फंक्शन सॉफ्ट बेलमैन समीकरण को संतुष्ट करता है, जहाँ एंट्रॉपी बोनस स्वाभाविक रूप से "ऑप्शन प्रीमियम" (विकल्प का प्रीमियम) के रूप में उभरता है—अर्थात, चुनने की क्षमता रखने का मूल्य बनाम एक बाहरी रूप से थोपे गए परिणाम का मूल्य।

यह व्युत्पत्ति एक नवीन चरण (चरण 2) पर निर्भर करती है जहाँ वैल्यू IIA का उपयोग किसी क्रिया को हटाने से पहले और बाद में मेनू के कार्डिनल मान (cardinal value) की तुलना करके एंट्रॉपी बोनस को व्युत्पन्न करने के लिए किया जाता है, बिना पूर्व में एक एडिटिव ऑप्टिमाइज़ेशन संरचना को माने।

2. RL-विशिष्ट परिणाम (RL-Specific Consequences)

यह शोध पत्र RL एल्गोरिदम के लिए इस ढांचे के निहितार्थों का विश्लेषण करता है:

सामान्यीकृत डिस्काउंटिंग के तहत अभिसरण (Convergence under Generalized Discounting): एम्पलीफाइंग एक्शन्स (amplifying actions) वाले सेटिंग्स में, जहाँ $\gamma(s, a) > 1$ है, पेपर एक न्यूनतम तर्कसंगतता थ्रेसहोल्ड $\beta_0$ की पहचान करता है। इस थ्रेसहोल्ड से नीचे, सॉफ्ट बेलमैन समीकरण में परिमित फिक्स्ड पॉइंट (finite fixed point) की कमी हो सकती है क्योंकि सब-ऑप्टिमल होने के बावजूद एम्पलीफाइंग एक्शन्स को सकारात्मक वेट प्राप्त होता है। हालांकि, पेपर दिखाता है कि "होराइजन कॉन्टिन्युटी" एक्सिओम (पिटिस, 2019 द्वारा) यह सुनिश्चित करता है कि डिस्काउंट-वेटेड ट्रांजिशन मैट्रिक्स का स्पेक्ट्रल रेडियस 1 से कम रहे, जो इस विचलन को हल करता है और सभी $\beta > 0$ के लिए अभिसरण की गारंटी देता है।
रिटर्न मोनोटोनिसिटी (Return Monotonicity): बोल्ट्ज़मैन पॉलिसी का वास्तविक (अनरेगुलराइज्ड) अपेक्षित रिटर्न, इनवर्स टेम्परेचर $\beta$ के संबंध में गैर-घटता (non-decreasing) है। उच्च तर्कसंगतता (उच्च $\beta$ ) वास्तविक रिटर्न को नुकसान नहीं पहुँचाती है, भले ही यह एंट्रॉपी बोनस को कम कर देती है।
एंट्रॉपी विशिष्टता (Entropy Uniqueness): Tsallis एंट्रॉपी परिवार के भीतर, केवल शैनन एंट्रॉपी (जब $q \to 1$ ) ही IIA एक्सिओम्स को संतुष्ट करती है। अन्य रूप, जैसे कि स्पार्समैक्स (sparsemax, $q=2$ ), IIA का उल्लंघन करते हैं, जिससे गुणात्मक रूप से भिन्न चॉइस व्यवहार उत्पन्न होते हैं।

3. अंतर-विषयक संश्लेषण (Cross-Disciplinary Synthesis)

यह शोध पत्र अर्थशास्त्र (Luce, Yellott, McFadden), सूचना सिद्धांत (Shore-Johnson), और बाउंडेड रेशनैलिटी (Fudenberg et al.) के स्वतंत्र शोध पथों को जोड़ता है जो बोल्ट्ज़मन रूप पर अभिसरित होते हैं। यह IIA के उपयुक्त होने के लिए एक नॉर्मेटिव मूल्यांकन प्रदान करता है:

उपयुक्त: जब क्रियाएं वास्तव में स्वतंत्र हों (जैसे, विशिष्ट कौशल)। इस मामले में, बोल्ट्ज़मैन एक सुसंगत नीति है।
अनुपयुक्त: जब क्रियाएं सह-संबंधित (correlated) या रेडंडेंट (redundant) हों (जैसे, "रेड बस/ब्लू बस" की समस्या या LLM पैराफ्रेज)। इन मामलों में, IIA प्रायिकता द्रव्यमान (probability mass) में विरूपण का कारण बनता है, और पेपर समाधान के रूप में नेस्टेड लॉजिट मॉडल (nested logit models) का सुझाव देता है।

परिणाम और महत्व (Results and Significance)

यह शोध पत्र यह दावा करता है कि वह एजेंसी (agency) के मूल्य को एंट्रॉपी बोनस के रूप में देखने के बजाय, इसे चॉइस की क्षमता के परिणाम के रूप में पुनर्गठित करके, स्टोकेस्टिक चॉइस और अपेक्षित उपयोगिता सिद्धांत के बीच बुनियादी तनाव को हल करता है।

नॉर्मेटिव औचित्य: यह कार्य स्थापित करता है कि सॉफ्टमैक्स रूप केवल एक गणितीय सुविधा या अनुभवजन्य ह्यूरिस्टिक नहीं है, बल्कि विशिष्ट तर्कसंगतता बाधाओं (IIA और मोनोटोनिसिटी) का अद्वितीय समाधान है, जो चॉइस नोड पर लागू होते हैं।
डिज़ाइन निर्णय: "हार्ड" (नियतात्मक) और "सॉफ्ट" (स्टोकेस्टिक) बेलमैन समीकरणों के बीच का चुनाव इस डिज़ाइन निर्णय के रूप में फ्रेम किया गया है कि क्या एजेंट अपनी एजेंसी को महत्व देता है। यदि एजेंट 'ऑप्शन प्रीमियम' को महत्व देता है, तो सॉफ्ट बेलमैन समीकरण एक्सिओमैटिक परिणाम है।
डायग्नोस्टिक उपयोगिता: यह ढांचा एजेंट डिज़ाइन के लिए एक ठोस डायग्नोस्टिक प्रदान करता है: यदि दो क्रियाओं के बीच सापेक्ष प्राथमिकता, अप्रासंगिक विकल्पों को जोड़ने या हटाने पर बदल जाती है, तो एजेंट IIA का उल्लंघन करता है, और बोल्ट्ज़मैन पॉलिसी उस डोमेन के लिए सैद्धांतिक रूप से अनुचित है।
RLHF निहितार्थ: पेपर नोट करता है कि RLHF में, जहाँ युग्म तुलनाओं (pairwise comparisons) में अक्सर लगभग समान प्रतिक्रियाएं शामिल होती हैं, मानक ब्रैडली-टेरी धारणा (जो IIA को दर्शाता है) प्रतिकूल प्रोत्साहन (perverse incentives) पैदा कर सकती है। एक्सिओमैटिक विश्लेषण बताता है कि तर्कसंगतता बनाए रखने के लिए समान प्रतिक्रियाओं को "नेस्ट्स" (नेस्टेड लॉजिट) में समूहित करना आवश्यक है।

संक्षेप में, यह शोध पत्र बोल्ट्ज़मैन पॉलिसी और सॉफ्ट बेलमैन समीकरण के प्रथम-सिद्धांतों से व्युत्पन्न (derivation) प्रदान करता है, यह स्पष्ट करता है कि किन शर्तों के तहत वे एक एजेंट के लिए अद्वितीय तर्कसंगत विकल्प हैं, और उन विशिष्ट विफलता मोड (सह-संबंधित क्रियाएं) की पहचान करता है जहाँ वैकल्पिक संरचनाओं की आवश्यकता होती है।