📈 economics

Rationalizing Boltzmann Rationality: An Axiomatic Characterization of Entropy-Regularized Policies

Cet article résout la tension théorique entre la politique softmax standard et les axiomes des processus de décision markoviens en distinguant le hasard environnemental du choix de l'agent, démontrant que l'imposition de l'indépendance des alternatives non pertinentes et de la monotonicité sur les nœuds de choix dérive de manière unique la politique de Boltzmann et la représentation entropique régularisée comme un choix de conception normatif reflétant si un agent valorise sa propre capacité à choisir.

Auteurs originaux : Silviu Pitis

Publié 2026-07-21

📖 9 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Silviu Pitis

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous construisez le cerveau d'un robot qui doit apprendre à naviguer dans un monde rempli de choix. Dans le monde de l'informatique, ce domaine s'appelle l'apprentissage par renforcement (Reinforcement Learning), et il s'agit d'apprendre aux agents (comme des robots ou des IA jouant à des jeux) à prendre des décisions pour obtenir les meilleures récompenses. Pour ce faire, l'agent doit équilibrer deux choses : rester fidèle à ce qu'il sait être efficace (l'exploitation) et essayer de nouvelles choses pour voir si elles sont encore meilleures (l'exploration). Pour gérer cette volonté de « tester de nouvelles choses », la méthode standard depuis des décennies est une recette mathématique appelée fonction softmax. Considérez cela comme un chef décidant de la quantité de chaque ingrédient à ajouter à une soupe : si un ingrédient est légèrement meilleur, le chef en ajoute un peu plus, mais n'ignore jamais complètement les autres. Cette recette est si courante qu'elle est le réglage par défaut de presque tous les systèmes d'IA modernes. Mais voici le mystère : bien que tout le monde utilise cette recette, personne ne pouvait vraiment expliquer pourquoi c'était la seule bonne façon de procéder dès le début. En fait, utiliser cette recette semblait briser certaines des règles fondamentales sur la manière dont nous pensons habituellement les choix rationnels, créant une tension déroutante entre « ce qui fonctionne » et « ce qui fait sens ».

Ce document, intitulé « Rationalizing Boltzmann Rationality », agit comme une enquête policière qui résout ce mystère. L'auteur, Silviu Pitis, pose une question simple mais profonde : peut-on prouver que cette recette spécifique (la politique softmax) est le choix logique si nous supposons que l'agent veut être rationnel et valorise sa propre capacité à choisir ? Le papier soutient que la confusion venait du mélange de deux types différents de hasard. Imaginez que vous êtes à un carrefour. Le Hasard est comme la météo qui change soudainement, vous imposant un détour quoi que vous vouliez. Le Choix, c’est vous qui décidez quel chemin prendre. Le document montre que si vous traitez le temps (le hasard) et votre décision (le choix) comme des entités distinctes, et que vous appliquez quelques règles de bon sens sur la façon dont vous devriez évaluer vos options, la recette softmax apparaît comme la solution unique. Il se trouve que le « bonus d'entropie » — un terme mathématique qui ressemble à une pénalité mais qui est en réalité une récompense pour avoir des options — est la prime d'option. C'est la valeur supplémentaire tirée de la liberté de choisir. Le papier prouve que si un agent valorise sa propre capacité à choisir son chemin, il doit utiliser cette formule spécifique pour rester cohérent. S'il ne le fait pas, il n'est pas rationnel ; il est simplement incohérent.

L'histoire du Chef Robot

Plongeons au cœur de la découverte. Imaginez que vous soyez un robot chef dans une cuisine avec un menu composé de trois plats : Pizza, Tacos et Sushi. Vous avez un « score » pour savoir à quel point chaque plat est bon selon votre expérience passée.

L'ancienne méthode (Le Choix Dur) : Dans l'ancienne façon rigide de penser, si la Pizza a un score de 10 et les Tacos un score de 9, vous ne choisiriez que la Pizza. Si le Sushi avait un score de 5, vous l'ignoreriez totalement. C'est ce qu'on appelle une décision « dure ».
La nouvelle méthode (Le Choix Doux) : Mais dans le monde réel, et dans la plupart des IA modernes, nous utilisons un choix « doux ». Nous choisissons toujours la Pizza le plus souvent, mais nous accordons aux Tacos une petite chance et au Sushi une infime chance. C'est la politique de Boltzmann (ou softmax). C'est comme dire : « La pizza est la meilleure, mais j'ai peut-être envie d'autre chose aujourd'hui. »

Pendant longtemps, les scientifiques ont utilisé ce choix doux parce qu'il aidait les robots à explorer et à apprendre plus rapidement. Mais il y avait un problème gênant. La logique derrière les choix « durs » (appelée Théorie de l'Utilité Attendue) disait que si vous ajoutiez une nouvelle option médiocre (comme du « Pain Brûlé ») au menu, cela ne devrait pas changer votre préférence entre la Pizza et les Tacos. Cette règle est appelée Indépendance des Alternatives Irrélevantes (IIA). Cependant, la logique du choix doux semblait enfreindre cette règle. Si vous ajoutiez du « Pain Brûlé », la mathématique suggérait que votre amour pour la Pizza pourrait changer simplement parce que le menu s'est agrandi. Cela rendait tout le système instable, comme une maison bâtie sur des fondations qui ne correspondent pas tout à fait.

La Grande Distinction : Météo contre Volonté

Le document résout cela en faisant une distinction brillante entre le Hasard et le Choix.

El Hasard, c'est quand l'univers lance une pièce pour vous. Si vous êtes contraint de manger un plat aléatoire pris dans un sac, la valeur de ce sac est simplement la moyenne des plats qu'il contient. C'est la partie « météo ».
Le Choix, c'est quand vous choisissez. Quand vous avez un menu, vous ne mangez pas seulement un plat aléatoire ; vous avez le pouvoir de choisir. Le document soutient que posséder un menu est précieux en soi. C'est comme avoir la clé d'un coffre au trésor plutôt que d'avoir déjà le trésor dans sa poche. Le trésor est le même, mais la capacité d'ouvrir le coffre ajoute une valeur supplémentaire.

L'auteur démonte que si vous appliquez les règles de la rationalité uniquement aux parties liées au « Hasard » (la météo) et que vous appliquez un nouvel ensemble de règles aux parties liées au « Choix » (votre volonté), la magie opère. Les règles pour le choix sont :

Indépendance des Alternatives Irrélevantes (IIA) : Votre préférence entre la Pizza et les Tacos ne devrait pas changer simplement parce que le Pain Brûlé est sur le menu.
Monotonie : Si la Pizza obtient un meilleur score, vous devriez être plus susceptible de la choisir.

Lorsque vous combinez ces deux règles simples avec l'idée que « avoir des options est précieux », les mathématiques vous contraignent vers une forme unique et spécifique. Cette forme est la politique de Boltzmann. Il s'avère que le « bonus d'entropie » (la valeur supplémentaire que nous donnons au fait d'avoir des options) est exactement la prime d'option — la valeur gagnée en gardant ses options ouvertes. Le papier prouve que ce n'est pas juste une supposition chanceuse ou un tour pratique ; c'est la seule façon d'être rationnel si vous croyez que le pouvoir de choisir vaut quelque chose et que vos options sont réellement indépendantes.

Ce que cela signifie pour l'avenir

Le document ne dit pas seulement « c'est intéressant » ; il nous donne une carte claire pour savoir quand utiliser cette recette et quand la jeter.

Quand l'utiliser : Si votre robot choisit entre des choses indépendantes (comme différentes saveurs de crème glacée qui ne s'influencent pas mutuellement), la politique de Boltzmann est le choix parfait et mathématiquement prouvé. C'est la seule façon d'être cohérent sous ces conditions.
Quand NE PAS l'utiliser : Le document prévient que si vos options sont « regroupées », cette recette échoue. Imaginez un menu avec 10 nuances différentes de « Bus Rouge » et 1 seul « Bus Bleu ». Si vous traitez chaque bus rouge comme un choix totalement séparé, le robot pourrait passer 90 % de son temps à choisir un bus rouge simplement parce qu'il y en a beaucoup, même s'il préfère réellement le bus bleu. C'est ce qu'on appelle l'effet de similitude. Dans ces cas, la simple recette de Boltzmann s'effondre car l'hypothèse d'indépendance est violée, et le robot a besoin d'un système de menu plus intelligent (comme regrouper les bus rouges ensemble).

Les auteurs ont également découvert quelque chose de surprenant sur le degré de « rationalité » nécessaire au robot. Ils ont trouvé un « seuil de rationalité minimale ». Si le robot est trop incertain (température trop basse, ou $\beta$ faible), et qu'il fait face à une situation où un choix pourrait faire exploser ses récompenses (comme un investissement qui pourrait doubler ou tripler), les mathématiques s'effondrent complètement. La valeur du robot devient infinie et absurde. Cependant, le document montre que si nous supposons que le robot comprend que le futur finit par ne plus importer (concept appelé continuité d'horizon), ce problème disparaît, et les mathématiques fonctionnent à nouveau pour n'importe quel niveau de rationalité.

La Vue d'Ensemble

En fin de compte, ce document accomplit une chose rare dans le monde des mathématiques complexes : il relie les points entre l'économie, la théorie de l'information et l'intelligence artificielle. Il montre que la même logique qui explique pourquoi les humains pourraient choisir une glace au goût Gumbel (un type particulier de bruit aléatoire) explique aussi pourquoi une IA devrait utiliser la fonction softmax. Il prouve que le « bonus d'entropie » n'est pas juste un facteur d'ajustement pour accélérer l'apprentissage ; c'est la prime d'option. C'est la valeur de celui qui prend la décision, plutôt que de subir la décision prise pour lui.

Ainsi, la prochaine fois que vous verrez une IA prendre une décision avec une part de hasard, souvenez-vous : elle ne fait pas que deviner. Elle suit une loi mathématique profonde qui stipule : « Avoir la liberté de choisir est précieux, et voici la manière mathématiquement parfaite d'honorer cette liberté lorsque vos choix sont indépendants ». Le document ne se contente pas de justifier l'outil que nous utilisons depuis des années ; il nous dit précisément pourquoi il fonctionne, quand nous devons l'utiliser, et quand nous devons en construire un nouveau.

Résumé technique : Rationaliser la rationalité de Boltzmann

Énoncé du problème

La politique softmax, définie par $\pi(a | s) \propto \exp(\beta Q(s, a))$ , sert de modèle par défaut pour le choix stochastique en apprentissage par renforcement (RL), étayant des méthodes telles que l'Actor-Critic à entropie douce (Soft Actor-Critic), le RL régularisé par l'entropie, et l'apprentissage par renforcement à partir de la rétroaction humaine (RLHF). Malgré son ubiquité, la littérature manque d'une dérivation de la forme softmax à partir de principes premiers normatifs. Les justifications existantes reposent sur des heuristiques telles que la robustesse, le lissage de l'exploration ou l'invariance par translation, mais aucune ne dérive de manière unique cette forme tout en résolant une tension théorique fondamentale : le bonus d'entropie dans l'équation de Bellman "douce" viole l'axiome d'Indépendance de la Théorie de l'Utilité Attendue (EUT). Plus précisément, l'axiome d'Indépendance de von Neumann–Morgenstern (VNM) standard implique que la valeur d'une loterie est la moyenne pondérée de ses composantes (Réduction de la loterie composée), alors que l'équation de Bellman douce ajoute un terme d'entropie qui dépasse strictement cette moyenne, suggérant que l'ajout d'une option peut diminuer la valeur d'un agent.

Méthodologie

L'article résout cette tension en distinguant deux types de hasard dans un MDP : le hasard (loteries environnementales) et le choix (sélection comportementale). La méthodologie consiste à construire un cadre axiomatique qui restreint la portée des axiomes de rationalité standards à ces domaines distincts :

Restriction de domaine : Les auteurs restreignent l'indépendance VNM aux « perspectives de base » (base prospects), qui sont des politiques déterministes soumises uniquement au hasard environnemental. Cela préserve la relation de Bellman standard pour les transitions environnementales.
Caractérisation axiomatique du choix : Aux nœuds de choix, l'article impose deux nouveaux axiomes sur les fonctions de politique et de valeur :
- Indépendance des Alternatives Irrélevantes (IIA) :
  - IIA de la Politique : Le rapport des probabilités entre deux actions dépend uniquement de la différence de leurs valeurs Q ( $Q_a - Q_b$ ).
  - IIA de la Valeur : La probabilité de sélectionner une action dépend uniquement de la perte de la valeur totale du menu causée par le retrait de cette action.
- Monotonie : Les meilleures actions reçoivent des probabilités de sélection plus élevées, et l'élargissement du menu d'options ne peut pas diminuer la valeur du nœud de choix.
Dérivation : Les auteurs prouvent que dans les MDP à horizon infini (potentiellement avec un escompte dépendant de l'état-action $\gamma(s, a)$ ), ces axiomes déterminent de manière unique la forme fonctionnelle de la politique et de la fonction de valeur.

Contributions clés

1. Caractérisation axiomatique (Théorème 3.1)

L'article fournit un chemin complet de l'axiome à l'algorithme pour la politique de Boltzmann. Il démontre que si un agent satisfait aux préférences VNM sur les perspectives de base et adhère à l'IIA de la politique, à l'IIA de la valeur et à la monotonie aux nœuds de choix, les points suivants doivent être vérifiés :

Politique : La règle de choix est de manière unique la politique de Boltzmann : $\pi(a | s) = \frac{\exp(\beta Q(s, a))}{\sum_{a'} \exp(\beta Q(s, a'))}$ .
Représentation : La politique est le maximiseur unique d'un objectif régularisé par l'entropie : $\max_{\hat{\pi}} [\sum \hat{\pi}_a Q(s, a) + \frac{1}{\beta} H(\hat{\pi})]$ .
Fonction de valeur : La fonction de valeur est le Log-Sum-Exp (LSE) des valeurs Q : $V(s) = \frac{1}{\beta} \text{LSE}(\beta Q(s, \cdot))$ .
Équation de Bellman douce : La fonction de valeur satisfait l'équation de Bellman douce, où le bonus d'entropie émerge naturellement comme la « prime d'option » — la valeur d'avoir la capacité de choisir plutôt que d'avoir un résultat imposé extérieurement.

La dérivation repose sur une étape novatrice (Étape 2) où l'IIA de la valeur est utilisée pour dériver le bonus d'entropie en comparant la valeur cardinale d'un menu avant et après le retrait d'une action, sans supposer a priori une structure d'optimisation additive.

2. Conséquences spécifiques au RL

L'article analyse les implications de ce cadre pour les algorithmes de RL :

Convergence sous escompte généralisé : Dans les contextes d'actions amplificatrices où $\gamma(s, a) > 1$ , l'article identifie un seuil de rationalité minimal $\beta_0$ . Sous ce seuil, l'équation de Bellman douce peut manquer de point fixe fini car les actions amplificatrices reçoivent un poids positif même lorsqu'elles sont sous-optimales. Cependant, l'article montre que l'axiome de « continuité d'horizon » (issu des travaux antérieurs de Pitis, 2019) garantit que le rayon spectral de la matrice de transition pondérée par l'escompte reste inférieur à 1, résolvant cette divergence et garantissant la convergence pour tout $\beta > 0$ .
Monotonie du rendement : Le rendement attendu réel (non régularisé) de la politique de Boltzmann est non décroissant par rapport à l'inverse de la température $\beta$ . Une rationalité plus élevée (un $\beta$ plus élevé) ne nuit jamais au rendement réel, même si elle réduit le bonus d'entropie.
Unicité de l'entropie : Au sein de la famille de l'entropie de Tsallis, seule l'entropie de Shannon (la limite lorsque $q \to 1$ ) satisfait les axiomes IIA. D'autres formes, telles que le sparsemax ( $q=2$ ), violent l'IIA, menant à des comportements de choix qualitativement différents.

3. Synthèse interdisciplinaire

L'article synthétise des lignes de recherche indépendantes issues de l'économie (Luce, Yellott, McFadden), de la théorie de l'information (Shore-Johnson) et de la rationalité limitée (Fudenberg et al.) qui convergent vers la forme de Boltzmann. Il propose une évaluation normative de la pertinence de l'IIA :

Approprié : Lorsque les actions sont véritablement indépendantes (ex: compétences distinctes). Dans ce cas, Boltzmann est l'unique politique cohérente.
Inapproprié : Lorsque les actions sont corrélées ou redondantes (ex: le problème du « bus rouge/bus bleu » ou les paraphrases de LLM). Dans ces cas, l'IIA conduit à une distorsion de la masse de probabilité, et l'article suggère les modèles logit imbriqués (nested logit) comme remède.

Résultats et signification

L'article affirme résoudre la tension fondamentale entre le choix stochastique et la théorie de l'utilité attendue en recadrant le bonus d'entropie non pas comme une violation de la rationalité, mais comme une conséquence de la valorisation de la capacité de choisir.

Justification normative : Ce travail établit que la forme softmax n'est pas simplement une commodité mathématique ou une heuristique empirique, mais la solution unique à un ensemble de contraintes de rationalité (IIA et Monotonie) appliquées au nœud de choix.
Décision de conception : Le choix entre des équations de Bellman « dures » (déterministes) et « douces » (stochastiques) est présenté comme une décision de conception concernant la valorisation de l'agence par l'agent. Si l'agent valorise la prime d'option, l'équation de Bellman douce est le résultat axiomatique.
Utilité diagnostique : Le cadre fournit un diagnostic concret pour la conception d'agents : si la préférence relative entre deux actions change lorsque des alternatives non pertinentes sont ajoutées ou supprimées, l'agent viole l'IIA, et la politique de Boltzmann est théoriquement injustifiée pour ce domaine.
Implications pour le RLHF : L'article note qu'en RLHF, où les comparaisons par paires impliquent souvent des réponses quasi identiques, l'hypothèse standard de Bradley-Terry (qui implique l'IIA) peut mener à des incitations perverses. L'analyse axiomatique suggère que le regroupement de réponses similaires dans des « niches » (logit imbriqué) est nécessaire pour préserver la rationalité dans ces contextes.

En résumé, l'article fournit une dérivation à partir des premiers principes de la politique de Boltzmann et de l'équation de Bellman douce, clarifiant les conditions sous lesquelles elles constituent le choix unique et rationnel pour un agent, et identifiant les modes de défaillance spécifiques (actions corrélées) où des structures alternatives sont requises.