Markets with Heterogeneous Agents: Dynamics and Survival of Bayesian vs. No-Regret Learners

1. Énoncé du problème

L'article examine la survie à long terme et la domination sur le marché d'agents d'apprentissage hétérogènes en compétition sur des marchés d'actifs à rendements stochastiques. Il comble un écart fondamental entre deux cadres théoriques majeurs :

• Économie (Apprentissage Bayésien) : Suppose que les agents disposent d'une distribution a priori sur le processus stochastique sous-jacent et mettent à jour leurs croyances via la règle de Bayes. Le succès se mesure par la maximisation de l'utilité espérée (croissance de la richesse).
• Informatique (Apprentissage sans regret) : Ne fait aucune hypothèse sur le processus sous-jacent (permettant des environnements adverses) et minimise le « regret » par rapport à la meilleure stratégie fixe a posteriori.

Question centrale : Dans un marché concurrentiel où coexistent les deux types d'agents, quel paradigme d'apprentissage assure la survie (c'est-à-dire le maintien d'une part de richesse non nulle), et comment leurs métriques de performance (regret vs précision des croyances) se rapportent-elles à la sélection sur le marché ?

2. Méthodologie et modèle

Les auteurs utilisent un modèle de marché d'actifs complet (spécifiquement en utilisant des titres d'Arrow) présentant les caractéristiques suivantes :

• Environnement : Pas de temps discrets $t=1, 2, \dots$. Un état $s_t$ est réalisé à partir d'un ensemble fini d'états $S$ selon une distribution i.i.d. $q$.
• Agents : $N$ agents avec une richesse initiale $w_0^n$. Les agents choisissent des portefeuilles d'investissement $\alpha_t^n$ pour maximiser le taux de croissance de leur richesse.
• Dynamique : La richesse évolue de manière multiplicative. Le ratio de richesse entre deux agents $n$ et $m$ dépend de la différence cumulative de leurs taux de croissance du logarithme de la richesse.
• Métrique clé : L'article établit un lien direct entre le Regret et la Part de richesse.
  • Soit $R_T(\alpha)$ le regret d'une séquence d'investissement $\alpha$ par rapport à la meilleure stratégie fixe a posteriori.
  • Le ratio du logarithme de la richesse s'exprime comme suit : $\log(r_{nm}^T) = R_T(\alpha^m) - R_T(\alpha^n) + \text{const}$.
  • Condition de survie : Un agent survit si et seulement si son regret reste borné par rapport à chaque concurrent. Si la différence de regret diverge vers l'infini, la part de richesse de l'agent converge vers zéro (disparition).

3. Contributions clés et résultats théoriques

A. La relation entre regret et survie

L'article formalise que le faible regret seul ne garantit pas la survie.

• Théorème 3.1 : Un agent survit si et seulement si $\limsup_{T \to \infty} (R_T^n - R_T^m) < \infty$ pour tous les concurrents $m$.
• Implication : Même si deux agents atteignent tous deux un regret de $O(\log T)$, l'agent avec le facteur constant plus élevé dans la borne de regret disparaîtra presque sûrement. Le niveau absolu du regret compte, pas seulement le taux asymptotique.

B. Performance des apprenants Bayésiens parfaits

• Théorème 5.3 : Un apprenant Bayésien avec un a priori à support fini incluant la vraie distribution $q$ atteint un regret espéré constant.
• Résultat : Un tel Bayésien « parfait » domine le marché. Il élimine tout concurrent dont le regret croît dans le temps (même si cette croissance est sous-linéaire, comme $O(\log T)$ ou $O(\sqrt{T})$). Cela valide l'« Hypothèse de sélection sur le marché » en économie : les Bayésiens rationnels avec des modèles corrects survivent.

C. Fragilité de l'apprentissage Bayésien

L'article démontre que l'apprentissage Bayésien est hautement fragile face à la mauvaise spécification :

1. Priors inexacts (Théorème 6.1) : Si la vraie distribution $q$ n'est pas dans le support du prior, le Bayésien converge vers le modèle « le plus proche » en entropie relative. Cela entraîne un regret linéaire ($\Theta(T)$), provoquant la disparition de l'agent face à tout apprenant sans regret.
2. Mises à jour bruitées (Théorème 6.5) : Même si le modèle correct est dans le prior, si la règle de mise à jour contient de petites erreurs de « main tremblante » (bruit de moyenne nulle dans la pondération des données par rapport au prior), le Bayésien ne converge pas. Les croyances oscillent, entraînant un regret linéaire et une extinction éventuelle.
3. Changements de distribution (Proposition 7.1) : L'apprentissage Bayésien standard s'adapte lentement aux changements du processus générateur de données. Si la distribution change, la postérieure (qui était concentrée sur l'ancien modèle) devient le nouveau prior, obligeant l'agent à passer un temps significatif sur des modèles incorrects, accumulant ainsi un regret linéaire.

D. Robustesse de l'apprentissage sans regret

• Les apprenants sans regret (utilisant par exemple l'optimisation convexe en ligne ou UCB) ne nécessitent pas de modèle de l'environnement.
• Ils garantissent un regret sous-linéaire (par exemple $O(\log T)$ ou $O(\sqrt{T})$) quel que soit le processus.
• Bien qu'ils perdent face à un Bayésien « parfait », ils survivent face aux Bayésiens « imparfaits » (ceux avec des priors erronés ou des mises à jour bruitées) car les Bayésiens imparfaits encourrent un regret linéaire.

4. Stratégies hybrides proposées

Motivés par le compromis entre la rapidité de l'apprentissage Bayésien et la robustesse de l'apprentissage sans regret, les auteurs proposent deux méthodes hybrides :

1. Mise à jour Bayésienne régularisée (pour les changements de distribution) :

   • Mécanisme : Ajoute un petit terme de régularisation $\epsilon_t$ aux poids de mise à jour Bayésienne, empêchant tout poids d'hypothèse de décroître exactement à zéro.
   • Résultat : Maintient un regret constant dans les environnements stationnaires (comme le Bayes standard) mais atteint un regret logarithmique ($O(\log T)$) lorsque des changements de distribution se produisent. Cela permet à l'agent de récupérer rapidement après un changement sans être éliminé.

2. Basculement Bayésien-vers-Sans-Regret (pour la mauvaise spécification du prior) :

   • Mécanisme : Exécute une stratégie Bayésienne et une stratégie sans regret en parallèle. Il suit l'écart de cumul d'utilité ($D_t$). Si la stratégie Bayésienne prend suffisamment de retard par rapport à la référence sans regret (dépassant un seuil dynamique), l'agent bascule définitivement vers la stratégie sans regret.
   • Résultat :
     • Si le prior est correct : L'agent reste Bayésien avec une forte probabilité, atteignant un regret constant.
     • Si le prior est mal spécifié : L'agent bascule vers la stratégie sans regret, héritant de sa garantie de regret sous-linéaire.

5. Signification et implications

• Pont entre disciplines : L'article fournit la première connexion formelle entre le concept économique de « survie » et le concept informatique de « minimisation du regret » sur les marchés d'actifs.
• Affinement de la sélection sur le marché : Il remet en question la vision simpliste selon laquelle les agents « rationnels » (Bayésiens) gagnent toujours. Il montre que la robustesse est aussi cruciale que la précision. Un Bayésien légèrement mal spécifié est dans une situation pire qu'un apprenant sans regret robuste.
• Application pratique : Les résultats suggèrent que dans les marchés réels (où les modèles sont rarement parfaits et les environnements changent), les approches purement Bayésiennes sont risquées. Les stratégies hybrides proposées offrent une approche « le meilleur des deux mondes », combinant la convergence rapide de Bayes avec le filet de sécurité de la minimisation du regret.
• Politique et conception : Pour le trading algorithmique et la conception de marchés, les résultats impliquent que le choix de l'algorithme d'apprentissage a des conséquences profondes à long terme sur la composition du marché et la stabilité des prix.

6. Conclusion

L'article conclut que si l'apprentissage Bayésien est optimal sous une spécification parfaite, il est fragile dans des environnements réalistes. L'apprentissage sans regret fournit une solution de repli robuste mais peut être surpassé par des Bayésiens précis. La stratégie optimale pour les agents hétérogènes est une approche hybride qui exploite les mises à jour Bayésiennes pour la vitesse tout en intégrant des mécanismes (régularisation ou basculement) pour détecter et récupérer des défaillances de modèle ou des changements environnementaux.