🤖 AI

Moira: Language-driven Hierarchical Reinforcement Learning for Pair Trading

L'article propose « Moira », un cadre d'apprentissage par renforcement hiérarchique piloté par le langage qui utilise des modèles de langage de grande taille pour la sélection de paires de haut niveau et l'exécution de bas niveau, en les optimisant exclusivement par des mises à jour de prompts basées sur des retours textuels afin de résoudre les problèmes d'attribution de crédit dans le trading de paires.

Auteurs originaux : Polydoros Giannouris, Yuechen Jiang, Lingfei Qian, Yuyan Wang, Xueqing Peng, Jimin Huang, Guojun Xiong, Sophia Ananiadou

Publié 2026-05-06

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Polydoros Giannouris, Yuechen Jiang, Lingfei Qian, Yuyan Wang, Xueqing Peng, Jimin Huang, Guojun Xiong, Sophia Ananiadou

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous dirigez une société de trading très sophistiquée, mais qu'au lieu d'embaucher une équipe d'humains, vous disposez de deux assistants IA spécialisés travaillant en collaboration. Cet article présente un système appelé Moira qui utilise ces deux assistants IA pour générer des profits en négociant des paires d'actions (en achetant l'une et en vendant l'autre simultanément).

Voici comment fonctionne Moira, expliqué par le biais d'analogies simples :

1. Le Problème : Le « Jeu du Blâme »

Dans les systèmes de trading traditionnels, en cas de perte financière, c'est souvent un mystère. Avez-vous choisi les mauvaises actions à négocier ? Ou avez-vous simplement acheté et vendu au mauvais moment ? C'est comme un chef qui sert un mauvais repas sans savoir si le problème vient de la recette (le plan de haut niveau) ou de la cuisson (l'exécution de bas niveau). Comme le retour d'information (bénéfice ou perte) arrive des jours ou des semaines plus tard, il est difficile de savoir qui blâmer ou comment corriger le tir.

2. La Solution : Une Équipe de Deux Gestionnaires

Moira résout ce problème en divisant le travail en deux rôles distincts, tout comme une entreprise dispose d'un Stratège et d'un Tacticien.

Le Stratège (le « Sélecteur ») : C'est le patron de haut niveau. Sa seule tâche est d'examiner la situation globale — actualités économiques, tendances à long terme et sentiment du marché — et de choisir une seule paire d'actions à négocier pour le mois suivant. Une fois la paire sélectionnée, il se retire. Il ne touche pas aux boutons.
Le Tacticien (le « Trader ») : C'est l'opérateur sur le terrain. Une fois que le Stratège a choisi une paire (par exemple, Amazon et Meta), le Tacticien prend le relais. Sa tâche consiste à surveiller les mouvements de prix minute par minute et à décider exactement quand acheter ou vendre pour réaliser un profit.

3. L'Ingrédient Secret : « Parler » pour S'Améliorer

Habituellement, l'IA apprend en ajustant des équations mathématiques complexes (des gradients). Moira fait quelque chose de différent : elle apprend en se parlant à elle-même.

Fonctionnement : Le Stratège et le Tacticien sont tous deux alimentés par des modèles de langage de grande taille (comme l'IA derrière cette explication). Au lieu de modifier leurs mathématiques internes, le système modifie les instructions (prompts) qui leur sont données.
La Boucle de Rétroaction :
- Pour le Tacticien : Après une semaine de trading, une IA « Critique » examine les transactions effectuées. Elle rédige une note en anglais clair : « Vous avez acheté trop tôt lorsque les nouvelles étaient mauvaises. La prochaine fois, attendez que les nouvelles se stabilisent. » Le système réécrit ensuite le manuel d'instructions du Tacticien pour inclure ce conseil.
- Pour le Stratège : À la fin du mois, le Critique examine le profit total. Il rédige une note : « Vous avez choisi une paire trop volatile. La prochaine fois, recherchez des paires avec des nouvelles plus stables. » Le système réécrit le manuel d'instructions du Stratège.

4. Pourquoi C'est Mieux

L'article a testé cette approche contre d'autres méthodes (comme d'anciennes formules mathématiques et d'autres modèles d'IA) en utilisant de réelles données du marché boursier américain.

Le Résultat : Moira a généré significativement plus de profits et a pris moins de risques que les autres méthodes.
L'Analogie : Imaginez une IA plate essayant de tout faire à la fois (choisir les actions et déterminer le timing des trades). Elle se perd, comme une personne essayant d'écrire un roman tout en cuisinant le dîner. Moira sépare les tâches. Le Stratège se concentre sur l'« histoire » (quelles actions), et le Tacticien sur l'« action » (quand trader).
L'Effet de « Réglage » : L'article a révélé que si vous donnez simplement à l'IA une instruction de base sans lui permettre d'« apprendre » de ses erreurs via ces mises à jour textuelles, ses performances sont médiocres. Mais une fois que l'IA commence à réécrire son propre manuel d'instructions basé sur les retours d'expérience, elle devient un trader discipliné et rentable.

Résumé

Moira est un système de trading qui utilise le langage pour enseigner à l'IA comment trader. Il sépare la tâche de choisir quoi trader de celle d'exécuter le trade. En faisant en sorte que l'IA « critique » sa propre performance en anglais clair et mette à jour ses propres instructions, elle apprend à éviter les erreurs et à capturer des profits bien mieux que les méthodes traditionnelles.

L'Essentiel : L'article affirme qu'en séparant la décision de « vue d'ensemble » de l'exécution « minutieuse » et en utilisant le langage pour mettre à jour les règles de l'IA, on peut résoudre des problèmes financiers complexes où il est habituellement difficile de déterminer qui est responsable d'une perte.

Résumé Technique : Moira – Apprentissage par Renforcement Hiérarchique Piloté par le Langage pour le Trading de Paires

1. Formulation du Problème

L'article aborde le défi de la prise de décision séquentielle dans des environnements caractérisés par une structure hiérarchique, une rétroaction différée et une attribution de crédit ambiguë. Plus précisément, les auteurs se concentrent sur le trading de paires, un domaine financier qui combine naturellement deux échelles temporelles et sémantiques distinctes :

Abstraction de Haut Niveau (Sélection de Paires) : Nécessite un raisonnement sémantique à long horizon pour identifier des paires d'actifs présentant des relations économiques ou statistiques stables.
Exécution de Bas Niveau (Trading) : Nécessite une prise de décision réactive à court horizon sous observabilité partielle (bruit du marché) pour exécuter des trades neutres en marché.

La difficulté centrale réside dans l'attribution de crédit : lorsqu'une stratégie de trading échoue, il est incertain que l'erreur provienne d'une abstraction de haut niveau défectueuse (choix d'une mauvaise paire), d'une exécution de bas niveau sous-optimale (mauvais timing), ou de l'interaction entre les deux. L'apprentissage par renforcement (RL) traditionnel de bout en bout entremêle ces composants, rendant difficile l'isolement de la source de l'échec. De plus, l'apprentissage par renforcement hiérarchique (HRL) standard repose souvent sur des abstractions temporelles rigides ou suppose des distributions de bruit fixes, limitant l'adaptabilité lorsque les relations sémantiques dérivent.

2. Méthodologie : Cadre Moira

Les auteurs proposent Moira, un cadre d'apprentissage par renforcement hiérarchique piloté par le langage. Au lieu d'utiliser un fine-tuning basé sur le gradient ou des données étiquetées par des experts, Moira paramètre à la fois le sélecteur de haut niveau et le trader de bas niveau comme des Modèles de Langage à Grande Échelle (LLM) conditionnés par des invites. Les politiques sont optimisées exclusivement par des mises à jour d'invites pilotées par une rétroaction textuelle.

2.1 Conception de la Politique Hiérarchique

Le cadre sépare explicitement la sélection d'abstraction de l'exécution, alignant leurs calendriers d'adaptation sur la disponibilité de la rétroaction :

Sélecteur de Haut Niveau ( $\pi_{sel}$ ) : Opère au niveau de l'épisode (par exemple, mensuel). Il observe des statistiques de prix agrégées et des résumés sémantiques (actualités, sentiment) pour sélectionner une paire d'actifs $z$ . Cette sélection reste fixe pour la durée de l'épisode.
Trader de Bas Niveau ( $\pi_{tr}$ ) : Opère au niveau intra-épisode (par exemple, quotidien/hebdomadaire). Conditionné par la paire fixe $z$ , il exécute des actions de trading basées sur la dynamique de l'écart en temps réel et les caractéristiques de prix locales.

2.2 Optimisation par Adaptation d'Invites

Le système utilise un processus d'optimisation textuelle en deux étapes pour les deux niveaux, évitant la descente de gradient sur les poids du modèle :

Critique au Niveau de la Trajectoire (Étape 1) : Un LLM « Critique » analyse la trajectoire exécutée (observations, actions, récompenses) et génère un signal de rétroaction en langage naturel ( $g_{text}$ ). Ce signal identifie les défauts dans les règles de décision (par exemple, « sorties prématurées » ou « ignorance des catalyseurs d'actualité »).
Mise à Jour de l'Invite (Étape 2) : Un LLM « Mise à Jour » intègre la rétroaction textuelle dans l'invite de politique actuelle, générant une invite mise à jour ( $\theta^{(k)}$ ) pour le prochain sous-épisode ou épisode.

Distinction Clé dans les Calendriers d'Adaptation :

Trader : Subit des mises à jour d'invites intra-épisode. Il adapte ses règles d'exécution en fonction de la rétroaction au niveau de la trajectoire tandis que le contexte de la paire reste fixe.
Sélecteur : Subit des mises à jour d'invites épisodiques. Il reçoit une rétroaction différée et agrégée (rendement cumulé) après que le Trader a terminé son adaptation et son exécution pour l'épisode.

3. Contributions Clés

Le Langage comme Interface Sémantique Partagée : L'article introduit une approche novatrice où le langage sert d'interface entre les niveaux hiérarchiques. Contrairement aux récompenses scalaires, la rétroaction textuelle permet une attribution sémantique explicite, distinguant les erreurs d'abstraction (mauvais choix de paire) des erreurs d'exécution (mauvais timing).
Optimisation Hiérarchique Pilotée par les Invites : Les auteurs démontrent que les LLM peuvent fonctionner comme des politiques hiérarchiques optimisées uniquement par des mises à jour d'invites. Cela induit une séparation naturelle des échelles de temps sans nécessiter de contraintes algorithmiques complexes ou de fine-tuning basé sur le gradient.
Découplage de l'Abstraction et de l'Exécution : En fixant la sélection de paire pour un épisode tout en permettant au trader de s'adapter en intra-épisode, le cadre réduit la non-stationnarité entre les niveaux et permet une adaptation ciblée sous rétroaction différée.

4. Résultats Expérimentaux

Le cadre a été évalué sur des données historiques du marché américain des actions (10 actions liquides) de janvier à juin 2025.

4.1 Comparaison des Performances

Moira a nettement surpassé plusieurs références :

Références Statistiques : GGR (minimisation de la distance), Corrélation et Cointégration.
Référence RL : TRIALS (un cadre RL standard).
Référence LLM Plate : Un LLM non hiérarchique tentant de sélectionner des paires et d'exécuter des trades simultanément.

Métriques Clés (Moira vs Meilleure Référence) :

Rendement Annualisé (AR) : Moira a atteint 59,11 %, contre 21,38 % pour la meilleure référence statistique (Corrélation/Cointégration) et des rendements négatifs pour les autres.
Ratio de Sharpe (SR) : Moira a atteint 3,791, nettement supérieur à la référence statistique (1,218) et au LLM plat (-0,403).
Drawdown Maximum (MDD) : Moira a maintenu un faible 1,70 %, contre 5,11 % pour la référence statistique et 8,69 % pour le LLM plat.

4.2 Études d'Ablation

Les auteurs ont mené des études d'ablation pour valider la nécessité à la fois de la décomposition hiérarchique et de l'adaptation par invites :

Moira-Sélection (Sélecteur LLM + Trader Statistique) : Le remplacement du trader LLM par un trader statistique a entraîné des rendements fortement négatifs (-17,10 % AR), indiquant que la sélection sémantique de paires seule est insuffisante sans exécution adaptative.
Moira-Ajustement (Sélecteur Statistique + Trader LLM) : L'utilisation d'un sélecteur basé sur la corrélation avec le trader LLM ajusté a produit des rendements positifs (17,63 % AR) mais a nettement sous-performé le modèle Moira complet. Cela souligne que le comportement de trading statique ne peut pas pleinement exploiter les opportunités identifiées par la sélection sémantique.
LLM-Plate : L'approche non hiérarchique a échoué à apprendre, générant des rendements négatifs et une forte volatilité, confirmant que l'optimisation conjointe de la sélection de paires et de l'exécution est trop complexe pour un processus de décision unique.

4.3 Dynamiques d'Apprentissage

L'analyse des courbes d'apprentissage a montré que les performances s'amélioraient progressivement avec les mises à jour d'invites. Les premières mises à jour ont établi une discipline de base (règles d'entrée/sortie), tandis que les mises à jour ultérieures ont introduit une gestion des risques sophistiquée (stops suiveurs, prise de bénéfices partielle), conduisant à des courbes de capital plus lisses et à une réduction des drawdowns.

5. Signification et Revendications

L'article revendique que l'optimisation de politique hiérarchique pilotée par le langage offre une approche rationnelle aux problèmes de prise de décision séquentielle où :

Les abstractions évoluent dans le temps.
La rétroaction est différée et agrégée.
Des signaux d'attribution de crédit explicites sont indisponibles.

Les auteurs soutiennent qu'en utilisant le langage comme représentation de politique, le système peut atteindre une adaptation ciblée à différentes échelles temporelles sans l'instabilité associée au fine-tuning basé sur le gradient ou la rigidité du HRL traditionnel. Les résultats suggèrent que les LLM, lorsqu'ils sont structurés hiérarchiquement et optimisés par adaptation d'invites, peuvent efficacement dissocier le raisonnement sémantique de l'exécution tactique, conduisant à une prise de décision financière robuste.

Limites Reconnues :
Les auteurs notent que l'étude est limitée à un petit univers d'actifs (10 actions) et à un régime de marché spécifique. Ils ne revendiquent pas de robustesse face à des changements de régime extrêmes ou à des conditions adverses, et les propriétés théoriques de la rétroaction textuelle en tant que signal d'optimisation restent une question ouverte.