Résumé Technique : GIFT (Guided Interface Design for Financial Trading)

Définition du Problème

Le trading de portefeuilles financiers est formulé comme un problème de prise de décision séquentielle où un agent rééquilibre des actifs pour équilibrer le rendement, le risque et les coûts de transaction. Bien que l'apprentissage par renforcement profond (DRL), particulièrement l'Optimisation de la Politique Proximale (PPO), soit un paradigme dominant pour cette tâche, son efficacité dépend de manière critique de l'interface état-récompense fournie à l'agent.

Les approches actuelles font face à deux limitations primaires :

1. États sous-spécifiés : Les observations brutes OHLCV (Open, High, Low, Close, Volume) laissent souvent implicites des structures financières complexes (ex: momentum, volatilité, risque de baisse, liquidité, retour à la moyenne). Le réseau de politique doit simultanément apprendre à extraire ces structures à partir de séquences bruitées et apprendre la politique de trading, ce qui complique l'entraînement.
2. Signaux de récompense faibles : Les rendements de portefeuille à horizon court sont bruités et influencés par les chocs de marché et les coûts de transaction. Ils échouent souvent à fournir un feedback positif immédiat pour les actions qui réduisent le risque à long terme (ex: contrôle du drawdown), entraînant une faible guidance pour les objectifs de rendement-risque à long terme.

Bien que les Grands Modèles de Langage (LLM) offrent un mécanisme pour injecter des connaissances métier dans la conception des états et des récompenses, la génération par LLM non guidée et ouverte est risquée dans les contextes financiers. Les séries temporelles financières sont non stationnaires et bruitées ; des LLM non contraints peuvent encoder des corrélations spécieuses, suivre des fluctuations à court terme ou générer des designs qui encouragent un trading excessif.

Méthodologie : Cadre GIFT

Les auteurs proposent GIFT (Guided Interface Design for Financial Trading), un cadre guidé par LLM conçu pour construire et affiner l'interface état-récompense pour le reinforcement learning financier basé sur PPO. Crucialement, GIFT n'utilise pas le LLM comme un agent de trading direct ; au lieu de cela, le LLM agit comme un concepteur d'interface contraint, tandis que PPO reste responsable de l'apprentissage de la politique de trading.

GIFT opère dans une phase de conception hors ligne avant l'évaluation et se compose de trois composantes centrales :

1. Amélioration de l'État Guidée par les Facteurs (FSE - Factor-guided State Enhancement)

FSE contraint le LLM à générer des caractéristiques d'état exécutables basées sur une bibliothèque prédéfinie de primitives de facteurs financiers ($\mathcal{B}$).

• Mécanisme : Au lieu d'une construction de caractéristiques arbitraire, le LLM sélectionne, transforme et compose un ensemble compact de canaux de facteurs à partir de primitives couvrant le momentum, la volatilité, le risque de baisse, la liquidité, le retour à la moyenne et la force de la tendance.
• Sortie : Le LLM génère des fonctions qui augmentent l'encodage OHLCV brut avec ces facteurs financiers, créant une représentation d'état améliorée $\tilde{s}_t$ pour l'agent PPO.

2. Mise en forme de la Récompense Guidée par les Règles de Risque (RRS - Risk-rule-guided Reward Shaping)

RRS traite le bruit et le désalignement des rendements à court horizon en augmentant la récompense de base du portefeuille avec des signaux de contrôle des risques financiers.

• Mécanisme : Le LLM génère un terme de récompense intrinsèque basé sur l'état amélioré et sélectionne un petit sous-ensemble de règles de risque à partir d'une bibliothèque ($\mathcal{R}$). Ces règles incluent le contrôle de la diversification, les pénalités de rotation (turnover), le contrôle du drawdown, le dimensionnement de la volatilité et l'alignement du momentum.
• Sortie : Une fonction de récompense façonnée $R_t$ qui combine le rendement de base, une récompense intrinsèque générée par le LLM et les pénalités de règles de risque sélectionnées.

3. Affinement Guidé par le Diagnostic (DGR - Diagnostic-guided Refinement)

DGR boucle entre les interfaces générées et les résultats de l'entraînement PPO pour améliorer de manière itérative la conception.

• Mécanisme : Pour chaque interface candidate, GIFT entraîne PPO sur une fenêtre de conception historique et calcule des diagnostics. Ces diagnostics mesurent :
  • Informativité de l'état : Utilisation du coefficient d'information (IC) par canal et de l'attribution du critique.
  • Stabilité de la récompense : Analyse des tendances de récompense, de l'autocorrélation et du rapport signal sur bruit.
  • Comportement du portefeuille : Évaluation du drawdown, du rendement et de la performance ajustée au risque.
• Feedback : Le résumé diagnostique est compressé en une mémoire de feedback ($H_m$) et réinjecté au LLM pour guider la prochaine ronde d'affinement (ex: supprimer les facteurs à faible IC ou renforcer les règles de risque).

Protocole d'Évaluation

Après $M$ cycles d'affinement, GIFT sélectionne la meilleure interface exécutable $(F^\star, R^\star)$ basée sur la performance de rollout sur la fenêtre de conception historique. Cette interface est gelée avant l'évaluation. Pendant la phase de test, un nouvel agent PPO fraîchement initialisé utilise cette interface fixe pour s'adapter et évaluer sur la seconde moitié de la fenêtre de test. Aucune requête LLM, mise à jour de prompt ou modification d'interface ne se produit pendant l'évaluation, garantissant l'absence de fuite de données (data leakage).

Contributions Clés

1. Perspective Novatrice : L'article introduit la première perspective de conception d'interface état-récompense guidée par LLM pour le RL financier, positionnant le LLM comme un concepteur contraint guidé par la connaissance plutôt que comme un agent de trading direct.
2. Cadre GIFT : Un cadre basé sur PPO intégrant l'Amélioration de l'État Guidée par les Facteurs, la Mise en forme de la Récompense Guidée par les Règles de Risque et l'Affinement Guidé par le Diagnostic pour générer et réviser des interfaces exécutables.
3. Validation Empirique : Des expériences en fenêtres glissantes sur divers régimes de marché (haussier, baissier, mixte, en V) et divers secteurs de portefeuille démontrent que GIFT améliore la qualité du signal d'apprentissage et la performance ajustée au risque hors échantillon par rapport aux baselines.

Résultats Expérimentaux

Les auteurs ont évalué GIFT sur les constituants du S&P 500 à travers six fenêtres de test glissantes (2020–2023) et six panels de portefeuilles (Technologie, Santé, Énergie, Industrie, Mixte Léger, Mixte Lourd).

• Performance vs Pure PPO : Le PPO amélioré par GIFT a surpassé la baseline Pure PPO (qui utilise l'OHLCV brut et des rendements à court horizon) dans 160 des 180 comparaisons au niveau des métriques. Dans 35 des 36 cellules panel-fenêtre, GIFT a obtenu des victoires sur au moins 4 des 5 métriques (Rendement, Sharpe, Sortino, MDD, Calmar).
• Gains Ajustés au Risque : Les améliorations étaient particulièrement prononcées lors des fenêtres de marché stressées (ex: hausses de taux, chocs géopolitiques), où GIFT a réduit les drawdowns et amélioré les ratios Sharpe/Sortino/Calmar tout en maintenant les rendements.
• Qualité du Signal d'Entraînement : Les expériences de diagnostic ont montré que les interfaces générées par GIFT fournissaient un feedback d'entraînement plus clair au PPO, caractérisé par des pentes de tendance de récompense plus élevées, une autocorrélation plus forte et de meilleurs rapports signal sur bruit par rapport à la génération libre par LLM ou aux designs fixes.
• Études d'Ablation : La suppression de la composante d'Affinement Guidé par le Diagnostic (DGR) a causé la dégradation de performance la plus importante, soulignant l'importance du feedback itératif. Supprimer FSE ou RRS a également affaibli la performance, confirmant la nécessité tant de l'amélioration de l'état que de la mise en forme de la récompense.
• Robustesse : Le cadre a démontré sa transférabilité à d'autres backbones de RL (A2C) et sa robustesse à travers différentes graines aléatoires et budgets de recherche.

Signification et Revendications

L'article affirme que GIFT soutient un rôle plus contrôlé pour les LLM dans le reinforcement learning financier : concevoir l'interface d'apprentissage tout en laissant les décisions de trading à la politique de RL.

Les auteurs soutiennent que les gains de performance proviennent principalement de la conception d'interface hors ligne guidée plutôt que de l'ingénierie de caractéristiques fixe ou de la génération de LLM non contrainte. En contraignant le LLM avec des bibliothèques de facteurs financiers et de règles de risque, et en affinant les designs via les diagnostics PPO, GIFT crée des interfaces état-récompense qui sont plus informatives et stables à travers les régimes de marché non stationnaires.

Le travail souligne que cette approche évite les pièges du trading par LLM ouvert (tels que les rationalisations hallucinées ou le biais d'anticipation) en limitant le LLM à la couche de conception structurelle. Les auteurs notent des limitations, notamment la dépendance aux données quotidiennes historiques et l'exclusion des frictions du monde réel comme les contraintes de liquidité et les délais d'exécution, suggérant ces points comme des domaines pour des études futures.