Résumé Technique : OpenPM – Évaluation Auditable de Type « Point-in-Time » pour les Agents de Gestion de Portefeuille LLM

1. Problématique

Le document traite de trois défaillances critiques dans l'évaluation actuelle des agents de trading basés sur les Grands Modèles de Langage (LLM), qui conduisent souvent à des résultats gonflés ou non déployables :

1. Fuite d'informations (Information Leakage) : Les agents accèdent fréquemment à des données indisponibles au moment de la décision (ex: observations futures, enregistrements estampillés par l'événement plutôt que par la disponibilité), créant une compétence artificielle.
2. Exécution Optimiste : Les rendements rapportés ignorent souvent les coûts de transaction (spread, glissement/slippage, rotation/turnover), présentant des bornes supérieures plutôt que des estimations réalistes déployables.
3. Mandats Non Appliqués : Les contraintes de risque en langage naturel (ex: « conservateur », « maximum 20 noms ») sont souvent traitées comme des préférences souples pour une notation post-hoc plutôt que comme des contraintes strictes appliquées au portefeuille exécuté.

Les benchmarks existants échouent souvent à contrôler ces problèmes simultanément, manquant particulièrement de filtrage de données « point-in-time » (PIT) et d'application stricte des mandats.

2. Méthodologie : Le Cadre OpenPM

OpenPM est un cadre d'évaluation auditable et temporel conçu pour traiter l'évaluation crédible comme un artefact d'ingénierie.

Principes de Conception Fondamentaux

• Environnement de Données Point-in-Time : Le système impose une « porte de disponibilité » stricte. Un enregistrement n'entre dans l'état de l'agent à l'instant de décision $T$ que si son ts_available $\le T$. Cela distingue le temps de l'événement du temps de disponibilité (ex: un dépôt trimestriel n'est disponible qu'après l'acceptation par l'EDGAR). L'environnement couvre un univers S&P 500 avec des observations d'état de marché toutes les 5 minutes.
• Application des Mandats : Les mandats de risque en langage naturel sont convertis en contraintes typées (ex: poids max par nom, nombre max de noms). Crucialement, ceux-ci sont appliqués par un critique déterministe en boucle qui projette les poids proposés par l'agent sur l'ensemble faisable avant l'exécution, plutôt que de simplement noter l'agent post-hoc.
• Exécution Sensible aux Coûts : Les rendements sont calculés à l'aide de demi-spreads tenant compte du sens de la transaction (achat au prix ask, vente au prix bid) sans modélisation de l'impact de marché, fournissant une base de coût conservatrice mais réaliste.

L'Allocateur par Niveaux (Agent de Référence)

Le document introduit une architecture d'agent de référence pour isoler des composants spécifiques du pipeline de trading :

1. Compilation du Mandat : Convertit le langage naturel en contraintes typées.
2. Porte de Liquidité : Filtre l'univers pour ne garder que les noms tradables (ex: les 50 premiers par liquidité).
3. Niveau Analyste : Six analystes LLM parallèles évaluent indépendamment les candidats à travers des canaux typés (technique, régime, événements, actualités, éléments 8-K, narrations 10-K/10-Q).
4. Constructeur : Un LLM distinct propose les poids du portefeuille basés sur les scores agrégés des analystes et les spreads, mais sans accès aux prix bruts ou au score composite.
5. Critique Déterministe : Projette la proposition du constructeur sur l'ensemble faisable (imposant le long-only, les plafonds de noms, les limites de liquidité).
6. Simulateur d'Exécution (Fill Simulator) : Exécute les transactions aux côtés cotés (ask/bid).

Configuration Expérimentale

• Jeu de Données : Un instantané figé et haché du contenu du S&P 500 (508 noms) actif entre le 19 février 2026 et le 1er mai 2026. La fenêtre d'évaluation s'étend du 2 mars 2026 au 1er mai 2026 (44 jours de trading).
• Stratégie d'Isolation : Pour isoler la capacité du « constructeur », les auteurs font tourner le niveau analyste une seule fois pour créer une « capture figée » de l'évidence. Cette même évidence est ensuite rejouée à travers différents modèles de constructeurs (gpt-5, Opus-4.7, DeepSeek-V3.2, Qwen3-Max, gpt-4o-mini) pour déterminer si le constructeur apporte une valeur ajoutée indépendante de la qualité du signal.
• Modes : Les expériences tournent en mode « une fois puis maintien » (reéquilibrage unique) et en mode reéquilibrage quotidien.

3. Résultats Clés

Le document rapporte des découvertes structurelles plutôt que des affirmations d'alpha absolu, soulignant que les résultats sont des bornes supérieures sur une fenêtre figée unique.

Capacité du Constructeur

• Gains Conditionnels : Des constructeurs plus forts (ex: gpt-5, Opus-4.7) montrent des gains modestes, dépendants du modèle, par rapport à une pondération égale (EW) du même pool de candidats, mais uniquement lorsque le signal de l'analyste en amont est fort.
• Dominance de l'Analyste : La qualité du niveau analyste est le principal moteur de la performance. Lorsque la capture de l'analyste était faible (DeepSeek-V3.2), aucun constructeur n'a pu battre la ligne de base EW du même pool. Lorsque la capture était forte (gpt-5), la plupart des constructeurs ont battu l'EW.
• Chevauchement : Les constructeurs forts repondèrent largement le registre EW (75–78 % de chevauchement) plutôt que de le remplacer entièrement. Les constructeurs plus faibles s'écartent souvent de manière significative et sous-performent.

Coût et Rotation (Turnover)

• La Rotation est le Moteur de Coût : En reéquilibrage quotidien, la rotation devient le facteur de coût dominant. Les modèles à haute rotation (ex: Qwen3-Max, gpt-4o-mini) ont vu leurs rendements nets tomber sous le benchmark SPY à cause de la dérive des coûts, malgré des rendements bruts similaires aux modèles à faible rotation.
• La Discipline Compte : Le schéma gagnant consiste à bien choisir et à trader avec parcimonie. La faible rotation seule est insuffisante (gpt-5 avait la plus faible rotation mais a sous-performé le SPY en raison d'une mauvaise sélection dans ce régime spécifique).

Conformité et Audit

• Adhésion aux Mandats : Tous les constructeurs ont respecté les plafonds numériques explicites (ex: poids max de 10 %) dans leurs propositions brutes.
• Nécessité du Critique : Le critique déterministe était essentiel pour appliquer les contraintes de liquidité (clips durs) qui étaient plus serrées que le mandat et invisibles pour le modèle.
• Contamination : Tous les tests ont passé le certificat de contamination, confirmant l'absence de fuite de données (look-ahead leakage).

4. Signification et Revendications

Le document positionne OpenPM non pas comme un générateur d'alpha validé, mais comme un outil de diagnostic pour la communauté du trading par LLM.

• Artéfact d'Ingénierie : Il recadre l'évaluation comme un problème d'ingénierie nécessissant des contrats de données stricts, un filtrage de disponibilité et des couches d'application déterministes.
• Honnêteté des Revendications : Les auteurs déclarent explicitement que tous les rendements sont des « bornes supérieures sur une fenêtre figée unique sans impact de marché, et non un alpha validé ». L'objectif est de maintenir l'honnêteté des affirmations en liant chaque chiffre rapporté aux conditions spécifiques (empreinte de données, modèle de coût, mandat) qui l'ont produit.
• Aperçus Diagnostiques : Le cadre révèle que la « compétence de construction » est souvent un proxy de la « qualité du signal de l'analyste ». Le document soutient que le calcul doit être priorisé pour le niveau analyste, en utilisant le constructeur le plus capable et le moins coûteux par la suite.
• Auditabilité : En générant des artefacts tels que des certificats de contamination, des courbes de sensibilité aux coûts et des rapports d'adhésion aux contraintes pour chaque exécution, OpenPM permet aux chercheurs de vérifier que les résultats ne sont pas des artefacts de fuite de données ou d'hypothèses d'exécution optimistes.

En résumé, OpenPM démontre que si les LLM peuvent construire des portefeuilles qui surpassent les bases simples sous certaines conditions, leur performance est fortement dépendante de la qualité du signal en amont et est facilement érodée par les coûts de rotation. Le cadre fournit la rigueur nécessaire pour distinguer la compétence réelle des artefacts d'évaluation.