Indistinguishable from Chance: Auditing LLM-Generated Trading Strategies Against Exposure-Matched Nulls

Dans le monde de l'investissement, la compétence la plus précieuse est de savoir quand acheter et quand vendre. C'est ce qu'on appelle le "market timing" ou la prévision du marché. Depuis des décennies, les investisseurs tentent de construire des machines capables de prédire ces moments mieux qu'un humain, espérant transformer de petits avantages en de gros profits. Le dernier outil dans cette quête est le grand modèle de langage, un type d'intelligence artificielle capable d'écrire du code informatique complexe et d'expliquer sa logique en phrases fluentes. Ces modèles peuvent être sollicités pour concevoir une stratégie de trading, écrire le code pour l'exécuter, et même produire un rapport montrant combien d'argent elle aurait généré par le passé. La promesse est que n'importe qui, du gestionnaire de fonds professionnel à l'individu curieux, pourrait demander à un ordinateur un plan gagnant et recevoir une solution complète et prête à l'emploi. Mais il existe un problème profond et bien connu avec le fait de regarder le passé pour prédire l'avenir. Une stratégie peut paraître brillante sur papier simplement parce qu'elle a coïncidé avec des motifs aléatoires dans les données, une erreur connue sous le nom de surapprentissage (overfitting). Lorsqu'une stratégie est construite par une machine qui n'a jamais vu le monde réel, le risque est qu'elle ne trouve pas un motif caché, mais qu'elle ne fasse que imiter la forme du bruit.

Une équipe de chercheurs s'est donné pour mission de tester si ces modèles d'intelligence artificielle possèdent réellement une compétence en matière de prévision du marché, ou si leurs rapports impressionnants ne sont qu'une illusion convaincante. Ils n'ont pas simplement demandé aux modèles d'écrire du code ; ils ont construit un terrain d'essai rigoureux pour voir ce qui se passait lorsque ce code rencontrait des données de marché réelles. Les chercheurs ont demandé à cinq modèles d'IA différents de créer des stratégies de trading pour trois actifs majeurs : l'indice boursier S&P 500, l'or (futures) et la paire de devises euro/dollar américain. Les modèles ont généré près de deux cents stratégies distinctes, chacune possédant son propre ensemble de règles pour décider quand acheter et quand vendre. Pour garantir l'équité du test, les chercheurs ont exécuté chaque stratégie dans un environnement numérique contrôlé qui facturait des frais minimes pour chaque transaction, imitant les coûts réels de l'activité. Ils ont ensuite comparé les résultats de ces plans générés par l'IA à un indice de référence simple : acheter un actif et le conserver sans jamais le vendre. Ils ont également comparé les stratégies d'IA à un groupe de contrôle ingénieux. Pour chaque stratégie d'IA, ils ont créé une version "nulle" en prenant exactement les mêmes périodes de temps où l'IA a décidé de détenir une position, mais en mélangeant ces périodes de manière aléatoire. Ce test a éliminé la prétendue capacité de l'IA à choisir le bon moment, ne laissant que le fait qu'elle détenait l'actif pendant une certaine durée. Si l'IA était réellement compétente, elle aurait dû surpasser cette version mélangée.

Les résultats furent frappants et constants. Dans tous les cas, les stratégies générées par l'intelligence artificielle n'ont pas réussi à battre l'acte simple de détenir l'actif. En moyenne, les stratégies d'IA ont perdu de l'argent, délivrant une métrique de performance connue sous le nom de ratio de Sharpe négatif. Cela signifie qu'après avoir pris en compte le risque pris et les coûts de transaction, l'investisseur moyen aurait eu intérêt à ne rien faire plutôt que de suivre les conseils de l'IA. Seule une infime fraction des stratégies, moins de huit pour cent, a réussi à surpasser l'approche simple du "buy-and-hold" (achat et conservation). Lorsque les chercheurs ont approfondi l'analyse, ils ont découvert que les modèles d'IA ne trouvaient aucun talent caché de prévision. Les stratégies ne performaient pas mieux que les versions mélangées et aléatoires d'elles-mêmes. En fait, les stratégies d'IA étaient statistiquement indiscernables du hasard pur. Les rares fois où une stratégie semblait bien se comporter, ce n'était pas parce que le modèle avait appris à prédire le marché, mais parce que la stratégie se trouvait à détenir l'actif plus souvent lorsque le marché était en hausse. Il s'agissait d'un biais en faveur de la position longue, ou de la détention de l'actif, plutôt que d'une compétence de choix du moment. Lorsque les chercheurs ont supprimé ce biais en comparant les stratégies à leurs homologues mélangées, l'illusion de compétence a totalement disparu.

La partie peut-être la plus révélatrice de l'étude s'est produite lorsque les chercheurs ont demandé aux modèles de faire quelque chose qu'ils ne peuvent pas réellement faire : exécuter un backtest et rapporter les résultats sans avoir reçu les données. Les modèles ont été invités à écrire une stratégie, calculer sa performance et communiquer à l'utilisateur les chiffres finaux. Aucun des modèles n'a pu le faire, car ils n'ont pas la capacité d'exécuter du code et de traiter des chiffres en temps réel. Au lieu de cela, ils ont produit une simulation de rapport. Certains modèles ont imprimé un script qui semblait destiné à calculer les chiffres si quelqu'un d'autre l'exécutait. D'autres ont simplement énoncé des règles générales sur ce qui constitue un bon résultat. Quelques modèles sont allés plus loin en fabriquant des chiffres spécifiques, présentant un bloc de texte qui ressemblait à un rapport terminé mais qui était entièrement inventé. Ce comportement souligne un écart dangereux entre l'apparence de compétence et la réalité de la capacité. Les modèles sont fluents dans le langage de la finance et peuvent imiter la structure d'une analyse professionnelle, mais ils ne peuvent pas générer les preuves que l'analyse requiert.

L'étude a également examiné si l'utilisation d'un modèle plus grand et plus puissant ou la demande d'une stratégie plus robuste changerait le résultat. Ce ne fut pas le cas. Bien que les modèles plus grands aient écrit un code plus susceptible de s'exécuter sans erreur, et que des instructions (prompts) spécifiques aient modifié la fréquence à laquelle les stratégies détenaient un actif, aucun de ces facteurs n'a amélioré la capacité à prévoir le marché. Les améliorations concernaient uniquement l'exposition, c'est-à-dire le temps passé sur le marché par la stratégie, et non la qualité des décisions prises. Les chercheurs ont également constaté que leur propre processus de test devait être constamment vérifié pour détecter d'éventuelles erreurs. Dans un cas, une erreur de données dans leur propre système avait fait passer une stratégie aléatoire pour une gagnante, une erreur qui n'a été détectée que parce qu'ils avaient intégré des contrôles pour vérifier leur propre travail. Cet auto-audit a renforcé la leçon centrale : un résultat d'apparence plausible n'est pas un résultat correct tant qu'il n'a pas été vérifié par un standard prouvant que le test peut réellement identifier un gagnant si celui-ci existe.

Pour l'investisseur, la conclusion est claire. Les modèles d'intelligence artificielle ne sont pas actuellement capables de générer des stratégies de trading qui contiennent une véritable compétence. Ils produisent des stratégies qui semblent complètes et confiantes, mais lorsqu'elles sont testées contre des données réelles, elles ne performent pas mieux que le hasard et sont souvent moins performantes que la simple détention d'un actif. Les rapports qu'ils génèrent, remplis de chiffres spécifiques et de graphiques de performance, sont des hypothèses, et non des preuves. Tant qu'une stratégie n'est pas ré-exécutée sur des données documentées et comparée à un indice de référence équitable qui tient compte du temps passé sur le marché, elle doit être considérée comme non prouvée. Le coût de la dépendance à ces outils n'est pas seulement une opportunité manquée de battre le marché, mais le risque de perdre les rendements réguliers qui proviennent de l'investissement passif. Les modèles ont maîtrisé l'art de parler comme un expert, mais ils n'ont pas encore appris à l'être.