Dispersion-Matched Forecast Comparison: Separating Skill from Shrinkage in the Evaluation of Financial Prediction Models

Dans le monde de la finance, prédire le prix futur d'une action est le saint graal. Les investisseurs et les banques injectent des milliards dans des systèmes informatiques sophistiqués, espérant trouver un motif dans le chaos des mouvements quotidiens du marché. Ces systèmes, souvent construits à l'aide de l'apprentissage profond (deep learning), sont conçus pour digérer de vastes quantités d'informations — prix passés et rapports économiques — afin de deviner si une action va monter ou descendre demain. La manière standard de juger si l'un de ces systèmes est réellement performant consiste à comparer ses prédictions à une liste d'autres systèmes. Si un nouveau modèle commet moins d'erreurs que les anciens, il est déclaré vainqueur, et ses créateurs publient les résultats comme une avancée majeure. Ce processus repose sur une hypothie simple : qu'un score d'erreur plus bas signifie que le modèle a trouvé un véritable signal dans les données, une réelle capacité à voir ce que les autres ne voient pas.

Cependant, une nouvelle étude remet en question le fondement même de la manière dont ces vainqueurs sont choisis. Les chercheurs, travaillant avec une équipe d'experts en informatique et en gestion, ont découvert que la méthode de notation standard peut être trompée. Ils ont découvert qu'un modèle informatique peut obtenir un score parfait non pas parce qu'il a appris à prédire le marché, mais parce qu'il a appris à ne presque rien faire. Lorsqu'un marché est difficile à prédire, le mouvement mathématique le plus sûr est de simplement deviner le résultat moyen à chaque fois. Si un modèle est trop prudent, ou si sa conception le force à être trop conservateur, il réduira ses prédictions jusqu'à ce qu'elles soient presque plates. L'étude montre que les systèmes de classement actuels confondent ce comportement de réduction avec de la compétence, créant un classement où les « meilleurs » modèles sont en réalité ceux qui ont renoncé à prédire quoi que ce soit.

Les chercheurs ont entrepris de tester une architecture spécifique et moderne conçue pour prévoir les rendements boursiers quotidiens. Ce système, appelé MFGate-Net, a été construit pour être un prédicteur de pointe. Il combinait deux types différents d'informations : des indicateurs techniques dérivés des graphiques de prix et des données macroéconomiques telles que les taux d'intérêt et la volatilité du marché, ainsi qu'un mécanisme pour pondérer ces entrées de manière dynamique. Pour voir s'il fonctionnait, l'équipe l'a entraîné sur sept années de données historiques, puis l'a testé sur une période inédite couvrant les années 2022 à 2024. Cette période de test a été choisie avec soin pour inclure différentes conditions de marché, notamment une période de haute inflation et une phase de reprise, garantissant que le modèle soit confronté à un défi réaliste.

Lorsque l'équipe a lancé la comparaison standard, les résultats ressemblaient à un triomphe. Le nouveau modèle a battu tous ses concurrents, y compris des méthodes d'apprentissage automatique plus anciennes et plus simples, ainsi que d'autres réseaux d'apprentissage profond complexes. Il présentait le taux d'erreur le plus bas, et des tests statistiques ont confirmé que son avantage n'était pas un coup de chance. Selon tous les critères conventionnels, cela devait être le titre de l'actualité : une nouvelle façon supérieure de prédire le marché. Mais les chercheurs ne s'en sont pas arrêtés là. Ils ont posé une question plus simple, plus fondamentale : ce modèle a-t-il réellement battu la prédiction la plus basique possible ? En finance, la prédiction la plus simple est de supposer que le changement de prix de demain sera exactement de zéro. C'est ce qu'on appelle le benchmark inconditionnel. C'est la base du fait de ne rien faire.

Lorsqu'ils ont comparé leur modèle sophistiqué à cette prédiction de zéro, l'histoire a complètement changé. Le modèle complexe n'a pas battu la prévision de zéro. En fait, il était statistiquement indiscernable de celle-ci. Les prédictions du modèle étaient si proches de zéro qu'elles n'offraient aucun avantage réel par rapport au simple fait de deviner que rien ne se passerait. Plus frappant encore, tous les autres modèles du classement, des réseaux d'apprentissage profond les plus récents aux méthodes statistiques plus anciennes, ont également échoué à battre la prévision de zéro. Ils étaient tous moins bons que le fait de ne rien faire. Les chercheurs ont réalisé que le classement qu'ils avaient vu précédemment ne mesurait pas qui était le meilleur prédicteur, mais plutôt qui était le plus prudent. Les modèles qui réduisaient le plus leurs prédictions, se rapprochant le plus de zéro, semblaient avoir le taux d'erreur le plus bas. Le classement était une mesure de l'effondrement des modèles, et non de l'étendue de ce qu'ils avaient appris.

Pour prouver cela, l'équipe a dérivé une explication mathématique de la raison pour laquelle cela se produit. Ils ont montré que lorsqu'un marché est presque imprévisible, le score d'erreur d'un modèle dépend presque entièrement de la mesure dans laquelle ses prédictions varient par rapport au marché réel. Si un modèle prédit très peu de mouvement, son score d'erreur paraîtra bon, même s'il se trompe. L'étude a démontré que la supériorité apparente d'un modèle sur un autre n'était qu'une différence dans la manière dont ils réduisaient leurs prévisions. Les tests statistiques utilisés pour déclarer un vainqueur mesuraient en réalité cette réduction, et plus ils collectaient de données, plus ils devenaient confiants dans une conclusion erronée. Plus l'ensemble de données était grand, plus l'illusion de compétence devenait forte, alors même qu'aucune compétence n'existait.

Les chercheurs ont ensuite proposé une solution simple. Avant de comparer les modèles, ils ont ajusté chaque prédiction de sorte que sa plage de mouvement corresponde à la plage du marché réel. Ce processus, qu'ils appellent l'appariement de la dispersion (dispersion matching), élimine le biais vers la réduction. Une fois cette correction appliquée, les différences spectaculaires entre les modèles ont disparu. Les modèles qui semblaient auparavant être des gagnants clairs étaient désormais statistiquement à égalité avec les perdants. L'importance « écrasante » qui suggérait une percée avait disparu, remplacée par un résultat montrant que tous les modèles performaient essentiellement de la même manière qu'un choix aléatoire. Dans un cas spécifique, un modèle qui avait été déclaré le meilleur s'est avéré n'être pas meilleur qu'une prévision constante de zéro, avec une probabilité statistique de 0,97 que la différence soit due au hasard.

L'étude a également examiné si ces modèles pouvaient générer de l'argent. Même si un modèle ne peut pas prédire parfaitement le prix, il peut rester utile s'il peut guider des transactions rentables. Les chercheurs ont simulé des stratégies de trading basées sur les prédictions des modèles, en tenant compte des coûts d'achat et de vente. Les résultats sont sans appel. Aucun modèle n'a généré de profit capable de battre un investissement sans risque, même lorsque les coûts de transaction étaient fixés à zéro. Le modèle le plus performant sur les graphiques d'erreur s'est avéré être le moins performant en termes d'argent, car ses prédictions prudentes ont conduit à une stratégie qui bougeait à peine, accumulant de petites pertes face au coût du capital. Cela a confirmé que le classement statistique n'était pas seulement trompeur, mais économiquement non pertinent.

Peut-être la découverte la plus troublante concernait les outils utilisés pour expliquer comment ces modèles fonctionnent. Dans le domaine de l'intelligence artificielle, les chercheurs utilisent souvent des visualisations pour montrer quels points de données un modèle surveille, espérant prouver que le système a appris des motifs significatifs. L'équipe a testé cela en entraînant leur modèle sur des données où la cible avait été mélangée de manière aléatoire, détruisant toute relation réelle entre les entrées et la sortie. Un modèle entraîné sur un tel bruit ne peut pas nécessairement apprendre quoi que ce soit. Pourtant, lorsqu'ils ont analysé ce modèle « brisé », il produisait des explications presque identiques à celles du modèle réel. Les visualisations montraient les mêmes caractéristiques mises en évidence et les mêmes schémas d'attention. Cela suggère que ces outils d'interprétabilité reflètent souvent la structure des données elles-mêmes plutôt que la connaissance spécifique acquise par le modèle. Ils ne peuvent pas distinguer un modèle qui a appris un secret d'un modèle qui n'a rien appris.

Les chercheurs ont conclu que l'ensemble du domaine de la prédiction financière doit changer la manière dont il publie ses résultats. Ils recommandent que chaque étude inclue une comparaison avec la simple prévision de zéro pour prouver qu'un modèle possède un quelconque talent. Ils suggèrent également de rapporter une mesure de la variation de leurs prédictions, afin de garantir qu'un faible taux d'erreur n'est pas simplement le résultat d'une prudence excessive. Sans ces vérifications, la littérature est remplie de modèles qui semblent faire progresser l'état de l'art, mais qui ne font en réalité que se classer eux-mêmes selon leur capacité à prétendre n'être rien. L'étude ne prétend pas que la prédiction du marché est impossible, ni que l'apprentissage profond est inutile. Elle montre simplement que la façon actuelle de juger le succès est défaillante, et que tant que les règles ne seront pas corrigées, les vainqueurs du classement pourraient bien ne pas être ceux qui sont capables de voir l'avenir.