Evaluating Investment Logic in Large Language Models: A Real-World Benchmark Towards Personalzied Financial Agents
Cet article présente \textsc{InvestLogicBench}, un benchmark à grande échelle de décisions d'investisseurs réelles structuré sous forme de traces Profil-Événement-Raisonnement-Décision-Résultat, afin de démontrer que les actuels LLM financiers présentent un raisonnement poli mais mal ancré qui est négligé par les évaluations traditionnelles basées uniquement sur le résultat, plaidant ainsi pour une nouvelle interface de données native du processus pour des agents conséquents personnalisés.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Imaginez que vous entrez dans une bibliothèque géante remplie de tous les livres jamais écrits sur l'argent, les actions et l'économie. Vous avez un ami robot super intelligent qui a lu chaque page. Si vous demandez : « Qu'est-ce que l'inflation ? » ou « Qui a fondé Apple ? », votre robot peut répondre instantanément et parfaitement. C'est ainsi que la plupart des programmes informatiques appelés « Grands Modèles de Langage » (LLM) sont testés aujourd'ils : ils sont comme des champions de culture générale brillants capables de réciter des faits et de résoudre des problèmes mathématiques de manuel scolaire. Mais voici le revers de la médaille : être un champion de culture générale ne signifie pas que vous savez jouer au jeu de la vie. Dans le monde réel, l'investissement ne consiste pas à mémoriser des faits ; il s'agit d'écouter une foule chaotique et bruyante de nouvelles, de déterminer ce qui compte réellement, de prendre une décision basée sur sa propre personnalité et sa tolérance au risque, puis d'observer pour voir si l'on avait raison. C'est la différence entre connaître les règles du football et réellement marquer un but pendant que l'autre équipe essaie de vous tacler.
C'est exactement le problème qu'un nouvel article aborde. Les auteurs ont remarqué que, bien que ces robots IA soient incroyables pour répondre à des questions lors d'un examen, ils échouent souvent lamentablement lorsqu'on leur demande de prendre de réelles décisions d'investissement dans un marché en direct. Ils ont créé une nouvelle façon de tester l'IA, non pas en demandant « Que sais-tu ? » mais en demandant « Comment penses-tu ? ». Ils ont construit un terrain de jeu spécial où ils pouvaient observer comment une IA relie les points entre un événement d'actualité, son propre raisonnement, une action spécifique et le résultat final. Leur grande découverte ? Les robots IA les plus intelligents, ceux qui obtiennent les scores les plus élevés aux tests généraux, sont en fait assez mauvais à ce type de pensée spécifique. Ils se laissent troubler par le bruit, copient ce que tout le monde pense, et perdent souvent de l'argent, tandis que certains modèles « moins intelligents » réussissent en fait mieux. L'article suggère que pour construire un robot financier vraiment utile, nous devons arrêter de tester sa mémoire et commencer à tester sa capacité à élaborer un plan cohérent dans un monde désordonné et incertain.
Le grand paradoxe du « Intelligent mais Incompétent »
Les chercheurs ont mis en place un jeu à enjeux élevés appelé « arène de trading en direct ». Imaginez un jeu vidéo où différents bots d'IA reçoivent 10 000 $ de fausse monnaie et doivent trader des actions sur le vrai marché américain pendant sept semaines. Ils doivent faire leurs propres choix chaque heure, en réagissant aux informations de dernière minute, tout comme le ferait un trader humain. Le but était de voir si les « capacités intellectuelles générales » de l'IA (sa performance aux tests standards) correspondaient à ses « capacités de trading » (l'argent qu'elle a gagné).
Les résultats furent assez choquants. L'article appelle cela le « Paradoxe Capacités-Performance ». C'est comme avoir un étudiant qui obtient un A+ à tous ses examens d'histoire mais qui échoue lamentablement à tenir un stand de limonade parce qu'il ne sait pas gérer une averse soudaine. Les modèles d'IA ayant les scores généraux les plus élevés, comme GPT-5 et Claude-Sonnet-4.5, ont en fait très mal performé. L'un d'eux, GPT-5, a fini avec moins d'argent qu'au départ, perdant environ 1,0 %. Un autre, Claude-Sonnet-4.5, n'a presque réalisé aucun profit. Ils ont tous deux fait moins bien que de simplement rester assis et d'acheter un simple fonds indiciel (le S&P 500), ce qui correspond à la stratégie du « ne rien faire ».
Dans un retournement d'ironie, les modèles qui avaient des scores plus bas aux tests généraux ont en fait bien mieux réussi sur le marché. DeepSeek-V3, par exemple, a transformé ses 10 000 $ en plus de 11 400 $, battant le marché et les modèles plus « intelligents ». Cela suggère qu'être bon pour répondre à des questions ne fait pas automatiquement de vous quelqu'un de bon pour prendre des décisions lorsque l'avenir est incertain.
Pourquoi les bots « intelligents » échouent-ils ?
Les auteurs ont creusé pour comprendre pourquoi les modèles à haut score perdaient de l'argent. Ils ont trouvé deux raisons principales, qu'ils appellent « Biais de Consensus » et « Fragmentation du Raisonnement ».
Considérez le Biais de Consensus comme un mouton suivant le troupeau. Lorsqu'un événement majeur se produit, les modèles « intelligents » ont tendance à simplement répter ce que tout le monde pense déjà, car c'est ce qu'ils ont vu le plus souvent dans leurs données d'entraînement. Ils n'ont pas le courage de chercher un angle différent ou une opportunité cachée. Ils disent simplement : « Oh, le marché baisse, donc je devrais vendre », même si un expert humain pourrait voir une occasion d'acheter à bas prix.
La Fragmentation du Raisonnement est comme essayer de résoudre un puzzle alors que quelqu'un vous jette des confettis au visage. Lorsque le marché devient bruyant avec de nombreuses informations contradictoires, ces modèles sont submergés. Ils ne parviennent pas à relier les points entre une information sur une réunion gouvernementale et le prix d'une action spécifique. Au lieu de construire un récit clair, ils s'embrouillent, tirent des conclusions hâtives ou prennent des décisions qui se contredisent. Ils peuvent voir un titre concernant une entreprise technologique et acheter immédiatement, ignorant le fait que l'entreprise vient de publier un rapport de résultats décevant.
Le nouveau test : INVESTLOGICBENCH2026
Pour corriger cela, l'équipe a construit un nouveau terrain de test appelé INVESTLOGICBENCH2026. Au lieu de simplement demander à l'IA de répondre à une question, ce benchmark examine toute la chaîne de réalisation d'un investissement. Ils appellent cela la chaîne P→E→R→D→O :
- P (Personne) : Qui est l'investisseur ? Quels sont ses objectifs et ses craintes ?
- E (Événement) : Qu'est s'est-il passé dans le monde ? (ex : « La Fed a augmenté les taux d'intérêt. »)
- R (Raisonnement) : Comment l'investisseur relie-t-il l'événement à ses objectifs ? (ex : « Des taux plus élevés signifient que l'emprunt est plus coûteux, donc les actions technologiques pourraient chuter. »)
- D (Décision) : Quelle action entre-t-il en action ? (ex : « Je vends mes actions technologiques. »)
- O (Résultat) : Cela a-t-il fonctionné ? (ex : « Oui, les actions ont chuté, et j'ai économisé de l'argent. »)
Ils ont rassemblé plus de 200 000 décisions d'investissement réelles provenant de 151 experts du monde réel, tels que des gestionnaires de fonds célèbres et des influenceurs financiers. Ils ont décomposé précisément comment ces humains réfléchissaient, de l'actualité lue jusqu'aux transactions effectuées. Ensuite, ils ont demandé aux modèles d'IA de faire la même chose : regarder l'actualité, penser comme un type d'investisseur spécifique, prendre une décision et voir si la logique tient la route.
Les résultats : Un fossé de logique
Lorsqu'ils ont testé les modèles d'IA par rapport à ce nouveau standard, les résultats étaient clairs. Les modèles ont obtenu des scores très bas en « Qualité de Raisonnement ». Sur une échelle de 1 à 5, le modèle le plus performant (DeepSeek-V3) a obtenu un score de 2,8, tandis que le moins bon (GPT-5) n'a obtenu que 1,8. Ils ont eu du mal à faire la distinction entre une information importante et un bruit aléatoire. Ils ont souvent pris des décisions qui ne correspondaient pas à leur propre raisonnement ou au profil de l'investisseur.
Par exemple, dans un cas de test, un expert humain a examiné un mélange d'informations sur une fermeture du gouvernement, des rapports sur l'emploi et des taux d'intérêt, et a correctement décidé d'acheter des actifs « sûrs ». Les modèles d'IA, cependant, se sont embrouillés. Certains se sont concentrés uniquement sur les titres alarmistes, d'autres ont ignoré les parties les plus importantes, et certains ont formulé des arguments contradictoires. Un modèle a même acheté des actions qui n'avaient absolument aucun rapport avec l'actualité qu'il lisait.
L'article conclut que, bien que l'IA puisse parfois générer des transactions rentables (peut-être par chance ou en imitant des schémas), elle manque de la logique profonde et constante que les experts humains utilisent pour naviguer dans l'incertitude. Les modèles « intelligents » échouent non pas parce qu'ils ne connaissent pas les faits, mais parce qu'ils ne peuvent pas construire un récit cohérent à partir du chaos du monde réel.
Ce que cela signifie pour l'avenir
Cet article ne dit pas que l'IA ne sera jamais bonne en investissement. Il dit plutôt que nous devons changer la façon dont nous les testons et les entraînons. Nous ne pouvons pas nous contenter de leur donner des quiz de culture générale plus difficiles. Nous devons leur apprendre à penser comme des stratèges, à filtrer le bruit et à s'en tenir à un plan même quand les choses deviennent effrayantes. En utilisant ce nouveau benchmark, les chercheurs espèrent construire des agents d'IA qui ne sont pas seulement instruits, mais véritablement sages — capables de prendre des décisions personnalisées et logiques qui fonctionnent réellement dans le monde réel, désordonné et imprévisible. Le voyage vers un IA financière fiable ne fait que commencer, et cette nouvelle carte est la première étape dans la bonne direction.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.