BizFinBench.v2: Towards Reliable LLMs in Finance via Real-User Data and Offline/Online Bilingual Evaluation
L'article introduit BizFinBench.v2, un benchmark bilingue complet utilisant des données d'utilisateurs authentiques provenant des marchés d'actions chinois et américain pour évaluer les grands modèles de langage, révélant que les modèles de pointe actuels ne répondent toujours pas aux exigences commerciales pratiques malgré la performance supérieure de DeepSeek-R1.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Imaginez que vous essayez d'apprendre à un robot super intelligent comment devenir un trader de bourse. Pendant des années, nous avons testé ces robots dans une immense salle de classe calme remplie de faux examens blancs. Les robots réussissent les tests haut la main, obtenant des notes de type A+, et nous supposons alors qu'ils sont prêts à gérer de l'argent réel. Mais dans le monde réel, la bourse n'est pas une salle de classe calme ; c'est des montagnes russes chaotiques, bruyantes et rapides où les règles changent chaque seconde.
C'est le gros problème que les auteurs de ce document, BizFin-Bench.v2, tentent de résoudre. Ils soutiennent que les anciens « tests en salle de classe » nous mentent. Ils sont construits sur des données fictives qui ne correspondent pas à la réalité désordonnée de la finance réelle. Ainsi, les auteurs ont construit une toute nouvelle « salle de sport » réelle pour tester ces robots.
La nouvelle salle de sport : Données réelles, enjeux réels
Au lieu de questions factices, ce nouveau benchmark utilise 28 860 questions réelles posées par de vraies personnes sur de véritables applications financières, tant sur le marché boursier chinois qu'américain. C'est comme remplacer un quiz de manuel scolaire par une partie de poker intense où les jetons sont réels.
La salle de sport possède deux zones principales :
- La Zone Hors-ligne (Offline) : C'est ici que les robots répondent à des questions difficiles sur des sujets tels que « Pourquoi cette action a-t-elle chuté ? » ou « Analysez le rapport de cette entreprise ». Il y a 8 types de tâches différents ici, allant de la détection d'erreurs de données étranges à la prédiction du sentiment d'un utilisateur vis-à-vis du marché.
- La Zone En-ligne (Online) : C'est la partie effrayante. Ici, les robots doivent prendre des décisions en temps réel. Ils doivent prédire les prix des actions au fur et à mesure qu'ils évoluent et gérer un portefeuille fictif d'argent, en achetant et en vendant chaque heure en fonction des données de marché en direct. C'est comme conduire une voiture les yeux bandés, mais la voiture roule à 100 mph et la route change chaque seconde.
Les résultats : Les robots sont encore en apprentissage
Lorsque les auteurs ont placé les robots les plus intelligents du monde dans cette salle de sport réelle, les résultats furent... disons, un peu choquants.
Même le robot superstar, GPT-5, n'a réussi que 61,5 % des réponses. Cela semble correct pour un examen scolaire, mais dans le monde financier réel, il faut avoir raison 84,8 % du temps pour être considéré comme suffisamment sûr pour être utilisé. Les robots ne parviennent toujours pas à satisfaire les exigences de base d'une véritable entreprise.
Parmi tous les robots testés, un nommé DeepSeek-R1 s'est distingué, mais avec une nuance. C'était le seul modèle ayant montré une « efficacité d'investissement supérieure » dans le jeu d'investissement en ligne, réalisant en fait un profit de +47,34 %. Cependant, il était aussi un peu imprudent, perdant jusqu'à 53 % de son argent à un certain moment (un « drawdown maximum »). C'est comme un pilote de course qui gagne la course mais crash la voiture avant de monter sur le podium. Bien qu'il fût le meilleur du lot, il était aussi le seul capable de s'approcher de la performance de stratégies de trading traditionnelles de niveau intermédiaire ; le reste des modèles commerciaux n'a pas réussi à battre le marché.
Étonnamment, les auteurs ont découvert que certains robots célèbres pour être des « experts financiers » étaient en fait moins performants que les modèles généralistes. Il s'avère que former un robot uniquement sur des manuels de finance ne le rend pas meilleur trader s'il ne peut pas gérer le chaos du marché réel.
Le piège de la « réflexion »
Les auteurs ont également tenté une astuce appelée Chaîne de Pensée (Chain-of-Thought - CoT), où ils demandent aux robots de « réfléchir étape par étape » avant de répondre. On pourrait penser que cela aiderait, n'est-ce pas ? Détrompez-vous. Pour la plupart des robots, cela les a en fait rendus pires. C'était comme dire à un étudiant nerveux de trop analyser chaque étape d'un problème de mathématiques jusqu'à ce qu'il oublie complètement la réponse ! Un robot, Claude-Sonnet-4, a vu son score s'effondrer de 39,5 % à 13,7 % simplement parce qu'on l'a forcé à trop réfléchir !
Les cinq grandes erreurs
En observant là où les robots échouent, les auteurs ont identifié cinq façons spécifiques dont ils se trompent dans le monde réel :
- Déviation Sémantique : Ils comprennent les mots mais passent à côté du sens. Ils pourraient penser qu'une entreprise technologique est la même chose qu'une entreprise de semi-conducteurs simplement parce qu'elles utilisent toutes deux le mot « tech », ignorant qu'il s'agit de deux entreprises totalement différentes.
- Discontinuité Logique : Ils perdent le fil dans les longs récits. Si vous leur demandez de tracer une chaîne de cause à effet sur une longue période, ils s'embrouillent et perdent le fil.
- Analyse Multivariée : Ils ne peuvent pas jongler avec trop de balles à la fois. Lorsqu'ils doivent combiner des actualités, des graphiques et les sentiments des utilisateurs pour prendre une décision, ils sont submergés et choisissent les mauvais facteurs.
- Distorsion de Haute Précision : Ils sont mauvais en mathématiques. En finance, une infime erreur de décimale peut coûter des millions, et ces robots calculent souvent les chiffres de manière incorrecte.
- Désordre de l'Ordre Temporel : Ils mélangent la chronologie. Ils peuvent penser qu'un événement s'est produit avant d'avoir provoqué une réaction, ou vice versa, inversant ainsi complètement l'histoire.
L'essentiel à retenir
Le document suggère que bien que ces modèles d'IA deviennent plus intelligents, ils ne sont pas encore prêts à être votre conseiller financier personnel. L'écart entre leurs « scores de test » et leurs « performances en situation réelle » est énorme. Les auteurs ne disent pas que l'IA est inutile ; ils disent que nous devons arrêter de les tester dans de fausses salles de classe et commencer à les tester dans la salle de sport réelle et désordonnée. Tant qu'ils ne pourront pas atteindre de manière constante le seuil de précision de 84,8 %, nous devrons être très prudents en les laissant manipuler notre argent.
La bonne nouvelle ? Les auteurs partagent leurs données et la « salle de sport » qu'ils ont construite afin que d'autres scientifiques puissent aider à entraîner les robots pour qu'ils soient prêts pour la réalité. Mais pour l'instant, les robots ne sont encore que des étudiants, pas des maîtres.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.