Imaginez un monde où les ordinateurs sont comme des étudiants brillants et bavards capables de lire presque tous les livres de la bibliothèque. Pendant longtemps, ces étudiants ont été excellents pour répondre à des questions simples, mais quand on leur pose des problèmes mathématiques complexes ou des questions sur le fonctionnement de l'argent, ils se confondent parfois ou inventent des faits. C'est le monde du Questionnement Financier (Financial Question Answering). C'est un recoin spécial de l'intelligence artificielle où les ordinateurs doivent faire plus que simplement se rappeler des faits ; ils doivent comprendre les chiffres, suivre des règles strictes sur la manière dont l'argent est déclaré et raisonner à travers des scénarios complexes. Mais voici le rebondissement : l'argent ne se parle pas seulement en anglais. Il se parle en chinois, en arabe, en hindi et dans beaucoup d'autres langues, chacune ayant son propre script et son propre argot financier. La grande question pour les scientifiques est la suivante : un ordinateur peut-il être un génie de la finance dans toutes ces langues à la fois, ou ne parle-t-il bien "l'argent" qu'en anglais ?

Ce document, intitulé « FinMMEval 2026 Task 1 », est comme un bulletin de notes pour un examen massif à enjeux élevés donné à ces étudiants informatiques. Les auteurs ont organisé une compétition où des équipes du monde entier ont envoyé leurs meilleurs systèmes d'IA pour répondre à 800 questions à choix multiples sur la finance. Les questions ont été réparties équitablement entre quatre langues : l'anglais, le chinois, l'arabe et le hindi. L'objectif était de voir si ces systèmes pouvaient choisir la réponse correcte unique parmi une liste d'options, testant ainsi leur capacité à manipuler le jargon financier, à faire des mathématiques et à comprendre des concepts à travers différentes cultures. Le document ne se contente pas de lister les scores ; il analyse comment les vainqueurs ont résolu les problèmes et révèle que, bien que les meilleurs ordinateurs soient incroyablement intelligents, la difficulté et la compétition variaient selon la langue.

Le Grand Examen Financier de 2026

Considérez cette compétition comme des « Olympiques des Mathématiques de l'Argent ». Les organisateurs, une équipe de chercheurs issus d'universités et d'instituts d'IA, ont mis en place un test comprenant 800 questions au total. Ils n'ont pas seulement demandé aux ordinateurs de rédiger une dissertation ; ils les ont forcés à jouer au jeu de « Choisir la bonne carte ». Pour chaque question, l'ordinateur devait choisir une option correcte parmi une liste (généralement quatre, mais parfois deux, trois ou cinq). C'était une règle cruciale : en forçant les ordinateurs à choisir une étiquette telle que « A », « B », « C » ou « D », les juges ont éliminé la confusion des ordinateurs rédigeant de longs paragraphes sophistiqués qui pourraient sembler corrects mais qui contiennent une mauvaise réponse. C'était un test pur de logique et de connaissance.

Le test couvrait quatre mondes linguistiques distincts :

• Anglais : La langue la plus courante pour la finance, avec 200 questions.
• Chinois : Un autre pôle financier majeur, avec 200 questions.
• Arabe : Une langue possédant son propre script et ses propres traditions comptables, avec 200 questions.
• Hindi : Représentant un marché en pleine croissance, avec 200 questions.

Les réponses « d'or » — les clés de correction de l'examen — étaient conservées dans un coffre-fort secret. Les équipes participantes devaient soumettre leurs réponses sans jamais voir les bonnes réponses, garantissant ainsi que personne ne puisse tricher en regardant à la fin du livre.

Les Résultats : Qui a remporté le trophée ?

Lorsque le coffre-fort secret a enfin été ouvert, les résultats ont été impressionnants. Les ordinateurs les plus performants étaient incroyablement doués pour leur tâche.

• En anglais et en arabe, les meilleures équipes ont réussi 97,5 % des questions. C'est comme obtenir 195 questions sur 200 !
• En chinois, le meilleur score était de 96,5 %.
• En hindi, la précision la plus élevée était de 92,0 %.

Bien que ces chiffres ressemblent à une victoire éclatante, le document prend soin de préciser qu'ils ne sont pas nécessairement le signe que l'anglais est « plus facile » que le hindi. C'est plutôt comme comparer quatre courses différentes sur quatre pistes différentes. La piste anglaise comptait 13 équipes, tandis que la piste hindi en comptait 10. Les questions elles-mêmes étaient différentes, et le mélange de questions faciles et difficiles variait. Ainsi, bien que les scores les plus élevés soient élevés, le document suggère que nous ne devrions pas supposer qu'une langue est intrinsèquement plus difficile qu'une autre simplement sur la base de ces scores.

Les trois mêmes équipes — pjmathematician, fosu ltw et Pranshu Rastogi — ont dominé les classements dans presque toutes les langues. Elles étaient les « super-équipes » de cet examen financier, se classant près du sommet en anglais, en chinois, en arabe et en hindi.

Comment ont-ils fait ? Les armes secrètes

Le document analyse en profondeur les « armes secrètes » utilisées par les équipes gagnantes. Il ne s'agit pas seulement d'avoir un gros cerveau ; il s'agit d'avoir les bons outils. Les auteurs ont découvert que les meilleurs systèmes utilisaient un mélange de stratégies astucieuses :

1. Le carnet de notes du détective (Récupération/Retrieval) : Beaucoup d'équipes ne se sont pas contentées de ce que leur ordinateur savait par cœur. Elles ont donné à leur IA un « moteur de recherche » pour rechercher des faits financiers ou des définitions spécifiques avant de répondre. C'est comme laisser un étudiant ouvrir son manuel pendant le test.
2. La double vérification (Auto-cohérence/Self-Consistency) : Certains systèmes posaient la même question plusieurs fois de manières légèrement différentes pour voir s'ils obtenaient la même réponse à chaque fois. Si l'ordinateur disait « A » trois fois et « B » une fois, il choisissait « A ». C'est comme demander à un ami de vérifier vos devoirs de mathématiques.
3. Le chapeau du traducteur (Prompting spécifique à la langue) : Les équipes ont réalisé qu'une question en hindi doit être posée différemment d'une question en anglais. Elles ont adapté leurs instructions (prompts) pour qu'elles correspondent à la langue et à la culture spécifiques de la question.
4. Le panel de juges (Ensemble/Ensembling) : Certaines équipes utilisaient plusieurs modèles d'IA pour voter sur la réponse. Si trois « cerveaux » différents étaient d'accord sur une réponse, ils se sentaient plus confiants dans celle-ci.

Le document note explicitement que ces systèmes n'ont pas simplement deviné. Ils ont utilisé un raisonnement complexe, ont vérifié leurs niveaux de confiance et ont même eu des « étapes de révision » où une seconde IA critiquait la réponse de la première IA avant qu'elle ne soit soumise.

Ce que cela signifie (et ce que cela ne signifie pas)

Le document conclut que nous avons atteint un point où l'IA peut gérer des questions à choix multiples financières avec une très grande précision dans plusieurs langues. Cependant, les auteurs prennent soin de ne pas déclarer le problème « résolu ». Ils suggèrent que, bien que les scores les plus élevés soient importants, il existe toujours un écart entre les meilleures équipes et le reste du groupe, particulièrement en hindi où l'écart entre la première et la cinquième place était plus faible, mais la précision globale était inférieure à celle de l'anglais.

Le document suggère également ce qui vient ensuite. Les futurs examens devraient examiner plus en profondeur pourquoi les ordinateurs se trompent. Était-ce un problème de langue ? Un problème de mathématiques ? Ou un problème lié au sujet financier spécifique ? Les auteurs suggèrent que rapporter un simple score ne suffit pas ; nous devons comprendre les détails pour rendre ces outils d'IA financière vraiment fiables pour le monde réel.

En résumé, ce document nous dit que les ordinateurs deviennent très doués pour être des analystes financiers dans de nombreuses langues, mais que le voyage pour les rendre parfaits est encore en cours. Les « super-équipes » nous ont montré la voie, mais il reste encore beaucoup de place pour l'amélioration et la découverte.