Language-Routed RAG and Direct Option Scoring for Multilingual Financial QA: DS@GT at FinMMEval

Imaginez que vous essayez de résoudre un casse-tête difficile, mais qu'au lieu d'utiliser uniquement votre propre cerveau, vous avez une immense bibliothèque de livres de référence juste à côté de vous. C'est le monde de la Génération Augmentée par Récupération (RAG). Voyez cela comme un étudiant passant un examen qui est autorisé à consulter un manuel pour chercher des faits avant de répondre. Habituellement, les ordinateurs sont excellents pour cela si les questions sont en anglais, mais les choses deviennent confuses lorsque les questions sont en espagnol, en grec ou en hindi. La « bibliothèque » peut être pleine de livres en anglais mais vide pour d'autres langues, et l'étudiant peut ne pas savoir lire les ouvrages étrangers même s'il les trouve.

Ce document traite d'une version très spécifique et à enjeux élevés de ce problème : les Examens de Certification Financière. Il ne s'agit pas de simples quiz de culture générale ; ce sont des tests complexes pour devenir analyste financier certifié ou comptable, exigeant une logique profonde sur l'argent, les lois et les règles comptables. La grande question que les auteurs posent est la suivante : Pouvons-nous construire un système informatique capable de réussir ces examens financiers difficiles dans cinq langues différentes (anglais, espagnol, grec, chinois et hindi) aussi bien qu'en anglais ? La réponse est cruciale car la finance est mondiale, mais la plupart des cerveaux informatiques sont entraînés principalement en anglais, laissant d'énormes lacunes dans leur gestion du jargon financier dans d'autres langues.

La grande expérience de l'équipe : Un détective multilingue intelligent

Les chercheurs de Georgia Tech, appelant leur équipe DS@GT, ont construit un système de détective numérique pour résoudre ces questions d'examen financier. Au lieu de simplement deviner, leur système suit un processus strict en trois étapes, qu'ils appellent un « pipeline ».

Étape 1 : Le détective de la langue
D'abord, le système examine la question et demande : « Quelle est la langue de cette question ? » C'est comme un videur de boîte de nuit vérifiant les pièces d'identité. Si la question est en grec, le système sait qu'il doit extraire des livres de la « Section Grecque » de sa bibliothèque. Si la bibliothèque est vide pour cette langue (ce qui arrive avec les langues moins répandues comme le grec ou l'hindi), il récupère des livres de la « Section Globale » qui peuvent contenir des idées similaires, même s'ils sont dans une autre langue. Ils ont utilisé un outil spécial appelé BGE-M3 pour traduire le sens des questions en un code universel afin que le système puisse trouver des exemples pertinents, même à travers les barrières linguistiques.

Étape 2 : Le routeur de modèle (Le « cerveau droit » pour le bon travail)
C'est ici que l'équipe a découvert quelque chose de surprenant. Ils n'ont pas utilisé un seul cerveau informatique géant pour tout faire. Ils ont découvert que différents cerveaux informatiques sont meilleurs pour différentes langues.

• Pour l'anglais, ils ont utilisé un modèle appelé Qwen2.5-14B.
• Pour le grec, ils ont découvert de manière surprenante qu'un modèle plus petit, Llama-3.1-8B, était en fait la superstar, battant les modèles plus gros par une marge énorme (environ 19,5 points de pourcentage !).
• Pour le chinois, l'hindi et l'arabe, ils ont utilisé Qwen3-14B.

S'ils avaient simplement utilisé le « meilleur » modèle pour tout le monde, le système aurait échoué lamentablement sur l'anglais et le grec. C'est comme réaliser que, bien qu'un marathonien soit excellent pour les longues distances, vous ne voudriez pas qu'il joue aux échecs ; vous avez besoin d'un spécialiste différent pour chaque tâche.

Étape 3 : Le scoreur (Fini les jeux de devinettes)
Habituellement, quand les ordinateurs répondent à des questions, ils essaient d'« écrire » la réponse, comme « La réponse est C ». Cela conduit souvent à des erreurs où l'ordinateur écrit un long paragraphe et oublie de préciser quelle lettre il a choisie. L'équipe DS@GT a utilisé une astuce ingénieuse appelée Retrieval-Augmented Direct Scoring (RADS). Au lieu d'écrire la réponse, le système vérifie simplement les probabilités mathématiques : « Quelle est la probabilité que la lettre 'A' soit le mot suivant ? Quelle est la probabilité pour 'B' ? Quelle est la probabilité pour 'C' ? » Il choisit la lettre avec le score mathématique le plus élevé. C'est comme un examen à choix multiples où l'ordinateur n'a pas besoin d'écrire une dissertation ; il se contente de pointer la bonne case. Cette méthode a éliminé presque tous les « échecs de parsing » (erreurs de lecture de la propre réponse de l'ordinateur), atteignant un taux de réussite de 100 % sur les questions en chinois là où d'autres méthodes échouaient.

Les découvertes surprenantes

L'équipe a mené des milliers de tests et a découvert certaines règles qui brisent les idées habituelles sur le fonctionnement de l'IA :

1. Trop réfléchir peut être préjudiciable : Pour la plupart des gens, la « Chaîne de Pensée » (Chain-of-Thought - demander à l'IA d'expliquer son raisonnement étape par étape) aide. Mais pour les questions en grec, cela a en réalité détruit la performance. La précision est tombée d'un fantastique 90,7 % à un terrible 20,9 %. Il s'avère que pour ces questions grecques spécifiques, qui portent davantage sur la catégorisation de faits que sur la résolution de problèmes mathématiques, le fait de faire « réfléchir à voix haute » l'IA l'a confondue. Elle a commencé à écrire des histoires au lieu de choisir la bonne catégorie.
2. Le piège du « mode réflexion » : Le modèle Qwen3 possède un réglage par défaut où il écrit une section de « réflexion » avant la réponse. L'équipe a découvert que si elles laissaient ce mode activé, la capacité du système à choisir la bonne lettre (RADS) s'effondrait pour atteindre un niveau proche du hasard pour l'arabe. Ils ont dû désactiver manuellement ce « mode réflexion » pour que le système fonctionne.
3. La traduction est un piège : Ils ont essayé de traduire des questions d'autres langues vers l'anglais, de les résoudre, puis de les retraduire. Ce fut un désastre. La traduction a perdu des détails financiers importants, et les scores ont chuté de près de 20 points de pourcentage par rapport à une résolution dans la langue d'origine.
4. Les données comptent, mais les modèles comptent plus : Pour l'hindi, ajouter plus d'exemples natifs en hindi à leur bibliothèque a aidé, mais de façon minime (environ 1 point de pourcentage). Cependant, l'écart entre leur système et l'IA commerciale de pointe (Claude Opus 4.7) était énorme (17 points de pourcentage). Cela suggère que pour les langues à faibles ressources, le problème n'est pas seulement d'avoir plus de livres dans la bibliothèque ; c'est que le cerveau informatique lui-même doit être entraîné plus profondément sur ces termes financiers spécifiques à la langue.

Le tableau des scores final

Lorsque l'équipe a soumis son système à la compétition officielle FinMMEval 2026, elle s'en est bien sortie, se classant dans le top 10 pour la plupart des langues.

• Arabe : 76,0 % (10e place)
• Hindi : 73,5 % (7e place)
• Anglais : 69,5 % (9e place)
• Chinois : 64,5 % (9e place)

Bien qu'ils n'aient pas remporté la première place (les meilleures équipes ont dépassé les 90 %), leur travail a prouvé une leçon vitale : Une solution unique ne convient pas à tous. Pour construire une IA financière intelligente qui fonctionne mondialement, on ne peut pas simplement utiliser un seul modèle et une seule stratégie. Il faut router les différentes langues vers différents modèles, choisir différentes stratégies de réflexion selon la tâche, et scorer les réponses mathématiquement plutôt qu'en les écrivant. L'avenir de l'IA financière mondiale n'est pas un super-cerveau unique ; c'est une équipe de spécialistes, chacun parlant la bonne langue et utilisant les bons outils.