FIND: Toward Multimodal Financial Reasoning and Question Answering for Indic Languages

Résumé technique : FIND : Vers un raisonnement et une réponse à des questions financiers multimodaux pour les langues indiques

Énoncé du problème
La prise de décision financière dans des contextes multilingues, en particulier en Inde, nécessite un raisonnement numérique précis ancré dans des modalités diverses (texte, tableaux, graphiques). Cependant, les benchmarks existants négligent largement ce défi à haut risque, se concentrant principalement sur l'anglais et manquant de couverture des langues indiques, des données financières multimodales et de la complexité contrôlée du raisonnement. Les modèles vision-langage (VLM) actuels peinent souvent avec le raisonnement hybride, présentant des erreurs de précision numérique, des incohérences dans l'ancrage multimodal et une surdépendance aux indices textuels tout en sous-utilisant les signaux financiers visuels. De plus, les jeux de données existants comme FinQA et TAT-QA sont principalement centrés sur l'anglais et souvent limités à l'arithmétique superficielle ou à l'extraction tabulaire, échouant à évaluer le raisonnement complexe et conscient du domaine requis pour des scénarios financiers réalistes dans les langues régionales.

Méthodologie
Pour combler ces lacunes, les auteurs introduisent FinVQA, un benchmark multilingue à grande échelle, et FIND, un cadre conçu pour un raisonnement financier multimodal fiable.

• Curation du jeu de données FinVQA :

  • Source : Les données sont issues de sources éducatives indiennes autorisées, notamment les manuels du Conseil national de la recherche et de la formation en éducation (NCERT) (classes 9 à 12) et les documents professionnels ICMAI–CMA.
  • Échelle et portée : Le jeu de données comprend 18 900 échantillons répartis sur 14 domaines financiers (par exemple, comptabilité avancée, mathématiques financières, fiscalité). Il couvre six langues : anglais, hindi, bengali, marathi, gujarati et tamoul.
  • Structure : Les échantillons sont organisés en trois niveaux de difficulté (facile, modéré, difficile) et quatre formats de questions : choix multiples, compléter les blancs, appariement de tableaux et vrai/faux.
  • Adaptation multilingue : Les instances en anglais ont été traduites dans cinq langues indiques à l'aide de GPT-4O, validées par similarité cosinus des plongements de phrases, et affinées par des locuteurs natifs. Pour les échantillons multimodaux, l'OCR (PaddleOCR) a été utilisé pour extraire le texte des images, qui a ensuite été traduit et réintégré dans les boîtes de délimitation originales en utilisant des polices indiques spécifiques pour préserver la mise en page.
  • Annotation : Un pipeline impliquant six annotateurs (quatre juniors, deux experts seniors du domaine) a assuré la qualité. Les experts seniors ont annoté les échantillons de base, et l'accord inter-annotateurs (Kappa de Fleiss) a atteint 0,78.

• Le cadre FIND :
  Les auteurs proposent un pipeline expérimental en trois étapes pour évaluer et améliorer le raisonnement :

  1. Inférence Zero-Shot : Évaluation des VLM préentraînés sans adaptation spécifique à la tâche pour établir des références.
  2. Décodage contraint : Mise en œuvre de contraintes au moment de l'inférence (en utilisant VLLM) pour restreindre la sortie aux tokens d'options de réponse valides (par exemple A/B/C/D). Cela atténue l'instabilité de formatage et la verbosité tout en préservant le raisonnement interne. Des contraintes de tokens spécifiques à la langue sont appliquées (par exemple, un seul token pour l'anglais/hindi, jusqu'à trois pour le bengali/tamoul).
  3. Affinage supervisé (SFT) : Affinage des VLM sur le jeu de données en utilisant une supervision par réponse uniquement. Pour assurer l'efficacité des paramètres, les auteurs utilisent l'adaptation à faible rang (LoRA) avec un rang $r=8$, mettant à jour uniquement les projections de requête, de clé et de valeur dans les couches d'attention auto et croisée. Le modèle est entraîné à générer la séquence de réponse correcte conditionnée par l'entrée.

Contributions clés

1. Benchmark FinVQA : Introduction du premier benchmark multilingue à grande échelle pour la réponse visuelle à des questions financières dans des contextes indiques, comportant 18 900 échantillons répartis sur 14 domaines et six langues.
2. Cadre FIND : Un cadre conscient des contraintes intégrant l'affinage supervisé avec un décodage structuré pour améliorer la fidélité numérique, l'alignement multimodal et la prise de décision structurée.
3. Évaluation complète : Une évaluation rigoureuse des VLM de l'état de l'art (Qwen2.5-VL, Qwen3-VL, Gemma-3) à travers différentes échelles de paramètres (3B à 32B) et régimes d'entraînement (zero-shot, décodage contraint, SFT).

Résultats expérimentaux

• Hiérarchie des performances : La performance des modèles est fortement régie par l'échelle et le régime d'entraînement. Les modèles à grande échelle (par exemple Qwen3-VL-32B, Gemma-3-27B) surpassent nettement leurs homologues plus petits.
• Impact du SFT : L'affinage supervisé exerce l'influence la plus forte sur la performance, produisant des gains substantiels par rapport aux références zero-shot, en particulier pour les langues indiques. Par exemple, le SFT a amélioré la précision en marathi pour Qwen3-VL-4B de 26,2 % (zero-shot) à 47,8 %.
• Rôle du décodage contraint : Bien que le décodage contraint aide à la validité structurelle, il apporte des gains modestes par rapport au SFT. Cependant, combiner le SFT avec le décodage contraint produit les résultats les plus robustes.
• Tendances linguistiques : Le hindi et le bengali atteignent généralement les précisions les plus élevées, reflétant une meilleure disponibilité des ressources. Le tamoul reste le plus difficile en raison de la distance typologique et de la complexité de l'écriture, bien que le SFT apporte toujours des améliorations cohérentes.
• Évaluation humaine : Les évaluations humaines révèlent que si la conformité au format est réalisable à des échelles de calcul inférieures, un raisonnement financier haute fidélité (compréhension du domaine, interprétation du problème, correction mathématique) dépend strictement de la capacité. Les grands modèles (27B–32B) approchent des performances proches du plafond (scores de 0,9 à 1,0), tandis que les modèles plus petits (3B–4B) peinent avec la cohérence logique et l'ancrage visuel.
• Analyse des erreurs : Les petits modèles échouent fréquemment dans l'ancrage visuel et la cohérence logique. Les modèles intermédiaires (7B–12B) montrent une analyse syntaxique améliorée mais souffrent d'une exécution mathématique fragile. Seuls les modèles à grande échelle (27B–32B) démontrent une exécution robuste et de bout en bout des tâches visuelles et mathématiques.

Signification et affirmations
L'article postule qu'un raisonnement financier fiable et à haut risque dans des contextes multilingues nécessite une combinaison de capacité de modèle à grande échelle, d'alignement supervisé avec des données spécifiques au domaine et de contraintes de sortie strictes. Les auteurs affirment que FIND et FinVQA établissent un paradigme d'évaluation rigoureux pour le raisonnement financier multimodal, soulignant que les modèles actuels exhibent souvent « une fluidité sans exactitude ». Ils insistent sur le fait que si le décodage conscient des contraintes améliore la conformité au format, cela ne garantit pas l'exactitude du raisonnement, soulignant la nécessité d'une supervision humaine et les limites des modèles actuels dans la prise de décision financière prescriptive. Ce travail constitue une étape fondamentale pour combler le fossé des outils de littératie financière pour les locuteurs de langues indiques, bien que les auteurs reconnaissent des limites concernant la diversité des échantillons (dérivés de sources traduites) et l'exclusion des références propriétaires en raison de contraintes de ressources.