💬 NLP

How Good LLMs Are at Answering Bangla Medical Visual Questions? Dataset and Benchmarking

Ce papier présente BanglaMedVQA, le premier jeu de données et benchmark cliniquement validés pour le questionnement visuel médical en bengali, révélant que les modèles de base les plus avancés actuels, y compris Gemini et GPT-4.1 mini, présentent des performances nettement insuffisantes sur des tâches diagnostiques spécialisées en raison des défis inhérents aux langues peu dotées en ressources et au raisonnement médical complexe.

Auteurs originaux : Rafid Ahmed, Intesar Tahmid, Mir Sazzat Hossain, Tasnimul Hossain Tomal, Md Fahim, Md Farhad Alam Bhuiyan

Publié 2026-05-19

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Rafid Ahmed, Intesar Tahmid, Mir Sazzat Hossain, Tasnimul Hossain Tomal, Md Fahim, Md Farhad Alam Bhuiyan

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous avez un groupe de robots très intelligents et bien informés (appelés modèles d'IA) qui sont excellents pour regarder des images et répondre à des questions les concernant. Vous leur avez appris à parler couramment anglais, et ils peuvent même décrire une image d'os cassé ou de tumeur de manière assez précise.

Mais que se passe-t-il si vous leur posez les mêmes questions en bangla, une langue parlée par près de 300 millions de personnes ? C'est exactement ce que cet article examine.

Voici l'histoire de leurs découvertes, décomposée en parties simples :

1. La pièce manquante du puzzle

Pendant longtemps, les scientifiques ont testé ces robots d'IA sur des images médicales en anglais. Ils disposent de grands ensembles de test de haute qualité pour l'anglais. Mais pour le bangla ? Il n'y avait presque rien. Il existait un ancien jeu de données, mais il ressemblait à un puzzle avec des pièces manquantes et des images floues — personne ne savait si les réponses étaient réellement correctes ou si un médecin les avait même vérifiées.

Les auteurs de cet article ont décidé de construire un nouveau jeu de test de haute qualité appelé BanglaMedVQA.

Les ingrédients : Ils ont pris des milliers d'images médicales (comme des radiographies et des scanners) provenant de deux bases de données anglaises célèbres et fiables.
La recette : Ils ont utilisé une IA avancée pour traduire les questions et réponses médicales en bangla.
Le contrôle qualité : C'est la partie la plus importante. Ils n'ont pas fait confiance uniquement à l'ordinateur. Ils ont engagé deux médecins réels et certifiés pour vérifier chaque question et chaque réponse. Si les médecins disaient : « Non, c'est faux », ils le corrigeaient. Le résultat fut un jeu de données avec un taux de précision de 97 %, vérifié par des humains.

2. Le grand test : À quel point les robots sont-ils intelligents ?

Les auteurs ont soumis les meilleurs robots d'IA (à la fois les modèles propriétaires coûteux comme Gemini de Google et GPT d'OpenAI, et les modèles gratuits et open source) à ce nouveau test en bangla.

Les résultats furent surprenants et un peu effrayants :

Les questions « générales » : Lorsqu'on leur posait des questions simples comme « De quel type d'image s'agit-il ? » (Est-ce une radiographie ou une IRM ?) ou « Quelle partie du corps est-ce ? » (Est-ce un poumon ou un cerveau ?), les robots s'en sont plutôt bien sortis. Ils ont obtenu environ 40 % de bonnes réponses.
Les questions « spécialisées » : Lorsque les questions devenaient plus difficiles — comme « Quelle maladie spécifique est-ce ? » ou « Où exactement dans le poumon se trouve la tumeur ? » — les robots s'effondraient.
- Même les meilleurs robots (Gemini et GPT) ont obtenu de moins bons résultats qu'un tirage au sort sur ces questions difficiles. C'était comme s'ils lançaient des fléchettes au hasard sur une cible en espérant toucher le centre.
- Les robots gratuits et open source ont fait encore pire, obtenant souvent moins de 10 % de bonnes réponses.

3. La barrière linguistique

Les chercheurs ont également testé les robots en anglais en utilisant les mêmes questions.

L'écart : Les robots étaient nettement meilleurs en anglais qu'en bangla. C'est comme un étudiant qui obtient la note maximale en cours d'anglais mais échoue au même examen lorsqu'il est traduit dans une langue qu'il comprend à peine.
La conclusion : Les robots n'ont pas été suffisamment entraînés sur les connaissances médicales en bangla. Ce sont des apprenants « à ressources limitées » dans cette langue.

4. Pouvons-nous les aider à mieux réfléchir ?

Les chercheurs ont essayé une astuce appelée « chaîne de pensée ». Au lieu de demander immédiatement la réponse au robot, ils lui ont dit : « Réfléchissons étape par étape avant de répondre. »

Cela a-t-il fonctionné ? Oui, mais seulement un peu. Cela a aidé les robots à raisonner un peu plus, en particulier les modèles gratuits, mais cela n'a pas résolu le problème fondamental. Ils continuaient à avoir du mal à identifier exactement où se trouvait une maladie ou quelle était la condition spécifique.
Le goulot d'étranglement : L'article suggère que le problème principal n'est pas seulement la langue ; c'est que les robots ne « voient » pas vraiment les détails médicaux dans l'image assez bien pour les expliquer en bangla.

5. Le fond du problème

Cet article est un signal d'alarme.

État actuel : Nous avons construit un jeu de test de haute qualité, vérifié par des médecins, pour l'IA médicale en bangla.
La réalité : Même les modèles d'IA les plus avancés aujourd'hui ne sont pas prêts à être confiés des diagnostics médicaux complexes en bangla. Ils sont bons pour décrire l'image en général, mais ils échouent dans la tâche critique de diagnostiquer le patient.
L'avenir : Nous devons construire de meilleurs modèles et les entraîner spécifiquement sur des données médicales en bangla avant de pouvoir jamais les utiliser dans un véritable hôpital.

En bref : Les robots sont comme des étudiants en médecine qui ont mémorisé un manuel en anglais mais échouent actuellement à leur examen final lorsqu'on leur demande de diagnostiquer un patient en bangla. Nous avons créé le sujet d'examen (le jeu de données) pour le prouver, et les scores montrent que nous avons encore un long chemin à parcourir.

Résumé Technique : BanglaMedVQA – Évaluation des Modèles de Langage-Vision à Grande Échelle sur le Répondre aux Questions Visuelles Médicales en Bangla

Énoncé du Problème
Malgré les progrès rapides des Modèles de Langage à Grande Échelle (LLM) et des Modèles de Langage-Vision à Grande Échelle (LVLM) dans les domaines général et médical, un écart critique persiste pour les langues à ressources limitées. Alors que le Répondre aux Questions Visuelles Médicales (MedVQA) en anglais dispose de benchmarks établis, le bangla – septième langue la plus parlée au monde avec environ 278 millions de locuteurs – manque d'un ensemble de données MedVQA fiable et validé cliniquement. Les ressources existantes, telles que le seul ensemble de données disponible publiquement (Remon 2025), souffrent d'erreurs d'annotation, d'un manque de validation par des experts et de métadonnées sources manquantes, les rendant inadaptées à une évaluation rigoureuse. Par conséquent, la performance des modèles de base dans le raisonnement médical en bangla reste non quantifiée et probablement compromise par l'absence de données d'entraînement et d'évaluation de haute qualité.

Méthodologie
Pour y remédier, les auteurs présentent BanglaMedVQA, un nouvel ensemble de données et un cadre d'évaluation. La méthodologie comprend trois phases principales :

Curration des Données :
- Données Sources : L'ensemble de données a été construit en exploitant deux ensembles de données biomédicaux établis : MedICaT (Subramanian et al. 2020) pour les métadonnées détaillées sur les conditions et la position intégrées dans les légendes, et ChestX-ray14 (Wang et al. 2017) pour les métadonnées structurées et les annotations de boîtes englobantes.
- Pipeline de Génération : Un pipeline en deux étapes a été employé. Premièrement, les métadonnées (modalité, organe, constatations, position) ont été extraites ou générées. Ensuite, Gemini-2.5-flash a été utilisé avec une approche de few-shot prompting pour générer des paires Question-Réponse (QA) en anglais. Celles-ci ont ensuite été traduites en bangla à l'aide de Gemini-2.0-flash.
- Validation par des Experts : Un sous-ensemble de 500 paires QA a fait l'objet d'une vérification rigoureuse par deux médecins certifiés. La validation s'est concentrée sur la qualité multilingue (précision des termes techniques) et la cohérence positionnelle (alignement du texte avec les régions visuelles). Ce processus a abouti à un taux d'acceptation de 97 % et un coefficient $\kappa$ de Cohen de 0,89, confirmant la fiabilité de l'ensemble de données.
- Ensemble de Données Final : L'ensemble de données résultant contient 2 000 paires uniques image-question-réponse, équilibrées entre les sources Chest X-Ray et MedICaT, couvrant cinq catégories : modalité, organe, anomalie, condition et position.
Configuration de l'Évaluation :
- Modèles Évalués : L'étude a évalué systématiquement huit LVLM, incluant des modèles propriétaires (Gemini 2.5 Flash, GPT-4.1 mini), des modèles open-source à usage général (Llama-3.2V, Gemma-3, Qwen2.5-VL, LLaVA-1.5) et des modèles open-source spécifiques au médical (Med-LLaVA, Med-Gemma).
- Stratégies de Prompting : Les expériences ont été menées dans des conditions de prompting Zero-Shot et Chain-of-Thought (CoT). Le prompting CoT consistait à ajouter « Let's think step by step » (Réfléchissons étape par étape) pour encourager un raisonnement intermédiaire.
- Comparaison Cross-Linguistique : Pour isoler les effets linguistiques, les mêmes modèles ont été testés sur les paires QA originales en anglais ainsi que sur leurs traductions en bangla.
Métriques d'Évaluation :
- Précision (Acc) : Proportion de correspondances exactes.
- BERTScore (BScore) : Similarité sémantique utilisant des plongements contextuels.
- LAVE (LLM-Assisted VQA Evaluation) : Une métrique conçue pour fournir une évaluation de performance plus fiable dans les tâches de VQA.

Résultats Clés
L'évaluation révèle des défis significatifs pour les modèles actuels dans le domaine médical en bangla :

Performance Globale : Même les modèles propriétaires les plus performants peinent. Gemini 2.5 Flash a obtenu les scores LAVE globaux les plus élevés (55,44 % en Bangla Zero-Shot), tandis que GPT-4.1 mini a nettement moins bien performé (38,60 %). Les modèles open-source ont généralement pris du retard, Gemma-3 12B menant la catégorie open-source (46,54 % LAVE).
Questions Spécialisées vs Générales : Une disparité critique existe entre les questions générales (par exemple, identifier la modalité ou l'organe) et les questions diagnostiques spécialisées (par exemple, identifier des conditions spécifiques ou des positions anatomiques précises).
- Sur les tâches spécialisées, la performance chute précipitamment. Par exemple, sous prompting CoT en bangla, Gemini 2.5 n'a obtenu que 23,25 % sur « Condition » et 24,50 % sur « Position ».
- GPT-4.1 mini a performé près du hasard sur ces catégories spécialisées (13 % et 19,50 % respectivement).
Disparité Linguistique : La performance en bangla est systématiquement inférieure à celle en anglais pour tous les modèles. Les modèles propriétaires ont démontré un meilleur transfert cross-linguistique, mais les modèles open-source et spécifiques au médical ont montré une dégradation sévère en bangla, tombant souvent en dessous de 10 % de précision.
Impact du CoT : Le prompting Chain-of-Thought a apporté des améliorations constantes, bien que modestes, en particulier pour les modèles open-source (par exemple, la précision de Llama-3.2V est passée de 17,50 % à 30,17 % en bangla). Cependant, il n'a pas comblé l'écart vers une fiabilité clinique pour les tâches spécialisées.
Modèles Spécifiques au Médical : De manière surprenante, les VLM du domaine médical (Med-LLaVA, Med-Gemma) ont sous-performé par rapport aux modèles à usage général dans le contexte bangla, probablement en raison d'une adaptation multilingue limitée.

Signification et Contributions
L'article apporte trois contributions principales :

Présentation de l'Ensemble de Données : Il présente BanglaMedVQA, le premier ensemble de données MedVQA validé cliniquement pour le bangla, répondant à la pénurie de ressources de haute qualité pour les langues à ressources limitées dans l'IA médicale.
Évaluation Complète : Il fournit la première évaluation systématique des LVLM open-source et propriétaires sur des tâches médicales en bangla, établissant des références zero-shot et CoT.
Constats Critiques : L'étude souligne que les modèles de base actuels, même les plus avancés, manquent des capacités de raisonnement granulaire requises pour le diagnostic médical spécialisé dans les langues à ressources limitées. Les résultats soulignent que si les modèles peuvent gérer des requêtes visuelles générales, ils échouent significativement dans le raisonnement diagnostique, performant souvent près du hasard aléatoire sur les requêtes de condition et de position.

Les auteurs concluent que si les modèles de base montrent des promesses dans les domaines généraux, leur application dans les contextes médicaux en bangla est actuellement limitée par une compréhension visuelle insuffisante et un ancrage linguistique faible. L'article met l'accent sur le besoin urgent de méthodes d'évaluation de premier ordre et d'ensembles de données robustes pour stimuler les progrès futurs dans ce domaine sous-desservi, en avertissant que les modèles actuels ne sont pas encore prêts pour la prise de décision clinique en bangla.