💬 NLP

How Good LLMs Are at Answering Bangla Medical Visual Questions? Dataset and Benchmarking

Dit artikel introduceert BanglaMedVQA, de eerste klinisch gevalideerde dataset en benchmark voor medisch visueel vraag-antwoord in het Bengaals, en onthult dat huidige state-of-the-art fundamentele modellen, waaronder Gemini en GPT-4.1 mini, significant slecht presteren op gespecialiseerde diagnostische taken vanwege uitdagingen die inherent zijn aan talen met beperkte middelen en complex medisch redeneren.

Oorspronkelijke auteurs: Rafid Ahmed, Intesar Tahmid, Mir Sazzat Hossain, Tasnimul Hossain Tomal, Md Fahim, Md Farhad Alam Bhuiyan

Gepubliceerd 2026-05-19

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Rafid Ahmed, Intesar Tahmid, Mir Sazzat Hossain, Tasnimul Hossain Tomal, Md Fahim, Md Farhad Alam Bhuiyan

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een groep zeer slimme, goed gelezen robots hebt (zogenaamde AI-modellen) die uitstekend zijn in het bekijken van afbeeldingen en het beantwoorden van vragen daarover. Je hebt ze geleerd vloeiend Engels te spreken, en ze kunnen zelfs een afbeelding van een gebroken bot of een tumor vrij goed beschrijven.

Maar wat gebeurt er als je ze dezelfde vragen stelt in het Bengaals, een taal die door bijna 300 miljoen mensen wordt gesproken? Dat is precies wat dit artikel onderzoekt.

Hier is het verhaal van hun bevindingen, opgesplitst in eenvoudige onderdelen:

1. Het ontbrekende puzzelstuk

Lange tijd hebben wetenschappers deze AI-robots getest op medische afbeeldingen in het Engels. Ze hebben grote, hoogwaardige testsets voor het Engels. Maar voor het Bengaals? Er was bijna niets. Er was één oud dataset, maar het was als een puzzel met ontbrekende stukken en wazige afbeeldingen – niemand wist of de antwoorden eigenlijk wel correct waren of of een arts ze zelfs had gecontroleerd.

De auteurs van dit artikel besloten een brandnieuw, hoogwaardig testset te bouwen genaamd BanglaMedVQA.

De ingrediënten: Ze namen duizenden medische afbeeldingen (zoals röntgenfoto's en CT-scans) uit twee beroemde, vertrouwde Engelse databases.
Het recept: Ze gebruikten geavanceerde AI om de medische vragen en antwoorden naar het Bengaals te vertalen.
De kwaliteitscontrole: Dit is het belangrijkste deel. Ze vertrouwden niet zomaar op de computer. Ze huurden twee echte, gecertificeerde artsen in om elke enkele vraag en elk antwoord te controleren. Als de artsen zeiden: "Nee, dat is fout", dan werd het gecorrigeerd. Het resultaat was een dataset met een nauwkeurigheidspercentage van 97%, geverifieerd door mensen.

2. De grote test: Hoe slim zijn de robots?

De auteurs legden de top AI-robots (zowel de dure, gesloten bronnen zoals Google's Gemini en OpenAI's GPT, als de gratis, open-source modellen) deze nieuwe Bengaalse test voor.

De resultaten waren verrassend en een beetje eng:

De "algemene" vragen: Wanneer ze om eenvoudige dingen werden gevraagd, zoals: "Wat voor soort afbeelding is dit?" (Is het een röntgenfoto of een MRI?) of "Welk lichaamsdeel is dit?" (Is het een long of een hersenen?), deden de robots het redelijk. Ze hadden ongeveer 40% van de antwoorden goed.
De "specialistische" vragen: Wanneer de vragen moeilijker werden – zoals: "Welke specifieke ziekte is dit?" of "Precies waar in de long zit de tumor?" – crashten de robots.
- Zelfs de beste robots (Gemini en GPT) scoorden slechter dan willekeurig gokken op deze moeilijke vragen. Het was alsof ze gewoon darten op een bord en hoopten de bullseye te raken.
- De gratis, open-source robots deden het nog slechter, vaak met minder dan 10% goede antwoorden.

3. De taalbarrière

De onderzoekers testten de robots ook in het Engels met dezelfde vragen.

Het gat: De robots waren aanzienlijk beter in het Engels dan in het Bengaals. Het is als een student die een A+ haalt in de Engelse les, maar faalt bij dezelfde test wanneer deze is vertaald naar een taal die ze nauwelijks begrijpen.
De les: De robots zijn niet voldoende getraind op medische kennis in het Bengaals. Ze zijn "low-resource" leerlingen in deze taal.

4. Kunnen we hen helpen beter na te denken?

De onderzoekers probeerden een truc genaamd "Chain-of-Thought". In plaats van de robot direct om het antwoord te vragen, zeiden ze tegen hem: "Laten we stap voor stap nadenken voordat je antwoordt."

Werkte het? Ja, maar slechts een beetje. Het hielp de robots iets meer te redeneren, vooral de gratis modellen, maar het loste het kernprobleem niet op. Ze hadden nog steeds moeite om precies aan te geven waar een ziekte zat of wat de specifieke aandoening was.
De bottleneck: Het artikel suggereert dat het hoofdprobleem niet alleen de taal is; het is dat de robots de medische details in de afbeelding niet echt goed genoeg "zien" om ze in het Bengaals uit te leggen.

5. De bottom line

Dit artikel is een wake-up call.

Huidige status: We hebben een hoogwaardig, door artsen geverifieerd testset voor Bengaalse medische AI gebouwd.
De realiteit: Zelfs de meest geavanceerde AI-modellen van vandaag zijn niet klaar om te worden vertrouwd met complexe medische diagnoses in het Bengaals. Ze zijn goed in het algemeen beschrijven van de afbeelding, maar ze falen in de kritieke taak om de patiënt te diagnosticeren.
De toekomst: We moeten betere modellen bouwen en ze specifiek trainen op medische data in het Bengaals voordat we ze ooit in een echt ziekenhuis kunnen gebruiken.

Kortom: De robots zijn als medische studenten die een handboek in het Engels hebben uit het hoofd geleerd, maar momenteel zakken voor hun eindexamen wanneer ze worden gevraagd een patiënt te diagnosticeren in het Bengaals. We hebben het examenpapier (het dataset) gemaakt om dit te bewijzen, en de scores tonen aan dat we nog een lange weg te gaan hebben.

Technische Samenvatting: BanglaMedVQA – Benchmarken van Grote Visueel-Taalmodellen op Bangla Medische Visuele Vraagbeantwoording

Probleemstelling
Ondanks de snelle vooruitgang van Grote Taalmodellen (LLMs) en Grote Visueel-Taalmodellen (LVLMs) in algemene en medische domeinen, bestaat er een kritieke kloof voor talen met weinig bronnen. Waar Engelstalige Medische Visuele Vraagbeantwoording (MedVQA) gevestigde benchmarks heeft, mist het Bangla – de op zes na meest gesproken taal ter wereld met ongeveer 278 miljoen sprekers – een betrouwbare, klinisch gevalideerde MedVQA-dataset. Bestaande bronnen, zoals de enige publiek beschikbare dataset (Remon 2025), lijden aan annotatiefouten, gebrek aan expertvalidatie en ontbrekende bronmetadata, waardoor ze ongeschikt zijn voor rigoureuze benchmarking. Bijgevolg blijft de prestatie van fundamentele modellen in Bangla medisch redeneren ongekwantificeerd en waarschijnlijk gecompromitteerd door het ontbreken van hoogwaardige trainings- en evaluatiegegevens.

Methodologie
Om dit aan te pakken, introduceren de auteurs BanglaMedVQA, een nieuwe dataset en benchmarkkader. De methodologie omvat drie hoofdfasen:

Datacuratie:
- Brondata: De dataset is samengesteld door gebruik te maken van twee gevestigde biomedische datasets: MedICaT (Subramanian et al. 2020) voor gedetailleerde conditie- en positie-metadata ingebed in bijschriften, en ChestX-ray14 (Wang et al. 2017) voor gestructureerde metadata en annotaties met omhullende dozen.
- Generatiepijplijn: Er werd een tweestapspijplijn toegepast. Eerst werd metadata (modaliteit, orgaan, bevindingen, positie) geëxtraheerd of gegenereerd. Vervolgens werd Gemini-2.5-flash gebruikt met few-shot prompting om Engelstalige Vraag-Antwoord (QA) paren te genereren. Deze werden nadien vertaald naar het Bangla met Gemini-2.0-flash.
- Expertvalidatie: Een subset van 500 QA-paren onderging een rigoureuze verificatie door twee gecertificeerde artsen. De validatie richtte zich op meertalige kwaliteit (nauwkeurigheid van technische termen) en positionele consistentie (uitlijning van tekst met visuele regio's). Dit proces resulteerde in een acceptatiepercentage van 97% en een Cohen's $\kappa$ van 0,89, wat de betrouwbaarheid van de dataset bevestigt.
- Einddataset: De resulterende dataset bevat 2.000 unieke afbeelding-vraag-antwoordparen, gebalanceerd tussen Chest X-Ray- en MedICaT-bronnen, en omvat vijf categorieën: modaliteit, orgaan, afwijking, conditie en positie.
Benchmarkopstelling:
- Geëvalueerde Modellen: De studie evalueerde systematisch acht LVLM's, waaronder gesloten-bronmodellen (Gemini 2.5 Flash, GPT-4.1 mini), open-source algemene modellen (Llama-3.2V, Gemma-3, Qwen2.5-VL, LLaVA-1.5) en open-source medisch specifieke modellen (Med-LLaVA, Med-Gemma).
- Promptstrategieën: Experimenten werden uitgevoerd onder Zero-Shot en Chain-of-Thought (CoT) prompting-omstandigheden. CoT-prompting hield in dat "Let's think step by step" werd toegevoegd om intermediair redeneren te stimuleren.
- Taaloverstijgende Vergelijking: Om taaleffecten te isoleren, werden dezelfde modellen getest op de originele Engelstalige QA-paren naast de Bangla-vertalingen.
Evaluatiemetrieken:
- Nauwkeurigheid (Acc): Exacte overeenkomstverhouding.
- BERTScore (BScore): Semantische gelijkenis met behulp van contextuele embeddings.
- LAVE (LLM-Assisted VQA Evaluation): Een metriek ontworpen om een betrouwbaardere prestatiebeoordeling te bieden bij VQA-taken.

Belangrijkste Resultaten
De evaluatie blootlegt aanzienlijke uitdagingen voor huidige modellen in het Bangla-medische domein:

Algemene Prestaties: Zelfs de best presterende gesloten-bronmodellen worstelen. Gemini 2.5 Flash behaalde de hoogste algehele LAVE-scores (55,44% in Bangla Zero-Shot), terwijl GPT-4.1 mini aanzienlijk slechter presteerde (38,60%). Open-source modellen bleven over het algemeen achter, met Gemma-3 12B als leider in de open-source categorie (46,54% LAVE).
Gespecialiseerde versus Algemene Vragen: Er bestaat een kritieke discrepantie tussen algemene vragen (bijv. het identificeren van modaliteit of orgaan) en gespecialiseerde diagnostische vragen (bijv. het identificeren van specifieke condities of precieze anatomische posities).
- Bij gespecialiseerde taken daalt de prestatie drastisch. Bijvoorbeeld, onder CoT-prompting in het Bangla behaalde Gemini 2.5 slechts 23,25% op "Conditie" en 24,50% op "Positie".
- GPT-4.1 mini presteerde bij deze gespecialiseerde categorieën dicht bij een willekeurig giswerk (respectievelijk 13% en 19,50%).
Taaldispariteit: De prestaties in het Bangla zijn consistent lager dan in het Engels voor alle modellen. Gesloten-bronmodellen toonden een betere taaloverstijgende overdracht, maar open-source en medisch specifieke modellen vertoonden een ernstige degradatie in het Bangla, vaak dalend onder de 10% nauwkeurigheid.
Invloed van CoT: Chain-of-Thought prompting bood consistente, zij het bescheiden, verbeteringen, vooral voor open-source modellen (bijv. de nauwkeurigheid van Llama-3.2V steeg van 17,50% naar 30,17% in het Bangla). Het bracht echter niet de kloof naar klinische betrouwbaarheid voor gespecialiseerde taken over.
Medisch Specifieke Modellen: Verrassend presteerden medische domein-VLM's (Med-LLaVA, Med-Gemma) slechter dan algemene modellen in de Bangla-context, waarschijnlijk door beperkte meertalige adaptatie.

Betekenis en Bijdragen
Het artikel levert drie hoofdbijdragen:

Introductie Dataset: Het presenteert BanglaMedVQA, de eerste klinisch gevalideerde MedVQA-dataset voor het Bangla, waarmee de schaarste aan hoogwaardige bronnen voor talen met weinig bronnen in medische AI wordt aangepakt.
Uitgebreide Benchmarking: Het biedt de eerste systematische evaluatie van zowel open-source als gesloten-bron LVLM's op Bangla-medische taken, waarbij Zero-shot en CoT-baselines worden vastgesteld.
Kritieke Bevindingen: De studie benadrukt dat huidige fundamentele modellen, zelfs de meest geavanceerde, de fijnmazige redeneervermogen missen die vereist zijn voor gespecialiseerde medische diagnose in talen met weinig bronnen. De resultaten onderstrepen dat hoewel modellen algemene visuele queries kunnen afhandelen, ze significant falen in diagnostisch redeneren, vaak presterend dicht bij willekeurig giswerk bij conditie- en positievragen.

De auteurs concluderen dat hoewel fundamentele modellen veelbelovend zijn in algemene domeinen, hun toepassing in Bangla-medische contexten momenteel beperkt wordt door onvoldoende visueel begrip en linguïstische onderbouwing. Het artikel benadrukt de dringende behoefte aan topkwaliteit evaluatiemethoden en robuuste datasets om toekomstige vooruitgang in dit onderbediende gebied te stimuleren, met de waarschuwing dat huidige modellen nog niet klaar zijn voor klinische besluitvorming in het Bangla.