💬 NLP

How Good LLMs Are at Answering Bangla Medical Visual Questions? Dataset and Benchmarking

Este artículo presenta BanglaMedVQA, el primer conjunto de datos y punto de referencia clínicamente validados para la respuesta a preguntas visuales médicas en bengalí, revelando que los modelos fundacionales más avanzados actuales, incluidos Gemini y GPT-4.1 mini, tienen un rendimiento significativamente deficiente en tareas diagnósticas especializadas debido a los desafíos inherentes a los idiomas de recursos limitados y al razonamiento médico complejo.

Autores originales: Rafid Ahmed, Intesar Tahmid, Mir Sazzat Hossain, Tasnimul Hossain Tomal, Md Fahim, Md Farhad Alam Bhuiyan

Publicado 2026-05-19

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Rafid Ahmed, Intesar Tahmid, Mir Sazzat Hossain, Tasnimul Hossain Tomal, Md Fahim, Md Farhad Alam Bhuiyan

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que tienes un grupo de robots muy inteligentes y bien leídos (llamados modelos de IA) que son excelentes para mirar imágenes y responder preguntas sobre ellas. Les has enseñado a hablar inglés con fluidez, e incluso pueden describir bastante bien una imagen de un hueso roto o un tumor.

Pero, ¿qué sucede si les haces las mismas preguntas en bangla, un idioma hablado por casi 300 millones de personas? Eso es exactamente lo que investiga este artículo.

Aquí está la historia de sus hallazgos, desglosada en partes simples:

1. La pieza faltante del rompecabezas

Durante mucho tiempo, los científicos han estado probando estos robots de IA en imágenes médicas en inglés. Tienen grandes conjuntos de prueba de alta calidad para el inglés. Pero para el bangla? Casi no había nada. Existía un conjunto de datos antiguo, pero era como un rompecabezas con piezas faltantes e imágenes borrosas; nadie sabía si las respuestas eran realmente correctas o si un médico las había revisado siquiera.

Los autores de este artículo decidieron construir un conjunto de prueba nuevo y de alta calidad llamado BanglaMedVQA.

Los ingredientes: Tomaron miles de imágenes médicas (como radiografías y tomografías computarizadas) de dos bases de datos famosas y confiables en inglés.
La receta: Utilizaron una IA avanzada para traducir las preguntas y respuestas médicas al bangla.
El control de calidad: Esta es la parte más importante. No confiaron solo en la computadora. Contrataron a dos médicos reales y certificados para revisar cada pregunta y respuesta. Si los médicos decían: "No, eso está mal", lo corregían. El resultado fue un conjunto de datos con una tasa de precisión del 97%, verificado por humanos.

2. La gran prueba: ¿Qué tan inteligentes son los robots?

Los autores sometieron a los mejores robots de IA (tanto los costosos y de código cerrado como Google's Gemini y OpenAI's GPT, como los gratuitos y de código abierto) a esta nueva prueba en bangla.

Los resultados fueron sorprendentes y un poco aterradores:

Las preguntas "generales": Cuando se les preguntaba cosas simples como, "¿Qué tipo de imagen es esta?" (¿Es una radiografía o una resonancia magnética?) o "¿Qué parte del cuerpo es esta?" (¿Es un pulmón o un cerebro?), los robots lo hicieron bastante bien. Aproximadamente acertaron el 40% de las respuestas.
Las preguntas "especializadas": Cuando las preguntas se volvieron más difíciles, como "¿Qué enfermedad específica es esta?" o "¿Exactamente dónde en el pulmón está el tumor?", los robots colapsaron.
- Incluso los mejores robots (Gemini y GPT) rindieron peor que un adivinamiento aleatorio en estas preguntas difíciles. Era como si estuvieran lanzando dardos a un tablero y esperando dar en el blanco.
- Los robots gratuitos y de código abierto lo hicieron aún peor, acertando a menudo menos del 10%.

3. La barrera del idioma

Los investigadores también probaron a los robots en inglés usando las mismas preguntas.

La brecha: Los robots fueron significativamente mejores en inglés que en bangla. Es como un estudiante que tiene una A+ en la clase de inglés pero reprueba la misma prueba cuando se traduce a un idioma que apenas entiende.
La conclusión: Los robots no han sido entrenados lo suficiente con conocimientos médicos en bangla. Son aprendices de "bajos recursos" en este idioma.

4. ¿Podemos ayudarles a pensar mejor?

Los investigadores probaron un truco llamado "Cadena de pensamiento". En lugar de pedirle al robot la respuesta inmediatamente, le dijeron: "Pensemos paso a paso antes de responder".

¿Funcionó? Sí, pero solo un poco. Ayudó a los robots a razonar un poco más, especialmente a los gratuitos, pero no solucionó el problema central. Todavía tenían dificultades para identificar exactamente dónde estaba una enfermedad o qué condición específica era.
El cuello de botella: El artículo sugiere que el problema principal no es solo el idioma; es que los robots no realmente "ven" los detalles médicos en la imagen lo suficientemente bien como para explicarlos en bangla.

5. La conclusión final

Este artículo es una llamada de atención.

Estado actual: Hemos construido un conjunto de prueba de alta calidad, verificado por médicos, para la IA médica en bangla.
La realidad: Incluso los modelos de IA más avanzados de hoy no están listos para ser confiados con diagnósticos médicos complejos en bangla. Son buenos describiendo la imagen en general, pero fallan en la tarea crítica de diagnosticar al paciente.
El futuro: Necesitamos construir mejores modelos y entrenarlos específicamente con datos médicos en bangla antes de poder usarlos en un hospital real.

En resumen: Los robots son como estudiantes de medicina que han memorizado un libro de texto en inglés pero actualmente están reprobando su examen final cuando se les pide diagnosticar a un paciente en bangla. Hemos creado el examen (el conjunto de datos) para demostrar esto, y las calificaciones muestran que tenemos un largo camino por recorrer.

Resumen Técnico: BanglaMedVQA – Evaluación de Modelos Grandes de Visión y Lenguaje en la Respuesta a Preguntas Visuales Médicas en Bangla

Planteamiento del Problema
A pesar del rápido avance de los Modelos Grandes de Lenguaje (LLM) y los Modelos Grandes de Visión y Lenguaje (LVLM) en dominios generales y médicos, existe una brecha crítica para las lenguas de recursos limitados. Si bien la Respuesta a Preguntas Visuales Médicas en inglés (MedVQA) ha establecido puntos de referencia, el bangla —la séptima lengua más hablada a nivel mundial con aproximadamente 278 millones de hablantes— carece de un conjunto de datos MedVQA fiable y validado clínicamente. Los recursos existentes, como el único conjunto de datos disponible públicamente (Remon 2025), adolecen de errores de anotación, falta de validación por expertos y ausencia de metadatos de origen, lo que los hace inadecuados para una evaluación rigurosa. En consecuencia, el rendimiento de los modelos fundamentales en el razonamiento médico en bangla permanece sin cuantificar y probablemente comprometido por la ausencia de datos de entrenamiento y evaluación de alta calidad.

Metodología
Para abordar esto, los autores presentan BanglaMedVQA, un nuevo conjunto de datos y marco de evaluación. La metodología implica tres fases principales:

Curación de Datos:
- Datos de Origen: El conjunto de datos se construyó aprovechando dos conjuntos de datos biomédicos establecidos: MedICaT (Subramanian et al. 2020) para metadatos detallados sobre condiciones y posiciones incrustados en las descripciones, y ChestX-ray14 (Wang et al. 2017) para metadatos estructurados y anotaciones de cajas delimitadoras.
- Pipeline de Generación: Se empleó un pipeline de dos etapas. Primero, se extrajo o generó metadatos (modalidad, órgano, hallazgos, posición). Luego, Gemini-2.5-flash se utilizó con prompting de pocos ejemplos (few-shot) para generar pares de Preguntas-Respuestas (QA) en inglés. Estos se tradujeron posteriormente al bangla utilizando Gemini-2.0-flash.
- Validación por Expertos: Un subconjunto de 500 pares de preguntas y respuestas fue sometido a una verificación rigurosa por dos médicos certificados. La validación se centró en la calidad multilingüe (precisión de los términos técnicos) y la consistencia posicional (alineación del texto con las regiones visuales). Este proceso arrojó una tasa de aceptación del 97% y un $\kappa$ de Cohen de 0.89, confirmando la fiabilidad del conjunto de datos.
- Conjunto de Datos Final: El conjunto de datos resultante contiene 2.000 pares únicos de imagen-pregunta-respuesta, equilibrados entre las fuentes Chest X-Ray y MedICaT, que abarcan cinco categorías: modalidad, órgano, anomalía, condición y posición.
Configuración de la Evaluación:
- Modelos Evaluados: El estudio evaluó sistemáticamente ocho LVLM, incluyendo modelos de código cerrado (Gemini 2.5 Flash, GPT-4.1 mini), modelos de propósito general de código abierto (Llama-3.2V, Gemma-3, Qwen2.5-VL, LLaVA-1.5) y modelos específicos médicos de código abierto (Med-LLaVA, Med-Gemma).
- Estrategias de Prompting: Los experimentos se realizaron bajo condiciones de prompting Zero-Shot y Cadena de Pensamiento (CoT). El prompting CoT implicó añadir "Pensemos paso a paso" para fomentar el razonamiento intermedio.
- Comparación Cross-lingüística: Para aislar los efectos del idioma, los mismos modelos se probaron en los pares originales de preguntas y respuestas en inglés junto con las traducciones al bangla.
Métricas de Evaluación:
- Precisión (Acc): Proporción de coincidencia exacta.
- BERTScore (BScore): Similitud semántica utilizando incrustaciones contextuales.
- LAVE (Evaluación de VQA Asistida por LLM): Una métrica diseñada para proporcionar una evaluación de rendimiento más fiable en tareas de VQA.

Resultados Clave
La evaluación revela desafíos significativos para los modelos actuales en el dominio médico en bangla:

Rendimiento General: Incluso los modelos de código cerrado de mejor rendimiento luchan. Gemini 2.5 Flash logró las puntuaciones LAVE generales más altas (55.44% en Bangla Zero-Shot), mientras que GPT-4.1 mini tuvo un rendimiento significativamente peor (38.60%). Los modelos de código abierto generalmente se quedaron atrás, con Gemma-3 12B liderando la categoría de código abierto (46.54% LAVE).
Preguntas Especializadas vs. Generales: Existe una disparidad crítica entre las preguntas generales (por ejemplo, identificar la modalidad o el órgano) y las preguntas diagnósticas especializadas (por ejemplo, identificar condiciones específicas o posiciones anatómicas precisas).
- En tareas especializadas, el rendimiento cae precipitadamente. Por ejemplo, bajo prompting CoT en bangla, Gemini 2.5 alcanzó solo 23.25% en "Condición" y 24.50% en "Posición".
- GPT-4.1 mini tuvo un rendimiento cercano al azar aleatorio en estas categorías especializadas (13% y 19.50%, respectivamente).
Disparidad Lingüística: El rendimiento en bangla es consistentemente inferior al del inglés en todos los modelos. Los modelos de código cerrado demostraron una mejor transferencia cross-lingüística, pero los modelos de código abierto y específicos médicos mostraron una degradación severa en bangla, a menudo cayendo por debajo del 10% de precisión.
Impacto de CoT: El prompting de Cadena de Pensamiento proporcionó mejoras consistentes, aunque modestas, particularmente para modelos de código abierto (por ejemplo, la precisión de Llama-3.2V aumentó del 17.50% al 30.17% en bangla). Sin embargo, no cerró la brecha hacia la fiabilidad clínica para tareas especializadas.
Modelos Específicos Médicos: Sorprendentemente, los VLM de dominio médico (Med-LLaVA, Med-Gemma) tuvieron un rendimiento inferior en comparación con los modelos de propósito general en el contexto bangla, probablemente debido a una adaptación multilingüe limitada.

Significado y Contribuciones
El artículo hace tres contribuciones principales:

Introducción del Conjunto de Datos: Presenta BanglaMedVQA, el primer conjunto de datos MedVQA validado clínicamente para el bangla, abordando la escasez de recursos de alta calidad para lenguas de recursos limitados en la IA médica.
Evaluación Exhaustiva: Proporciona la primera evaluación sistemática tanto de LVLM de código abierto como de código cerrado en tareas médicas en bangla, estableciendo líneas base zero-shot y CoT.
Hallazgos Críticos: El estudio destaca que los modelos fundamentales actuales, incluso los más avanzados, carecen de las capacidades de razonamiento fino requeridas para el diagnóstico médico especializado en lenguas de recursos limitados. Los resultados subrayan que, si bien los modelos pueden manejar consultas visuales generales, fallan significativamente en el razonamiento diagnóstico, a menudo desempeñándose cerca de una adivinanza aleatoria en consultas sobre condiciones y posiciones.

Los autores concluyen que, si bien los modelos fundamentales muestran promesa en dominios generales, su aplicación en contextos médicos en bangla está actualmente limitada por una comprensión visual insuficiente y un anclaje lingüístico deficiente. El artículo enfatiza la necesidad urgente de métodos de evaluación de primer nivel y conjuntos de datos robustos para impulsar el progreso futuro en esta área desatendida, advirtiendo que los modelos actuales aún no están listos para la toma de decisiones clínicas en bangla.