How Good LLMs Are at Answering Bangla Medical Visual Questions? Dataset and Benchmarking

Resumo Técnico: BanglaMedVQA – Avaliação de Modelos Grandes de Visão e Linguagem em Resposta a Perguntas Visuais Médicas em Bangla

Declaração do Problema
Apesar do avanço rápido dos Modelos de Linguagem Grandes (LLMs) e dos Modelos Grandes de Visão e Linguagem (LVLMs) nos domínios geral e médico, existe uma lacuna crítica para idiomas de baixos recursos. Embora a Resposta a Perguntas Visuais Médicas (MedVQA) em inglês tenha benchmarks estabelecidos, o Bangla—o sétimo idioma mais falado globalmente, com aproximadamente 278 milhões de falantes—carece de um conjunto de dados MedVQA confiável e validado clinicamente. Recursos existentes, como o único conjunto de dados publicamente disponível (Remon 2025), sofrem com erros de anotação, falta de validação por especialistas e metadados de origem ausentes, tornando-os inadequados para avaliação rigorosa. Consequentemente, o desempenho de modelos fundamentais no raciocínio médico em Bangla permanece não quantificado e provavelmente comprometido pela ausência de dados de treinamento e avaliação de alta qualidade.

Metodologia
Para abordar isso, os autores introduzem o BanglaMedVQA, um novo conjunto de dados e framework de avaliação. A metodologia envolve três fases principais:

1. Curadoria de Dados:

   • Dados de Origem: O conjunto de dados foi construído aproveitando dois conjuntos de dados biomédicos estabelecidos: MedICaT (Subramanian et al. 2020) para metadados detalhados de condição e posição embutidos nas legendas, e ChestX-ray14 (Wang et al. 2017) para metadados estruturados e anotações de caixas delimitadoras.
   • Pipeline de Geração: Um pipeline de duas etapas foi empregado. Primeiro, metadados (modalidade, órgão, achados, posição) foram extraídos ou gerados. Em seguida, o Gemini-2.5-flash foi utilizado com prompting de poucos exemplos (few-shot) para gerar pares de Pergunta-Resposta (QA) em inglês. Estes foram subsequentemente traduzidos para Bangla usando o Gemini-2.0-flash.
   • Validação por Especialistas: Um subconjunto de 500 pares QA passou por verificação rigorosa por dois médicos certificados. A validação focou na qualidade multilíngue (precisão de termos técnicos) e na consistência posicional (alinhamento do texto com regiões visuais). Este processo resultou em uma taxa de aceitação de 97% e um $\kappa$ de Cohen de 0,89, confirmando a confiabilidade do conjunto de dados.
   • Conjunto de Dados Final: O conjunto de dados resultante contém 2.000 pares únicos imagem-pergunta-resposta, equilibrados entre as fontes Chest X-Ray e MedICaT, cobrindo cinco categorias: modalidade, órgão, anormalidade, condição e posição.

2. Configuração de Avaliação:

   • Modelos Avaliados: O estudo avaliou sistematicamente oito LVLMs, incluindo modelos de código fechado (Gemini 2.5 Flash, GPT-4.1 mini), modelos de código aberto de propósito geral (Llama-3.2V, Gemma-3, Qwen2.5-VL, LLaVA-1.5) e modelos de código aberto específicos para medicina (Med-LLaVA, Med-Gemma).
   • Estratégias de Prompting: Experimentos foram conduzidos sob condições de prompting Zero-Shot e Cadeia de Pensamento (CoT). O prompting CoT envolveu o acréscimo de "Vamos pensar passo a passo" para incentivar o raciocínio intermediário.
   • Comparação Cross-Linguística: Para isolar efeitos linguísticos, os mesmos modelos foram testados nos pares QA originais em inglês ao lado das traduções em Bangla.

3. Métricas de Avaliação:

   • Precisão (Acc): Proporção de correspondência exata.
   • BERTScore (BScore): Similaridade semântica usando embeddings contextuais.
   • LAVE (Avaliação de VQA Assistida por LLM): Uma métrica projetada para fornecer uma avaliação de desempenho mais confiável em tarefas de VQA.

Principais Resultados
A avaliação revela desafios significativos para os modelos atuais no domínio médico em Bangla:

• Desempenho Geral: Mesmo os modelos de código fechado de melhor desempenho lutam. O Gemini 2.5 Flash alcançou as maiores pontuações gerais de LAVE (55,44% em Bangla Zero-Shot), enquanto o GPT-4.1 mini performou significativamente pior (38,60%). Os modelos de código aberto geralmente ficaram atrás, com o Gemma-3 12B liderando a categoria de código aberto (46,54% de LAVE).
• Perguntas Especializadas vs. Gerais: Existe uma disparidade crítica entre perguntas gerais (por exemplo, identificar modalidade ou órgão) e perguntas diagnósticas especializadas (por exemplo, identificar condições específicas ou posições anatômicas precisas).
  • Em tarefas especializadas, o desempenho cai precipitadamente. Por exemplo, sob prompting CoT em Bangla, o Gemini 2.5 alcançou apenas 23,25% em "Condição" e 24,50% em "Posição".
  • O GPT-4.1 mini performou próximo ao acaso aleatório nessas categorias especializadas (13% e 19,50%, respectivamente).
• Disparidade Linguística: O desempenho em Bangla é consistentemente inferior ao em inglês em todos os modelos. Modelos de código fechado demonstraram melhor transferência cross-linguística, mas modelos de código aberto e específicos para medicina mostraram degradação severa em Bangla, muitas vezes caindo abaixo de 10% de precisão.
• Impacto do CoT: O prompting de Cadeia de Pensamento forneceu melhorias consistentes, embora modestas, particularmente para modelos de código aberto (por exemplo, a precisão do Llama-3.2V aumentou de 17,50% para 30,17% em Bangla). No entanto, não fechou a lacuna para confiabilidade clínica em tarefas especializadas.
• Modelos Específicos para Medicina: Surpreendentemente, VLMs de domínio médico (Med-LLaVA, Med-Gemma) performaram abaixo dos modelos de propósito geral no contexto em Bangla, provavelmente devido à adaptação multilíngue limitada.

Significado e Contribuições
O artigo faz três contribuições principais:

1. Introdução do Conjunto de Dados: Apresenta o BanglaMedVQA, o primeiro conjunto de dados MedVQA validado clinicamente para Bangla, abordando a escassez de recursos de alta qualidade para idiomas de baixos recursos em IA médica.
2. Avaliação Abrangente: Fornece a primeira avaliação sistemática de LVLMs de código aberto e fechado em tarefas médicas em Bangla, estabelecendo baselines zero-shot e CoT.
3. Descobertas Críticas: O estudo destaca que os modelos fundamentais atuais, mesmo os mais avançados, carecem das capacidades de raciocínio granular necessárias para diagnóstico médico especializado em idiomas de baixos recursos. Os resultados sublinham que, embora os modelos possam lidar com consultas visuais gerais, eles falham significativamente no raciocínio diagnóstico, muitas vezes performando próximo ao chute aleatório em consultas de condição e posição.

Os autores concluem que, embora os modelos fundamentais mostrem promessa em domínios gerais, sua aplicação em contextos médicos em Bangla é atualmente limitada pela compreensão visual insuficiente e fundamentação linguística. O artigo enfatiza a necessidade urgente de métodos de avaliação de primeira linha e conjuntos de dados robustos para impulsionar o progresso futuro nesta área negligenciada, alertando que os modelos atuais ainda não estão prontos para tomada de decisão clínica em Bangla.