Cross-Lingual Empirical Evaluation of Large Language Models for Arabic Medical Tasks

Resumo Técnico: Avaliação Empírica Translinguística de Grandes Modelos de Linguagem para Tarefas Médicas em Árabe

Definição do Problema
Embora os Grandes Modelos de Linguagem (LLMs) tenham demonstrado capacidades notáveis em aplicações médicas centradas no inglês — como suporte à decisão clínica e resposta a perguntas médicas — sua confiabilidade em comunidades linguisticamente diversas permanece não comprovada. Avaliações anteriores observaram quedas substanciais de desempenho para LLMs médicos em línguas de baixos recursos, como o árabe, contudo, as causas subjacentes a essas discrepâncias são mal compreendidas. A literatura existente frequentemente atribui falhas amplamente à escassez de dados de pré-treinamento ou desajustes de domínio, sem desvendar sistematicamente se a degradação decorre de propriedades linguísticas intrínsecas (ex: morfologia, tokenização), insuficiência de adaptação ao domínio médico, escolhas arquiteturais ou interações entre esses fatores. Essa falta de compreensão granular dificulta o design de estratégias eficazes de treinamento e avaliação multilingue.

Metodologia
Os autores apresentam um estudo empírico translinguístico sistemático projetado para isolar os contribuintes específicos para as lacunas de desempenho entre tarefas médicas em árabe e inglês. O estudo utiliza o MedAraBench, um conjunto de dados de perguntas de múltipla escolha (MCQ) médicas em árabe contendo 19 especialidades médicas, juntamente com sua contraparte traduzida para o inglês. Ao avaliar os modelos tanto nas perguntas originais em árabe quanto em suas traduções para o inglês, os autores controlam o conteúdo médico para isolar o efeito da representação linguística.

O framework de avaliação aborda cinco questões de pesquisa (RQs) específicas utilizando um conjunto diversificado de modelos de código aberto, incluindo LLMs de propósito geral (ex: DeepSeek-V3.2, LLaMA 3.3 70B) e modelos adaptados ao domínio médico (ex: Meditron 3, Med42, MedGemma). A metodologia envolve:

1. Comparação de Acurácia Translinguística: Medir as diferenças de desempenho entre entradas em árabe e inglês sob estruturas de prompting idênticas.
2. Análise Granular: Investigar como o comprimento da entrada, a dificuldade educacional (anos de estudo) e a especialidade médica afetam o desempenho.
3. Alinhamento e Formato de Saída: Comparar o "casamento suave" (soft matching - seleção de letra) contra o "casamento rígido" (hard matching - geração de texto livre) para avaliar o seguimento de instruções e a geração de formas superficiais.
4. Análise de Tokenização: Examinar a eficiência da tokenização, taxas de fragmentação (tokens por palavra, caracteres por token) e a prevalência de tokens de caractere único.
5. Avaliação de Confiabilidade: Analisar a correlação entre a confiança/explicações relatadas pelo modelo e a correção real.

Principais Contribuições
O artigo apresenta três contribuições primárias:

• Framework de Diagnóstico: O design de um framework de avaliação diagnóstica translinguística que permite uma análise controlada através de idiomas, formatos de saída, comportamentos de tokenização e sinais de confiabilidade.
• Estudo Empírico Isolado: O primeiro estudo sistemático sobre o MedAraBench e sua contraparte em inglês para isolar efeitos linguísticos enquanto controla o conteúdo do domínio médico.
• Desmembramento de Descobertas: A identificação de que a degradação do desempenho em árabe é impulsionada por uma interação complexa de fatores de representação, alinhamento e avaliação, em vez de apenas uma falta de conhecimento médico.

Resultos
A análise empírica produz várias descobertas críticas:

• Lacuna de Desempenho Persistente: Em quase todos os modelos avaliados, a acurácia em árabe é significativamente menor do que em inglês. Esta lacuna se intensifica com o aumento da complexidade da tarefa (ex: anos mais avançados de estudo médico) e na geração de texto livre. O DeepSeek-V3.2 é o único modelo que mostra desempenho comparável em ambos os idiomas; notavelmente, o tamanho maior do modelo não garante a redução da degradação translinguística.
• Complexidade da Tarefa e Comprimento: A degradação do desempenho em árabe é desproporcionalmente afetada pelo comprimento da entrada e pela dificuldade. Enquanto o desempenho em inglês permanece relativamente estável com entradas mais longas, a acurácia em árabe degrada-se significativamente conforme o comprimento da pergunta aumenta.
• Sensibilidade ao Formato de Saída: A lacuna de desempenho aumenta quando os modelos são exigidos a gerar respostas de texto livre em comparação com a seleção de opções baseadas em letras. As saídas em árabe exibem menor similaridade de forma superficial com o ground truth, sugerindo que o seguimento de instruções e as tarefas de geração amplificam as dificuldades específicas da língua.
• Fragmentação de Tokenização: A análise de tokenização revela uma fragmentação estrutural no texto médico em árabe. As entradas em árabe consistentemente requerem mais tokens por palavra e exibem taxas mais altas de tokens de caractere único em comparação ao inglês. Embora essa fragmentação correlacione-se com maior uso de tokens e potenciais quedas de desempenho, o efeito não é uniforme; alguns modelos (como o DeepSeek-V3.2) mantêm estabilidade apesar da fragmentação, indicando que a tokenização é um fator contribuinte, mas não o único.
• Confiabilidade Não Confiável: A confiança relatada pelo modelo e as explicações geradas mostram correlação limitada com a correção. De fato, foi observada uma correlação negativa moderada, onde previsões de alta confiança eram frequentemente menos precisas. Essa má calibração sugere que os escores de confiança não são proxies confiáveis para a correção em contextos médicos.

Significância
O artigo argumenta que as lacunas de desempenho observadas nos LLMs médicos em árabe não são meramente um resultado de conhecimento médico insuficiente ou escassez de dados. Em vez disso, a degradação é impulsionada por fatores interativos, incluindo problemas de representação linguística (fragmentação de tokenização), restrições de alinhamento e protocolos de avaliação. O estudo ressalta a necessidade de estratégias de design e avaliação conscientes da língua. Os autores concluem que, sem compreender quais fatores específicos dominam a falha do modelo, é difícil projetar estratégias de treinamento multilingue ou procedimentos de alinhamento eficazes. Este trabalho fornece uma abordagem diagnóstica fundamental para ir além de escores de desempenho agregados e abordar os mecanismos específicos subjacentes às falhas de LLMs em línguas sub-representadas.