Resumo Técnico: PersianMedQA

Declaração do Problema

Embora os Modelos de Linguagem de Grande Escala (LLMs) tenham alcançado desempenho em nível humano em vários benchmarks de Processamento de Linguagem Natural, sua confiabilidade em domínios de alto risco, como a medicina, permanece pouco explorada, particularmente para idiomas de baixos recursos. Os benchmarks existentes de QA médica são predominantemente centrados no inglês, criando uma lacuna significativa de avaliação para contextos não anglófonos. Além disso, a simples tradução de perguntas médicas é insuficiente; frequentemente, ela remove pistas culturais críticas, protocolos clínicos localizados e terminologia específica da região, podendo levar a interpretações perigosas na prática clínica. Há uma falta de conjuntos de dados bilíngues validados por especialistas que possam avaliar rigorosamente os LLMs no raciocínio médico persa, ao mesmo tempo em que consideram essas nuances contextuais.

Metodologia

Construção do Conjunto de Dados: PersianMedQA

Os autores introduziram o PersianMedQA, um conjunto de dados em grande escala composto por 20.785 perguntas de múltipla escolha validadas por especialistas, derivadas de 14 anos de exames nacionais iranianos de residência médica e pré-residência (administrados pelo Centro de Avaliação da Educação Médica, Sanjesh).

• Escopo: O conjunto de dados abrange 23 especialidades médicas, com aproximadamente 70% classificados como clínicos (casos de pacientes) e 30% como não clínicos (ciências básicas).
• Pré-processamento: Foi empregado um pipeline rigoroso de limpeza, incluindo remoção de duplicatas via embeddings LaBSE, exclusão de perguntas dependentes de imagens para garantir avaliação apenas de texto e uma verificação de três níveis das chaves de resposta pelo Centro Nacional de Avaliação da Educação Médica.
• Anotação: As perguntas foram anotadas quanto ao assunto (especialidade), tipo de domínio (clínico vs. não clínico) e demografia do paciente (idade, gênero), usando uma combinação de revisão por especialistas e extração assistida por LLM.
• Tradução Bilíngue: Para permitir avaliação cruzada de idiomas, o conjunto de dados foi traduzido para o inglês usando Google Translate, GPT-4.1 e Gemini-2.5-Flash. A validação por especialistas confirmou que o Gemini-2.5-Flash forneceu a preservação mais precisa da terminologia médica e do significado clínico.
• Verificações de Integridade: Os autores implementaram salvaguardas contra contaminação de dados, incluindo verificação de busca exata em fontes públicas da web e análise temporal dos anos dos exames (2011–2024), confirmando que o conjunto de dados não estava presente nos corpora de treinamento da maioria dos modelos avaliados.

Configuração Experimental

O estudo avaliou 41 modelos de última geração em três categorias:

1. LLMs de propósito geral (tanto de pesos fechados quanto de pesos abertos).
2. LLMs específicos para persa (modelos adaptados para a língua persa).
3. LLMs específicos para medicina (modelos ajustados finamente em corpora biomédicos).

Protocolos de Avaliação:

• Zero-shot: Os modelos foram avaliados tanto nas perguntas originais em persa quanto nas traduções para o inglês usando prompts padronizados.
• Cadeia de Pensamento (CoT): Modelos selecionados foram avaliados com etapas de raciocínio para avaliar o impacto do raciocínio explícito.
• Avaliação Apenas de Resposta: Os modelos foram testados em opções de resposta sem os enunciados das perguntas para determinar se dependiam de padrões estatísticos em vez de raciocínio genuíno.
• Ensemble: Ensembles de votação majoritária de diversas famílias de modelos foram testados para verificar se a combinação de modelos melhorava a precisão.

Principais Contribuições

1. Conjunto de Dados PersianMedQA: O primeiro benchmark de QA médica bilíngue (Persa-Inglês) em grande escala e validado por especialistas, derivado de exames nacionais de licenciamento, acompanhado de um dicionário médico bilíngue.
2. Avaliação Abrangente: Uma avaliação de 41 modelos, revelando disparidades significativas de desempenho entre modelos de pesos fechados, pesos abertos, adaptados para persa e adaptados para medicina.
3. Análise de Impacto da Tradução: Uma demonstração quantitativa de que, embora as traduções para o inglês geralmente produzam pontuações mais altas, 3–10% das perguntas só podem ser respondidas corretamente no persa original devido à perda de contexto cultural e clínico (por exemplo, calendários regionais de vacinação e disponibilidade de medicamentos).
4. Insights de Adaptação de Domínio: Evidências de que o tamanho do modelo sozinho é insuficiente para um desempenho médico robusto sem forte adaptação de domínio ou de idioma, e que os LLMs persas atuais lutam significativamente com o raciocínio médico.

Principais Resultados

Hierarquia de Desempenho

• Domínio de Pesos Fechados: Modelos de pesos fechados, particularmente o GPT-4.1, alcançaram a maior precisão, pontuando 83,09% em persa e 80,71% em inglês.
• Desempenho de Pesos Abertos: O melhor modelo de pesos abertos, DeepSeek-Chat-V3, alcançou 68,05% em persa e 73,30% em inglês.
• LLMs em Persa: Modelos especificamente adaptados para o persa (por exemplo, Dorna, PersianMind) tiveram desempenho pobre, com o Dorna pontuando apenas 34,87% em persa. Esses modelos frequentemente lutaram com o seguimento de instruções e o raciocínio de domínio.
• LLMs Médicos: Modelos médicos especializados (por exemplo, Meditron3) mostraram apenas melhorias modestas sobre modelos gerais e falharam em generalizar efetivamente para dados clínicos em persa (por exemplo, Meditron3 pontuou 38,67% em persa).

Achados Linguísticos e Contextuais

• Perda na Tradução: Embora a maioria dos modelos tenha se saído melhor nas traduções para o inglês, um subconjunto de perguntas (3–10%) foi respondido corretamente apenas em persa. A análise manual atribuiu isso à perda de protocolos regionais (por exemplo, diretrizes específicas de profilaxia do tétano no Irã versus padrões ocidentais) e ao desvio semântico na terminologia médica.
• Variância de Subcampo: Os modelos tiveram melhor desempenho em farmacologia e perguntas não clínicas (recordação factual), mas lutaram significativamente em cirurgia e estatística médica, que exigem raciocínio complexo e compreensão de diretrizes específicas do idioma.
• Raciocínio vs. Correspondência de Padrões: Em uma avaliação "apenas de resposta", os modelos alcançaram 35,60% de precisão (vs. 25% de adivinhação aleatória), sugerindo que exploram artefatos estatísticos nas opções de resposta, particularmente em perguntas de ética médica, em vez de se envolver em raciocínio ético genuíno.

Prompting e Ensemble

• Cadeia de Pensamento: O prompting CoT melhorou a precisão em aproximadamente 2% para grandes modelos de propósito geral em perguntas clínicas, mas ofereceu ganhos negligenciáveis para modelos menores.
• Ensemble: Um ensemble de votação majoritária de cinco modelos diversos de pesos abertos alcançou 73,7% de precisão, superando o melhor modelo individual de pesos abertos desse grupo em +3,3%.

Significado e Alegações

O artigo afirma que o PersianMedQA estabelece um benchmark fundamental para avaliar o raciocínio médico bilíngue e culturalmente fundamentado em LLMs. Os autores afirmam que:

1. A Tradução é Insuficiente: A tradução direta de diretrizes médicas é ineficiente e potencialmente perigosa devido às variações regionais nos sistemas de saúde, disponibilidade de medicamentos e contextos culturais. A avaliação em língua nativa é essencial para idiomas de baixos recursos.
2. Lacunas Atuais: Há uma substancial "lacuna de idioma" onde os LLMs persas e modelos específicos para medicina atualmente têm desempenho inferior em comparação com modelos de propósito geral de pesos fechados, indicando a necessidade de dados de treinamento de alta qualidade e relevantes para o domínio em persa.
3. Direções Futuras: O trabalho destaca a necessidade de desenvolver corpora médicos persas, sistemas aumentados por recuperação que acessem diretrizes culturalmente apropriadas e avaliação adicional em outros idiomas de baixos recursos.

Os autores enfatizam que os modelos testados não são certificados para uso clínico e defendem o desenvolvimento contínuo com especialistas no loop para garantir a implementação responsável em ambientes de saúde.