Effects of Cross-lingual Evidence in Multilingual Medical Question Answering

Título: Efeitos de Evidências Cross-Linguais na Resposta a Perguntas Médicas Multilíngues (MMQA)

Autores: Anar Yeginbergen, Maite Oronoz e Rodrigo Agerri (HiTZ Center - Ixa, Universidade do País Basco).

---

1. Problema e Motivação

O avanço dos Grandes Modelos de Linguagem (LLMs) na área da saúde tem sido promissor, mas enfrenta desafios críticos como alucinações, falta de fundamentação factual e inconsistências, especialmente em domínios de alto risco como a medicina. Embora a Geração Aumentada por Recuperação (RAG) seja uma estratégia comum para mitigar esses problemas, a maioria das pesquisas foca exclusivamente no inglês.

O artigo identifica lacunas significativas:

• Viés de Recursos: A maioria dos repositórios de conhecimento médico curados (como PubMed e livros-texto) e dados de pré-treinamento são em inglês, deixando idiomas de recursos baixos (como Basco e Cazaque) e até mesmo alguns de recursos altos (como Francês e Italiano) em desvantagem.
• Estratégias de Recuperação: Não está claro se a recuperação de evidências em inglês, no idioma da pergunta ou uma abordagem híbrida (cross-lingual) é mais eficaz para diferentes tamanhos de modelos e idiomas.
• Desempenho de Modelos Grandes: Existe a hipótese de que modelos muito grandes (acima de 70B parâmetros) já internalizaram conhecimento médico suficiente durante o pré-treinamento, tornando a adição de contexto externo desnecessária ou até prejudicial.

2. Metodologia

Conjunto de Dados e Idiomas

Os autores utilizaram o conjunto de dados CasiMedicos (do benchmark MedExpQA), que contém perguntas de múltipla escolha baseadas em casos clínicos. O estudo expandiu a cobertura linguística para seis idiomas:

• Recursos Altos: Inglês (EN), Espanhol (ES), Francês (FR), Italiano (IT).
• Recursos Baixos: Basco (EU), Cazaque (KK).
• As traduções para Basco e Cazaque foram realizadas com IA e revisadas manualmente por falantes nativos, garantindo qualidade profissional.

Fontes de Evidência Externa

O estudo avaliou três tipos de fontes de conhecimento externo:

1. Repositórios Curados: Dados extraídos de fontes especializadas (PubMed, Wikipedia, StatPearls, livros-texto) via método MedRAG.
2. Busca na Web: Recuperação de documentos via APIs (Cohere e Google/Serper) usando consultas geradas dinamicamente.
3. Conhecimento Paramétrico do LLM: O próprio modelo gera explicações e respostas sem recuperação externa (simulando o conhecimento interno).

Configurações de Recuperação

Foram testadas três estratégias de idioma para a recuperação de evidências:

• Monolingual (Inglês): Todas as evidências recuperadas em inglês.
• Multilingual: Evidências recuperadas no mesmo idioma da pergunta.
• Cross-lingual (Híbrido): Metade das evidências em inglês e metade no idioma da pergunta (para compensar a escassez de dados).

Modelos Avaliados

O experimento cobriu uma gama de modelos de 8B a 72B+ parâmetros, incluindo famílias Qwen, Llama, Gemma e MedGemma.

3. Principais Contribuições

1. Análise Sistemática Multilíngue: Primeiro estudo abrangente a comparar estratégias de RAG em MMQA cobrindo tanto idiomas de recursos altos quanto baixos.
2. Descoberta sobre Modelos Grandes: Evidência de que modelos com mais de 70B parâmetros podem sofrer degradação de desempenho ao receberem evidências externas, sugerindo um conflito entre o conhecimento paramétrico internalizado e o contexto recuperado.
3. Estratégia Ótima por Tipo de Idioma:
   • Para idiomas de recursos altos, a recuperação em inglês (mesmo que a pergunta seja em outro idioma) é superior.
   • Para idiomas de recursos baixos, a estratégia cross-lingual (inglês + idioma alvo) é essencial para fechar a lacuna de desempenho.
4. Limitação de Repositórios Curados: Demonstração de que repositórios tradicionais (PubMed/Wikipedia) têm cobertura multilíngue extremamente pobre (<0,03% para idiomas não-ingleses), tornando a busca na web mais eficaz, apesar do ruído.

4. Resultados Chave

• Impacto do Tamanho do Modelo:

  • Modelos menores (<30B) beneficiam-se consistentemente de evidências externas, com ganhos de até 8,2% sobre a linha de base (especialmente com busca na web em inglês).
  • Modelos grandes (>=70B) já possuem conhecimento médico robusto. A adição de contexto externo resultou em uma queda média de 2,4% no desempenho, indicando que o contexto extra introduz ruído ou conflito de conhecimento.

• Eficácia por Fonte de Dados:

  • Busca na Web: Foi a fonte mais eficaz para idiomas de recursos altos, superando repositórios curados. Isso se deve à maior relevância semântica imediata para consultas específicas.
  • Repositórios Curados: Embora confiáveis, são limitados em cobertura multilíngue. Menos de 20% dos documentos recuperados em inglês vieram de fontes como PubMed; para outros idiomas, essa taxa é insignificante.

• Estratégia de Idioma:

  • Idiomas de Recursos Altos: A recuperação monolingual em inglês superou a recuperação no idioma da pergunta. Isso reflete o viés inglês nos dados de pré-treinamento dos LLMs e na disponibilidade de dados médicos na web.
  • Idiomas de Recursos Baixos (Basco/Cazaque): A recuperação apenas no idioma da pergunta foi insuficiente. A estratégia cross-lingual (misturando inglês e o idioma alvo) foi a única capaz de atingir níveis de precisão comparáveis aos idiomas de recursos altos.

5. Significado e Conclusão

O trabalho desafia a suposição comum de que "adicionar evidência externa melhora sistematicamente o desempenho". Os autores concluem que a eficácia da RAG em medicina depende de um equilíbrio delicado entre:

1. Escala do Modelo: Modelos menores precisam de contexto externo; modelos muito grandes podem não precisar ou até se prejudicar com ele.
2. Recursos Linguísticos: A estratégia de recuperação deve ser adaptada à disponibilidade de dados do idioma alvo.
3. Fonte de Dados: Para a maioria dos cenários multilíngues, a busca na web em inglês é superior a repositórios curados devido à cobertura de dados, apesar do potencial de ruído.

Implicação Prática: Para sistemas de IA médica multilíngues, recomenda-se uma abordagem adaptativa: usar busca na web em inglês para idiomas de recursos altos e uma estratégia híbrida (cross-lingual) para idiomas de recursos baixos, evitando a injeção de contexto em modelos de escala massiva (>=70B) a menos que seja estritamente necessário.

O código e os recursos estão disponíveis publicamente no repositório do GitHub mencionado no artigo.