MedPT: A Massive Medical Question Answering Dataset for Brazilian-Portuguese Speakers

1. Problema e Motivação

O trabalho aborda a lacuna crítica na disponibilidade de dados de alta qualidade para o domínio médico em Português Brasileiro. Embora os Grandes Modelos de Linguagem (LLMs) mostrem potencial transformador na saúde, seu desenvolvimento concentra-se majoritariamente em idiomas de alto recurso (como o inglês).

• Limitações da Tradução: A simples tradução de datasets existentes falha em capturar nuances clínicas e culturais locais, como a epidemiologia de doenças endêmicas (ex: Dengue, Doença de Chagas) e expressões coloquiais específicas dos pacientes.
• Falta de Dados Naturais: Os datasets existentes em português focam em textos clínicos formais (prontuários hospitalares) ou são escassos. Não há um corpus público, em larga escala e de domínio aberto, baseado em interações reais e anônimas entre pacientes e médicos.

2. Metodologia

O desenvolvimento do MedPT seguiu um protocolo rigoroso de múltiplas etapas para transformar dados brutos em um recurso linguístico robusto:

• Aquisição de Dados:

  • Fonte: Plataforma Doctoralia, onde pacientes fazem perguntas e médicos verificados respondem.
  • Volume Inicial: Coleta de aproximadamente 2 milhões de amostras brutas via web scraping.
  • Vantagens: Dados anônimos, gerados naturalmente por usuários e cobrindo uma vasta gama de especialidades.

• Limpeza e Curadoria (Pipeline Híbrido):

  • Deduplicação: Remoção de entradas redundantes causadas pela associação de um único par pergunta-resposta a múltiplas especialidades na plataforma original.
  • Normalização: Remoção de tags HTML, URLs e caracteres especiais.
  • Refinamento Específico por Coluna:
    • Perguntas: Enrichment contextual para perguntas curtas e dependentes de contexto (ex: "Qual o tratamento?" foi pré-fixado com a condição médica).
    • Respostas: Filtragem para manter apenas respostas diretas e úteis (entre 10 e 1.000 tokens), removendo respostas muito curtas ("Consulte um especialista") ou artigos genéricos longos.
    • Condições e Especialidades: Filtragem de dados corrompidos e artefatos de raspagem.
  • Resultado da Limpeza: Redução de 2 milhões para 384.095 pares únicos de alta qualidade.

• Anotação Semântica (LLM-Driven):

  • Utilização do modelo gpt-oss-120b para classificar cada pergunta em 7 tipos semânticos (Diagnóstico, Tratamento, Anatomia e Fisiologia, Epidemiologia, Estilo de Vida Saudável, Escolha de Profissionais de Saúde e Outros). Isso permite uma compreensão fina da intenção do usuário.

• Estatísticas Finais:

  • Pares: 384.095.
  • Condições: Mais de 3.200 condições de saúde distintas.
  • Especialidades: 104 especialidades médicas.
  • Tokens: Aproximadamente 57 milhões de tokens.

3. Contribuições Principais

1. Primeiro Corpus em Larga Escala: O MedPT é o primeiro dataset público de grande escala de interações paciente-médico em Português Brasileiro.
2. Riqueza Cultural e Clínica: Captura nuances locais, incluindo doenças endêmicas e expressões regionais, que são perdidas em datasets traduzidos.
3. Protocolo de Curadoria Híbrido: Combina análise quantitativa (distribuição estatística) com inspeção qualitativa manual para garantir a qualidade e a relevância dos dados.
4. Anotação de Intenção: Adição de rótulos de tipo de pergunta para facilitar tarefas de classificação e modelagem direcionada.
5. Acesso Público: Disponibilização no Hugging Face para fomentar a pesquisa em NLP médico para falantes de português.

4. Resultados e Avaliação

Para validar a utilidade do dataset, os autores realizaram um benchmark em uma tarefa de classificação de especialidade médica (prever a especialidade correta baseada na pergunta do paciente).

• Configuração: Fine-tuning do modelo Qwen3-1.7B (1,7 bilhão de parâmetros) em três cenários de dificuldade (Top 5, Top 10 e Top 20 especialidades).
• Desempenho:
  • Zero-Shot: O modelo base obteve um F1-score de 0,60 na tarefa mais difícil (20 classes).
  • Few-Shot (3 exemplos): Melhoria significativa para 0,73.
  • Fine-Tuning: O modelo ajustado atingiu um F1-score de 0,94 na configuração de 20 classes, demonstrando que o dataset é altamente eficaz para especializar modelos.
• Análise de Erros: Os erros de classificação não foram aleatórios; ocorreram entre especialidades semanticamente relacionadas (ex: Ansiedade vs. Depressão, ou condições com comorbidades), indicando que o modelo aprendeu um espaço semântico médico coerente e que as ambiguidades refletem desafios clínicos reais.

5. Significado e Impacto

O MedPT representa um marco para o desenvolvimento de tecnologias de saúde mais equitativas e culturalmente conscientes para o mundo lusófono.

• Segurança e Confiabilidade: Ao fornecer dados nativos e verificados, reduz o risco de alucinações e erros factuais comuns em modelos treinados apenas com dados traduzidos.
• Aplicações Práticas: O dataset suporta o desenvolvimento de sistemas de triagem automática, assistentes de saúde, classificação de intenções e modelos de diálogo médico.
• Justiça Linguística: Ajuda a corrigir o viés linguístico na IA médica, garantindo que populações de língua portuguesa tenham acesso a ferramentas de saúde de ponta que compreendem suas realidades epidemiológicas e culturais.

Em suma, o MedPT não é apenas um conjunto de dados, mas uma infraestrutura fundamental para a próxima geração de modelos de linguagem médica no Brasil e em países de língua portuguesa.