What Does Neuro Mean to Cardio? Investigating the Role of Clinical Specialty Data in Medical LLMs

Resumo Técnico: O que a Neuro significa para a Cardio? Investigando o Papel dos Dados de Especialidade Clínica em LLMs Médicos

Definição do Problema
Embora conjuntos de dados de perguntas e respostas (QA) de múltipla escolha sejam o padrão para o benchmarking de Grandes Modelos de Linguagem (LLMs) na medicina, os recursos existentes (ex: MedQA, MedMCQA) carecem de anotações granulares de especialidades clínicas. Essa limitação dificulta a avaliação de LLMs em ambientes hospitalares especializados, onde o desempenho dentro de domínios específicos (ex: cardiologia vs. neurologia) é crítico. Além disso, permanece incerto se o ajuste fino (fine-tuning) de LLMs médicos em dados de especialidades específicas injeta novos conhecimentos de domínio ou apenas desloca a distribuição do modelo em direção ao domínio médico.

Metodologia
Os autores introduzem o S-MedQA, um novo conjunto de dados de QA médica em inglês projetado para abordar a falta de granularidade ao nível de especialidade. O processo de construção e avaliação envolve três etapas principais:

1. Construção do Conjunto de Dados (S-MedQA):

   • Fonte: Derivado do MedQA e MedMCQA, cobrindo 15 especialidades clínicas (ex: Cardiologia, Neurologia, Oncologia) com mais de 24.000 pares de QA.
   • Estratégia de Anotação: Uma abordagem híbrida combinando verificação por máquina e por especialistas.
     • Rotulagem de Especialidade Única: O GPT-3.5 gera previsões usando cinco prompts distintos. Um mecanismo de votação majoritária (exigindo 3+ concordâncias) atribui uma especialidade primária. A validação humana em um conjunto retido (held-out set) confirma a precisão entre 90,8% e 97,8%.
     • Rotulagem de Múltiplas Especialidades: Para lidar com questões transdisciplinares, os autores empregam um procedimento de predição conformal. Este método calibra um LLM para prever múltiplos rótulos com garantias de cobertura, alcançando uma precisão de conjunto de 0,69 e recall de 0,52 em relação às anotações dos especialistas.
   • Validação: A concordância inter-anotador (alfa de Krippendorff) entre médicos especialistas e estudantes atingiu 83,6%.

2. Configuração Experimental:

   • Modelos: Oito LLMs de código aberto foram avaliados, incluindo Llama-2, Llama-3, Mistral, Bio-Medical-LLaMA e OLMo.
   • Ajuste Fino (Fine-tuning): Os modelos foram submetidos a ajuste fino usando LoRA em dados de treinamento de especialidades individuais (e em um conjunto de dados combinado).
   • Avaliação: Para mitigar o viés de posição, as opções de resposta foram embaralhadas cinco vezes por amostra. Um classificador post-hoc (treinado no Mistral-v0.2) foi usado para corresponder as saídas do modelo às opções, alcançando 96,5% de precisão, em vez de depender de probabilidades do primeiro token ou correspondência simples de strings.

3. Técnicas de Análise:

   • Avaliação Transversal de Especialidades: Modelos ajustados em uma especialidade foram testados em todas as outras para medir a transferência de conhecimento.
   • Análise de Sobreposição de Termos: Usando SNOMED-CT e HPO, os autores quantificaram a sobreposição de termos clinicamente relevantes (distúrbios, achados, procedimentos) entre os conjuntos de treino e teste dentro e entre as especialidades.
   • Análise de Probabilidade de Token: O estudo mediu as mudanças nas log-probabilidades de tokens clinicamente relevantes antes e depois do ajuste fino para distinguir entre deslocamento de domínio (domain shifting) e injeção de conhecimento.

Principais Resultados

• Padrões de Transferência Contraintuitivos: Contrário à expectativa de que o ajuste fino em uma especialidade específica gere o melhor desempenho na mesma especialidade, os resultados mostraram que modelos ajustados em especialidades não relacionadas frequentemente apresentaram o melhor desempenho. Por exemplo, um modelo ajustado em dados de Neurologia alcançou a maior precisão no conjunto de teste de Cardiologia. Nenhum modelo atingiu seu pico de desempenho na "diagonal" (treinando e testando na mesma especialidade).
• Sobreposição Limitada de Terminologia: A análise revelou que, embora os conjuntos de treinamento cubram ~63,4% da terminologia clínica encontrada em seus respectivos conjuntos de teste, a sobreposição entre diferentes especialidades é de apenas ~32,8%. Isso confirma que as avaliações trans-especialidades não sofrem de "vazamento de conhecimento" significativo devido ao compartilhamento de terminologia.
• Deslocamento de Domínio vs. Injeção de Conhecimento: A análise de probabilidade de token mostrou que o ajuste fino em dados médicos aumentou consistentemente as log-probabilidades de termos clinicamente relevantes em todas as especialidades, independentemente da especialidade de treinamento específica. Crucialmente, o ajuste fino em dados não médicos (ciências sociais do MMLU) resultou em uma queda significativa nessas probabilidades. Isso sugere que os ganhos de desempenho são impulsionados principalmente pelo deslocamento de domínio (alinhando o modelo do geral para o médico) em vez da injeção de conhecimento clínico específico e refinado.

Significância e Contribuições
O artigo apresenta quatro contribuições principais:

1. Lançamento do S-MedQA: A introdução do primeiro conjunto de dados de QA médica em inglês com anotações de especialidade única e múltipla de alta qualidade e validadas por humanos, permitindo o benchmarking detalhado.
2. Rigor Metodológico: O estabelecimento de um framework de avaliação robusto que considera questões transdisciplinares e mitiga vieses de avaliação (ex: ordem das respostas, viés de seleção de token).
3. Evidência Empírica sobre Ajuste Fino: O estudo fornece evidências que desafiam a suposição de que o ajuste fino injeta conhecimento específico de especialidade. Em vez disso, apoia a hipótese (alinhada com Zhou et al., 2024) de que as melhorias em tarefas de QA médica derivam amplamente do deslocamento de domínio.
4. Recurso Comunitário: O lançamento do conjunto de dados e de todo o código de reprodução para facilitar pesquisas futuras em PLN clínico.

Conclusão
Os autores concluem que, embora as especialidades clínicas possuam terminologias distintas, os ganhos de desempenho observados em LLMs médicos não se devem necessariamente à aquisição de novos fatos específicos de cada especialidade durante o ajuste fino. Em vez disso, o processo parece funcionar como um deslocamento de domínio, recalibrando a distribuição de probabilidade do modelo em direção ao contexto médico. O artigo pede uma reavaliação do papel dos dados de ajuste fino no domínio médico e sugere que pesquisas futuras investiguem o impacto específico da complexidade e dificuldade do QA nesses padrões de transferência.