GS-BrainText: A Multi-Site Brain Imaging Report Dataset from Generation Scotland for Clinical Natural Language Processing Development and Validation

Resumo Técnico: GS-BrainText

1. Problema e Contexto

O Processamento de Linguagem Natural (NLP) clínico tem o potencial de extrair informações valiosas de registros de saúde eletrônicos não estruturados, apoiando a pesquisa e a tomada de decisões clínicas. No entanto, a tradução de ferramentas de NLP da pesquisa para a prática clínica enfrenta barreiras significativas:

• Falta de Diversidade Geográfica: A maioria dos conjuntos de dados públicos provém de sistemas de saúde dos EUA, com terminologia e práticas de documentação que não se generalizam para o Reino Unido (especificamente o NHS escocês).
• Limitação de Escopo: Conjuntos existentes frequentemente cobrem apenas uma instituição ou populações de pacientes estreitas, limitando a robustez dos sistemas desenvolvidos.
• Escassez de Dados Anotados: Dados clínicos sensíveis criam barreiras ao compartilhamento, e há uma falta crítica de conjuntos de dados de relatórios de radiologia cerebral (neuroimagem) no Reino Unido que possuam anotações de "padrão-ouro" (gold standard) feitas por especialistas.
• Desafios de Generalização: Sistemas treinados em dados de um único local frequentemente falham ao serem aplicados em outros devido a variações nas convenções de relatórios locais.

2. Metodologia

2.1. Coleta de Dados e Origem

• Fonte: O dataset é derivado da coorte Generation Scotland, um estudo de saúde populacional baseado na comunidade que abrange múltiplos conselhos de saúde do NHS escocês.
• Escopo: O dataset GS-BrainText contém 8.511 relatórios de radiologia cerebral (TC e Ressonância Magnética) coletados entre 1994 e 2021.
• Distribuição Multi-Site: Os dados cobrem cinco conselhos de saúde distintos: Fife, Lothian, Greater Glasgow and Clyde (GGC), Grampian e Tayside.
• Pré-processamento: Relatórios brutos foram convertidos para XML, com identificação automática de seções estruturais (histórico clínico vs. corpo do relatório).

2.2. Esquema de Anotação

• Fenótipos: Foram definidos 24 fenótipos de doenças cerebrais clinicamente relevantes, categorizados em:
  • Relacionados a AVC (11): Isquêmico e hemorrágico, com especificações de localização (profundo, cortical, lobular) e tempo (recente, antigo, não especificado).
  • Relacionados a Tumores (4): Meningioma, metástase, glioma e outros.
  • Outros Achados Neurológicos (9): Doença de pequenos vasos, atrofia, hematomas, hemorragias subaracnoides, microsangramentos e transformação hemorrágica.
• Nível de Anotação:
  • Anotação de Texto: Entidades nomeadas, modificadores de localização e tempo, atributos de negação e relações.
  • Anotação de Nível de Documento: Rótulos binários para a presença/ausência de cada um dos 24 fenótipos em todo o relatório.
• Processo de Anotação:
  • Realizado por uma equipe multidisciplinar (neurologista, fellow clínico, médico júnior, cientista de laboratório e estudante de medicina).
  • Utilizou-se o EdIE-R (sistema baseado em regras) para pré-anotação, seguido de correção sistemática pelos anotadores humanos para garantir eficiência.
  • Garantia de Qualidade: Implementação de anotação dupla (10–100% dependendo do conselho de saúde) e reuniões de consenso para resolver discordâncias. A concordância inter-anotadores (IAA) foi calculada, com F1 variando entre 83,74 e 95,65.

2.3. Avaliação de Benchmark

• O sistema EdIE-R (Information Extraction for Radiology), baseado em regras, foi avaliado no conjunto de dados anotado (2.431 relatórios) para estabelecer uma linha de base.
• A avaliação mediu precisão, recall e F1-score por fenótipo, conselho de saúde e grupo etário.

3. Resultados Principais

3.1. Características do Dataset

• Tamanho: 2.431 relatórios anotados (1.487 TC, 944 Ressonância).
• Demografia: Representação ampla de idades (média 58 anos, mediana 53), com distribuição de gênero de 59% feminino e 41% masculino.
• Distribuição de Fenótipos: Alta desequilíbrio natural. Doença de pequenos vasos (n=545) e atrofia (n=441) são os mais comuns (>53% dos rótulos). Fenótipos raros como microsangramentos (n=12) e gliomas (n=8) são pouco frequentes.

3.2. Desempenho do Sistema (EdIE-R)

• Desempenho Geral: O sistema alcançou um F1 micro-médio de 88,82. O F1 macro-médio foi de 77,47, refletindo a dificuldade em fenótipos raros.
• Variação por Fenótipo:
  • Alto desempenho em fenótipos frequentes: Doença de pequenos vasos (F1=95,60) e Atrofia (F1=95,69).
  • Desempenho perfeito em microsangramentos (F1=100), embora com amostras muito pequenas.
  • Baixo desempenho em fenótipos raros ou complexos: Hemorragia subaracnóidea aneurismática (F1=22,22) e AVC isquêmico não especificado (F1=60,00).
• Variação por Local (Conselho de Saúde):
  • Houve uma variação significativa no desempenho entre os conselhos de saúde, com F1 variando de 86,13 (Tayside) a 98,13 (Fife).
  • Curiosamente, o desempenho foi menor em Tayside (onde o sistema foi refinado anteriormente) do que em Fife (onde não foi usado), destacando a heterogeneidade dos dados mesmo dentro do mesmo sistema nacional de saúde.
• Variação por Idade: O desempenho aumentou com a idade (F1=77,60 para <50 anos vs. F1=91,70 para >70 anos), correlacionando-se com a cobertura de fenótipos e a frequência de achados clínicos esperados.

4. Contribuições Chave

1. Recurso Único Multi-Site: O GS-BrainText é o primeiro conjunto de dados de relatórios de neuroimagem no Reino Unido com anotações de padrão-ouro feitas por especialistas, cobrindo múltiplos locais do NHS escocês.
2. Preenchimento de Lacuna Geográfica: Oferece dados que refletem a terminologia e as práticas de documentação do NHS, permitindo o desenvolvimento e validação de ferramentas de NLP específicas para o contexto britânico/europeu.
3. Avaliação de Generalização: Demonstra empiricamente que mesmo sistemas robustos sofrem degradação de desempenho ao cruzar fronteiras de instituições de saúde, mesmo dentro do mesmo país, devido a variações linguísticas e de fluxo de trabalho.
4. Linha de Base para Pesquisa: Fornece uma avaliação de benchmark rigorosa (EdIE-R) para 24 fenótipos, servindo como ponto de partida para o desenvolvimento de modelos baseados em aprendizado de máquina e LLMs (Large Language Models).

5. Significado e Implicações

O estudo destaca que a aplicação "fora da caixa" (out-of-the-box) de ferramentas de NLP em novos ambientes clínicos, mesmo dentro do mesmo sistema nacional, carrega riscos de degradação de desempenho.

• Para a Prática Clínica: Organizações que adotam ferramentas de NLP devem realizar validação local e monitorar o desempenho em subgrupos demográficos e clínicos antes da implementação.
• Para a Pesquisa: A necessidade de conjuntos de dados multi-sítio é crítica para desenvolver sistemas robustos e generalizáveis. Treinar apenas em dados de uma única instituição não prepara os sistemas para a diversidade linguística e clínica do mundo real.
• Futuro: O dataset permite estudos sobre variação linguística, expressão de incerteza diagnóstica e o impacto das características dos dados no desempenho de sistemas de IA.

O dataset está disponível através do processo de acesso controlado da Generation Scotland, permitindo que pesquisadores globais avancem no desenvolvimento de ferramentas de NLP clínico mais confiáveis e equitativas.