Automatic Extraction of Structured Information from Brain MRI Reports Using an Open-Weight Large Language Model

Resumo Técnico: Extração Automática de Informações Estruturadas de Relatórios de RM Cerebral Utilizando um Modelo de Linguagem de Grande Escala de Pesos Abertos

Definição do Problema
Os relatórios de radiologia representam um recurso rico para pesquisa médica em larga escala, porém o seu formato de texto livre não estruturado limita significativamente a usabilidade dos dados. Embora o relato estruturado (RS) seja defendido por organizações como a Sociedade Europeia de Radiologia (ESR), a sua implementação é dificultada por barreiras técnicas, incompatibilidades de fluxo de trabalho e resistência dos radiologistas. Consequentemente, a extração de dados estruturados depende atualmente de anotação manual, o que é demorado e propenso a erros. Embora os Modelos de Linguagem de Grande Escala (LLMs) tenham mostrado potencial para automatizar esta conversão, a maioria dos estudos existentes baseia-se em modelos proprietários (ex: GPT-4) que levantam preocupações de privacidade devido à transferência de dados externos. Além disso, os modelos de pesos abertos têm sido subexplorados em domínios médicos especializados e em línguas que não o inglês, particularmente no que diz respeito à sua capacidade de lidar com relatórios de neurorradiologia complexos e de grande variabilidade sem a necessidade de um ajuste fino (fine-tuning) extensivo.

Metodologia
O estudo avaliou o LLM de pesos abertos LLaMA 3.1 (especificamente as versões de 8B e 70B de parâmetros) para extrair 30 variáveis de 947 relatórios de RM cerebral gerados numa clínica de memória terciária entre 2016 e 2021. O conjunto de dados incluiu tanto relatórios de texto livre não estruturados como aqueles que seguiam um modelo estruturado.

• Anotação de Dados: Trinta variáveis (24 clínicas, 6 de controlo de qualidade) foram anotadas manualmente por estudantes de medicina treinados. Um subconjunto de 100 relatórios foi duplamente anotado para estabelecer um padrão de referência de consenso e avaliar a fiabilidade inter-avaliador (IRR).
• Desenho Experimental:
  • Desempenho Zero-Shot: A capacidade do modelo de extrair dados sem exemplos foi comparada com a de anotadores humanos.
  • Língua de Entrada: O estudo avaliou se a tradução de relatórios de holandês para inglês (utilizando LLaMA 3.1 ou OPUS-MT) melhorava o desempenho, com o texto extraído sendo retrotraduzido para avaliação.
  • Prompting Few-Shot: Para servir como uma alternativa eficiente em recursos ao ajuste fino, o estudo testou quatro estratégias de seleção de exemplos para prompting few-shot: Aleatória, Fixa (curada), Similaridade Estrutural (distância de Jaccard) e Similaridade Semântica (similaridade de cosseno de embeddings).
• Métricas de Avaliação: O desempenho foi medido utilizando a precisão equilibrada (balanced accuracy) para variáveis categóricas, precisão e Erro Médio Absoluto (MAE) para contagens, e similaridade de texto semântico (via Sentence-BERT) para campos de texto livre. A significância estatística foi avaliada através de testes de McNemar, testes de Friedman e testes post-hoc de Nemenyi através de 10 divisões aleatórias de validação cruzada de Monte Carlo.

Resultos Principais

• Desempenho ao Nível Humano: O LLaMA 3.1 demonstrou um alto desempenho zero-shot em escalas de avaliação visual padronizadas, alcançando precisões equilibradas comparáveis às de avaliadores humanos para Atrofia Temporal Medial (MTA), Atrofia Cortical Global (GCA) e scores de Fazekas.
• Desafios das Variáveis: O desempenho foi inferior para variáveis numéricas (ex: contagens de infartos) e subtipos de lesões específicos (ex: infartos em estilhaços/splinter infarcts). O modelo confundiu frequentemente informação "ausente" com achados negativos explícitos.
• Impacto da Língua: Traduzir os relatórios para inglês não melhorou o desempenho; de facto, os relatórios originais em holandês produziram resultados mais fiáveis. A tradução introduziu erros com terminologia local (ex: "splinterinfarcten" foi traduzido incorretamente como "small infarct", perdendo a especificidade morfológica).
• Prompting Few-Shot: O prompting few-shot superou significativamente as configurações zero-shot, particularmente para variáveis numéricas. A seleção baseada em similaridade estrutural emergiu como a estratégia mais eficaz, melhorando a precisão da contagem de infartos de 66% (zero-shot) para 81% e a precisão da contagem de microhemorragias de 80% para 92%.
• Eficiência: O tempo de inferência manteve-se abaixo de 30 segundos por relatório. O prompting few-shot aumentou o tempo de inferência em apenas 7%, enquanto reduziu substancialmente a taxa de outputs JSON inválidos.

Principais Contribuições

1. Validação de Modelos de Pesos Abertos: O estudo fornece uma avaliação sistemática do LLaMA 3.1 para o relato radiológico estruturado em holandês, demonstrando que modelos de pesos abertos podem atingir um desempenho competitivo sem exigir a transferência de dados para servidores externos.
2. Otimização de Few-Shot: Identifica a seleção de exemplos baseada em similaridade estrutural como um método altamente eficaz e de baixos recursos para aumentar a precisão da extração de variáveis numéricas, oferecendo uma alternativa viável ao ajuste fino em contextos com dados anotados limitados.
3. Especificidade Linguística: O trabalho destaca a importância crítica de manter as entradas na língua original para relatórios médicos, mostrando que a tradução pode degradar o desempenho ao obscurecer a terminologia médica local e as distinções morfológicas.
4. Benchmarking Abrangente: O artigo estabelece um benchmark para 30 variáveis diversas (categóricas, numéricas e de texto livre) em neurorradiologia em holandês, incluindo análise detalhada de erros e comparações de fiabilidade inter-avaliador.

Significado e Alegações
Os autores afirmam que o LLaMA 3.1 apresenta um forte potencial para a estruturação pós-hoc automatizada de relatórios de radiologia de texto livre, facilitando a reutilização de dados em larga escala para investigação de demência e tomada de decisão clínica. O estudo enfatiza que o prompting few-shot com seleção informada de exemplos permite que estes modelos se aproximem da precisão ao nível humano para a maioria das variáveis sem interromper os fluxos de trabalho clínicos existentes.

O artigo posiciona esta abordagem como uma solução de preservação de privacidade, uma vez que os modelos de pesos abertos podem ser implementados localmente na infraestrutura hospitalar, evitando os obstáculos regulatórios e de segurança associados às APIs proprietárias baseadas na nuvem. Ao reconhecer as limitações — tais como desafios com achados raros ou ambíguos e a necessidade de validação prospetiva — os autores concluem que os LLMs de pesos abertos representam uma ferramenta escalável e viável para transformar dados de radiologia não estruturados em ativos de investigação estruturados.