Real-time structuring of the clinical information section for dopamine transporter SPECT reporting with a small language model pipeline: development and external validation

Resumo Técnico: Estruturação em Tempo Real de Informações Clínicas de DAT-SPECT via um Pipeline de Modelo de Linguagem Pequeno

Definição do Problema
A interpretação precisa de imagens de transporte de dopamina (DAT-SPECT) depende fortemente de informações clínicas contextuais, incluindo sintomas do paciente, histórico de medicação, comorbidades e achados de imagem estrutural. Na prática clínica rotineira, esses dados são tipicamente documentados como texto livre heterogêneo. Esse formato não estruturado introduz ambiguidade, terminologia inconsistente e níveis variáveis de detalhamento, o que pode dificultar a consideração consistente de parâmetros clinicamente relevantes e limitar a adesão às diretrizes de relatório. Embora o Processamento de Linguagem Natural (PLN) ofereça uma solução, as abordagens existentes dependem predominantemente de Modelos de Linguagem de Grande Escala (LLMs) com centenas de bilhões de parâmetros. Esses modelos exigem recursos computacionais substanciais e infraestrutura baseada em nuvem, levantando preocupações quanto à proteção de dados, conformidade regulatória e viabilidade técnica em ambientes clínicos.

Metodologia
O estudo desenvolveu e avaliou um pipeline implantável localmente utilizando um Modelo de Linguagem Pequeno (SLM) para transformar documentação clínica de texto livre em relatórios estruturados e padronizados para DAT-SPECT.

• Conjuntos de Dados: Dois conjuntos de dados retrospectivos foram utilizados. O conjunto de dados interno (University Medical Center Hamburg-Eppendorf) continha 2.990 seções de informações clínicas (divididas em 2.700 para treinamento e 290 para teste interno). Um conjunto de dados de validação externa (University Hospital of Freiburg) compreendeu 595 seções clínicas. Todos os textos estavam em alemão.
• Dicionário Estruturado: Um dicionário de referência composto por 466 entradas em 12 categorias (ex: indicações, suspeitas de etiologias, sintomas, medicação, lateralidade) foi desenvolvido por dois leitores experientes de DAT-SPECT. Este dicionário incluiu metadados como sinônimos, abreviações e atributos para pós-processamento (ex: interações medicamentosas com o traçador).
• Anotação: Os conjuntos de treinamento e de teste interno foram anotados manualmente por um leitor especialista, mapeando o conteúdo de texto livre para as entradas do dicionário estruturado.
• Treinamento do Modelo: Um modelo Qwen3 de 1,7 bilhão de parâmetros foi ajustado (fine-tuned) via aprendizado supervisionado nos dados anotados. O treinamento utilizou o otimizador AdamW de 8 bits com uma taxa de aprendizado de 1 × 10⁻⁵ ao longo de quatro épocas. Durante a inferência, a temperatura foi definida em 0 para garantir uma saída determinística.
• Pós-processamento Baseado em Regras: Um componente crítico do pipeline foi uma ferramenta de pós-processamento baseada em regras. Em vez de depender apenas do SLM para inferir lógica clínica complexa, este módulo:
  • Removeu entradas redundantes.
  • Sugeriu automaticamente a indicação do exame com base em metadados de sintomas.
  • Consolidou a lateralidade e o curso temporal dos sintomas.
  • Gerou lembretes para elementos relevantes ausentes nas diretrizes.
  • Cruzou informações de medicações para distinguir aquelas com interações relevantes com a ligação da [¹²³I]ioflupano daquelas sem tais interações.

Principais Resultados

• Desempenho Interno: No teste interno (n=290), a saída do SLM pós-processada forneceu a mesma informação que a anotação manual do especialista em 67,6% dos casos (196/290). Correspondências exatas ocorreram em 50,7% (147/290). Diferenças de interpretação devido à ambiguidade do texto representaram 4,5%, e erros objetivos do SLM ocorreram em 14,1%. Notavelmente, em 13,8% dos casos, a saída do SLM foi julgada superior à anotação manual em clareza ou completude. Entre os 41 casos de erro, 87,8% envolveram apenas um item errôneo ou ausente.
• Validação Externa: No conjunto de dados externo (n=595), 75,0% (446/595) das saídas pós-processadas não exigiram correção manual antes da inclusão em um relatório. Dos 25,0% restantes que exigiram correção, 74,5% precisaram de apenas um item corrigido. O número médio de correções por caso foi de 0,34 itens, representando 6,0% de todos os itens estruturados.
• Comparação com o Modelo Base: O SLM ajustado superou significamente o modelo base não ajustado (Qwen3-1.7B-Instruct) usando three-shot prompting, que alcançou concordância exata em apenas 2,8% dos casos, comparado aos 50,7% do modelo ajustado.

Significância e Alegações
O artigo afirma que um SLM implantável localmente, combinado com pós-processamento baseado em regras, pode transformar efetivamente informações clínicas não estruturadas em documentação padronizada e pronta para relatórios, com alta usabilidade clínica e desempenho externo robusto.

As principais contribuições destacadas pelos autores incluem:

1. Implantação Local: O pipeline opera em hardware padrão (GPUs NVIDIA RTX 6000 Ada) sem transferência de dados externa, abordando preocupações de proteção de dados e regulamentação associadas aos LLMs baseados em nuvem.
2. Arquitetura Híbrida: A integração de um SLM com um dicionário estruturado e pós-processamento baseado em regras combina a flexibilidade dos modelos de linguagem com a confiabilidade e transparência dos sistemas baseados em regras. Isso permite uma adaptação fácil (ex: adicionar novos sintomas ou drogas) sem necessidade de retreinar o modelo.
3. Utilidade Clínica: O sistema foi projetado para uso em tempo real durante entrevistas com pacientes como um "Assistente Digital de Entrevista Médica". Visa melhorar a consistência, destacar informações relevantes ausentes nas diretrizes e facilitar o relatório estruturado.
4. Generalizabilidade: Apesar das diferenças nos estilos de documentação entre as duas instituições, o pipeline manteve um desempenho robusto, sugerindo boa generalizabilidade entre instituições.

Os autores reconhecem limitações, incluindo o uso de um único leitor para a anotação (potencial viés subjetivo), a dependência de dados em língua alemã e o fato de o estudo ter avaliado a viabilidade técnica, e não o impacto direto no fluxo de trabalho clínico ou na precisão diagnóstica. Eles concluem que, embora o pipeline demonstre alta precisão e utilidade, estudos prospectivos futuros são necessários para avaliar seu impacto na eficiência do relatório e nos resultados diagnósticos.