Privacy-Preserving Local Language Models for Longitudinal Data Retrieval in Chronic Dermatologic Disease: Implementation in Pemphigus Patients

Resumo Técnico: Modelos de Linguagem Locais com Preservação de Privacidade para Recuperação de Dados Longitudinais em Penfigo

Declaração do Problema
Doenças dermatológicas crônicas, como o penfigo, exigem acompanhamento vitalício, resultando em documentação clínica longitudinal extensa e heterogênea. Na prática rotineira, os clínicos enfrentam desafios significativos para sintetizar anos de notas de consulta escritas por diferentes médicos a fim de orientar decisões de manejo. A dependência atual de revisões parciais de prontuários ou de copiar e colar documentação anterior introduz variabilidade e aumenta o risco de negligenciar detalhes históricos críticos (por exemplo, exposição prévia a rituximabe, toxicidade cumulativa de corticosteroides ou infecções graves). Embora a Inteligência Artificial (IA) e os Modelos de Linguagem de Grande Escala (LLMs) ofereçam potencial para sumarização clínica, as soluções existentes frequentemente dependem de inferência baseada em nuvem, levantando preocupações quanto à privacidade do paciente, governança de dados e viabilidade de implantação em ambientes de saúde rigorosos. Além disso, a maioria dos estudos foca em textos curtos ou tarefas sintéticas, em vez de registros longitudinais reais de vários anos.

Metodologia
Esta série de casos retrospectiva avaliou um sistema totalmente local, com preservação de privacidade, baseado em um Modelo de Linguagem Pequeno (SLM), projetado para recuperar características clínicas estruturadas e gerar resumos longitudinais a partir de registros brutos e não processados de acompanhamento dermatológico.

• Conjunto de Dados: O estudo utilizou dados de 30 pacientes com penfigo tratados no Hospital de Pesquisa e Treinamento de Istambul. O conjunto de dados compreendeu 541 notas de consulta agregadas em 30 registros longitudinais completos (totalizando 89.336 palavras). Nenhuma sumarização manual ou pré-processamento foi aplicado; as notas foram extraídas diretamente do sistema de informações hospitalares (DermaBase).
• Verdade Terrena: Dois dermatologistas especialistas anotaram 56 características clinicamente relevantes (categóricas, numéricas e baseadas em datas) e geraram relatórios finais voltados para o clínico para cada paciente, servindo como verdade terrena.
• Modelo e Implantação: O sistema empregou o modelo Qwen3 4B Thinking 2507, implantado localmente em uma estação de trabalho (RTX 4090, 24 GB de VRAM, 96 GB de RAM) via LM Studio. O acesso à internet foi desabilitado para garantir a privacidade dos dados.
• Procedimento de Inferência:
  • O modelo processou o registro longitudinal completo de cada paciente como uma única entrada (comprimento de contexto de 90.000 tokens).
  • A inferência foi conduzida em duas etapas: primeiro, a recuperação de 56 características estruturadas específicas; segundo, a geração de um relatório de resumo em texto livre (current_status).
  • Para abordar a falta de treinamento do modelo em domínio médico, contexto explicativo mínimo (por exemplo, limiares específicos de escore T para osteoporose) foi incorporado diretamente nos prompts para características que exigiam definições padronizadas.
  • O procedimento de inferência foi repetido 10 vezes por paciente para avaliar a estabilidade, resultando em 16.800 inferências totais.
• Avaliação:
  • Características Estruturadas: Avaliadas usando a precisão de correspondência exata contra as anotações dos especialistas.
  • Resumos em Texto Livre: Avaliados usando métricas automatizadas (BLEU, ROUGE) e uma avaliação humana cega dupla por dois dermatologistas especialistas (>20 anos de experiência) em uma escala Likert de 10 pontos para qualidade geral, precisão clínica e utilidade.

Principais Resultados

• Recuperação de Características: O sistema alcançou uma precisão média de 82,25% em 1.680 tarefas de recuperação de características. O desempenho variou conforme o tipo de dado:
  • Características categóricas: 86,34%
  • Características baseadas em datas: 80,56%
  • Características numéricas: 70,61% (erros envolveram principalmente extração imprecisa em vez de má classificação grosseira).
• Geração de Relatórios:
  • As pontuações de similaridade de texto automatizadas foram moderadas (BLEU: 0,36; ROUGE-1: 0,52), com os relatórios gerados pelo modelo sendo aproximadamente 107% mais longos que os relatórios da verdade terrena devido a comentários explicativos adicionais.
  • Avaliação de Especialistas: Os dermatologistas avaliaram os resumos gerados pela IA altamente:
    • Qualidade Geral: 8,23 – 8,47
    • Precisão Clínica: 7,93 – 8,20
    • Utilidade Clínica: 8,47 – 8,50
  • Preferência: Em 53,3% das avaliações (32/60), os especialistas preferiram o relatório gerado pela IA em vez da verdade terrena gerada pelo clínico.
• Desempenho: O sistema demonstrou velocidades de inferência favoráveis (~130 tokens/segundo), apoiando o uso clínico quase em tempo real.

Principais Contribuições

1. Implantação com Preservação de Privacidade: O estudo demonstra a viabilidade de implantar um SLM capaz inteiramente localmente (offline) para processar registros de pacientes sensíveis de vários anos sem que os dados saiam da infraestrutura hospitalar.
2. Síntese Longitudinal: Diferentemente de trabalhos anteriores focados em notas de consulta única, esta pesquisa valida a capacidade de um SLM de sintetizar informações ao longo de anos de narrativas clínicas heterogêneas para extrair dados estruturados e gerar resumos coerentes.
3. Avaliação do Mundo Real: A avaliação utilizou notas clínicas brutas e não estruturadas diretamente dos sistemas hospitalares, capturando desafios do mundo real, como documentação inconsistente, riscos de alucinação e a necessidade de refinamento de prompts para lidar com ambiguidades clínicas (por exemplo, distinguir "suspeita" de diagnóstico "confirmado").
4. Comportamento Específico do Modelo: Os achados destacam que o modelo "Thinking" do Qwen3 é mais adequado para síntese narrativa e geração de relatórios do que para extração estruturada estrita, sugerindo que a seleção do modelo deve ser orientada pelo fluxo de trabalho clínico específico.

Significado e Alegações
O artigo afirma que SLMs implantados localmente com preservação de privacidade podem gerar de forma confiável resumos longitudinais clinicamente significativos e, em certas avaliações, superar ou igualar especialistas humanos em termos de preferência e utilidade. Os autores posicionam esses sistemas não como tomadores de decisão autônomos, mas como ferramentas de suporte para reduzir a carga de trabalho e a carga cognitiva dos clínicos durante acompanhamentos rotineiros.

O estudo conclui que, embora os LM locais mostrem promessa para recuperação de dados longitudinais, sua implantação no mundo real exige engenharia de prompts cuidadosa para mitigar alucinações e abordar inconsistências de documentação. Propõe-se trabalho futuro focado na avaliação prospectiva da redução da carga de trabalho, expansão para outras doenças crônicas e a integração de Geração Aumentada por Recuperação (RAG) para melhorar ainda mais a factualidade. Os autores mantêm uma postura modesta, reconhecendo limitações como o desenho de centro único e a raridade da doença, o que necessita de conjuntos de dados multicêntricos maiores para validação mais ampla.