Automating Clinical Information Retrieval from Finnish Electronic Health Records Using Large Language Models

1. O Problema

A prática clínica moderna enfrenta um "paradoxo da informação": os Registros Eletrônicos de Saúde (EHRs) contêm dados longitudinais extensos, mas o volume e a fragmentação desses registros impõem uma carga cognitiva significativa aos clínicos. Em especialidades como a oncologia, o histórico do paciente está distribuído ao longo de anos em documentação heterogênea (relatórios de radiologia, patologia, resumos cirúrgicos, etc.).

• Desafios Específicos: A síntese manual dessas informações é demorada, propensa a erros e depende de revisões manuais ou buscas por palavras-chave que falham em capturar o contexto temporal e clínico.
• Barreira Linguística: A maioria das pesquisas em Processamento de Linguagem Natural (PLN) clínico foca em inglês. Os EHRs finlandeses são predominantemente escritos em finlandês, com terminologia técnica em inglês e latim, representando um cenário sub-representado e desafiador para modelos de linguagem gerais.
• Privacidade: A necessidade de manter os dados sensíveis dentro dos limites institucionais (sem transmissão para a nuvem) exige soluções que possam ser implantadas localmente (on-premise).

2. Metodologia

O estudo apresenta um framework de Resposta a Perguntas Contextuais Clínicas (CCQA) totalmente offline, utilizando Grandes Modelos de Linguagem (LLMs) de código aberto.

• Dataset:
  • Origem: 183 registros de pacientes anonimizados do Hospital Universitário de Tampere (Finlândia), focados em rastreamento, diagnóstico e tratamento de câncer de mama.
  • Anotação: 1.664 pares de perguntas e respostas anotados por um oncologista especialista. As perguntas cobrem variáveis clínicas como data de diagnóstico, estadiamento, receptores hormonais e histórico de tratamentos.
  • Idioma: Texto predominantemente em finlandês, com termos médicos em inglês e latim.
• Modelos Avaliados:
  • Foram testados 14 modelos de linguagem instruídos (instruction-tuned) de cinco famílias diferentes (Llama, Gemma, Qwen, DeepSeek, MedGemma), variando de 4 bilhões a 70 bilhões de parâmetros.
  • Incluiu modelos de propósito geral, adaptados para medicina (MedGemma), especializados em finlandês (Llama-Poro) e modelos com capacidades de raciocínio (DeepSeek R1).
• Configuração Experimental:
  • Ambiente: Computação offline segura (duas GPUs NVIDIA A100 de 80GB, totalizando 160GB de VRAM), sem transmissão de dados.
  • Entrada: Os modelos receberam os registros completos dos pacientes (sem pré-seleção por recuperação/retrieval) para testar a capacidade de raciocínio longitudinal em contextos longos.
  • Métricas: Precisão, consistência (respostas a variações semânticas da mesma pergunta), calibração de confiança, latência de inferência e uso de memória.
  • Técnicas Adicionais: Avaliação de quantização de baixa precisão (4-bit e 8-bit) e estratégias de prompting (one-shot, contexto adicional).

3. Contribuições Chave

• Benchmark em Cenário Real Multilíngue: Primeiro estudo abrangente a avaliar LLMs generativos para CCQA em EHRs reais em finlandês, demonstrando a viabilidade de modelos de código aberto em idiomas não ingleses.
• Abordagem "Retrieval-Free": Demonstra que modelos com janelas de contexto longas podem processar registros completos de pacientes sem a necessidade de sistemas complexos de recuperação de informações (RAG), simplificando o pipeline de implantação.
• Avaliação de Segurança Clínica: Vai além da precisão bruta, incluindo uma revisão por especialistas para classificar erros clinicamente significativos e analisar a consistência entre formulações de perguntas semanticamente equivalentes.
• Análise de Viabilidade de Implantação: Fornece dados detalhados sobre requisitos de memória (VRAM), latência e o impacto da quantização, essenciais para hospitais com hardware limitado.

4. Resultados Principais

• Desempenho de Precisão:
  • Modelos maiores (70B) como Llama-3.1-70B alcançaram a maior precisão (95,3%), superando significativamente a linha de base baseada em regras (45,4%).
  • Surpreendentemente, o modelo de tamanho médio Qwen3-30B-A3B-2507 alcançou desempenho comparável (95,1%) com requisitos de memória e latência muito menores.
  • Modelos especializados em finlandês (Llama-Poro) ou medicina (MedGemma) não demonstraram vantagens sistemáticas sobre modelos de propósito geral de mesma escala.
• Consistência e Robustez:
  • Os melhores modelos mantiveram alta consistência (>97%) ao responder a variações semânticas das perguntas.
  • No entanto, em casos raros (0,96% das respostas), variações na formulação da pergunta levaram a uma resposta correta em uma versão e a um erro clinicamente significativo na outra.
• Impacto da Quantização:
  • A quantização de 4-bit preservou a precisão na maioria dos modelos (ex: Qwen3-30B manteve 94,1% de precisão) enquanto reduzia drasticamente o uso de memória (de ~62 GB para ~20 GB), tornando a implantação em hardware hospitalar mais viável.
  • A quantização de 8-bit causou degradação severa em alguns modelos (ex: Llama-3.1-70B caiu para 65,1%).
• Calibração:
  • Alta precisão não garantiu calibração de confiança ideal. Modelos com alta precisão às vezes exibiram erros de calibração (superconfiança ou subconfiança), destacando a necessidade de métricas de calibração além da precisão.
• Segurança Clínica:
  • A revisão de especialistas identificou que 2,9% das respostas do modelo de melhor desempenho continham erros clinicamente significativos (potencial para influenciar decisões de tratamento).

5. Significado e Conclusão

O estudo conclui que LLMs de código aberto hospedados localmente são capazes de recuperar com precisão informações clínicas específicas do paciente de registros longitudinais complexos em finlandês, oferecendo uma alternativa viável e privada aos sistemas baseados em nuvem.

Implicações Práticas:

• Ferramenta de Suporte, não Autônoma: Devido à presença de erros clinicamente significativos e inconsistências ocasionais, esses sistemas devem ser implantados como ferramentas de suporte à decisão clínica, exigindo supervisão humana.
• Seleção de Modelo: A escolha do modelo para implantação clínica deve equilibrar precisão, latência, requisitos de memória e estabilidade de calibração, e não apenas o tamanho dos parâmetros. Modelos de 30B parâmetros podem ser mais eficientes que os de 70B.
• Validação Rigorosa: A validação clínica, avaliação de robustez a variações linguísticas e monitoramento de calibração são etapas críticas antes da implantação em fluxo de trabalho real.

Este trabalho fornece um guia prático para a integração de IA generativa em ambientes clínicos restritos a dados, demonstrando que a privacidade e a precisão podem coexistir com a tecnologia de ponta.