💬 NLP

Serialisation Strategy Matters: How FHIR Data Format Affects LLM Medication Reconciliation

Este estudo demonstra que a estratégia de serialização dos dados FHIR impacta significativamente o desempenho de modelos de linguagem em tarefas de reconciliação medicamentosa, indicando que narrativas clínicas são superiores para modelos até 8B de parâmetros, enquanto o formato JSON bruto é ideal para modelos de 70B, além de revelar que a omissão de medicamentos é o erro predominante e que modelos menores falham sistematicamente em casos de polifarmácia.

Autores originais: Sanjoy Pator

Publicado 2026-04-24

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Sanjoy Pator

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você é um detetive médico em um hospital. Sua missão é revisar a lista de remédios de um paciente que acabou de ser transferido de um departamento para outro. Se você esquecer um remédio, o paciente pode ficar doente. Se você inventar um remédio que ele não toma, ele pode ter uma reação alérgica grave.

O problema é que os registros médicos digitais (chamados de FHIR) são como um arquivo gigante e bagunçado, cheio de códigos, números e estruturas complexas que parecem um "código de barras" para computadores, mas são um pesadelo para ler.

Este artigo é como um guia de sobrevivência para Inteligência Artificial (IA) tentando ajudar você nessa tarefa. Os pesquisadores testaram como "traduzir" esse arquivo bagunçado para a IA antes de ela começar a trabalhar.

Aqui está a história do que eles descobriram, usando analogias do dia a dia:

1. O Problema: A "Caixa de Ferramentas" Errada

Imagine que você tem que explicar a um robô o que está dentro de uma caixa de ferramentas.

Opção A (JSON Bruto): Você entrega a caixa inteira, com todas as ferramentas misturadas, parafusos soltos e instruções técnicas em código binário. É a forma original do computador, mas é difícil de entender.
Opção B (Tabela): Você tira as ferramentas e as coloca em uma tabela organizada.
Opção C (História Clínica): Você escreve uma história simples: "O Sr. João toma remédio X de manhã e remédio Y à noite. O remédio Z ele parou de tomar ano passado."
Opção D (Linha do Tempo): Você faz uma lista cronológica, do mais antigo ao mais novo, sem dizer o que está ativo ou não.

O estudo perguntou: Qual dessas formas faz o robô (a IA) cometer menos erros?

2. O Grande Descoberta: O Tamanho do Cérebro Importa

A resposta mais surpreendente é que não existe uma resposta única. Depende do "tamanho do cérebro" da IA.

Para IAs "Pequenas" (até 8 bilhões de parâmetros):
Pense nelas como estagiários inteligentes, mas com memória limitada.
- Se você der a eles o "JSON Bruto" (a caixa bagunçada), eles se perdem.
- A Solução: Eles funcionam muito melhor quando você usa a Opção C (História Clínica). É como se você lesse uma história para eles em vez de jogar um manual técnico.
- Resultado: A IA pequena cometeu 19% menos erros quando recebeu a história em linguagem natural do que quando recebeu o código bruto.
Para IAs "Gigantes" (70 bilhões de parâmetros):
Pense nelas como supercomputadores com memória de elefante.
- Elas são tão inteligentes que conseguem ler o "JSON Bruto" (a caixa bagunçada) e entender perfeitamente, sem precisar de ajuda. Na verdade, elas até preferem o código original porque é mais direto.
- Resultado: Para a IA gigante, a forma mais simples (o código bruto) foi a melhor.

3. O Perigo Escondido: O "Esquecimento" é o Inimigo

Um dos achados mais importantes sobre segurança é sobre o que a IA esquece.

A IA tende a esquecer remédios que o paciente realmente toma (omissão) muito mais do que ela tende a inventar remédios que não existem (alucinação).
Analogia: É como um cozinheiro que, ao fazer uma lista de compras, esquece de anotar o leite (o paciente fica sem leite), mas raramente escreve "compre um dinossauro" (algo que não existe).
O que isso significa para os médicos: O trabalho do médico não é checar se a IA inventou coisas, mas sim verificar o que ela esqueceu. A IA é boa em dizer "isso aqui é seguro", mas ruim em dizer "isso aqui está completo".

4. O Limite da "Memória de Trabalho"

O estudo descobriu um limite físico para as IAs menores.

Se um paciente toma 7 a 10 remédios ao mesmo tempo (o que é comum em idosos com várias doenças), as IAs pequenas começam a "travar" e esquecer os remédios.
É como tentar segurar 10 balões de ar ao mesmo tempo: se você soltar um, o sistema falha.
Conclusão: Para pacientes com muitos remédios (polifarmácia), você precisa de uma IA gigante (como a de 70B). As pequenas não conseguem lidar com a complexidade, não importa como você apresente os dados.

5. A Lição da "Especialização"

Eles testaram uma IA que foi treinada apenas com textos médicos (BioMistral), mas que não foi ensinada a "seguir instruções" (como responder a um comando específico).

Resultado: Ela falhou completamente. Foi como ter um médico brilhante que, quando você pede para ele preencher um formulário, ele começa a falar em grego ou repete a sua pergunta.
Liçã: Saber de medicina não é suficiente. A IA precisa saber como responder ao seu pedido.

Resumo Prático para o Futuro

Se você for implementar isso em um hospital amanhã:

Se usar uma IA pequena e barata: Transforme os dados médicos em uma narrativa simples (uma história em texto). Não mande o código bruto.
Se usar uma IA gigante e cara: Pode mandar o código bruto (JSON). Ela entende tudo.
Regra de Ouro: Sempre verifique o que a IA esqueceu. A segurança está em garantir que a lista esteja completa, não apenas correta.

Em suma, a forma como você "entrega" a informação para a máquina é tão importante quanto a própria máquina. Às vezes, uma boa história vale mais do que um código complexo.

Título: Estratégia de Serialização Importa: Como o Formato de Dados FHIR Afeta a Reconciliação de Medicamentos por LLMs

1. Problema e Contexto

A reconciliação de medicamentos em transições de cuidado (alta hospitalar, transferências) é um processo de alto risco e propenso a erros, onde discrepâncias ocorrem em mais de 60% dos casos. Grandes Modelos de Linguagem (LLMs) estão sendo propostos para auxiliar nessa tarefa, utilizando registros de saúde estruturados no padrão FHIR (Fast Healthcare Interoperability Resources).

No entanto, o formato FHIR R4 é composto por JSONs profundamente aninhados, baseados em códigos de ontologia (RxNorm, SNOMED) e não em nomes legíveis de medicamentos. Um único pacote FHIR pode exceder 800.000 linhas, ultrapassando as janelas de contexto atuais dos LLMs. Antes de um modelo poder raciocinar sobre o histórico, os dados devem ser pré-processados e formatados. A questão central não estudada sistematicamente é: o formato de serialização dos dados FHIR (antes de serem passados ao modelo) impacta significativamente o desempenho do LLM?

2. Metodologia

O estudo apresenta um benchmark controlado e reprodutível para avaliar como diferentes estratégias de serialização afetam a extração de medicamentos ativos.

Dados: Uma coorte sintética de 200 pacientes gerada pelo Synthea, com histórico de medicamentos de pelo menos 10 anos. O "Ground Truth" consiste nos nomes únicos de medicamentos com status "active" no FHIR.
Estratégias de Serialização (4):
1. JSON Bruto (A): Recursos JSON indentados com campos clínicos intactos (limitado a 100 recursos para modelos menores).
2. Tabela Markdown (B): Dados achatados em uma tabela com colunas (Medicamento, Código, Status, Data, Dose, Frequência).
3. Narrativa Clínica (C): Cada medicamento convertido em uma frase em inglês simples, com uma seção explícita para "medicamentos atualmente ativos" seguida por históricos.
4. Linha do Tempo Cronológica (D): Todos os registros ordenados por data (mais antigo ao mais novo), sem separação explícita entre ativos e históricos.
Modelos Avaliados (5):
- Phi-3.5-mini (3.8B)
- Mistral-7B (7B)
- BioMistral-7B (7B, pré-treinado em domínio, mas não ajustado para instruções)
- Llama-3.1-8B (8B)
- Llama-3.3-70B (70B)
Configuração: Todos os modelos rodaram localmente via Ollama em uma instância AWS (NVIDIA L40S, 48 GB VRAM) com quantização de 4 bits.
Métricas: Precisão, Recall e F1-score baseados em correspondência exata de strings (exigência rigorosa). Foram realizados 4.000 runs de inferência no total.

3. Principais Contribuições

Benchmark Sistemático: Primeira comparação controlada de 4 estratégias de serialização em 5 modelos de pesos abertos.
Evidência de Dependência de Tamanho: Demonstração de que a estratégia ótima depende do tamanho do modelo.
Padrão de Falha Dominante: Evidência de que a omissão (falso negativo) é o modo de falha dominante sobre a alucinação (falso positivo) em todas as combinações.
Teto de Capacidade: Identificação de um limite rígido de desempenho para modelos menores em pacientes com polifarmácia (muitos medicamentos ativos).
Ineficácia de Pré-treinamento sem Ajuste de Instrução: Demonstração de que um modelo pré-treinado em domínio (BioMistral) sem ajuste de instrução é inútil para extração estruturada.

4. Resultados Chave

A. Impacto da Estratégia de Serialização

Modelos até 8B parâmetros: A estratégia Narrativa Clínica (C) superou significativamente o JSON Bruto.
- Para o Mistral-7B, a Narrativa Clínica atingiu um F1 médio de 0.9149, contra 0.7247 do JSON Bruto (ganho de ~19 pontos).
- A correlação estatística foi forte ( $r = 0.617$ , $p < 10^{-10}$ ).
Modelos de 70B parâmetros: A tendência se inverteu. O JSON Bruto (A) tornou-se a melhor estratégia para o Llama-3.3-70B (F1 = 0.9956), superando levemente a Narrativa Clínica (0.9850).
Linha do Tempo (D): Desempenhou mal no modelo de 70B (F1 = 0.8742), sugerindo que o raciocínio temporal sobre status intercalados é difícil mesmo para modelos grandes.

B. Omissão vs. Alucinação

Em todas as 20 combinações (modelo + estratégia), a precisão média foi maior que o recall médio.

Conclusão: Os modelos tendem a omitir medicamentos ativos existentes a fabricar medicamentos inexistentes.
Implicação Clínica: O risco principal é a incompletude da lista, não a introdução de erros. A auditoria clínica deve focar em "o que o modelo perdeu?" em vez de "o que o modelo inventou?".

C. Teto de Capacidade para Polifarmácia

Modelos pequenos (até 8B) apresentam um declínio acentuado no recall quando o número de medicamentos ativos excede 7 a 10.
O Mistral-7B caiu de um recall de 0.96 (1 medicamento) para 0.24 (11 medicamentos).
O Llama-3.3-70B manteve um recall quase perfeito até 16 medicamentos.
Observação: O comprimento total do histórico (anos) não afetou o desempenho; o gargalo é a capacidade de gerar uma lista de saída completa, não o processamento de entrada.

D. Falha Catastrófica do BioMistral

O modelo BioMistral-7B (pré-treinado em domínio, mas sem ajuste de instrução) obteve F1 = 0.00 em todos os casos.

O modelo falhou em seguir instruções, produzindo sequências de tokens incoerentes ou repetindo o prompt do sistema.
Isso prova que o conhecimento de domínio sozinho não é suficiente; o ajuste de instrução (instruction tuning) é pré-requisito para tarefas de extração estruturada.

5. Significado e Recomendações Práticas

O artigo oferece diretrizes baseadas em evidências para a implantação de LLMs em ambientes clínicos:

Para Modelos Pequenos (7B–8B): A estratégia de Narrativa Clínica deve ser o padrão. Ela melhora drasticamente o desempenho sem custo de treinamento adicional, apenas com uma etapa de pré-processamento.
Para Modelos Grandes (70B+): O JSON Bruto é preferível, pois o modelo consegue lidar nativamente com a estrutura complexa, embora a Narrativa Clínica também funcione bem.
Foco na Auditoria: Como a omissão é o erro dominante, os fluxos de trabalho de reconciliação devem tratar a saída do modelo como um "subconjunto confirmado de alta confiança" e direcionar a revisão humana para a verificação de completude (o que falta?).
Risco para Pacientes Complexos: Modelos menores não são adequados para pacientes com polifarmácia (10+ medicamentos), que são justamente os mais vulneráveis a erros de reconciliação. Para esses casos, modelos de grande escala (70B+) são necessários.
Seleção de Modelos: Evitar o uso de modelos base pré-treinados em domínio sem ajuste de instrução para tarefas estruturadas, pois eles podem falhar completamente em seguir o formato de saída exigido.

Conclusão

A forma como os dados FHIR são apresentados ao LLM não é uma escolha cosmética, mas uma variável de desempenho crítica. A escolha da estratégia de serialização deve ser adaptada ao tamanho do modelo: Narrativa Clínica para modelos até 8B e JSON Bruto para modelos de 70B. Além disso, a prioridade clínica deve ser a maximização do Recall (completude), reconhecendo que a omissão é o risco primário nesses sistemas.