Extracting Social Determinants of Health from Electronic Health Records: Development and Comparison of Rule-Based and Large Language Model Methods

Este estudo demonstra que modelos de linguagem grande (LLMs), especialmente as versões "mini" mais recentes, superam sistemas baseados em regras na extração de determinantes sociais da saúde de registros eletrônicos, com a performance máxima sendo alcançada através de uma abordagem de fusão tardia que combina ambos os métodos.

O essencial

Imagine que o prontuário eletrônico de um paciente (o histórico médico digital) é como uma biblioteca gigante e bagunçada.

Nesta biblioteca, existem dois tipos de livros:

1. Livros de dados estruturados: São como fichas de cadastro com caixas de seleção (sim/não, idade, peso). São fáceis de ler para um computador, mas muitas vezes estão vazios quando se trata de coisas importantes sobre a vida do paciente.
2. Diários de bordo (notas clínicas): São as anotações manuais dos médicos e enfermeiros. É aqui que está a "verdade real" sobre a vida do paciente: se ele está sem dinheiro para pagar o aluguel, se não tem comida em casa, se vive sozinho e triste, ou se tem um emprego instável.

O problema é que os computadores tradicionais têm dificuldade em ler esses diários manuais. Eles são ótimos em ler fichas, mas péssimos em entender a linguagem humana, as metáforas e o contexto.

O que os pesquisadores fizeram?

A equipe do Hospital Geral de Massachusetts decidiu criar um "detetive" para vasculhar esses diários e encontrar informações sobre os Determinantes Sociais da Saúde (DSS). DSS são fatores como pobreza, moradia, segurança alimentar e apoio social, que influenciam muito mais a saúde do paciente do que apenas a genética ou remédios.

Eles testaram dois tipos de detetives:

1. O Detetive "Regras Rígidas" (Sistema Baseado em Regras)

Imagine um detetive muito antigo, que só funciona com uma lista de palavras-chave.

• Como funciona: Se o texto disser "pobreza", ele marca. Se disser "sem teto", ele marca.
• O problema: Ele é muito burro. Se o médico escrever "O paciente tem uma casa bonita", o detetive pode ficar confuso. Se o médico usar uma gíria ou uma forma diferente de dizer "sem dinheiro", o detetive não entende. Ele é rápido, mas perde muita informação (baixa "recuperação").

2. O Detetive "Super Inteligente" (Modelos de Linguagem Grandes - LLMs)

Imagine um novo detetive, um gênio que leu quase tudo que existe na internet e entende o contexto, ironia e nuances.

• Como funciona: Você pede a ele: "Encontre tudo sobre a situação financeira deste paciente". Ele lê a nota inteira e entende que, mesmo que a palavra "pobreza" não esteja lá, a frase "está preocupado com o aluguel atrasado" significa que o paciente tem insegurança financeira.
• O resultado: Esses novos "gênios" (como o GPT-5 e o o4-mini) foram muito melhores em encontrar essas informações escondidas do que o detetive antigo. Eles entendem o que está entre as linhas.

A Grande Descoberta: A "Equipe Mista"

Os pesquisadores descobriram algo interessante:

• O Detetive Rígido é ótimo em não cometer erros bobos (alta precisão), mas perde muita informação.
• O Detetive Gênio acha muita coisa, mas às vezes alucina ou entende coisas que não são verdade.

A solução? Fazer uma equipe mista (Ensemble).
Eles criaram um sistema onde os dois trabalham juntos. O Detetive Rígido verifica o que o Gênio achou, e o Gênio preenche as lacunas que o Rígido deixou.

• Resultado: Juntos, eles formaram a equipe perfeita, encontrando quase tudo o que precisavam com alta precisão, sem precisar de milhões de exemplos para "treinar" o sistema do zero.

Por que isso é importante?

Antes, para saber se um paciente precisa de ajuda social (como um voucher de comida ou ajuda com o aluguel), os médicos tinham que perguntar manualmente ou confiar em códigos burocráticos que muitas vezes não eram preenchidos.

Com essa nova tecnologia:

1. Economia: É muito mais barato e rápido usar esses modelos de IA do que criar sistemas manuais complexos.
2. Saúde Real: Os hospitais podem agora "ler" automaticamente as notas dos médicos e saber quem está passando fome ou sem teto, permitindo que a equipe de saúde ajude o paciente com o problema social, não apenas com a doença física.
3. Futuro: Isso ajuda a prever quem vai ficar doente no futuro e a criar políticas públicas melhores.

Resumo em uma frase

Os pesquisadores criaram um sistema inteligente que combina a velocidade de um computador antigo com a inteligência de um "gênio" de IA para ler as anotações médicas e descobrir, automaticamente, quais pacientes estão precisando de ajuda social, algo que antes passava despercebido nos dados digitais.

Resumo técnico

Título: Extração de Determinantes Sociais da Saúde de Registros Eletrônicos de Saúde: Desenvolvimento e Comparação de Métodos Baseados em Regras e Grandes Modelos de Linguagem

1. Problema e Contexto

Os Determinantes Sociais da Saúde (DSS) são fatores críticos que influenciam os resultados de saúde e as disparidades, representando até 55% dos desfechos de saúde. No entanto, essas informações são frequentemente subdocumentadas em dados estruturados de Registros Eletrônicos de Saúde (EHR), sendo encontradas predominantemente em notas clínicas não estruturadas.

• Desafios existentes: Abordagens baseadas em regras tradicionais sofrem de baixa sensibilidade devido à dependência de regras manuais fixas. Métodos de aprendizado supervisionado exigem grandes volumes de dados anotados, o que é custoso e trabalhoso.
• Objetivo: Desenvolver e avaliar métodos custo-eficientes para extrair informações de DSS de texto clínico não estruturado, comparando sistemas baseados em regras (RBS) com Grandes Modelos de Linguagem (LLM), especificamente modelos GPT da OpenAI, sem a necessidade de fine-tuning (ajuste fino) específico da tarefa.

2. Metodologia

Dados e Anotação:

• Fonte: Notas clínicas (resumos de alta e notas de evolução) de 171 pacientes do Registro de Dados de Pesquisa do Mass General Brigham (RPDR).
• Corpo de Dourado (Gold-Standard): Um conjunto de 226 segmentos de texto anotados manualmente por dois pesquisadores, com alto acordo interanotador (Krippendorff's α > 0.78).
• Taxonomia: O esquema de classificação abrange 7 domínios (Status Financeiro Geral, Status de Emprego, Status de Moradia, Status de Seguro Saúde, Segurança Alimentar, Recursos Sociais e Atividade Física) e 23 subcategorias detalhadas.
• Atributos Contextuais: Cada menção foi anotada com quatro atributos: temporalidade, experienciador, status hipotético e incerteza, servindo como critérios de exclusão para casos positivos.

Abordagens de Modelagem:

1. Sistema Baseado em Regras (RBS):

   • Implementado usando a biblioteca medspaCy.
   • Envolveu a criação e expansão iterativa de um léxico de termos (usando UMLS e modelos de embeddings semânticos) e regras de desambiguação contextual.
   • Funciona através de correspondência de entidades baseada em léxico e análise de contexto.

2. Abordagem Baseada em LLM (GPT):

   • Modelos Testados: Sete modelos da OpenAI via Azure: GPT-4o, 4.1, 4.1-mini, o4-mini, GPT-5, GPT-5-mini e o3.
   • Configurações: Avaliação em cenários zero-shot (sem exemplos) e few-shot (com 5 exemplos).
   • Estratégias de Prompting:
     • Estilos de rigor: Strict (evidência explícita), Balanced e Liberal.
     • Tipos de exemplos few-shot: Exemplos fáceis, difíceis (que exigiram arbitragem humana) e sintéticos, com e sem explicações de raciocínio.
   • Pré-processamento: Uso de um filtro baseado em palavras-chave para identificar segmentos candidatos antes da classificação pelo LLM, visando eficiência.

3. Ensemble (Fusão Tardia):

   • Combinação das saídas do RBS e de um "comitê" de modelos GPT (usando diferentes estilos de prompt).
   • Estratégias de fusão: Votação majoritária, União (qualquer modelo detectou) e Interseção (todos detectaram).

3. Resultados Principais

Desempenho Individual:

• RBS: Alcançou alta precisão nos domínios (0,96), mas recall significativamente baixo (0,68), falhando em capturar menções que não correspondiam estritamente ao léxico ou que exigiam compreensão semântica (ex: não reconheceu "paciente precisa de WIC" como insegurança alimentar).
• LLMs: Superaram consistentemente o RBS em recall e F1-score.
  • Melhor Desempenho em Domínios: GPT-5 e GPT-5-mini em configuração few-shot (F1 = 0,89).
  • Melhor Desempenho em Subcategorias: O modelo o4-mini (em few-shot) alcançou o melhor F1 (0,88), com um equilíbrio ideal entre precisão (0,88) e recall (0,88).
  • Eficiência: Os modelos "mini" (como o4-mini) ofereceram desempenho competitivo com custos de inferência e latência substancialmente menores que os modelos principais (ex: o4-mini custou ~$0,008/segmento vs $0,029 do GPT-5).

Desempenho do Ensemble:

• Domínios: A fusão tardia (RBS + Comitê GPT) melhorou o desempenho geral, alcançando um F1 de 0,92 (Precisão: 0,93; Recall: 0,90). O RBS contribuiu com 8% das detecções que o GPT sozinho perdeu.
• Subcategorias: A fusão não melhorou o desempenho global em relação ao melhor modelo individual (o4-mini few-shot), sugerindo que os LLMs já capturam a maioria das nuances complexas nesse nível.

Comparação com Códigos ICD:

• Tanto o RBS quanto os modelos GPT identificaram muito mais informações de DSS do que os códigos estruturados ICD (V e Z). Os códigos ICD capturaram apenas uma fração das menções encontradas no texto clínico, mesmo com janelas de tempo estendidas.

Análise de Erros:

• RBS: Falhas principais na negação, temporalidade, atribuição de experienciador e falta de compreensão semântica (ex: confundir dificuldades médicas de alimentação com insegurança alimentar).
• LLMs (o4-mini): Erros relacionados à calibração de raciocínio (falhar em inferir evidências implícitas ou super-interpretar evidências insuficientes) e não adesão estrita às instruções de prompt.

4. Contribuições Chave

1. Taxonomia Abrangente: Desenvolvimento de um esquema de classificação granular com 7 domínios e 23 subcategorias, incluindo determinantes menos explorados como recursos sociais e status de seguro saúde.
2. Validação de LLMs Avançados: Demonstração de que modelos GPT de última geração com capacidades de raciocínio (como o4-mini e GPT-5) superam sistemas baseados em regras tradicionais na extração de DSS sem necessidade de fine-tuning.
3. Estratégia Híbrida Custo-Eficiente: Proposição de um pipeline que combina pré-filtragem baseada em regras com extração via LLM e fusão tardia, otimizando custo e precisão.
4. Recursos Abertos: Disponibilização do código do sistema baseado em regras e dos prompts utilizados.

5. Significado e Conclusão

O estudo demonstra que é possível extrair informações de DSS de notas clínicas não estruturadas com alta precisão e recall utilizando uma abordagem híbrida e custo-eficiente. A integração de LLMs avançados com sistemas baseados em regras oferece uma solução escalável para preencher a lacuna de dados em EHRs, permitindo:

• Melhor estratificação de risco populacional.
• Suporte a decisões clínicas baseadas em evidências.
• Auditoria de viés algorítmico.
• Pesquisa em saúde pública mais robusta.

Os autores concluem que, embora os LLMs sejam superiores, a combinação com regras (especialmente para domínios gerais) oferece o melhor equilíbrio, e que modelos menores ("mini") são viáveis para implantação em larga escala devido à sua eficiência de custo.