Resumo Técnico: Aproveitando Grandes Modelos de Linguagem para Consulta de Precisão e Extração de Conhecimento com Recuperação Aumentada em Ciência de Dados Clínicos

Declaração do Problema

Os Registros Eletrônicos de Saúde (EHRs) servem como a principal fonte de dados de pacientes na medicina moderna, mas realizar o seu pleno valor requer duas capacidades distintas: a habilidade de consultar grandes conjuntos de dados relacionais estruturados (por exemplo, via SQL ou Python/Pandas) e a capacidade de extrair informações semanticamente precisas de notas clínicas não estruturadas. Embora os Grandes Modelos de Linguagem (LLMs) ofereçam promessa tanto em geração de código quanto em extração de informações zero-shot, eles são propensos a "alucinações" — produzindo afirmações fluentes, mas factualmente não sustentadas. Em contextos clínicos, onde a segurança do paciente e a integridade da pesquisa são primordiais, frameworks de avaliação rigorosos são essenciais para garantir que os outputs dos LLMs sejam tanto factualmente corretos quanto semanticamente consistentes com os dados de origem. Este estudo aborda a necessidade de avaliar a consistência e a validade clínica dos LLMs ao interagir com dados de EHR estruturados e não estruturados.

Metodologia

O estudo utilizou um subconjunto curado do banco de dados MIMIC-III, compreendendo 101 pacientes únicos e 274.022 registros através de quatro tabelas estruturadas (Patients, Prescriptions, Diagnoses, D_ICD_Diagnoses) e uma tabela não estruturada (NoteEvents). Devido à anonimização dos dados, datas de nascimento sintéticas foram geradas para garantir a significância analítica.

A pesquisa empregou uma abordagem de pipeline duplo para avaliar duas tarefas distintas:

1. Consulta de Dados Estruturados (Pipeline Baseado em Agente)

• Objetivo: Traduzir consultas em linguagem natural para código Python/Pandas executável para interrogação precisa de dados.
• Arquitetura: Um sistema baseado em agentes foi implementado onde um LLM traduz prompts do usuário em código Pandas, que é então executado em um ambiente controlado. Esta abordagem evita a incorporação de dados tabulares, baseando-se, em vez disso, na capacidade do modelo de compreender a semântica das colunas e gerar lógica de filtragem/agregação.
• Modelos Testados:
  • Llama 3 8B Instruct: Um modelo hospedado localmente selecionado por sua viabilidade em implantação local e capacidades de geração de código.
  • GPT-4o Mini: Um modelo proprietário baseado em API acessado via Azure OpenAI Service para garantir a conformidade com as políticas de governança de dados do MIMIC-III.
• Avaliação: 30 prompts de complexidade variada foram utilizados. O desempenho foi medido via correspondência exata de saída, correção de código e satisfação anotada por humanos (categorizada como Satisfatória, Parcialmente Satisfatória ou Não Satisfatória).

2. Extração de Dados Não Estruturados (Pipeline RAG)

• Objetivo: Extrair informações semanticamente corretas de notas clínicas de texto livre usando Geração Aumentada por Recuperação (RAG).
• Arquitetura: Um framework RAG padrão foi implementado. As notas clínicas foram fragmentadas (400 tokens com sobreposição de 50 tokens), embarcadas usando MiniLM-L6-v2 e indexadas em um banco de dados vetorial FAISS.
• Modelos Testados:
  • Flan-T5 Large: Selecionado por seu treinamento específico em compreensão de linguagem natural e seguimento de instruções, tornando-o adequado para QA baseado em texto.
  • GPT-4o Mini: Utilizado para comparação.
• Preparação de Dados: Perguntas direcionadas foram geradas a partir do texto de origem (por exemplo, usando GPT-5 para segmentar notas e derivar perguntas) para garantir que o "ground truth" fosse conhecido.
• Avaliação: A precisão foi avaliada usando pontuações ROUGE (sobreposição lexical) e uma métrica booleana anotada por humanos para correção de conteúdo.

Principais Contribuições

O artigo apresenta duas contribuições primárias:

1. Um Framework de Avaliação Generalizável: Um método para criar casos de teste sintéticos (pares pergunta-resposta) tanto para dados de saúde estruturados quanto não estruturados. Este framework permite a geração de conjuntos de dados de avaliação de domínio específico com respostas conhecidas, abordando o desafio da alucinação em domínios médicos.
2. Aplicação Empírica no MIMIC-III: A aplicação deste framework a um conjunto de dados clínicos do mundo real utilizando uma mistura de LLMs hospedados localmente e baseados em API. Isso demonstra a complexidade prática de implantar tais tecnologias e avalia a prontidão de modelos atuais para fluxos de trabalho clínicos.

Resultados

Desempenho de Dados Estruturados

• O GPT-4o Mini superou significativamente o modelo hospedado localmente em precisão de correspondência exata (50% vs. 3%) e correção de código (73% vs. 60%).
• O Llama 3 8B Instruct mostrou uma alta taxa de outputs "Parcialmente Satisfatórios" (43%), indicando que, embora o modelo pudesse frequentemente capturar a intenção ou o raciocínio subjacente, ele frequentemente falhava em produzir o código exato ou o formato de saída correto.
• Julgamento Humano: Mesmo com alta correção de código, a avaliação humana revelou que a correção exata não pode ser assumida sem validação, uma vez que os outputs "Parcialmente Satisfatórios" capturavam a intenção, mas falhavam nos detalhes de execução.

Desempenho de Dados Não Estruturados

• Correção de Conteúdo: Ambos os modelos alcançaram altas taxas de correção de conteúdo na avaliação humana (Flan-T5 Large: 76%, GPT-4o Mini: 78%).
• Discrepância de Métricas: Houve uma divergência notável entre as pontuações ROUGE automatizadas e o julgamento humano. Por exemplo, embora o GPT-4o Mini tivesse pontuações ROUGE menores que o Flan-T5 em algumas categorias, os avaliadores humanos classificaram sua correção de conteúdo como superior. Isso destaca que métricas de similaridade lexical de superfície são insuficientes para avaliar a correção factual em narrativas clínicas, particularmente em relação à negação e sumarização parcial.

Significância e Alegações

O artigo alega que os LLMs, quando apropriadamente integrados com mecanismos de recuperação (para dados não estruturados) e ambientes de execução programática (para dados estruturados), podem apoiar significativamente tarefas de ciência de dados clínicos. No entanto, os autores mantêm uma postura modesta em relação à prontidão de implantação:

• A Confiabilidade Depende do Modelo: Embora os LLMs possam traduzir linguagem natural para consultas programáticas, a confiabilidade varia substancialmente conforme a escolha do modelo. A correção exata não pode ser assumida sem validação rigorosa.
• Necessidade de Avaliação: O estudo enfatiza a necessidade de estratégias de avaliação alinhadas à tarefa que combinem critérios de correspondência exata, similaridade semântica e julgamento humano. Confiar apenas em métricas automatizadas (como ROUGE ou correspondência exata de código) é insuficiente para aplicações clínicas.
• Perspectiva Futura: Os autores sugerem que trabalhos futuros devem focar em escalar essas abordagens para conjuntos de dados mais amplos, refinar frameworks de avaliação para correção de domínio específico e integrar salvaguardas para apoiar a implantação segura em fluxos de trabalho clínicos reais. O trabalho atual serve como um prova de conceito para um protótipo de mínimo viável, em vez de uma solução clínica totalmente implantada.