A Generative Approach for Semantic Auditing of Electronic Health Records

Resumo Técnico: Uma Abordagem Generativa para Auditoria Semântica de Registros Eletrônicos de Saúde

Declaração do Problema
A confiabilidade da inteligência artificial (IA) clínica depende fundamentalmente de dados de alta qualidade. No entanto, os Registros Eletrônicos de Saúde (EHRs) frequentemente exibem inconsistências com o conhecimento científico existente. Os métodos atuais de avaliação de qualidade são limitados em escopo: concentram-se predominantemente na completude sintática (por exemplo, garantir que os campos não sejam nulos ou estejam formatados corretamente) ou dependem de regras trabalhosas e curadas manualmente para capturar nuances semânticas. Essas abordagens manuais não escalam para a complexidade dos dados médicos e frequentemente falham em detectar "Lacunas Semânticas" — instâncias em que os dados são sintaticamente válidos, mas epidemiologicamente implausíveis. Além disso, as ferramentas existentes frequentemente negligenciam fatores contextuais, como populações específicas, geografias e intervalos de tempo, levando ao fenômeno "Lixo entra, Lixo sai", onde a baixa qualidade dos dados compromete a pesquisa a jusante e a validade dos modelos clínicos.

Metodologia: Piqueteamento de Dados Médicos
Para abordar essas limitações de escalabilidade e semântica, os autores propõem o Piqueteamento de Dados Médicos, uma metodologia que adapta os princípios de testes unitários de engenharia de software para validação de dados médicos. A inovação central é a introdução da Cobertura Semântica de Dados, que utiliza Modelos de Linguagem de Grande Escala (LLMs) para gerar testes conscientes do contexto que "piqueteiam" inconsistências entre os dados observados e a evidência epidemiológica.

O framework, implementado como a Ferramenta de Piqueteamento de Dados Médicos (MDPT), opera através de uma arquitetura desacoplada para garantir privacidade e segurança dos dados:

1. Módulo de Geração: Opera em especificações do estudo e dicionários de dados (metadados) sem acessar dados brutos de pacientes. Utiliza um LLM para mapear intenções clínicas para esquemas de banco de dados locais.
2. Geração Aumentada por Recuperação (RAG): O sistema emprega um processo de duas etapas para a síntese de testes:
   • Extração de Parâmetros Contextuais: O sistema identifica conceitos médicos relevantes e os alinha com vocabulários padrão (por exemplo, OMOP, ICD-9, SNOMED) usando busca vetorial.
   • Ancoragem Automatizada: Recupera estatísticas epidemiológicas via busca na web (API do Bing), priorizando fontes de alta autoridade (por exemplo, CDC, NIH).
3. Agente Auditor (Verificação de Dupla Passagem): Para mitigar alucinações do LLM, um "Agente Auditor" secundário realiza uma busca independente e direcionada para verificar as estatísticas propostas na matriz de teste inicial. Este agente corrige discrepâncias ou descarta alegações não fundamentadas antes da geração final do teste.
4. Módulo de Aplicação de Testes: Reside no ambiente seguro do usuário, executando a suíte de testes gerada contra dados brutos de pacientes.

O framework define uma taxonomia hierárquica de Testes Unitários Semânticos:

• Nível Sintático (Metadados): Verifica a integridade estrutural (presença de campos, tipos de dados).
• Nível Semântico Distribucional: Valida se as métricas populacionais estão alinhadas com linhas de base teóricas ou da literatura (por exemplo, faixas de prevalência esperadas).
• Nível Semântico Contextual (Subpopulação): Analisa padrões intragrupo (por exemplo, taxas de comorbidade dentro de demografias específicas) para detectar vieses específicos ao contexto invisíveis à análise agregada.

A validação estatística emprega três critérios: teste t de Welch para equivalência distribucional, Diferença de Média Padronizada (SMD) para magnitude da diferença e Tolerância Proporcional (margem de 15%) para prevalência categórica.

Principais Contribuições

• Auditoria Semântica Generativa: O artigo introduz um framework escalável que automatiza a criação de testes unitários semânticos adaptados a coortes e conjuntos de dados específicos, indo além de bibliotecas de regras estáticas.
• Identificação de Lacunas Semânticas: A metodologia identifica com sucesso discrepâncias onde os dados passam em verificações sintáticas, mas falham em verificações de plausibilidade epidemiológica.
• Implementação de Referência (MDPT): Uma ferramenta funcional que utiliza uma arquitetura RAG para sintetizar literatura médica em código executável, apresentando um "Agente Auditor" de auto-correção para aprimorar a precisão da ancoragem.
• Taxonomia de Validação de Três Níveis: Uma abordagem estruturada que distingue entre camadas semânticas de metadados, distribucionais e contextuais.

Resultados
Os autores avaliaram o MDPT em quatro coortes clínicas: Diabetes Tipo 2 (T2D) e Doença Renal Crônica (DRC) no conjunto de dados All of Us (AoU), Hipertensão (HTN) no SyntheticMass e Insuficiência Cardíaca Congestiva (ICC) no MIMIC-III.

• Geração de Testes: O framework gerou autonomamente entre 55 e 73 testes unitários por coorte. O Agente Auditor corrigiu aproximadamente 39–55% dos testes iniciais para corresponder às referências clínicas, descartando apenas 2–10%.
• Validade de Referência: A validade dos valores esperados derivados da literatura variou de 35% a 93% entre as coortes. Ao excluir testes de prevalência de medicamentos (que sofrem de escassez de dados), a validade aumentou para 39–98%.
• Divergência Semântica: O framework identificou divergência substancial em todos os conjuntos de dados. Em coortes onde os testes foram verificados como "corretos" (ancorados em evidências confiáveis), as taxas de falha foram altas: 87,1% para ICC, 97,3% para T2D e 100% para HTN e DRC. Isso indica que dados sintaticamente válidos frequentemente falham em se alinhar com priores epidemiológicos da população geral.
• Detecção de Viés: Como controle positivo, o MDPT sinalizou corretamente anomalias demográficas no conjunto de dados AoU (por exemplo, super-representação de mulheres) sem configuração manual.
• Erros de Formatação: Na coorte de ICC do MIMIC-III, o sistema detectou um problema sistemático de formatação (omissão de pontos decimais em códigos ICD-9) que tornava dados válidos semanticamente invisíveis para algoritmos padrão de fenótipo, fazendo com que a prevalência observada caísse para próximo de zero.
• Análise de Sensibilidade: Verificou-se que as taxas de falha eram mais sensíveis aos limiares de tolerância proporcional do que aos limiares de corte SMD.

Significado e Alegações
O artigo posiciona o Piqueteamento de Dados Médicos como uma evolução necessária na garantia de qualidade de dados, migrando de regras manuais e agnósticas ao contexto para verificação generativa e sensível ao contexto. Os autores afirmam que:

1. A completude sintática é insuficiente: Os dados podem ser estruturalmente perfeitos, mas semanticamente implausíveis; a verificação contra evidências externas é necessária para revelar incompatibilidades clinicamente relevantes.
2. Escalabilidade: A abordagem generativa supera as barreiras de escalabilidade da definição manual de regras, permitindo auditoria semântica automatizada para conjuntos de dados diversos.
3. Distinção entre Erro e Viés: Altas taxas de falha não implicam necessariamente dados corrompidos; em vez disso, elas quantificam a distância entre uma coorte de estudo específica (por exemplo, pacientes de UTI) e as linhas de base da população geral. Isso ajuda os pesquisadores a distinguir entre erros técnicos de dados (por exemplo, problemas de formatação) e efeitos válidos de seleção de coorte.
4. Operacionalização de Políticas: O framework oferece um mecanismo para operacionalizar recomendações de políticas de alto nível sobre qualidade de dados e viés algorítmico em código executável, abordando a preocupação de "Lixo entra, Lixo sai" na IA médica.

Os autores permanecem modestos quanto às limitações, reconhecendo que a dependência de priores da população geral pode introduzir uma "falácia ecológica reversa", onde divergências clínicas válidas em coortes especializadas são sinalizadas como erros. Eles também observam que a implementação atual depende de benchmarks gerais, e iterações futuras poderiam incorporar linhas de base de sistemas de saúde locais para servir como verdade absoluta. O trabalho conclui que, embora os testes possam mostrar a presença de bugs, não podem provar sua ausência, mas fornecem um framework inicial crítico para auditoria semântica escalável.