A Generative Approach for Semantic Auditing of Electronic Health Records

Resumen Técnico: Un Enfoque Generativo para la Auditoría Semántica de Registros Electrónicos de Salud

Enunciado del Problema
La fiabilidad de la inteligencia artificial (IA) clínica depende fundamentalmente de datos de alta calidad. Sin embargo, los Registros Electrónicos de Salud (RES) frecuentemente exhiben inconsistencias con el conocimiento científico existente. Los métodos actuales de evaluación de calidad tienen un alcance limitado: se centran predominantemente en la completitud sintáctica (por ejemplo, asegurar que los campos no sean nulos o estén formateados correctamente) o dependen de reglas laboriosas y curadas manualmente para captar matices semánticos. Estos enfoques manuales no escalan a la complejidad de los datos médicos y a menudo fallan al detectar "Brechas Semánticas"—casos en los que los datos son sintácticamente válidos pero epidemiológicamente implausibles. Además, las herramientas existentes a menudo descuidan factores contextuales como poblaciones específicas, geografías y marcos temporales, lo que conduce al fenómeno "Basura entra - Basura sale", donde la mala calidad de los datos socava la investigación posterior y la validez de los modelos clínicos.

Metodología: Picoteo de Datos Médicos
Para abordar estas limitaciones de escalabilidad y semántica, los autores proponen el Picoteo de Datos Médicos, una metodología que adapta los principios de las pruebas unitarias de ingeniería de software para la validación de datos médicos. La innovación central es la introducción de la Cobertura Semántica de Datos, que utiliza Modelos de Lenguaje Grandes (LLM) para generar pruebas conscientes del contexto que "picotean" en busca de inconsistencias entre los datos observados y la evidencia epidemiológica.

El marco, implementado como la Herramienta de Picoteo de Datos Médicos (MDPT), opera mediante una arquitectura desacoplada para garantizar la privacidad y seguridad de los datos:

1. Módulo de Generación: Opera sobre especificaciones del estudio y diccionarios de datos (metadatos) sin acceder a datos de pacientes en bruto. Utiliza un LLM para mapear intenciones clínicas a esquemas de bases de datos locales.
2. Generación Aumentada por Recuperación (RAG): El sistema emplea un proceso de dos etapas para la síntesis de pruebas:
   • Extracción de Parámetros Contextuales: El sistema identifica conceptos médicos relevantes y los alinea con vocabularios estándar (por ejemplo, OMOP, ICD-9, SNOMED) utilizando búsqueda vectorial.
   • Anclaje Automatizado: Recupera estadísticas epidemiológicas mediante búsqueda web (API de Bing), priorizando fuentes de alta autoridad (por ejemplo, CDC, NIH).
3. Agente Auditor (Verificación de Doble Paso): Para mitigar las alucinaciones del LLM, un "Agente Auditor" secundario realiza una búsqueda independiente y dirigida para verificar las estadísticas propuestas en la matriz de pruebas inicial. Este agente corrige discrepancias o descarta afirmaciones sin respaldo antes de la generación final de pruebas.
4. Módulo de Aplicación de Pruebas: Reside dentro del entorno seguro del usuario, ejecutando el conjunto de pruebas generado contra datos de pacientes en bruto.

El marco define una taxonomía jerárquica de Pruebas Unitarias Semánticas:

• Nivel Sintáctico (Metadatos): Verifica la integridad estructural (presencia de campos, tipos de datos).
• Nivel Semántico Distribucional: Valida que las métricas de población se alineen con líneas base teóricas o de la literatura (por ejemplo, rangos de prevalencia esperados).
• Nivel Semántico Contextual (Subpoblación): Analiza patrones intragrupo (por ejemplo, tasas de comorbilidad dentro de demografías específicas) para detectar sesgos específicos del contexto invisibles para el análisis agregado.

La validación estadística emplea tres criterios: la prueba t de Welch para la equivalencia distribucional, la Diferencia de Medias Estandarizada (SMD) para la magnitud de la diferencia y la Tolerancia Proporcional (margen del 15%) para la prevalencia categórica.

Contribuciones Clave

• Auditoría Semántica Generativa: El artículo introduce un marco escalable que automatiza la creación de pruebas unitarias semánticas adaptadas a cohortes y conjuntos de datos específicos, superando las bibliotecas de reglas estáticas.
• Identificación de Brechas Semánticas: La metodología identifica con éxito discrepancias donde los datos superan las comprobaciones sintácticas pero fallan en las comprobaciones de plausibilidad epidemiológica.
• Implementación de Referencia (MDPT): Una herramienta funcional que utiliza una arquitectura RAG para sintetizar literatura médica en código ejecutable, con un agente auditor autocorrectivo para mejorar la precisión del anclaje.
• Taxonomía de Validación de Tres Niveles: Un enfoque estructurado que distingue entre capas semánticas de metadatos, distribucionales y contextuales.

Resultados
Los autores evaluaron la MDPT en cuatro cohortes clínicas: Diabetes Tipo 2 (T2D) y Enfermedad Renal Crónica (CKD) en el conjunto de datos All of Us (AoU), Hipertensión (HTN) en SyntheticMass, e Insuficiencia Cardíaca Congestiva (CHF) en MIMIC-III.

• Generación de Pruebas: El marco generó autónomamente entre 55 y 73 pruebas unitarias por cohorte. El Agente Auditor corrigió aproximadamente el 39–55% de las pruebas iniciales para que coincidieran con referencias clínicas, descartando solo el 2–10%.
• Validez de Referencia: La validez de los valores esperados derivados de la literatura osciló entre el 35% y el 93% en las cohortes. Al excluir las pruebas de prevalencia de medicamentos (que sufren de escasez de datos), la validez aumentó al 39–98%.
• Divergencia Semántica: El marco identificó una divergencia sustancial en todos los conjuntos de datos. En las cohortes donde las pruebas se verificaron como "correctas" (basadas en evidencia fiable), las tasas de fallo fueron altas: 87.1% para CHF, 97.3% para T2D y 100% para HTN y CKD. Esto indica que los datos sintácticamente válidos a menudo no se alinean con los priores epidemiológicos de la población general.
• Detección de Sesgos: Como control positivo, la MDPT identificó correctamente anomalías demográficas en el conjunto de datos AoU (por ejemplo, sobrerrepresentación de mujeres) sin configuración manual.
• Errores de Formato: En la cohorte CHF de MIMIC-III, el sistema detectó un problema sistemático de formato (omisión de puntos decimales en los códigos ICD-9) que hacía que los datos válidos fueran semánticamente invisibles para los algoritmos de fenotipo estándar, provocando que la prevalencia observada cayera a casi cero.
• Análisis de Sensibilidad: Se encontró que las tasas de fallo eran más sensibles a los umbrales de tolerancia proporcional que a los valores de corte SMD.

Significado y Afirmaciones
El artículo posiciona el Picoteo de Datos Médicos como una evolución necesaria en la garantía de calidad de los datos, pasando de reglas manuales y ajenas al contexto a una verificación generativa y sensible al contexto. Los autores afirman que:

1. La completitud sintáctica es insuficiente: Los datos pueden ser estructuralmente perfectos pero semánticamente implausibles; se requiere una verificación contra evidencia externa para revelar desajustes clínicamente relevantes.
2. Escalabilidad: El enfoque generativo supera las barreras de escalabilidad de la definición manual de reglas, permitiendo la auditoría semántica automatizada para diversos conjuntos de datos.
3. Distinción entre Error y Sesgo: Las altas tasas de fallo no implican necesariamente datos corruptos; más bien, cuantifican la distancia entre una cohorte de estudio específica (por ejemplo, pacientes de UCI) y las líneas base de la población general. Esto ayuda a los investigadores a distinguir entre errores técnicos de datos (por ejemplo, problemas de formato) y efectos válidos de selección de cohortes.
4. Operacionalización de Políticas: El marco ofrece un mecanismo para operacionalizar recomendaciones de políticas de alto nivel sobre calidad de datos y sesgo algorítmico en código ejecutable, abordando la preocupación de "Basura entra - Basura sale" en la IA médica.

Los autores permanecen modestos respecto a las limitaciones, reconociendo que la dependencia de priores de población general puede introducir una "falacia ecológica inversa" donde divergencias clínicas válidas en cohortes especializadas se señalan como errores. También señalan que la implementación actual depende de puntos de referencia generales, y que las iteraciones futuras podrían incorporar líneas base de sistemas de salud locales para servir como verdad fundamental. El trabajo concluye que, aunque las pruebas pueden mostrar la presencia de errores, no pueden probar su ausencia, pero proporcionan un marco inicial crítico para la auditoría semántica escalable.