Resumen Técnico: Evaluación de la Privacidad con Base Clínica de Modelos de Lenguaje Médicos

Declaración del Problema

Los modelos de lenguaje (LM) médicos entrenados en notas clínicas longitudinales capturan prácticas de tratamiento y datos específicos de pacientes que los corpus de dominio general no poseen. Sin embargo, esta codificación introduce riesgos de privacidad significativos. Trabajos previos han demostrado que los LM pueden memorizar y reproducir datos de entrenamiento, una preocupación exacerbada en entornos clínicos por las prácticas de documentación de "copiado hacia adelante" (copy-forward), que crean secuencias duplicadas o casi duplicadas altamente susceptibles a la memorización.

Las evaluaciones de privacidad existentes suelen depender de modelos de amenaza de dominio general donde los adversarios poseen prefijos de entrenamiento arbitrarios o buscan extraer atributos personales genéricos. Estos enfoques no logran dar cuenta de las normas contextuales de la privacidad clínica. En entornos clínicos, el riesgo no depende meramente de si un modelo reproduce texto, sino de si la divulgación vincula el contenido con un individuo específico y revela información sensible (por ejemplo, diagnósticos) que podría conducir a la discriminación o al daño. Además, las métricas estándar como la memorización de coincidencia exacta pueden confundir la filtración específica del paciente con artefactos de documentación benignos y estandarizados, comunes en las historias clínicas electrónicas (EHR).

Metodología

Los autores introducen un marco de evaluación de privacidad con base clínica diseñado para sondear los LM médicos bajo condiciones adversarias realistas. La metodología consta de tres componentes principales:

1. Acceso Adversario Graduado (Priors)

En lugar de asumir el acceso a prefijos completos de las notas, el marco simula atacantes con niveles variables de conocimiento plausible sobre un paciente objetivo. Los priors ($\pi$) se organizan a lo largo de un eje de acceso creciente:

• Público: Demografía (edad, género, ocupación, etc.) inferible de registros públicos.
• Público + Nombre: Demografía más el nombre del paciente.
• Público + Nombre + Medicamentos: Incluye una lista parcial de medicamentos (accesible para farmacéuticos o cuidadores).
• Información del Encuentro: Metadatos de rutina (nombre, fecha de nacimiento, fecha de visita, proveedor, ubicación de la práctica) visibles para el personal de facturación o miembros del hogar.
• Información del Encuentro + Motivo de Consulta / HPI: Fragmentos privilegiados de la propia nota clínica, modelando los peores escenarios de filtraciones parciales.

2. Medidas de Privacidad de Doble Dimensión

El marco evalúa la filtración a través de dos dimensiones complementarias:

• Memorización Verbatim: Medida mediante la coincidencia de $n$-gramas a nivel de token ($\tau=30$) entre el texto generado y las notas de entrenamiento. Crucialmente, los autores descomponen las regiones memorizadas por tipo de contenido (clínicamente revelador vs. estandarizado/templated) y especificidad del paciente (único para el objetivo vs. duplicado entre pacientes). Esto distingue la filtración dañina de la reproducción benigna de artefactos de documentación compartidos (p. ej., "Negativo para dolor torácico").
• Filtración Semántica de Diagnósticos Sensibles: Evalúa si el modelo divulga diagnósticos de alto riesgo (Aborto, VIH, Depresión, Ansiedad, Trastorno Bipolar, PTSD) mediante mención directa, síntomas asociados o medicamentos, incluso sin una superposición de texto exacta.

3. Diseño de Cohorte Emparejada

Para atribuir la filtración a la inclusión en los datos de entrenamiento en lugar de a la inferencia demográfica, los autores emplean un diseño de cohorte emparejada de entrenamiento/no-entrenamiento. Utilizando el emparejamiento por puntaje de propensión basado en edad, sexo y volumen de notas, comparan el rendimiento del modelo en pacientes presentes en el corpus de entrenamiento frente a aquellos ausentes. Esto aísla la "filtración atribuible al entrenamiento" de las correlaciones a nivel poblacional.

Configuración Experimental

El marco se aplicó a un LM moderno de solo decodificador (Qwen3.5-9B) pre-entrenado continuamente con 1 billón de tokens de notas clínicas longitudinales de 26,948 pacientes de 192 prácticas de medicina familiar rurales en los EE. UU. El conjunto de datos abarca de 2019 a 2025, con un seguimiento mediano de 3.8 años por paciente.

Resultados Clave

1. La Filtración Escala con el Acceso Adversario

La filtración de privacidad aumenta significamente a medida que el acceso del adversario a los metadatos del paciente crece:

• Memorización Verbatim: Bajo el prior de Información del Encuentro (nombre, fecha de nacimiento, fecha de visita, proveedor, ubicación), el modelo reproduce contenido verbatim de una media de 2.81 notas distintas a lo largo de la línea de tiempo de un paciente. Las tasas de memorización saltan del 4.8% (prior Público) al 85.6% (Información del Encuentro + Motivo de Consulta + HPI).
• Divulgación Semántica: Los metadatos de rutina por sí solos (Información del Encuentro) permiten la recuperación de diagnósticos sensibles con alta precisión. El modelo alcanza un AUROC de 0.91 para aborto y 0.81 para VIH, con Valores Predictivos Positivos (VPP) que alcanzan 0.98 y 1.0, respectivamente.
• Atribución de Entrenamiento: Emerge una brecha significativa entre las cohortes de entrenamiento y no-entrenamiento en el nivel de Información del Encuentro (+0.191 delta de AUROC), confirmando que la filtración es atribuible a la presencia del paciente en los datos de entrenamiento y no solo a la inferencia de sus datos demográficos.

2. Las Métricas de Coincidencia Exacta Sobrestiman el Daño

El estudio encuentra que las métricas estándar de coincidencia exacta pueden inflar las estimaciones de riesgo de privacidad:

• Bajo el prior de Información del Encuentro, el 36% de los tokens memorizados son estandarizados/templated (p. ej., negativos estándar de revisión de sistemas) en lugar de clínicamente reveladores.
• El 45% de las regiones memorizadas recurren en múltiples pacientes, lo que indica que gran parte del texto "memorizado" es boilerplate compartido.
• Sin embargo, dentro de la línea de tiempo de un solo paciente, el 37.5% de las regiones clínicamente reveladoras y específicas del paciente recurren en múltiples notas, lo que sugiere que el "copiado hacia adelante" amplifica la memorización de contenido sensible.

Significancia y Reivindicaciones

El artículo afirma proporcionar un marco práctico para la evaluación de la privacidad contextual de los LM médicos. Sus contribuciones primarias son:

1. Modelado de Amenazas Realista: Demostrar que los adversarios con solo metadatos de encuentro rutinarios (a menudo visibles para personal no clínico o familiares) pueden provocar una memorización verbatim sustancial y la recuperación de diagnósticos sensibles, desafiando la suposición de que la desidentificación o la falta de acceso total a la nota mitiga el riesgo.
2. Medición Matizada de la Filtración: Destacar que tratar toda la memorización como equivalente oscurece la naturaleza del riesgo. El marco distingue entre la filtración específica del paciente y clínicamente reveladora, y la reproducción benigna de artefactos de documentación compartidos.
3. Riesgo Longitudinal: Proporcionar evidencia de que el entrenamiento en datos longitudinales crea un riesgo donde un único dato (p. ej., una fecha de visita) puede desbloquear todo el historial de un paciente, incluyendo diagnósticos sensibles como VIH y aborto.

Los autores concluyen que las auditorías de privacidad para los LM clínicos deben ir más allá de las pruebas de memorización genéricas para evaluar la filtración bajo niveles de acceso realistas y caracterizar la significancia clínica y la especificidad del paciente de la información revelada. Señalan limitaciones, incluyendo el uso de datos identificables (en lugar de desidentificados) para la evaluación y el enfoque en modelos base sin post-entrenamiento, sugiriendo que el trabajo futuro debería abordar estos factores.