📄 medicina

Population representativeness cannot be assessed for most FDA-authorized AI medical devices targeting high-disparity conditions

Este estudio revela que para el 76,6% de los dispositivos médicos de IA autorizados por la FDA dirigidos a condiciones de alta disparidad, la representatividad de la población no puede evaluarse a partir de registros públicos debido a la falta de reporte de datos raciales, una brecha que persiste incluso al revisar la literatura revisada por pares subyacente y que pone de relieve el fracaso de la orientación de divulgación actual para garantizar la capacidad de evaluación de la equidad.

Autores originales: Saptarshi Purkayastha, Aravind V. Kuruvikkattil, Chaitra Sree Sammeta, Aiswarya N. Perumbilly, Rashmita Kudamala, Judy W. Gichoya

Publicado 2026-10-01

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Saptarshi Purkayastha, Aravind V. Kuruvikkattil, Chaitra Sree Sammeta, Aiswarya N. Perumbilly, Rashmita Kudamala, Judy W. Gichoya

Artículo original bajo licencia CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

La inteligencia artificial se ha convertido silenciosamente en una herramienta estándar en la medicina moderna, ayudando a los médicos a leer radiografías, detectar tumores y predecir riesgos cardíacos. Estas herramientas no son magia; son programas informáticos entrenados con enormes cantidades de datos de pacientes para reconocer patrones. Para que un programa funcione bien para todos, debe ser entrenado con una mezcla de personas que se parezcan a los pacientes que eventualmente tratará. Si una herramienta aprende solo de un tipo de persona, puede fallar cuando se usa en alguien diferente, lo que podría conducir a diagnósticos erróneos o tratamientos incorrectos. Esto es una cuestión de equidad y seguridad. Cuando una agencia gubernamental que la regula, la Administración de Alimentos y Medicamentos (FDA), aprueba un dispositivo médico para su uso, publica un resumen de la evidencia. Estos documentos están destinados a ser el registro público, mostrando quién fue probado y cómo se desempeñó el dispositivo. La pregunta crítica es si estos resúmenes cuentan la historia completa sobre quién fue probado con el dispositivo, especialmente para enfermedades que afectan de manera más severa a algunos grupos raciales y étnicos.

Un equipo de investigadores se propuso responder a esta pregunta examinando casi todos los dispositivos médicos de inteligencia artificial aprobados en los Estados Unidos hasta finales de 2025. Examinaron 1,428 dispositivos, que van desde herramientas que escanean imágenes cerebrales hasta aquellas que analizan ritmos cardíacos. Su objetivo era ver si los documentos públicos permitían a cualquier persona juzgar si las personas probadas con los dispositivos coincidían con las personas que realmente sufren las enfermedades que los dispositivos pretenden tratar. Los investigadores encontraron una brecha significativa en la información disponible. Para aproximadamente tres de cada cuatro dispositivos diseñados para tratar condiciones donde existen disparidades raciales conocidas, los documentos públicos no informaron la raza o etnia de las personas en los datos de prueba. Sin esta información básica, es imposible saber si el dispositivo fue probado con una mezcla justa de pacientes o si fue probado solo con un grupo que no representa a la población general.

Los investigadores desarrollaron una lista de verificación específica para evaluar estos documentos, buscando detalles como la raza, la edad y la ubicación de los pacientes involucrados en las pruebas. Encontraron que, si bien cierta información estaba presente, los datos más cruciales referentes a la raza y la etnia faltaban en la gran mayoría de los casos. Esta información faltante no era solo una cuestión de que los resúmenes fueran demasiado cortos; los investigadores profundizaron y examinaron los estudios científicos originales detrás de los dispositivos. Incluso cuando encontraron los artículos de investigación completos, los datos seguían faltando en la mayoría de los casos. Esto sugiere que el problema no radica solo en cómo el gobierno resume la información, sino en la propia investigación. Los estudios utilizados para demostrar que estos dispositivos funcionan a menudo no incluyen suficientes detalles sobre la demografía de los pacientes involucrados.

El estudio también reveló que, cuando los datos estaban presentes, a menudo mostraban que los grupos de prueba no coincidían con los grupos más afectados por la enfermedad. Por ejemplo, algunos dispositivos diseñados para detectar el cáncer de piel, una condición que puede ser más difícil de diagnosticar en personas con piel más oscura, fueron probados casi exclusivamente en personas con piel clara. En otros casos, los dispositivos para condiciones cardíacas fueron probados en poblaciones que no reflejaban las tasas más altas de enfermedades cardíacas encontradas en ciertas comunidades minoritarias. Los investigadores señalaron que, aunque algunos dispositivos proporcionaron información excelente y detallada sobre sus grupos de prueba, estos eran la excepción y no la regla. La mayoría de las veces, el registro público simplemente no contenía los números necesarios para realizar un juicio justo.

Uno de los hallazgos más impactantes fue que los investigadores no pudieron calificar de manera confiable la equidad de los dispositivos basándose únicamente en el texto. Encontraron que, al pedirles que interpretaran descripciones vagas o juzgaran qué tan bien un grupo de pacientes coincidía con una enfermedad, diferentes expertos a menudo discrepaban. Sin embargo, podían estar de acuerdo de manera confiable en hechos binarios simples: si un número se reportaba o no. Esto llevó al equipo a concluir que el sistema actual de reporte es insuficiente para garantizar la equidad. Los documentos son con demasiada frecuencia silenciosos sobre los mismos detalles que más importan para la equidad. Los investigadores proponen un nuevo y simple estándar para estos reportes, que exija a los fabricantes enumerar números específicos sobre la raza, la edad y el origen de las personas probadas, en lugar de solo escribir declaraciones generales.

Las implicaciones de este trabajo son claras para los pacientes, médicos y hospitales. Si un hospital quiere comprar una nueva herramienta de inteligencia artificial para ayudar a diagnosticar una enfermedad, actualmente no puede consultar los documentos de aprobación pública para ver si esa herramienta fue probada en personas como sus propios pacientes. Se quedan adivinando. El estudio muestra que, para las enfermedades más comunes y mortales, las herramientas que se están implementando a menudo están construidas sobre datos que no reflejan la realidad de las personas que más las necesitan. Los investigadores enfatizan que este no es un problema que pueda resolverse simplemente pidiendo más texto; la industria debe comenzar a reportar datos específicos y estructurados. Hasta entonces, el registro público permanece incompleto, dejando un punto ciego crítico en la seguridad y la equidad de la tecnología médica que cada vez más moldea la atención sanitaria en los Estados Unidos.

Resumen Técnico: Representatividad de la Población en Dispositivos Médicos de IA Autorizados por la FDA

Planteamiento del Problema
El estudio aborda una brecha crítica en la supervisión regulatoria de los dispositivos médicos de Inteligencia Artificial/Aprendizaje Automático (IA/ML). Mientras que las auditorías previas se han centrado en la transparencia (si se divulgan los datos demográficos en los resúmenes de decisiones de la FDA), no han abordado adecuadamente la equidad (si los datos divulgados se alinean con las poblaciones que soportan la mayor carga de enfermedad). Los autores postulan que, para dispositivos dirigidos a condiciones con disparidades demográficas documentadas (p. ej., accidente cerebrovascular, enfermedades cardíacas, cánceres específicos), actualmente es imposible evaluar si las cohortes de entrenamiento y validación son representativas de las poblaciones afectadas. Esta brecha de "alineación de datos poblacionales" impide que clínicos, compradores y pacientes verifiquen si un dispositivo fue probado en las personas que más lo necesitan, lo que potencialmente perpetúa el sesgo algorítmico y las inequidades en salud.

Metodología
Los autores realizaron una auditoría transversal de 1,428 dispositivos de IA/ML con resúmenes de decisiones públicos recuperables hasta el 30 de diciembre de 2025. El estudio empleó una metodología novedosa de múltiples pasos:

Evaluación de Preparación para la Equidad (ERA): Se desarrolló un instrumento de 19 ítems distribuidos en cuatro dominios: Profundidad de Reporte Demográfico, Alineación de Datos Poblacionales, Características de Diseño Relevantes para la Equidad y Vinculación de Evidencia Externa.
Cruce Epidemiológico: Un sistema de mapeo pre-registrado vinculó cada condición objetivo del dispositivo con perfiles de disparidad demográfica documentados (usando datos de CDC, GBD y ACS) para determinar si la condición conlleva una alta carga de disparidad.
Estratificación Basada en la Fiabilidad: Para asegurar el rigor científico, el estudio priorizó la fiabilidad inter-evaluador. Dos revisores humanos ciegos codificaron un conjunto de validación estratificado ( $n=153$ $n = 153$ ). Los ítems se clasificaron en:
- Nivel A (ERA-9): Ítems con alto acuerdo inter-evaluador (Kappa de Cohen $\kappa \ge 0.60$ o equivalente ajustado por prevalencia). Estos forman el núcleo validado para todas las afirmaciones inferenciales.
- Nivel B: Ítems con bajo acuerdo, reportados solo como estadísticas descriptivas.
Validación de Fuente Dual: Para un subconjunto de dispositivos ( $n=68$ ) con publicaciones revisadas por pares pivotales recuperables, los autores volvieron a calificar los dispositivos utilizando tanto el resumen de la FDA como la literatura primaria para determinar si la brecha de datos era un artefacto de la sumarización regulatoria o una falta fundamental de datos en la base de evidencia.
Extracción Asistida por Modelo: Se utilizaron Modelos de Lenguaje Extensos (LLM) para la extracción y clasificación, validados contra el consenso humano. Las afirmaciones inferenciales se restringieron a los ítems donde el acuerdo modelo-versus-humano igualaba o excedía el acuerdo humano-versus-humano.

Resultados Clave

Hallazgo Principal (Inevaluabilidad): Para el 76.6% (IC 95% 73.8–79.3%) de los 899 dispositivos que apuntan a condiciones de alta disparidad, la representatividad poblacional no puede ser evaluada porque los datos de raza o etnia están totalmente ausentes del resumen de decisión público. Este hallazgo es robusto a las variaciones en cómo se clasifican las condiciones.
Fuente de la Brecha de Datos: La consulta de la literatura revisada por pares subyacente permitió recuperar la capacidad de evaluar la representatividad en solo 5 de 27 dispositivos previamente inevaluables. Esto indica que los datos faltantes son una propiedad de la base de evidencia subyacente, no simplemente un resultado de una redacción regulatoria escueta.
Subrepresentación: Entre los 210 dispositivos donde la evaluación fue posible, el 84.8% mostró una subrepresentación de los grupos demográficos con mayor carga de enfermedad.
Restricciones de Fiabilidad: Los juicios de equidad graduados (p. ej., calificar el grado de representatividad) resultaron poco fiables entre los codificadores ( $\kappa = 0.12$ ). Solo los ítems binarios de "presencia de reporte" fueron reproducibles. En consecuencia, el estudio ancla todas sus inferencias estadísticas en el núcleo ERA-9 (9 ítems binarios) en lugar de un puntaje compuesto.
Entornos de Validación: Ningún dispositivo en la cohorte tuvo un resumen de decisión que documentara la validación en un entorno comunitario, de red de seguridad o de bajos recursos. La validación ocurrió casi exclusivamente en entornos académicos bien dotados de recursos.
Impacto Regulatorio: El reporte mejoró modestamente tras los principios de Buenas Prácticas de Aprendizaje Automático (GMLP) de 2021, pero la guía posterior (PCCP, gestión del ciclo de vida) no mostró una asociación significativa con una mejora en la alineación.

Contribuciones Clave

Instrumento ERA-9: Los autores destilan el ERA de 19 ítems en un núcleo validado de 9 ítems (ERA-9) que mide de manera fiable la presencia de datos relevantes para la equidad, distinguiendo entre lo que se puede medir (reporte binario) y lo que no se puede (alineación graduada) a partir de la prosa regulatoria actual.
Cruce Epidemiológico: Un mapeo de acceso público de las condiciones objetivo de los dispositivos con perfiles de disparidad, permitiendo la identificación de condiciones de alta disparidad.
Conjunto de Datos a Nivel de Dispositivo: Un conjunto de datos abierto de 1,428 dispositivos con sus puntuaciones de preparación para la equidad, permitiendo la vigilancia longitudinal.
Propuesta de Estándar Mínimo: El artículo propone ocho campos estructurados para los resúmenes de decisiones de la FDA (Tabla 5), pasando de la prosa narrativa a campos de datos estructurados (p. ej., distribuciones específicas de raza/etnia de la cohorte, tipos de centros) para hacer que la auditoría de equidad sea computable.

Significancia y Reivindicaciones
El artículo sostiene que la guía de divulgación actual no ha logrado producir ni alineación de datos poblacionales ni su capacidad de evaluación. Los autores argumentan que la transparencia (divulgar datos) es insuficiente sin alineación (asegurar que los datos coincidan con la carga).

Para los Reguladores: El estudio demuestra que los marcos existentes (STANDING Together, HEAL) no resuelven el problema de la evaluación retrospectiva por terceros de los resúmenes regulatorios. Hace un llamado a un estándar mínimo obligatorio de reporte de equidad con campos estructurados para reemplazar las declaraciones narrativas.
Para Clínicos y Compradores: Los hallazgos indican que, para la mayoría de los dispositivos de IA dirigidos a condiciones de alta disparidad, actualmente es imposible verificar quién fue probado. Esta falta de información debería ser un factor crítico en las decisiones de adquisición.
Para Investigadores: El estudio establece un piso metodológico para la auditoría de equidad, demostando que las puntuaciones de equidad graduadas no pueden codificarse de manera fiable a partir de los documentos regulatorios actuales. Destaca que la "brecha de alineación" es un fallo estructural del proceso de generación de evidencia, no solo una deficiencia de reporte.

Los autores declaran explícitamente que su trabajo es un "diagnóstico" del estado actual: el compuesto de 19 ítems aún no es un instrumento fiable, y la contribución principal es el núcleo validado ERA-9 y la demostración de que la brecha es evitable (como muestran los contraejemplos como LUMA y Aidoc) pero actualmente no abordada por los requisitos regulatorios.

Resumen Técnico: Representatividad de la Población en Dispositivos Médicos de IA Autorizados por la FDA

Más como este