From Ethical Principles to Lifecycle Oversight: A Library-Based Analysis of AI-Enabled Health Research in Canada

En el mundo moderno de la investigación de la salud, los científicos suelen depender de programas informáticos que aprenden de grandes cantidades de información para encontrar patrones, predecir enfermedades o sugerir tratamientos. Estos programas, conocidos como inteligencia artificial, son herramientas poderosas, pero operan de manera diferente a los experimentos tradicionales que los investigadores han utilizado durante décadas. En un estudio estándar, un científico podría pedir permiso a un grupo de personas para utilizar sus registros médicos para una pregunta específica, realizar el análisis y publicar los resultados. Una vez realizado el estudio, el trabajo suele considerarse terminado. Sin embargo, la inteligencia artificial cambia este cronograma. Estos sistemas pueden ser entrenados con datos, y luego actualizados, mejorados y desplegados para tareas completamente nuevas mucho tiempo después de que la investigación inicial haya sido aprobada. También pueden crear nueva información a partir de registros antiguos, o ser utilizados por empresas ajenas al equipo de investigación, lo que plantea interrogantes sobre quién es responsable si algo sale mal. Canadá tiene un conjunto de reglas muy respetado llamado Declaración de Política del Tri-Consejo que guía cómo los investigadores tratan a los participantes humanos. Estas reglas se basan en tres ideas sólidas: respetar a las personas, cuidar su bienestar y garantizar la equidad. Si bien estos principios son fuertes, fueron escritos antes de que la inteligencia artificial se convirtiera en una parte común de la investigación de la salud. La gran pregunta que enfrenta la comunidad de investigación de Canadá es si estas reglas antiguas son suficientes para manejar la naturaleza cambiante y móvil de estos sistemas informáticos inteligentes.

Un investigador llamado Abdolreza Babamahmoodi se propuso responder a esta pregunta examinando de cerca cómo las reglas actuales de Canadá se aplican a la inteligencia artificial en la salud. Este no fue un estudio que probara nuevos fármacos o encuestara a pacientes; en su lugar, fue un examen cuidadoso de las políticas, leyes y directrices existentes en Canadá y en todo el mundo. El investigador recopiló veintiocho documentos diferentes, incluyendo la principal política de ética de investigación de Canadá, orientación internacional de la Organización Mundial de la Salud y reglas de Australia y la Unión Europea. El objetivo era ver si las reglas actuales de Canadá proporcionan instrucciones claras para los investigadores y los comités de ética sobre qué hacer cuando la inteligencia artificial está involucrada. El análisis se centró en seis áreas clave: decidir qué se cuenta como investigación, de dónde provienen los datos, si el modelo informático funciona de manera justa, cómo mantienen los humanos el control, cómo manejar los cambios al sistema más adelante y cómo respetar los derechos de las comunidades indígenas.

El estudio encontró que, si bien las reglas existentes en Canadá son buenas para establecer el tono moral, no son lo suficientemente detalladas para guiar las decisiones diarias que deben tomar los investigadores y las juntas de ética. La política actual dice que los investigadores deben respetar a las personas y garantizar la equidad, pero no especifica qué evidencia necesita mostrar un investigador para demostrar que un modelo informático es justo. No dice qué sucede cuando un modelo se actualiza seis meses después de su aprobación, o quién es responsable si una tercera empresa utiliza los datos de una manera que el investigador no esperaba. El investigador señaló que, sin estas instrucciones específicas, los comités de ética se quedan adivinando. Algunos podrían pedir demasiada información, retrasando el trabajo importante, mientras que otros podrían pasar por alto riesgos críticos porque no saben qué buscar. El artículo argumenta que los principios son suficientes para juzgar lo que está bien de lo que está mal, pero no son operativamente adecuados para decirle a la gente exactamente qué hacer.

Para resolver esto, el investigador propuso una nueva forma de ver el proceso, llamada "revisión del ciclo de vida". En lugar de tratar la investigación como un evento único que termina cuando el estudio se publica, este enfoque la ve como un viaje continuo con seis puntos de control distintos. El primer punto de control es el propósito: definir exactamente qué hará la inteligencia artificial y a quién ayudará. El segundo son los datos: mapear de dónde proviene la información y quién tiene el derecho de usarla. El tercero es el desarrollo: verificar cómo se construyó y probó el modelo informático. El cuarto es la validación: asegurar que el modelo funcione bien para diferentes grupos de personas y no solo para el promedio. El quinto es el despliegue: asegurarse de que un humano pueda entender las sugerencias de la computadora y detenerla si comete un error. El punto de control final es el cambio y el retiro: planificar qué sucede cuando el modelo se actualiza, se mueve a un nuevo lugar o se apaga.

Este nuevo marco sugiere que los investigadores deben presentar un conjunto específico de información en cada una de estas seis etapas. Por ejemplo, cuando se propone un modelo por primera vez, el investigador debe explicar su uso previsto. Más tarde, si el modelo se actualiza o si las fuentes de datos camban, el investigador debe informar esto al comité de ética para ver si el cambio es lo suficientemente significativo como para requerir una nueva revisión. El artículo enfatiza que esto no se trata de crear una montaña de papeleo, sino de asegurar que las personas adecuadas estén tomando las decisiones correctas en el momento adecuado. Sugiere que un estudio de bajo riesgo podría necesitar solo algunos detalles, mientras que un estudio de alto riesgo que afecte la atención al paciente necesitaría un plan mucho más exhaustivo.

Una parte crucial del artículo aborda los derechos de los pueblos indígenas en Canadá. Las reglas actuales ya reconocen que las comunidades indígenas tienen derechos colectivos sobre sus datos, no solo derechos individuales. El investigador encontró que, si bien la política existente reconoce esto, no explica cómo se aplican estos derechos a la inteligencia artificial. Por ejemplo, si un modelo informático se entrena con datos de una comunidad indígena, ¿tiene la comunidad voz si ese modelo se vende más tarde a una empresa o se utiliza para un propósito diferente? El artículo argumenta que estas preguntas no pueden ser respondidas por una política general escrita por agentes externos. En su lugar, el investigador establece explícitamente que estas cuestiones de gobernanza específicas deben ser lideradas por las propias comunidades indígenas. El marco propuesto deja un espacio para que estas comunidades definan sus propias reglas sobre cómo se tratan sus datos y los modelos informáticos resultantes, asegurando que su autoridad sea respetada sin ser anulada por una solución de talla única.

El investigador también analizó cómo otros países manejan estos temas. La Organización Mundial de la Salud y Australia han comenzado a crear guías específicas para la inteligencia artificial, y la Unión Europea tiene leyes que requieren un monitoreo estricto de los sistemas de alto riesgo. El artículo sugiere que Canadá no necesita copiar estas leyes exactamente, sino que puede aprender de su estructura. Al adoptar una guía "viva" similar que pueda actualizarse a medida que la tecnología cambie, Canadá puede mantener sus principios éticos fundamentales estables mientras añade los detalles necesarios para manejar nuevos desafíos. El estudio concluye que el sistema actual no está roto, sino que está incompleto. Necesita un puente entre sus sólidos principios morales y las realidades prácticas de cómo funciona la inteligencia artificial.

La solución propuesta es un modelo de trabajo que puede ser probado y mejorado. El investigador no afirma que este marco sea perfecto o que resuelva todos los problemas de inmediato. En su lugar, se presenta como una herramienta para la discusión y la validación futura. El artículo sugiere que, antes de que este modelo se convierta en una regla estándar, debe probarse con investigadores reales y comités de ética para ver si realmente les ayuda a tomar mejores decisiones sin crear retrasos innecesarios. El objetivo final es crear un sistema donde la inteligencia artificial pueda usarse para mejorar la salud, pero donde las personas involucradas estén protegidas, los datos se utilicen de manera responsable y las comunidades afectadas tengan una voz real en cómo se gobierna la tecnología. Al desglosar el proceso en pasos claros y manejables, el marco pretende hacer que el complejo mundo de la investigación de la inteligencia artificial sea más transparente y responsable para todos los involucrados.