Validation asymmetry in generative AI–generated clinical educational content: a scoping review

Imagine un aula donde el profesor es una inteligencia artificial capaz de escribir casos clínicos, dibujar diagramas anatómicos y simular conversaciones con pacientes en segundos. Esta tecnología, conocida como inteligencia artificial generativa, está entrando rápidamente en las facultades de medicina y en los programas de formación para enfermeros, médicos y otros profesionales de la salud. Promete crear materiales de aprendizaje infinitos que sean fluidos, plausibles y adaptados a estudiantes específicos. Pero a medida que estas herramientas se vuelven más comunes, ha surgido una pregunta crítica: solo porque la IA pueda producir una historia convincente o una imagen realista, ¿significa eso que el contenido es realmente seguro y justo para su uso en la enseñanza? El problema central no es si la máquina puede hablar o dibujar, sino si la información que genera es precisa, si trata a todo tipo de personas de manera justa y si los métodos utilizados para crearla son lo suficientemente claros como para ser confiables.

Una revisión exhaustiva reciente de investigaciones publicadas entre 2020 y 2026 se propuso responder precisamente a esta pregunta. Los investigadores examinaron 161 estudios que analizaban cómo se utiliza la IA generativa para crear contenido educativo para las profesiones de la salud. No les interesaba si a los estudiantes les gustaba la IA o qué tan rápido funcionaba. En su lugar, se centraron en tres áreas específicas de validación: si los hechos médicos eran correctos, si las personas y grupos representados en el contenido eran tratados de manera justa sin estereotipos dañinos, y si las estrategias utilizadas para corregir errores realmente funcionaban. El equipo encontró un desequilibrio sorprendente en cómo se verificaron estos diferentes aspectos. Mientras que casi todos los estudios comprobaron si los hechos médicos eran correctos, muy pocos comprobaron si el contenido era justo para diferentes grupos de personas, e incluso menos probaron si los arreglos que propusieron realmente solucionaban los problemas.

Los investigadores descubrieron que, de los 161 estudios revisados, 156, o casi el 97 por ciento, se centraron en verificar la fidelidad representacional. En términos sencillos, esto significa que estaban verificando si el resultado de la IA era médicamente preciso, si contenía hechos reales y si evitaba inventar información o "alucinar" detalles. Esta es una verificación vital, ya que un estudiante de medicina que aprende de un diagnóstico falso podría ser peligroso. Sin embargo, cuando los investigadores buscaron estudios que comprobaran el sesgo demográfico —como si la IA representaba consistentemente a ciertas razas, géneros o edades de manera estereotipada o si los dejaba fuera por completo— encontraron solo 21 estudios. Eso es solo el 13 por ciento del total. Entre esos pocos estudios que sí analizaron el sesgo, 18 encontraron que la IA estaba, de hecho, reproduciendo estereotipos o creando representaciones desequilibradas. Por ejemplo, algunas imágenes generadas mostraban a enfermeros o médicos perteneciendo a un solo género o raza, y algunos casos clínicos vinculaban enfermedades específicas a determinados grupos étnicos de una manera que no coincidía con la realidad.

Este vacío de atención es lo que los autores llaman una asimetría de validación. Sugiere que el campo es actualmente muy bueno preguntando: "¿Es esto fácticamente correcto?", pero aún no está preguntando: "¿Es esto justo para todos?". La revisión también destacó que el contenido analizado era mayoritariamente texto, con un número menor de estudios que observaban imágenes o conversaciones. Sorprendentemente, ninguno de los estudios que probaron la IA conversacional, como los pacientes virtuales que hablan con los estudiantes, comprobó explícitamente estos sesgos demográficos. Esto no significa que el sesgo esté ausente en esas conversaciones; simplemente significa que nadie lo ha buscado todavía. Los investigadores también señalaron que, aunque muchos estudios propusieron formas de corregir estos errores —como cambiar las instrucciones dadas a la IA o hacer que expertos humanos revisaran el resultado—, solo una pequeña fracción realmente probó si esos arreglos funcionaban. En los pocos casos en que sí probaron los arreglos, los resultados fueron mixtos, con muchas estrategias que solo solucionaban el problema parcialmente en lugar de eliminarlo.

Otro hallazgo significativo se refirió a la transparencia. Para que un estudio sea útil, otros científicos necesitan saber exactamente cómo se utilizó la IA para poder repetir el experimento. Sin embargo, en 122 de los 161 estudios, los autores no informaron sobre los ajustes o parámetros específicos utilizados para generar el contenido. Sin conocer estos detalles, es imposible saber si los resultados serían los mismos si se repitiera el estudio hoy, especialmente dado que estos sistemas de IA cambian y se actualizan con frecuencia. La revisión también encontró que la mayoría de los estudios no informaron quién financió la investigación o si los investigadores tenían algún conflicto de intereses, detalles que son estándar para confiar en los hallazgos científicos.

La conclusión de esta revisión no es que la IA generativa esté rota, sino que la forma en que comprobamos su trabajo es incompleta. Los autores argumentan que, para que el contenido generado por IA se utilice de forma segura en la educación, debe ser validado como un recurso multidimensional. Esto significa que, antes de que una facultad de medicina utilice un caso clínico escrito por IA, deben verificar no solo que el diagnóstico sea correcto, sino también que el paciente descrito en la historia represente una diversidad realista de personas, y que cualquier medida tomada para garantizar la equidad haya sido realmente probada. El enfoque actual en la precisión fáctica por sí sola es insuficiente. A medida que estas herramientas se conviertan en una parte estándar de la formación médica, los estándares para su validación deben expandirse para incluir la equidad y la transparencia, asegurando que el futuro de la educación sanitaria se construya sobre un contenido que no solo sea inteligente, sino también justo y confiable.