Accuracy and Limitations of AI Scoring for Objective Medical Interview Checklist Items in a Year-One School of Medicine Objective Structured Clinical Examination (OSCE)

En las facultades de medicina, aprender a hablar con los pacientes es tan crítico como aprender a examinarlos. Para asegurar que los estudiantes estén preparados para el mundo real, los educadores utilizan un método de evaluación llamado Examen Clínico Objetivo Estructurado. En este entorno, un estudiante se sienta con un actor entrenado que interpreta a un paciente. El estudiante debe hacer las preguntas adecuadas para recopilar un historial médico, y el actor califica al estudiante basándose en una lista de verificación estricta de lo que se preguntó y qué tan bien se hizo. Este proceso es el estándar de oro para la enseñanza de habilidades clínicas, pero también es increíblemente laborioso. Requiere horas de capacitación para los actores, quienes deben mantener la consistencia mientras también juzgan el desempeño del estudiante, y exige que los miembros de la facultad dediquen incontables horas a revisar estas interacciones para asegurar la equidad. A medida que la inteligencia artificial se vuelve más capaz de escuchar conversaciones y comprender el lenguaje, los educadores han comenzado a preguntarse si una computadora podría encargarse de la calificación. La esperanza es que una máquina pueda escuchar la grabación, marcar las preguntas requeridas y calificar al estudiante en una fracción del tiempo que le toma a un humano, liberando recursos para la enseñanza.

Un equipo de investigadores de la Universidad de Texas Medical Branch en Galveston se propuso probar esta idea con un objetivo específico: ver si la inteligencia artificial podía calificar con precisión las partes objetivas de una entrevista médica. Se centraron en un examen de primer año de la facultad de medicina que involucró a 234 estudiantes. En este examen, los estudiantes fueron grabados mientras entrevistaban a un paciente estandarizado, y actores humanos ya los habían calificado en doce ítems específicos de una lista de verificación, tales como preguntar sobre la localización del dolor, la severidad de los síntomas o el historial familiar del paciente. Los investigadores tomaron las grabaciones de video de estos encuentros y las convirtieron en transcripciones de texto. Luego, introdujeron estas transcripciones en una plataforma de software equipada con inteligencia artificial, programándola con instrucciones diseñadas para buscar esos mismos doce ítems de la lista de verificación. Se le dijo a la computadora que actuara como un calificador, asignando un punto por cada ítem que detectara en el texto. El equipo luego comparó las calificaciones generadas por la computadora con las calificaciones que habían dado los actores humanos, buscando diferencias y tratando de entender por qué ocurrían.

Los resultados mostraron que la inteligencia artificial era una asistente capaz, aunque no perfecta. Cuando los investigadores compararon las calificaciones de la computadora con las de los humanos, encontraron un nivel moderado de concordancia. El puntaje promedio total dado por la computadora fue casi idéntico al dado por los humanos, con la computadora otorgando un promedio de 11.51 puntos de un posible 12, mientras que los humanos otorgaron 11.60. En términos de tiempo, la diferencia fue notable. El proceso de calificación humana, que incluyó la capacitación de los actores y la revisión de los exámenes, tomó aproximadamente 56 horas para completar este grupo de estudiantes. La computadora, una vez configurado el sistema, analizó todas las 234 entrevistas y generó las calificaciones en poco menos de tres horas. Esto sugiere que, para la tarea específica de verificar preguntas fácticas en una entrevista médica, la máquina puede realizar el trabajo pesado con una velocidad notable y un alto grado de consistencia.

Sin embargo, el estudio también reveló exactamente dónde tropezó la máquina. De casi 2,800 decisiones de calificación individuales, hubo 83 instancias donde la computadora y el actor humano no estuvieron de acuerdo. Cuando los investigadores analizaron de cerca estos errores, encontraron cuatro razones principales para la discrepancia. Primero, la computadora depende totalmente de la calidad del texto que lee. Si la grabación de audio era tenue, si dos personas hablaban al mismo tiempo o si el ruido de fondo interrumpía la conversación, el software de transcripción podría omitir una palabra o escucharla mal. Por ejemplo, si un estudiante preguntó si el dolor "irradia" a otra parte del cuerpo pero la computadora transcribió como "resuena", la IA no reconocería el término médico correcto y marcaría la pregunta como omitida.

Segundo, la computadora tiene dificultades con la forma en que los humanos realmente hablan. Los estudiantes suelen formular sus preguntas de maneras únicas o indirectas que un actor humano puede entender de inmediato, pero una computadora podría pasarlas por alto si está buscando un conjunto específico de palabras. Si un estudiante preguntaba, "¿El dolor se queda en un solo lugar?" en lugar de lo esperado, "¿El dolor irradia?", un humano podría dar crédito por comprender el concepto, pero la computadora, siguiendo reglas rígidas, podría no hacerlo. Tercero, la computadora no puede ver ni oír señales no verbales. En una entrevista real, un paciente puede asentir con la cabeza o señalarse el estómago para responder a una pregunta, y un actor humano daría crédito al estudiante por esa interacción. Dado que la computadora solo lee la transcripción de texto, no puede ver el asentimiento o el gesto de señalar, por lo que marca la pregunta como no respondida. Finalmente, hubo diferencias de juicio. A veces, el actor humano otorgaba crédito por un significado implícito que el estudiante pretendía, mientras que la computadora requería que el estudiante dijera las palabras exactas escritas en la lista de verificación.

Los investigadores concluyeron que, si bien la inteligencia artificial es una herramienta poderosa para acelerar la calificación de listas de verificación estructuradas y objetivas, no está lista para reemplazar el juicio humano por completo. La computadora es excelente encontrando palabras específicas en una transcripción, pero carece de la capacidad de comprender el contexto, el tono o la intención sutil detrás de la pregunta de un estudiante. El estudio sugiere que el mejor uso de esta tecnología es como una herramienta de apoyo. Puede encargarse de la fase inicial de calificación, ahorrando a los educadores docenas de horas, pero un humano aún debe revisar los resultados para detectar los errores que surgen de un audio deficiente, un fraseo único o la comunicación no verbal. Hasta que la tecnología pueda interpretar de manera confiable la totalidad de los matices de una conversación humana, incluyendo lo que no se dice, la última palabra en la evaluación de las habilidades clínicas de un estudiante debe permanecer en manos de una persona. El futuro de la evaluación en la educación médica puede implicar una asociación donde la máquina maneje el volumen y el humano maneje el juicio, asegurando que los estudiantes sean calificados de manera justa y eficiente.