📄 medicina

Harnessing Artificial Intelligence (AI) for Surgical Education: Comparing AI- and Surgeon-Generated Feedback in Informed Consent Training

Si bien la retroalimentación generada por IA para el entrenamiento en consentimiento informado fue calificada como de mayor calidad y más exhaustiva que la retroalimentación generada por cirujanos, la IA asignó sistemáticamente puntuaciones de desempeño más favorables, lo que indica que una alta calidad de retroalimentación no garantiza la validez evaluativa y resalta la necesidad de supervisión humana en las evaluaciones quirúrgicas matizadas.

Autores originales: Catherine Gbekie, Brianna M. Peet, Mary Grace Whelan, Grace B. Simmons, Daniel P. Pacella, Viemma Nwigwe, Angel Rosario

Publicado 2026-10-19

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Catherine Gbekie, Brianna M. Peet, Mary Grace Whelan, Grace B. Simmons, Daniel P. Pacella, Viemma Nwigwe, Angel Rosario

Artículo original bajo licencia CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

En el mundo de alto riesgo de la cirugía, el momento en que un paciente acepta una operación es tan crítico como el procedimiento mismo. Este acuerdo, conocido como consentimiento informado, no es meramente una firma en un formulario, sino una conversación compleja donde un médico debe explicar los riesgos, beneficios y alternativas de una cirugía de una manera que el paciente comprenda verdaderamente. Requiere un equilibrio delicado entre el conocimiento médico, la empatía y la capacidad de navegar los temores, las creencias culturales y los valores personales de un paciente. Durante décadas, la enseñanza de estas habilidades de comunicación vitales a los futuros cirujanos ha dependido de profesores humanos que observan y critican a sus estudiantes. Sin embargo, en los hospitales concurridos, estos profesores a menudo luchan por encontrar el tiempo para proporcionar una retroalimentación detallada y personalizada a cada aprendiz. A medida que la inteligencia artificial se vuelve más capaz de comprender el lenguaje humano, surge una nueva pregunta: ¿podría un programa informático aprender a enseñar estas vitales habilidades de comunicación tan bien como, o quizás incluso mejor que, un cirujano humano?

Investigadores de la Universidad de Columbia se propusieron probar esta idea enfrentando a un sofisticado programa informático contra expertos humanos en un ejercicio de entrenamiento simulado. Pidieron a seis estudiantes de medicina que practicaran una conversación difícil: explicar la necesidad de una apendicectomía laparoscópica a un paciente virtual que mantenía creencias religiosas y restricciones culturales específicas. Los estudiantes hablaron con un programa informático diseñado para actuar como el paciente, navegando un escenario que requería que fueran tanto médicamente precisos como culturalmente sensibles. Después de que cada estudiante terminara su conversación, la computadora generó un informe detallado sobre su desempeño. Simultáneamente, cuatro cirujanos humanos, que no estuvieron presentes durante la simulación, leyeron las transcripciones de las mismas conversaciones y escribieron sus propias evaluaciones utilizando la misma guía de calificación. El objetivo era ver si la retroalimentación de la computadora coincidía con las visiones de los expertos humanos y determinar si la computadora podía ofrecer consejos de alta calidad para la mejora.

Los resultados revelaron un contraste sorprendente entre la calidad de la retroalimentación y la precisión de la calificación. El programa informático produjo una retroalimentación significativamente más exhaustiva, equilibrada y constructiva que las notas escritas por los cirujanos humanos. En una calificación estandarizada de los informes de retroalimentación, las sugerencias de la computadora obtuvieron puntuaciones mucho más altas, ofreciendo ejemplos específicos de lo que salió bien y lo que necesitaba trabajo, junto con pasos claros y accionables para la mejora. Los cirujanos humanos, en comparación, a menudo proporcionaron comentarios más cortos y directos que a veces se centraban fuertemente en los errores sin siempre reconocer las fortalezas del estudiante. La computadora utilizó consistentemente un lenguaje de apoyo y justificó sus puntuaciones con un razonamiento detallado, mientras que la retroalimentación humana variaba más en su profundidad y tono.

Sin embargo, cuando los investigadores analizaron las puntuaciones reales que la computadora otorgó frente a las puntuaciones que dieron los cirujanos, surgió un panorama diferente. La computadora fue consistentemente más generosa, otorgando marcas de desempeño más altas que los expertos humanos para las mismas conversaciones. En varias áreas clave, como explicar los riesgos de la cirugía, discutir alternativas y abordar las emociones del paciente, la computadora calificó a los estudiantes significativamente más alto que los cirujanos. La brecha fue más amplia en áreas que requieren un juicio clínico profundo, como evaluar si el paciente realmente comprendía la situación o integrar las preferencias personales del paciente en el plan. Mientras que la computadora a menudo otorgaba puntuaciones casi perfectas, los cirujanos humanos identificaron deficiencias sutiles en la comprensión y el matiz de los estudiantes que la máquina pasó por alto.

Este estudio sugiere que, si bien la inteligencia artificial es una excelente herramienta para generar retroalimentación detallada, alentadora y estructurada, aún no está lista para reemplazar el juicio humano al evaluar la verdadera competencia de un cirujano. La computadora destacó al proporcionar el tipo de comentario rico y educativo que ayuda a un aprendiz a practicar y mejorar, pero tendió a pasar por alto las fallas más profundas y sutiles de una conversación que un cirujano experimentado detectaría. Los hallazgos indican que el mejor enfoque para la formación de los futuros cirujanos es probablemente una asociación: utilizar la inteligencia artificial para proporcionar sesiones de práctica frecuentes, inmediatas y de alta calidad, mientras se depende de expertos humanos para proporcionar la evaluación final y matizada de si un estudiante ha dominado verdaderamente el difícil arte del consentimiento informado.

Resumen Técnico: Aprovechamiento de la IA para la Educación Quirúrgica en el Entrenamiento del Consentimiento Informado

Planteamiento del Problema
La retroalimentación de alta calidad, oportuna e individualizada es esencial para desarrollar la agudeza clínica y las habilidades de comunicación en los residentes de cirugía. Sin embargo, la entrega de dicha retroalimentación se ve frecuentemente obstaculizada por las demandas clínicas, de investigación y educativas que recaen sobre el profesorado de cirugía. En consecuencia, las evaluaciones de los residentes suelen ser incompletas o tardías. Si bien el consentimiento informado (CI) es una competencia crítica que requiere la integración del conocimiento procedimental, la toma de decisiones centrada en el paciente y una comunicación matizada de riesgos y beneficios, existen brechas significativas en el desempeño de estudiantes y residentes. La literatura actual indica que los residentes a menudo no logran divulgar todos los elementos esenciales del CI, carecen de la práctica adecuada y tienen dificultades con la educación estandarizada. Aunque los Modelos de Lenguaje Extensos (LLM) ofrecen una solución escalable para el entrenamiento simulado y la retroalimentación, su capacidad para evaluar con precisión el desempeño del estudiante con una fidelidad comparable a la de los expertos humanos aún no ha sido validada suficientemente.

Metodología
El estudio empleó un diseño comparativo que involucró a seis estudiantes de medicina que completaron un encuentro simulado de consentimiento informado para una apendicectomía laparoscópica. La simulación utilizó un chatbot basado en un LLM programado (ChatGPT, GPT-4) actuando como un paciente sintético, incorporando un escenario culturalmente sensible que involucraba creencias religiosas para probar la comunicación más allá del conocimiento procedimental básico.

Protocolo de Evaluación: Cada transcripción del encuentro de los estudiantes fue evaluada dos veces: una vez por el LLM y, de forma independiente, por cuatro cirujanos humanos (residentes y adjuntos).
Instrumento de Calificación: Tanto los evaluadores de IA como los humanos utilizaron una rúbrica estandarizada de 17 ítems para el consentimiento informado, adaptada de la Escala de Comunicación Clínica de Nuevo México (NMCCS). Los ítems se calificaron en una escala de 0 a 3, lo que arroja un máximo total de 51. La rúbrica cubría componentes como el abordaje de las emociones del paciente, la explicación de riesgos/alternativas, la evaluación de la capacidad y la evitación de la coacción.
Evaluación de la Calidad de la Retroalimentación: La retroalimentación narrativa generada tanto por la IA como por los cirujanos fue evaluada mediante un marco de Clasificación de Reporte de Evaluación Clínica Completada modificado (mCCERR). Este instrumento de 8 ítems evaluó tres dimensiones: Comprensividad y Equilibrio, Especificidad y Justificación, y Utilidad Educativa y Constructividad. Las puntuaciones oscilaron entre 0 y 40.
Análisis Estadístico: La alineación de la calificación se definió como la diferencia entre la puntuación asignada por la IA y la puntuación asignada por la mediana de los cirujanos. Las diferencias se analizaron mediante la prueba de suma de rangos de Wilcoxon. Las puntuaciones de calidad de la retroalimentación se agregaron y compararon de manera similar.

Resultribución de Resultados Clave
El estudio reveló una divergencia distintiva entre la calidad de la retroalimentación generada y la validez de la evaluación del desempeño.

Discordancia en la Calificación del Desempeño: La IA asignó consistentemente puntuaciones de desempeño más altas que los cirujanos humanos. Se encontraron diferencias estadísticamente significativas ( $P=0.03$ ) en cinco ítems específicos de la rúbrica: abordar las emociones del paciente, explicar la naturaleza del procedimiento, explicar los riesgos, explicar las alternativas y evitar la coacción. Las mayores diferencias de puntuación absoluta ocurrieron en la explicación de las contraindicaciones (1.75 puntos), la evaluación de la capacidad (1.5 puntos) y la integración de las preferencias del paciente (1.25 puntos). La IA otorgó con frecuencia puntuaciones máximas o cercanas al máximo, lo que sugiere una capacidad de discriminación limitada ante los distintos niveles de desempeño del estudiante.
Superioridad en la Calidad de la Retroalimentación: En contraste con la alineación de las puntuaciones, la retroalimentación narrativa generada por la IA recibió calificaciones de calidad significativamente más altas que la generada por los cirujanos. La mediana de la puntuación general de mCCERR para la IA fue de 38.5 de 40, en comparación con 24.75 para los cirujanos ( $P=0.04$ ). La retroalimentación de la IA obtuvo puntuaciones significativamente más altas en todas las tres dimensiones de calidad ( $P \leq 0.04$ ). El análisis cualitativo mostró que la retroalimentación de la IA era más exhaustiva, proporcionaba justificaciones explícitas para las puntuaciones, ofrecía recomendaciones accionables y utilizaba un lenguaje de apoyo y empático. La retroalimentación de los cirujanos fue a menudo más concisa, de alcance variable y, en ocasiones, se centró desproporcionadamente en los errores sin equilibrarlos con las fortalezas.

Contribuciones Clave

Validación de la Calidad de la Retroalimentación frente a la Validez de la Evaluación: El estudio demuestra que una retroalimentación de alta calidad, exhaustiva y constructiva generada por los LLM no necesariamente se correlaciona con una evaluación precisa del desempeño. La IA proporcionó una retroalimentación narrativa superior, pero no logró alinearse con los expertos humanos en la calificación de la competencia del estudiante.
Identificación de Sesgo Sistemático: La investigación identifica una tendencia sistemática de los LLM a asignar puntuaciones de desempeño más favorables que los expertos humanos, particularmente en áreas matizadas que requieren juicio contextual (por ejemplo, evaluar la capacidad del paciente o integrar las preferencias culturales).
Escalabilidad de la Retroalimentación Formativa: Los hallazgos sugieren que los LLM pueden generar eficazmente retroalimentación formativa estructurada, detallada e inmediata, aliviando potencialmente la carga de los docentes mientras se proporciona a los estudiantes una guía consistente.

Significancia y Reivindicaciones
Los autores concluyen que, si bien la IA generativa es una herramienta prometedora para proporcionar retroalimentación formativa escalable e individualizada en la educación quirúrgica, actualmente no debe verse como un evaluador autónomo del desempeño del estudiante. El estudio postula que "una alta calidad de retroalimentación no debe verse como un indicador de una mayor validez evaluativa".

El documento aboga por un modelo híbrido y adjunto de entrenamiento asistido por IA. En este modelo, los LLM son más adecuados para la práctica simulada repetitiva y de bajo riesgo, así como para la entrega de retroalimentación inmediata y constructiva. Sin embargo, la supervisión del profesorado humano sigue siendo esencial para la evaluación matizada de las habilidades de comunicación y para las evaluaciones de competencia con consecuencias, particularmente donde se requiere juicio contextual y una comprensión clínica profunda. Los autores advierten que confiar únicamente en la IA para la evaluación podría conducir a una falsa tranquilidad y al refuerzo de prácticas de consentimiento informado subóptimas.

Más como este