Resumen Técnico: Un Marco de LLM Multiagente para Calificar la Calidad de la Retroalimentación Quirúrgica

Declaración del Problema

La retroalimentación verbal de los cirujanos adjuntos a los residentes en formación en el quirófano (OR) es crítica para la adquisición de habilidades y los resultados quirúrgicos. Sin embargo, evaluar sistemáticamente la calidad de esta retroalimentación, específicamente cómo se entrega en lugar de solo su contenido, sigue siendo un desafío significativo. Investigaciones anteriores se han centrado mayoritariamente en categorizar el contenido de la retroalimentación (por ejemplo, referencias anatómicas, manejo de instrumentos) utilizando anotación manual o métodos automatizados como análisis de palabras clave y modelado de temas. Estos enfoques existentes no logran capturar atributos de entrega matizados como la claridad, la urgencia, la oportunidad y el tono emocional, que son esenciales para comprender la efectividad de la retroalimentación. Además, la anotación manual es intensiva en mano de obra y no escalable, mientras que los métodos automatizados existentes carecen de la sensibilidad al lenguaje clínico y de la capacidad para distinguir entre tareas instruccionales idénticas entregadas con diferentes tonos o urgencias.

Metodología

Los autores proponen un marco basado en Modelos de Lenguaje Grande (LLM) de dos etapas, diseñado para descubrir criterios interpretables de calidad de la retroalimentación y calificar automáticamente la retroalimentación quirúrgica. El pipeline integra la generación de prompts multiagente, la inyección de conocimiento del dominio y un enfoque de "LLM como juez".

1. Fase de Descubrimiento de Criterios

El proceso de descubrimiento utiliza una estrategia multiagente para generar y consolidar criterios de evaluación:

• Iniciación Guiada por el Dominio: Los agentes GPT-4o se inician con definiciones formales de los resultados de la retroalimentación quirúrgica (Ajuste Conductual, Reconocimiento Verbal, Aprobación del Instructor) y una definición de la retroalimentación en sí. Se les proporciona un pequeño subconjunto de ejemplos de retroalimentación sin etiquetar (<1% del conjunto de datos) para inferir dimensiones evaluativas relevantes mediante razonamiento analógico.
• Generación Multiagente: Cinco agentes GPT-4o independientes, configurados con una temperatura de muestreo alta ($T=1.0$) para fomentar la diversidad, proponen independientemente dimensiones candidatas de calidad. Cada agente tiene la tarea de definir criterios abstractos y generalizables que puedan calificarse en una Escala de Calificación Anclada Conductualmente (BARS) de 5 puntos basándose únicamente en una línea transcrita de retroalimentación.
• Consolidación de Criterios: Los criterios candidatos de todos los agentes se aplican al conjunto de datos completo. Un algoritmo de agrupamiento jerárquico (enlace simple, distancia euclidiana) agrupa criterios semánticamente similares. El número óptimo de grupos ($k=6$) se determina mediante el coeficiente de silueta. Una instancia final de GPT-4o (en modo determinista, $T=0.0$) sintetiza una definición unificada y anclas BARS para cada grupo, asegurando la reproducibilidad y la no superposición.

2. Consolidación y Validación de Criterios

El proceso arrojó seis dimensiones interpretables de calidad de la retroalimentación:

1. Alentadora: Tono de apoyo que aumenta la confianza.
2. Urgente: Comunicación que indica que se requiere acción inmediata.
3. Accionable: Pasos claros y específicos que el residente puede implementar.
4. Oportuna: Retroalimentación proporcionada durante o inmediatamente después de la acción.
5. Clara: Mensaje directo y sin ambigüedades.
6. Reflexiva: Pistas para la autoevaluación o una comprensión más profunda.

3. Calificación Automatizada y Evaluación

• LLM como Juez: La rúbrica final de seis dimensiones se utiliza para calificar 4,210 instancias de retroalimentación quirúrgica en vivo utilizando GPT-4o. El modelo asigna puntuaciones de 1 a 5 para cada dimensión.
• Modelado Predictivo: Los autores evaluaron la capacidad de estas puntuaciones derivadas de la IA para predecir cuatro resultados conductuales: Cambio de Conducta del Residente, Respuesta Verbal del Residente, Aprobación del Instructor y Desaprobación del Instructor. Compararon su modelo con enfoques anteriores de modelado de temas y categorías humanas anotadas manualmente utilizando clasificadores Random Forest con validación cruzada estratificada de cinco pliegues.
• Alineación Humano-IA: Dos calificadores humanos con conocimiento del dominio calificaron un subconjunto de 30 instancias utilizando la rúbrica descubierta por la IA. La fiabilidad intercalificadora se evaluó utilizando el Kappa Ponderado Cuadrático ($\kappa$) para medir el acuerdo entre humanos, entre ejecuciones de la IA y entre humanos e IA.

Resultados Clave

Rendimiento Predictivo

Los criterios de calidad descubiertos por la IA demostraron un poder predictivo superior en comparación con los métodos anteriores:

• Rendimiento Independiente: Utilizando únicamente las seis puntuaciones de calidad, el modelo logró puntuaciones AUROC de 0.75 para el Cambio de Conducta del Residente, 0.71 para la Respuesta Verbal, 0.66 para la Aprobación del Instructor y 0.60 para la Desaprobación del Instructor.
• Mejora Comparativa: Cuando se combinaron con características anteriores de modelado de temas, las puntuaciones de la IA mejoraron la predicción del Cambio de Conducta del Residente en un 12% (AUROC 0.77) y la Desaprobación del Instructor en un 11% (AUROC 0.63). Cuando se combinaron con categorías humanas definidas previamente, las mejoras oscilaron entre el 3% y el 12% en todos los resultados.
• Significancia Estadística: La prueba de DeLong confirmó que la adición de puntuaciones de calidad derivadas de la IA resultó en mejoras estadísticamente significativas ($p < 0.05$) tanto sobre el modelado de temas como sobre las categorías definidas por humanos para la mayoría de los resultados.

Alineación Humano-IA

• Consistencia: Las ejecuciones de la IA mostraron una consistencia interna casi perfecta ($\kappa = 0.92–1.00$).
• Alineación: El acuerdo humano-IA fue sustancial ($\kappa = 0.60–0.79$) para cinco de los seis criterios (Aliento, Urgencia, Accionabilidad, Claridad, Reflexión), acercándose a los niveles de acuerdo interhumano. El acuerdo fue menor para "Oportunidad" ($\kappa = 0.54$), reflejando la dificultad inherente de juzgar los aspectos temporales.

Asociación con Resultados

El análisis de la relación entre dimensiones específicas de calidad y resultados reveló patrones distintos:

• Ajuste Conductual: Fuertemente asociado con la retroalimentación Accionable (RR=1.22), Oportuna (RR=1.24) y Urgente (RR=1.11). Por el contrario, la retroalimentación Alentadora y Reflexiva se asoció con una reducción del ajuste conductual, probablemente porque afirman un comportamiento correcto o estimulan una comprensión a largo plazo en lugar de una corrección inmediata.
• Reconocimiento Verbal: Fuertemente asociado con la retroalimentación Reflexiva (RR=1.34) y Clara (RR=1.13). La retroalimentación Alentadora y Oportuna se asoció con una reducción del reconocimiento verbal.

Significancia y Afirmaciones

El artículo afirma avanzar en el campo de la educación quirúrgica y el análisis de la comunicación de varias maneras:

1. Mecanismo de Descubrimiento Novel: A diferencia de trabajos anteriores que dependen de taxonomías predefinidas o agrupamiento no supervisado, este marco utiliza una estrategia guiada por LLM de dos etapas para descubrir criterios de calificación novedosos e interpretables por humanos, fundamentados en interacciones clínicas del mundo real.
2. Escalabilidad e Interpretabilidad: El marco proporciona un método escalable y automatizado para evaluar la calidad de la entrega de la retroalimentación sin necesidad de una extensa anotación manual. El uso de BARS asegura que los criterios sean interpretables tanto por humanos como por máquinas.
3. Relevancia Clínica: Las dimensiones descubiertas no son meramente características lingüísticas, sino que están fundamentadas conductualmente, mostrando asociaciones estadísticamente significativas con ajustes conductuales de los residentes y reacciones de los instructores.
4. Aplicación Práctica: Los autores postulan que este marco puede sustentar paneles de control en el punto de atención, análisis de currículos longitudinales y auditorías automatizadas de aseguramiento de calidad. Ofrece una vía para mejorar la efectividad de la enseñanza intraoperatoria y apoya el desarrollo de los instructores.
5. Generalizabilidad: Aunque desarrollado para el quirófano, los autores sugieren que el pipeline podría generalizarse a otros entornos clínicos que dependen de la guía hablada (por ejemplo, rondas en la UCI, telemedicina), siempre que la entrada sea basada en texto.

Los autores mantienen una postura modesta con respecto a las limitaciones, reconociendo que el análisis se basa únicamente en texto (excluyendo pistas prosódicas o visuales), que la evaluación fue retrospectiva y que el descubrimiento de la rúbrica dependió de un modelo propietario (GPT-4o), aunque han publicado la rúbrica final para permitir la reimplantación con modelos de código abierto.