Artificial Intelligence in Surgical Qualitative Research: A Comparison of Human and AI-Assisted Thematic Analysis

Resumen Técnico: Inteligencia Artificial en la Investigación Cualitativa Quirúrgica

Planteamiento del Problema
Si bien la Inteligencia Artificial (IA) y los Modelos de Lenguaje Extensos (LLM) han establecido su utilidad en la investigación cuantitativa, su integración en el análisis de datos cualitativos sigue siendo limitada. La investigación cualitativa, particularmente el análisis temático, es históricamente laboriosa y depende de la interpretación humana para distinguir diferencias conceptuales sutiles e interpretar significados dependientes del contexto. Aunque existe un creciente interés en el uso de la IA para acelerar los flujos de trabajo cualitativos, persisten las preocupaciones sobre la capacidad de la IA para generar estructuras temáticas matizadas y bien diferenciadas sin comprometer la profundidad interpretativa. Específicamente, existe una falta de comparación empírica entre los libros de códigos derivados por humanos y los derivados por IA dentro de contextos clínicos y quirúrgicos para determinar si la IA puede producir análisis cualitativos fiables y defendibles.

Metodología
Este estudio realizó un análisis metodológico secundario de 200 respuestas de encuestas abiertas desidentificadas sobre las barreras para realizar la exploración de la vía biliar común laparoscópica (LCBDE). La investigación comparó la fiabilidad inter-codificador (ICR) de dos libros de códigos distintos aplicados al mismo conjunto de datos:

1. Libro de Códigos Derivado por Humanos (HC): Dos autores realizaron un análisis temático inductivo. A través de un proceso iterativo de codificación abierta, comparación constante y discusión de consenso, desarrollaron un libro de códigos con definiciones explícitas para minimizar la superposición.
2. Libro de Códigos Derivado por IA (AIC): El mismo conjunto de datos fue procesado utilizando ChatGPT (GPT-5.2) mediante una estrategia de prompting de "zero-shot" (disparo cero). Se le pidió al modelo que generara un libro de códigos temáticos sin ejemplos ni refinamiento iterativo, simulando un escenario donde no hay disponibilidad de datos de entrenamiento etiquetados.

Ambos libros de códigos fueron aplicados posteriormente de forma deductiva al conjunto completo de datos por los mismos dos codificadores, quienes estuvieron cegados a las asignaciones del otro durante la fase de aplicación. El análisis estadístico incluyó el porcentaje de acuerdo, el coeficiente kappa de Cohen (con intervalos de confianza del 95% mediante bootstrapping) y el AC1 de Gwet para evaluar la ICR. También se realizó una comparación cualitativa de la separación temática, la superposición conceptual y la ambigüedad de codificación.

Resultos Clave

• Convergencia Temática: Tanto el HC como el AIC identificaron independientemente 13 códigos. Cinco códigos fueron temáticamente idénticos en ambos enfoques: Equipo, Apoyo Global, Costo, Restricciones de Tiempo/Quirófano y Bajo Volumen.
• Fiabilidad Inter-Codificador (ICR): El HC demostró una ICR general más alta que el AIC.
  • Porcentaje de Acuerdo: El HC fue de 95.1%; el AIC fue de 92.3%.
  • Kappa de Cohen: El HC fue de 0.754 [IC 95%: 0.711–0.792]; el AIC fue de 0.638 [IC 95%: 0.591–0.684].
  • Diferencia: La diferencia en kappa ($\Delta\kappa$) fue de -0.116 [IC 95%: -0.168 a -0.059], lo que indica una ventaja estadísticamente significativa para el libro de códigos derivado por humanos.
• Estructura Temática: El análisis cualitativo reveló que, si bien ambos libros de códigos identificaron temas generales similares, el AIC tendió a producir temas más superpuestos y generales, lo que condujo a la ambigüedad en la codificación. En contraste, el HC exhibió límites temáticos más claros. El libro de códigos generado por la IA a menudo agrupaba múltiples constructos relacionados en definiciones únicas (por ejemplo, combinando flujo de trabajo, cultura y preferencia personal), mientras que el libro de códigos humano los separaba de manera más distinta.
• Matiz Estadístico: Aunque algunos códigos individuales mostraron un alto porcentaje de acuerdo en ambos grupos, se observó la "paradoja de kappa" en los códigos con baja prevalencia o alta superposición. Los valores de AC1 de Gwet se mantuvieron altos en ambos libros de códigos, lo que sugiere que, si bien el acuerdo estadístico era fuerte, la ambigüedad estructural en el AIC contribuyó a puntuaciones de kappa más bajas.

Significancia y Reivindicaciones
El artículo sostiene que los modelos de lenguaje extensos modernos, específicamente cuando se utilizan en una capacidad de "zero-shot", son capaces de identificar patrones principales y generar estructuras temáticas iniciales que se alinean ampliamente con los hallazgos humanos en datos cualitativos quirúrgicos. Sin embargo, el estudio concluye que los libros de códigos generados por IA carecen actualmente de la granularidad temática y la claridad de límites logradas mediante el refinamiento iterativo humano.

Los autores afirman que los hallazgos respaldan un enfoque híbrido para la investigación cualitativa quirúrgica. En este modelo, la IA sirve como una herramienta eficiente para la agrupación inicial y la identificación de conceptos generales, mientras que los investigadores humanos siguen siendo esenciales para refinar las definiciones de los libros de códigos, resolver las superposiciones temáticas y asegurar la precisión interpretativa. El estudio no pretende que la IA pueda reemplazar actualmente a los analistas humanos en la investigación cualitativa, sino que la posiciona como una herramienta de asistencia viable para optimizar la eficiencia en las etapas iniciales del análisis temático, siempre que se mantenga la supervisión humana para asegurar la validez analítica.