Large Language Models for Large-Scale, Rigorous Qualitative Analysis in Applied Health Services Research

Resumen Técnico: Modelos de Lenguaje de Gran Tamaño para el Análisis Cualitativo Riguroso y a Gran Escala en la Investigación Aplicada de Servicios de Salud

Planteamiento del Problema
Los enfoques cualitativos son esenciales para la investigación de servicios de salud para comprender los factores contextuales e interpersonales que dan forma a la prestación de cuidados. Sin embargo, los estudios aplicados a gran escala suelen enfrentar restricciones de tiempo y recursos, lo que hace necesario obtener hallazgos oportunos para que sigan siendo relevantes para los profesionales. Aunque los Modelos de Lenguaje de Gran Tamaño (LLM, por sus siglas en inglés) ofrecen potencial para mejorar la eficiencia analítica, su integración en flujos de trabajo cualitativos rigurosos aún carece de una guía adecuada. La literatura existente destaca riesgos como clasificaciones superficiales y ciegas al contexto, la integridad de la transparencia metodológica comprometida y la falta de evidencia sobre cómo los LLM influyen en los resultados de la investigación en el mundo real. Además, las herramientas actuales suelen no ser capaces de soportar las necesidades específicas y dependientes del contexto de los estudios de salud aplicados, y las plataformas comerciales frecuentemente carecen de la seguridad o la transparencia requeridas para datos médicos de alto riesgo.

Metodología
Los autores proponen un marco de trabajo agnóstico al modelo y a la tarea para diseñar métodos de análisis cualitativo humano-LLM, aplicado dentro de un estudio multisitio sobre la atención de la diabetes en Centros de Salud Calificados Federalmente (FQCC). El estudio involucró 12 FQCC, 167 entrevistas y cuatro equipos de investigación. El marco consta de cuatro pasos iterativos:

1. Definir la Tarea: Completar la tarea manualmente en una muestra pequeña para clarificar objetivos, finalizar formatos de salida e identificar componentes que requieren la familiaridad del investigador humano.
2. Diseñar el Método Humano-LLM: Descomponer la tarea para distinguir entre acciones que requieren el conocimiento tácito humano (por ejemplo, el juicio dependiente del contexto) y aquellas adecuadas para la automatización.
3. Evaluar a Pequeña Escala: Comparar los resultados puramente humanos y los resultados humano-LLM en un conjunto de datos pequeño frente a los objetivos específicos de la tarea y los criterios de rigor cualitativo (por ejemplo, el anclaje en los datos, la alineación con las preguntas de investigación) en lugar de métricas cuantitativas como la confiabilidad inter-evaluador.
4. Aplicar y Evaluar: Implementar el método validado en el conjunto de datos completo y evaluar su impacto en la eficiencia y los objetivos de la investigación.

El estudio utilizó dos tareas distintas para probar este marco:

• Tarea 1 (Síntesis Cualitativa): Generar informes de síntesis comparativos para los FQCC basados en resúmenes de sitios generados por investigadores (~31,200 palabras). El equipo utilizó ChatGPT-4o de OpenAI para la organización temática de los resúmenes de los sitios y el modelo o1 para generar síntesis transversales entre sitios.
• Tarea 2 (Codificación Deductiva): Refinar una intervención de transformación de la práctica mediante la codificación de 167 transcripciones de entrevistas (~1.3 millones de palabras) contra 19 códigos predefinidos. Debido a las limitaciones de la ventana de contexto y la necesidad de recuperación semántica, el equipo implementó la Generación Aumentada por Recuperación (RAG) utilizando la recuperación basada en incrustaciones (text-embedding-3-large de OpenAI) y una base de datos vectorial Qdrant. Para mitigar el "sesgo de ejemplo" y el "sesgo de positividad", el equipo empleó una estrategia de realizar subpreguntas con y sin ejemplos, y emparejó las preguntas con contraperspectivas sobre las barreras.

La seguridad y la infraestructura fueron gestionadas a través de Stanford SecureGPT para acceder a LLM comerciales (ChatGPT-4o, o1, Gemini, Claude, DeepSeek) vía API, asegurando el cumplimiento de los estándares de datos médicos de alto riesgo.

Resultos Clave

• Resultados de la Tarea 1: Los LLM organizaron con éxito los datos a nivel de sitio en temas, alineándose estrechamente con la agrupación humana. Sin embargo, los LLM carecieron de la sutileza para determinar la novedad o la capacidad de acción de los hallazgos, incluyendo a menudo datos irrelevantes o fallando al filtrar entradas desalineadas. El flujo de trabajo final humano-LLM consistió en que los LLM organizaran los datos, los cuales los investigadores luego refinaron en síntesis finales. Este enfoque redujo el tiempo de análisis entre un 30% y un 55%, manteniendo una calidad analítica comparable a la de dos investigadores humanos con diferentes perspectivas.
• Resultados de la Tarea 2: El método humano-LLM basado en RAG identificó con éxito extractos relevantes a través de un gran conjunto de datos. No obstante, los LLM frecuentemente sobregeneralizaron los hallazgos, carecieron de perspectiva y perdieron el contexto debido a los extractos fragmentados y descontextualizados. El análisis humano proporcionó explicaciones más detalladas e identificó dinámicas interpersonales, mientras que los LLM se centraron en estructuras y procesos. El equipo encontró que los resultados de los LLM requerían una validación y contextualización significativa por parte del investigador.
• Ganancias de Eficiencia: Sin los LLM, se estimó que codificar el conjunto de datos completo (12 sitios, 19 códigos) requeriría casi dos años de trabajo a tiempo completo. El enfoque humano-LLM hizo que la incorporación de las 167 transcripciones en el refinamiento de la intervención fuera factible dentro de un plazo de nueve meses.

Significancia y Reivindicaciones
El artículo afirma demostrar cómo los LLM pueden integrarse en la investigación aplicada de servicios de salud para mejorar la eficiencia preservando la rigurosidad metodológica. Los autores sostienen que su marco proporciona la guía necesaria para aprovechar la generalidad de los LLM en métodos formalizados y específicos de cada tarea. Las contribuciones clave incluyen:

• Guía Metodológica: Un enfoque estructurado para determinar dónde los LLM aportan valor (pasos organizativos, analíticos de alto nivel) frente a dónde es esencial el control interpretativo humano (desarrollo de teoría, generación de hallazgos finales).
• Colaboración Interdisciplinaria: El estudio destaca la necesidad de la colaboración entre investigadores cualitativos y de ciencias de la computación para desarrollar herramientas personalizadas, seguras y transparentes que aborden cuellos de botella analíticos específicos, dado que las soluciones comerciales no fueron suficientes.
• Aplicación en el Mundo Real: El trabajo ofrece evidencia de la utilidad de los LLM para analizar conjuntos de datos grandes y heterogéneos típicos de la investigación aplicada en salud, resultando en una retroalimentación oportuna para los profesionales y el refinamiento de una intervención de atención de la diabetes para su futura implementación.

Los autores mantienen la modestia respecto a las limitaciones, señalando que los LLM actuales carecen de la capacidad de razonamiento de contexto largo a través de conjuntos de datos completos y que los investigadores humanos deben retener el control interpretativo para asegurar la transparencia y la credibilidad. Sugieren que los avances futuros en el razonamiento de contexto largo y la transferencia de conocimiento de dominio podrían mejorar aún más las capacidades de los LLM en este dominio.