Quality of physicians responses using a conversational artificial intelligence system: a randomized vignette experiment in Latin America

En las bulliciosas clínicas de América Latina, un médico se enfrenta a menudo a un momento de incertididad silenciosa: un paciente presenta un conjunto complejo de síntomas y el camino de tratamiento correcto no es evidente de inmediato. Durante décadas, la solución ha sido hacer una pausa y buscar respuestas, hojeando libros de texto o escribiendo consultas en una base de datos digital. Este proceso depende de la capacidad del médico para encontrar, leer e interpretar vastas cantidades de información médica rápidamente. Hoy, una nueva herramienta ha entrado en este panorama: la inteligencia artificial conversacional. Estos sistemas, construidos sobre colecciones masivas de conocimiento humano, pueden mantener un diálogo, responder preguntas y resumir temas complejos en segundos. La promesa es que tal herramienta podría actuar como un compañero al pie de la cama, ayudando a los médicos a recuperar evidencia de manera más rápida y precisa. Sin embargo, la mayoría de las pruebas de estos sistemas se han realizado en entornos controlados y estáticos, muy alejados de la realidad de un hospital con mucho movimiento en un país de ingresos bajos o medios. La pregunta crítica sigue siendo si estos asistentes digitales realmente mejoran la calidad de la atención cuando son utilizados por médicos reales en entornos reales, o si son simplemente chatbots sofisticados que suenan seguros de sí mismos pero ofrecen poca ayuda práctica.

Para encontrar la respuesta, investigadores en América Latina diseñaron una comparación directa que involucró a doscientos dos médicos. Crearon un escenario en el que se les pidió a los médicos resolver cuatro casos de pacientes simulados, cada uno de los cuales requería respuestas a cuatro preguntas abiertas. Los médicos fueron divididos aleatoriamente en dos grupos. Un grupo utilizó sus métodos habituales para encontrar información, buscando a través de recursos estándar como lo harían normalmente. El otro grupo utilizó un sistema conversacional específico diseñado para proporcionar respuestas que pudieran rastrearse hasta la evidencia médica. Para garantizar la imparcialidad, dos especialistas independientes, que no sabían qué método había utilizado cada médico, calificaron cada respuesta. Evaluaron las respuestas basándose en seis dimensiones diferentes de calidad, creando una puntuación compuesta que reflejaba la validez general del consejo médico brindado.

Los resultados mostraron una clara diferencia entre los dos enfoques. Los médicos que utilizaron el sistema conversacional produjeron respuestas que eran, en promedio, más válidas que aquellas de quienes dependieron de sus prácticas de búsqueda habituales. Las puntuaciones para el grupo apoyado fueron más altas, con una mediana de 2.83 en comparación con el 2.46 del grupo de práctica habitual. Cuando los investigadores ajustaron los factores como los grados académicos de los médicos, los datos sugirieron que un médico que utiliza el sistema tenía significativamente más probabilidades de producir una respuesta que cumpliera con un alto estándar de validez. Esta ventaja se mantuvo en la mayoría de los criterios específicos utilizados para la calificación, particularmente en aquellos donde los jueces expertos estuvieron más de acuerdo entre sí. Sin embargo, el estudio también reveló un matiz: al observar estrictamente la exactitud de los hechos por sí solos, la diferencia entre los dos grupos no alcanzó un nivel de significancia estadística. Esto llevó a los investigadores a designar la medida compuesta más amplia de validez como el hallazgo principal, una decisión reforzada cuando un evaluador externo repitió el análisis de solo exactitud y encontró la misma falta de diferencia.

Más allá de la calidad de las respuestas, el estudio examinó cómo se sintieron los médicos con respecto al proceso y cuánto tiempo les tomó. Los médicos que utilizaron el sistema reportaron altos niveles de satisfacción, encontrando la herramienta aceptable y fácil de usar. Curiosamente, el tiempo que les tomó completar las tareas y el número de búsquedas que los médicos reportaron realizar no mostraron una diferencia clara entre los dos grupos, aunque los investigadores señalaron que la falta de datos dificultó la interpretación de esta comparación específica con certeza. El estudio concluye con un recordatorio importante sobre su alcance: los participantes fueron voluntarios que eligieron completar el ejercicio, lo que significa que los hallazgos son exploratorios en lugar de una prueba definitiva de cómo funciona la herramienta para cada médico en cada situación. Si bien el sistema no actuó como una varita mágica que resolvía cada problema instantáneamente, la evidencia sugiere que, cuando es utilizado por médicos en ejercicio en esta región, puede ayudar a elevar la calidad de la información médica que proporcionan a sus pacientes.