Clinically Grounded AI-Scribing in Psychotherapy: Benchmarking LLMs Against Expert Documentation in the iCARE Framework

En las habitaciones silenciosas donde se lleva a cabo la psicoterapia, el trabajo es profundamente humano. Depende de que un terapeuta escuche la historia de un cliente, note el peso de una pausa y comprenda el contexto de un miedo que se remonta a años atrás. Para que el terapeuta realice este trabajo de manera efectiva, también debe llevar un registro. Estas notas no son meramente papeleo administrativo; son el mapa del mundo interior de una persona, capturando desde la crisis inmediata hasta la larga historia de familia y hábitos que los formaron. Tradicionalmente, escribir estas notas ha sido una pesada carga, que aleja la atención del clínico de la atención al paciente y la dirige hacia una pantalla de computadora. En años recientes, la inteligencia artificial ha prometido aliviar esta carga. Estos "escribas de IA" pueden escuchar una conversación y transcribirla, pero en el complejo mundo de la salud mental, la mayoría de los sistemas actuales se quedan cortos. Tienden a producir resúmenes breves y áridos que pierden el matiz, las corrientes emocionales subyacentes y los detalles críticos de seguridad que definen una sesión de terapia. El desafío ha sido construir una máquina que no solo transcriba palabras, sino que comprenda la historia.

Un equipo de investigadores de la India y Singapur ha dado un paso significativo hacia la resolución de este problema al replantear cómo deben estructurarse las notas de terapia y cómo deben las máquinas aprender a escribirlas. Comenzaron creando un nuevo y exhaustivo marco para la documentación llamado iCARE. A diferencia de los formatos abreviados estándar utilizados en muchos hospitales, que están diseñados para verificaciones administrativas rápidas, iCARE está construido para capturar la profundidad completa de un encuentro clínico. Es una estructura detallada con diecisiete secciones distintas, que van desde la información de identificación básica y las preocupaciones principales del cliente hasta una inmersión profunda en su historial médico, una evaluación de riesgos para peligros inmediatos como las autolesiones y un plan para sesiones futuras. Los investigadores argumentaron que un sistema de IA debe ser primero capaz de generar esta imagen rica y completa antes de poder condensarse en un resumen más corto. Para probar esta idea, construyeron un nuevo conjunto de datos llamado iHOPE. Tomaron 174 sesiones de terapia grabadas de una colección pública, limpiaron el audio para asegurar que cada palabra fuera escuchada y luego hicieron que un equipo de psiquiatras y psicólogos expertos escribiera notas perfectas, de nivel de oro, para cada sesión utilizando el nuevo formato iCARE. Esto creó un punto de referencia, un conjunto de respuestas ideales contra las cuales cualquier máquina podría ser medida.

Los investigadores sometieron a prueba once modelos de lenguaje extensos diferentes. Estos modelos, que son los poderosos programas informáticos detrás de los chatbots de IA modernos, fueron invitados a escuchar las grabaciones de terapia y escribir las notas iCARE. Probaron los modelos de dos maneras: primero, dándoles las grabasiones sin ejemplos a seguir, y segundo, mostrándoles un ejemplo de una nota perfecta antes de pedirles que escribieran el resto. Los resultados revelaron una clara división entre los diferentes tipos de IA. Los modelos de código cerrado, que son desarrollados por grandes empresas tecnológicas y no están abiertos a la modificación pública, funcionaron consistentemente mejor que los modelos de código abierto, que son construidos por la comunidad pública. Un modelo específico, GPT-4o-mini, alcanzó las puntuaciones más altas en pruebas computacionales estándar que miden qué tan cerca las palabras de la máquina coincidían con las palabras de los expertos humanos. Otro modelo, Gemini Pro, mostró una fortaleza particular en la identificación de marcadores de crisis, como signos de riesgo de suicidio o abuso de sustancias, que son detalles de seguridad críticos en la terapia.

Sin embargo, la historia se volvió más interesante cuando los investigadores pidieron a expertos humanos que juzgaran las notas, en lugar de confiar en las puntuaciones computacionales. Contaron con seis profesionales de la salud mental para leer las notas a ciegas, sin saber qué IA las había escrito, y calificarlas según cinco cualidades clave: confiabilidad, relevancia, precisión, completitud y claridad. Los expertos humanos encontraron que, si bien los mejores modelos computacionales eran buenos, todavía luchaban con el flujo del tiempo. Las máquinas a menudo fallaban al distinguir correctamente entre lo que sucedió en una sesión pasada y lo que se planeó para la siguiente, un aspecto fundamental de la terapia que requiere comprender una línea de tiempo. Sorprendentemente, los expertos humanos prefirieron las notas de un modelo de código abierto más pequeño llamado Mistral sobre los modelos comerciales más potentes. De hecho, Mistral fue el único sistema que obtuvo una puntuación ligeramente superior a las notas escritas por humanos en una categoría específica: la completitud. Este hallazgo sugiere que la forma en que medimos actualmente el éxito de la IA con algoritmos computacionales no siempre coincide con lo que un clínico humano realmente necesita. Los modelos comerciales eran excelentes para coincidir con frases específicas, pero el modelo más pequeño parecía capturar la esencia clínica de la sesión de manera más efectiva a los ojos de los expertos.

El estudio concluye que, si bien la inteligencia artificial está lista para asistir a los terapeutas, aún no está lista para reemplazarlos. Los investigadores encontraron que el mejor camino a seguir es uno colaborativo, donde la IA se encargue del trabajo pesado de redactar las notas detalladas, permitiendo al terapeuta revisar, refinar y finalizar el registro. Este enfoque podría liberar un tiempo valioso para que los clínicos se concentren en el paciente en lugar de en el teclado. El equipo enfatizó que su trabajo no es una solución final, sino una base. Han puesto su nuevo marco, su conjunto de datos de notas expertas y su método de evaluación a disposición de otros científicos para que el campo pueda continuar mejorando. El objetivo final es cerrar la brecha entre la enorme necesidad de atención de salud mental y el número limitado de terapeutas disponibles, utilizando la tecnología para apoyar, en lugar de sustituir, la conexión humana que está en el corazón de la curación.