How sensitive do we want AI to be? Socio-communicative competencies of large language models in healthcare

Resumen Técnico: Competencias Socio-comunicativas de los Modelos de Lenguaje de Gran Tamaño en el Ámbito de la Salud

Planteamiento del Problema
La práctica clínica eficaz depende en gran medida de las habilidades socio-comunicativas de los profesionales médicos, particularmente de la sensibilidad, la empatía y la capacidad de estructurar las interacciones. Aunque se propone cada vez más el uso de Modelos de Lenguaje de Gran Tamaño (LLM, por sus siglas en inglés) para tareas sanitarias como el triaje, la redacción de informes y la traducción de la jerga médica, su despliegue requiere tanto precisión fáctica como competencia social. Si bien los LLM han mostrado una mejora significativa en la precisión médica en evaluaciones de licencias, se ha prestado menos atención a sus comportamientos socio-comunicativos. La investigación actual suele centrarse en escenarios donde los LLM reemplazan directamente a los médicos, pero existe la necesidad de evaluar a los LLM actuando como herramientas preliminares de recuperación de información dentro del sistema sanitario. Este estudio aborda la brecha en la comprensión de qué tan bien los actuales LLM de acceso público cumplen con las expectativas socio-comunicativas impuestas a los asesores de salud.

Metodología
Los investigadores realizaron una evaluación cualitativa utilizando un subconjunto del conjunto de datos HELP-Med, que comprende 1.800 transcripciones de conversaciones entre participantes humanos y tres LLM distintos: GPT-4o, Llama 3 70B y Command R+.

• Selección de Datos: De la base de datos completa, los autores seleccionaron dos escenarios médicos específicos. Para cada par modelo-escenario, extrajeron dos conversaciones: una donde el participante identificó correctamente los siguientes pasos y otra donde no lo hizo, resultando en un total de 12 diálogos para el análisis.
• Instrumento de Evaluación: El estudio utilizó una versión adaptada del instrumento Interactional Competencies – Medical Doctors (IC-MD). Diseñado originalmente para evaluar el ingreso de estudiantes de medicina mediante video, el IC-MD evalúa cuatro puntuaciones globales: Sensibilidad, Estructuración, No Intrusividad y No Hostilidad.
• Adaptación para Texto: Dado que el conjunto de datos es solo de texto, los criterios de evaluación se modificaron para centrarse en características textuales observables. Se aplicó una escala simplificada de tres puntos (Negativo/-, Neutro/0, Positivo/+) a cada competencia.
• Proceso de Calificación: Dos expertos independientes, ciegos a la identidad específica del LLM y a los resultados de los participantes, calificaron los diálogos. La fiabilidad inicial entre evaluadores fue de moderada a alta (promedio de la tau de Kendall $r_\tau = .75$). Las discrepancias, particularmente respecto a la interpretación de la "hostilidad" en el texto (por ejemplo, la falta de respuesta), se resolvieron mediante discusión para establecer criterios detallados para el entorno basado en texto.

Contribuciones Clave

• Aplicación de Marcos Clínicos a la IA: El estudio adapta un instrumento validado (IC-MD) utilizado para profesionales médicos humanos para evaluar el desempeño socio-comunicativo de los LLM en un contexto de búsqueda de información médica.
• Análisis de Competencias Granulares: En lugar de un análisis de sentimiento general, el artículo desglosa el "trato clínico" en cuatro dimensiones específicas y clínicamente relevantes: sensibilidad, estructuración, no intrusividad y no hostilidad.
• Diferenciación de Roles: El trabajo destaca la distinción entre las expectativas sociales de un médico humano frente a las de una herramienta de IA, sugiriendo que los comportamientos deseables pueden diferir según el rol funcional del agente (por ejemplo, el comportamiento de "red de seguridad" de una IA difiere del de un médico).

Resultados
El análisis de los 12 diálogos reveló patrones de desempeño distintos a través de las cuatro competencias:

1. No Hostilidad: Los LLM se desempeñaron sólidamente en esta categoría. Generalmente mantuvieron un lenguaje cortés y respetuoso. Las calificaciones negativas fueron raras y solo se aplicaron cuando el modelo no interactuaba con preguntas relevantes o desviaba repetidamente la atención hacia otras fuentes sin proporcionar ayuda real, lo que podría interpretarse como indiferente u hostil.
2. No Intrusividad: Los resultados fueron mixtos. Los modelos generalmente preservaron la autonomía del usuario mediante el uso de recomendaciones en lugar de mandatos. Sin embargo, tuvieron dificultades con la participación activa, un componente clave de la atención centrada en el paciente donde el proveedor se involucra activamente con el paciente para construir un entendimiento compartido.
3. Sensibilidad: El desempeño fue mixto. Las interacciones fueron predominantemente corteses y basadas en hechos, pero a menudo carecieron de exhibiciones afectivas o validación empática. Aunque los modelos ocasionalmente usaron frases como "lamento escuchar", a menudo fallaron al aplicar lenguaje empático en momentos críticos (por ejemplo, al comunicar información angustiante) o no abordaron el impacto emocional de cambiar sus propias evaluaciones.
4. Estructuración: Esta fue el área de mayor déficit. Los LLM rara vez demostraron la capacidad de organizar las interacciones de manera eficiente. A diferencia de los médicos humanos que hacen preguntas dirigidas de forma proactiva para evaluar la gravedad, priorizar la información y construir un entendimiento compartido de los síntomas y los siguientes pasos, los LLM a menudo proporcionaron información inconexa, dejando que el usuario organizara la conversación y evaluara la urgencia. Los estudios de caso ilustraron instancias donde los modelos no dieron seguimiento a sus propias hipótesis o ignoraron los intentos del usuario por estructurar el diálogo.

Significancia y Reivindicaciones
El artículo concluye que los LLM actuales carecen de las habilidades socio-comunicativas consistentes y fiables necesarias para un uso seguro y eficaz como asesores de salud.

• Riesgo de Sobrecarga: El principal riesgo identificado es que la falta de estructuración obliga a los profanos de la medicina, que a menudo ya se encuentran en estado de angustia, a organizar información inconexa y regular sus propios estados emocionales simultáneamente. Esto puede ser abrumador y puede impactar negativamente en la seguridad y el compromiso del paciente.
• Expectativas Específicas del Rol: Los autores argumentan que, si bien los marcos existentes para las competencias de interacción pueden guiar el desarrollo, estos deben adaptarse. El comportamiento "ideal" para un LLM difiere del de un médico humano; por ejemplo, la negativa de un LLM a dar consejos médicos es una característica de seguridad, mientras que la negativa de un médico humano podría considerarse hostil.
• Desarrollo Futuro: El estudio sugiere que, en lugar de entrenar a los LLM para producir disculpas superficiales o fingir emociones (lo cual algunos usuarios encuentran ofensivo), el desarrollo debería centrarse en "comportamientos sensibles", tales como la recopilación y provisión adecuada de información contextual para equilibrar las declaraciones de impacto emocional. Además, los LLM deben ser entrenados para realizar preguntas aclaratorias de manera proactiva para construir un entendimiento compartido, una habilidad que actualmente falta en los modelos de acceso público.

Los autores mantienen una postura modesta, señalando que su estudio utiliza escenarios simulados con menores riesgos que las interacciones clínicas del mundo real y no incluye una comparación directa con médicos en ejercicio realizando las mismas tareas. Sin embargo, afirman que las debilidades identificadas en la estructuración y la sensibilidad son barreras críticas para el despliegue de los LLM como herramientas de información de salud.