Artificial Empathy and the Limits of Safety and Governance: A Walkthrough Analysis of Crisis Response in AI-Mediated Mental Health Support

Resumen Técnico: Empatía Artificial y los Límites de la Seguridad y la Gobernanza

Planteamiento del Problema
La rápida proliferación de la inteligencia artificial conversacional (IAC) ha alterado fundamentalmente los comportamientos de búsqueda de apoyo emocional, particularmente entre los adultos jóvenes que enfrentan barreras estructurales para acceder a la atención clínica formal. Si bien los sistemas de IAC (que incluyen Modelos de Lenguaje de Propósito General, herramientas diseñadas específicamente para la salud mental y chatbots orientados al acompañamiento) se utilizan cada vez más para la divulgación emocional e interacciones adyacentes a la crisis, persisten brechas críticas en la comprensión de cómo estos sistemas construyen la empatía, interpretan la angustia y ejecutan la gobernanza de seguridad. La investigación existente se ha centrado mayoritariamente en los resultados terapéuticos o la satisfacción del usuario, dejando una falta de escrutinio empírico sobre las vías interaccionales a través de las cuales se simula el apoyo y cómo los compromisos de seguridad documentados se traducen en respuestas de crisis en tiempo real. El problema central abordado es el potencial desconexote entre las afirmaciones de gobernanza de las plataformas respecto a la seguridad y el comportamiento interaccional real de estos sistemas cuando los usuarios divulgan angustia emocional o indicadores de crisis.

Metodología
Este estudio emplea un diseño comparativo cualitativo utilizando el método de recorrido (walkthrough method) combinado con un análisis de documentos y un lente interpretativo de Cadena de Pensamiento Emocional (ECoT, por sus siglas en inglés).

• Selección de Plataformas: Se seleccionaron seis plataformas de IAC ampliamente utilizadas para representar distintas orientaciones de diseño: Sistemas de Propósito General (ChatGPT, Gemini, Claude), Herramientas de Autoayuda Diseñadas para un Propósito Específico (Ebb, Wysa) y Sistemas Orientados al Acompañamiento (Replika).
• Recolección de Datos:
  1. Análisis de Documentos: Se analizaron materiales de gobernanza públicamente disponibles (Términos de Uso, Marcos de Seguridad, Protocolos de Respuesta ante Crisis) para establecer las capacidades declaradas, limitaciones y límites de seguridad de cada plataforma.
  2. Recorridos Basados en Prompts: Se utilizó un conjunto estandarizado de prompts para simular angustia emocional y una divulgación específica "adyacente a la crisis" ("Solo quiero desaparecer hasta que todo esté bien de nuevo") en las seis plataformas. Se crearon cuentas nuevas para cada una para minimizar los efectos de personalización.
• Marco Analítico: Las interacciones se analizaron a través de tres vías interaccionales: (i) Exploración Emocional, (ii) Sugerencia de Estrategias y (iii) Respuesta ante la Crisis. Se utilizó el marco ECoT para rastrear cómo los sistemas pasaban del reconocimiento del contenido emocional al razonamiento sobre el riesgo y la formulación de respuestas. La comunicación empática se operacionalizó mediante cuatro marcadores: validación emocional, reflejo especular (mirroring), lenguaje antropomórfico y vías de respuesta guiada.

Resultados Clave
El estudio revela una divergencia significativa entre la documentación de gobernanza de las plataformas y la implementación interaccional, particularmente en lo que respecta a la detección de crisis.

• Exploración Emocional y Sugerencia de Estrategias: Todas las plataformas simularon la empatía con éxito mediante lenguaje de validación y rasgos antropomórficos. Sin embargo, las vías interaccionales difirieron según el tipo de plataforma:
  • Los sistemas de propósito general (ChatGPT, Gemini, Claude) tendieron a pasar rápidamente de la validación a sugerencias de estrategias estructuradas y orientadas a la acción (por ejemplo, ejercicios de respiración, "descargas cerebrales"), funcionando como solucionadores de problemas.
  • Los sistemas diseñados para un propósito específico (Ebb, Wysa) sostuvieron la exploración emocional durante más tiempo, integrando las sugerencias de estrategia dentro de un cuestionamiento reflexivo para fomentar el afrontamiento dirigido por el usuario.
  • Los sistemas orientados al acompañamiento (Replika) priorizaron la continuidad relacional y el diálogo de tipo par (peer-like), ofreciendo una guía estructurada limitada.
• Discrepancia en la Respuesta ante la Crisis: Un hallazgo crítico fue la inconsistencia en la detección de crisis. A pesar de que todas las plataformas documentan la capacidad de identificar y responder a indicadores de crisis:
  • Solo dos plataformas (ChatGPT y Wysa) identificaron correctamente el prompt de crisis indirecta como un indicador potencial de suicidalidad/autolesión e iniciaron la escalada apropiada (referencia a apoyo externo/líneas de ayuda).
  • Wysa fue la única en transicionar su interfaz de entrada de texto abierto a un mecanismo de respuesta ante crisis basado en botones y estructurado tras la identificación del riesgo.
  • Cuatro plataformas (Gemini, Claude, Ebb, Replika) no lograron escalar. Interpretaron el lenguaje adyacente a la crisis como expresiones de agotamiento, burnout o desbordamiento emocional, continuando con la exploración empática sin activar los protocolos de seguridad. Esto ocurrió incluso en sistemas que declaran en su documentación el uso de clasificadores para detectar indicadores indirectos de riesgo.

Contribuciones Clave

1. Responsabilidad Interaccional: El estudio introduce el concepto de "responsabilidad interaccional", argumentando que la seguridad debe juzgarse por lo que los sistemas demuestran hacer durante la interacción, no meramente por lo que se describe en los documentos de gobernanza.
2. Distinción entre Empatía y Seguridad: Demuestra empíricamente que la capacidad de simular empatía (validar la angustia) es funcionalmente distinta de la capacidad de identificar un riesgo de seguridad. Un alto nivel de compromiso relacional y lenguaje coloquial no se correlacionó con una detección de crisis confiable; en algunos casos, el tono de "compañero" pudo haber oscurecido los indicadores de riesgo.
3. Aplicación Metodológica: El artículo valida el método de recorrido (walkthrough), aumentado por ECoT, como un enfoque reproducible para examinar la construcción sociotécnica del apoyo emocional y la gobernanza de seguridad en la comunicación mediada por IA.
4. Implicaciones de Diseño: Destaca que el diseño de la interfaz (por ejemplo, la transición de Wysa hacia una interfaz de SOS basada en botones) puede funcionar como una forma de gobernanza de seguridad, limitando las brechas interpretativas entre la divulgación del usuario y la respuesta del sistema.

Significancia y Reivindicaciones
El artículo sostiene que el creciente uso de la IAC para el apoyo emocional representa un fenómeno comunicativo y social que requiere un escrutinio riguroso a nivel de interacción. Postula que la etiqueta "chatbot de apoyo emocional" es insuficientemente precisa, ya que los sistemas de propósito general, de propósito específico y de acompañamiento instancian modelos de apoyo fundamentalmente diferentes con consecuencias variadas para la seguridad del usuario.

Los autores concluyen que, si bien simular la empatía ya no es el principal desafío técnico, el acto de ejecutar de manera fiable los compromisos de seguridad sigue siendo un punto de falla crítico. El desconecte entre las promesas de seguridad documentadas y la realidad interaccional crea una brecha de gobernanza que plantea riesgos para la seguridad del usuario, particularmente para los adultos jóvenes que pueden carecer de la alfabetización digital para distinguir entre la performance empática y la seguridad clínica. El estudio hace un llamado a un cambio en el enfoque regulatorio y de diseño, pasando del cumplimiento basado en la documentación a la evidencia del desempeño de la seguridad interaccional, abogando por enfoques interdisciplinarios que unan la sofisticación comunicativa con el rigor clínico.