Scoping review of governance, privacy, and design in AI- supported conversational agents for perinatal mental health
Esta revisión de alcance de 35 estudios revela que, si bien los agentes conversacionales apoyados por IA para la salud mental perinatal están evolucionando rápidamente hacia arquitecturas avanzadas, sufren una crítica "paradoja de la IA perinatal" caracterizada por una gobernanza, salvaguardas de privacidad e inclusividad inadecuadas, lo que motiva la propuesta de ocho estándares mínimos para priorizar la seguridad y la equidad en su desarrollo.
Artículo original bajo licencia CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo
Los desafíos de salud mental durante el embarazo y el primer año tras el parto son comunes, afectando a una parte significativa de los padres en todo el mundo, aunque muchos tienen dificultades para encontrar ayuda oportuna. En años recientes, la tecnología ha ofrecido una solución potencial a través de agentes conversacionales: programas informáticos diseñados para chatear con los usuarios mediante texto o voz, proporcionando información, apoyo emocional y orientación. Estas herramientas digitales prometen estar disponibles a cualquier hora, ofreciendo un espacio privado para que los padres discutan temores sensibles sobre su estado mental o el bienestar de su bebé. Sin embargo, debido a que estas conversaciones pueden involucrar temas profundamente personales y a veces peligrosos, como pensamientos de autolesión o violencia, la seguridad y la privacidad de estos sistemas son críticas. La pregunta ya no es solo si estos chatbots pueden hablar, sino si están construidos y gobernados lo suficientemente bien como para ser confiables en los momentos más vulnerables de la vida de un padre.
Un equipo de investigadores de la Universidad James Cook en Australia se propuso examinar el estado actual de estas herramientas de inteligencia artificial específicamente para la salud mental perinatal. Realizaron una revisión amplia de estudios científicos publicados entre 2015 y 2025, buscando a través de miles de registros para encontrar informes sobre cómo se diseñan estos chatbots, cómo manejan los datos de los usuarios y cómo son probados. El equipo analizó 35 estudios que describían 30 sistemas de chatbot únicos utilizados en 14 países diferentes. Su objetivo era mapear el panorama de estas herramientas, mirando más allá de si funcionan para entender a quién sirven, cómo están protegidas y qué sucede cuando un usuario está en crisis.
Los investigadores encontraron que la tecnología detrás de estos chatbots está cambiando rápidamente. Durante mucho tiempo, la mayoría de los sistemas dependieron de instrucciones simples basadas en reglas, donde la computadora seguía un conjunto fijo de comandos de "si esto, entonces aquello" para generar respuestas. Sin embargo, en los últimos años, sistemas más nuevos han comenzado a utilizar modelos de lenguaje extensos, que son programas informáticos avanzados entrenados en vastas cantidades de texto para generar conversaciones más naturales y flexibles. Si bien estas nuevas herramientas pueden sonar más humanas y adaptarse mejor a la situación específica de un usuario, la revisión reveló una desconexión preocupante. Los sistemas que utilizan la tecnología más avanzada solían tener las protecciones de seguridad y privacidad más débiles.
Cuando los investigadores analizaron cómo estos sistemas manejan la información privada, el panorama fue desolador. Ninguno de los estudios informó el uso de métodos avanzados para mantener la seguridad de los datos, como procesar la información directamente en el teléfono del usuario sin enviarla a un servidor central, o usar técnicas matemáticas para ocultar detalles individuales mientras se permite que la computadora aprenda. En su lugar, casi la mitad de los sistemas dependían de servicios comerciales proporcionados por empresas externas para procesar las conversaciones. Esto significa que detalles sensibles sobre el estado mental de un padre a menudo se enviaban por internet a servidores de terceros, con poca transparencia sobre a dónde iban esos datos, quién podía verlos o cuánto tiempo se conservaban. Además, la mayoría de los estudios no explicaron claramente cómo obtuvieron el permiso de los usuarios para usar sus datos, y muy pocos describieron cómo actualizarían el comportamiento del sistema después de su lanzamiento.
La revisión también destacó una brecha significativa en quiénes son las personas para las que estas herramientas están diseñadas. La gran mayoría de los chatbots fueron construidos exclusivamente para madres, ignorando a menudo a los padres, parejas del mismo sexo o padres no gestantes. Solo un puñado de sistemas intentó incluir a los padres, e incluso menos consideraron la compleja relación entre las parejas. Además, la mayoría de las herramientas operaban solo en inglés y requerían una conexión a internet sólida, dejando fuera a los padres en áreas remotas o aquellos con acceso limitado a la tecnología. Este enfoque estrecho significa que los beneficios de estas herramientas digitales no están llegando a las diversas familias que más los necesitan.
Quizás el hallazgo más crítico concernía a cómo estos sistemas manejan las emergencias. Cuando un padre expresa pensamientos de suicidio o de daño hacia su bebé, la respuesta del chatbot es una cuestión de vida y seguridad. Los investigadores encontraron que, si bien algunos sistemas podían detectar automáticamente estas señales de crisis, casi ninguno tenía un plan confiable para conectar al usuario con un ayudante humano. En muchos casos, el sistema podría detectar una crisis pero luego no hacer nada, o podría proporcionar una lista genérica de números de teléfono sin asegurar que el usuario realmente contactara con una persona. Solo un estudio describió un sistema que garantizaba que un humano realizaría un seguimiento a un usuario dentro de un plazo específico tras la detección de una crisis. Los otros operaban sin esta red de seguridad, dejando a los usuarios en peligro y sin un camino claro hacia la ayuda profesional.
Los investigadores describieron esta situación como una paradoja: a medida que la tecnología se vuelve más sofisticada y capaz de conversaciones complejas, las salvaguardas que la hacen segura de usar se vuelven menos consistentes. Los sistemas más antiguos y simples a menudo tenían reglas más claras para la privacidad y la supervisión humana, mientras que los sistemas más nuevos y flexibles a menudo se construyeron con menos atención a estas protecciones críticas. La revisión concluyó que el rápido desarrollo de estas herramientas ha superado el establecimiento de estándares responsables. Los autores proponen un conjunto de reglas mínimas de seguridad para el futuro, sugiriendo que los desarrolladores, médicos y responsables de políticas deben priorizar la seguridad, la privacidad y la inclusión desde el mismo comienzo del proceso de diseño. Argumentan que, para que estas herramientas sean verdaderamente útiles, deben demostrar ser seguras y efectivas para personas reales en crisis reales antes de que se confíe ampliamente en ellas, asegurando que la promesa del apoyo digital no se produzca a costa de la seguridad de los padres.
¿Ahogado en artículos de tu campo?
Recibe resúmenes diarios de los artículos más novedosos que coincidan con tus palabras clave de investigación — con resúmenes técnicos, en tu idioma.