Scoping review of governance, privacy, and design in AI- supported conversational agents for perinatal mental health
Esta revisão de escopo de 35 estudos revela que, embora os agentes conversacionais apoiados por IA para a saúde mental perinatal estejam evoluindo rapidamente para arquiteturas avançadas, eles sofrem de um "paradoxo perinatal da IA" crítico, caracterizado por governança inadequada, salvaguardas de privacidade e inclusividade, motivando a proposta de oito padrões mínimos para priorizar a segurança e a equidade em seu desenvolvimento.
Artigo original sob licença CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo
Os desafios de saúde mental durante a gravidez e no primeiro ano após o parto são comuns, afetando uma parcela significativa de pais em todo o mundo, embora muitos tenham dificuldade em encontrar ajuda oportuna. Nos últimos anos, a tecnologia ofereceu uma solução potencial por meio de agentes conversacionais: programas de computador projetados para conversar com usuários via texto ou voz, fornecendo informações, apoio emocional e orientação. Essas ferramentas digitais prometem estar disponíveis a qualquer hora, oferecendo um espaço privado para que os pais discutam medos sensíveis sobre seu estado mental ou o bem-estar de seus bebês. No entanto, como essas conversas podem envolver tópicos profundamente pessoais e por vezes perigosos, como pensamentos de automutilação ou violência, a segurança e a privacidade desses sistemas são críticas. A questão não é mais apenas se esses chatbots conseguem conversar, mas se eles são construídos e governados bem o suficiente para serem confiados nos momentos mais vulneráveis da vida de um pai ou de uma mãe.
Uma equipe de pesquisadores da James Cook University, na Austriga, partiu para examinar o estado atual dessas ferramentas de inteligência artificial especificamente para a saúde mental perinatal. Eles realizaram uma revisão abrangente de estudos científicos publicados entre 2015 e 2025, pesquisando através de milhares de registros para encontrar relatos sobre como esses chatbots são projetados, como lidam com os dados dos usuários e como são testados. A equipe analisou 35 estudos que descreviam 30 sistemas de chatbot únicos usados em 14 países diferentes. O objetivo deles era mapear o panorama dessas ferramentas, olhando além de apenas se elas funcionam, para entender quem elas atendem, como são protegidas e o que acontece quando um usuário está em crise.
Os pesquisadores descobriram que a tecnologia por trás desses chatbots está mudando rapidamente. Por muito tempo, a maioria dos sistemas dependia de instruções simples baseadas em regras, onde o computador seguia um conjunto fixo de comandos "se isso, então aquilo" para gerar respostas. No entanto, nos últimos anos, novos sistemas começaram a usar modelos de linguagem de grande escala, que são programas de computador avançados treinados em vastas quantidades de texto para gerar conversas mais naturais e flexíveis. Embora essas novas ferramentas possam parecer mais humanas e se adaptar melhor à situação específica de um usuário, a revisão revelou um descompasso preocupante. Os sistemas que utilizam a tecnologia mais avançada frequentemente apresentavam as proteções de segurança e privacidade mais fracas.
Quando os pesquisadores observaram como esses sistemas lidam com informações privadas, o cenário foi desolador. Nenhum dos estudos relatou o uso de métodos avançados para manter os dados seguros, como o processamento de informações diretamente no telefone do usuário sem enviá-las para um servidor central, ou o uso de técnicas matemáticas para ocultar detalhes individuais enquanto ainda permite que o computador aprenda. Em vez disso, quase metade dos sistemas dependia de serviços comerciais fornecidos por empresas externas para processar as conversas. Isso significa que detalhes sensíveis sobre o estado mental de um pai ou de uma mãe eram frequentemente enviados pela internet para servidores de terceiros, com pouca transparência sobre para onde esses dados iam, quem poderia vê-los ou por quanto tempo seriam mantidos. Além disso, a maioria dos estudos não explicou claramente como obtiveram permissão dos usuários para usar seus dados, e muito poucos descreveram como atualariam o comportamento do sistema após o seu lançamento.
A revisão também destacou uma lacuna significativa em quem essas ferramentas são projetadas para ajudar. A grande maioria dos chatbots foi construída exclusivamente para mães, muitas vezes ignorando pais, parceiros do mesmo sexo ou pais não gestantes. Apenas um punhado de sistemas tentou incluir pais, e ainda menos considerou a complexa relação entre os parceiros. Além disso, a maioria das ferramentas operava apenas em inglês e exigia uma conexão de internet forte, deixando de fora pais em áreas remotas ou aqueles com acesso limitado à tecnologia. Esse foco estreito significa que os benefícios dessas ferramentas digitais não estão alcançando as diversas famílias que mais precisam delas.
Talvez a descoberta mais crítica tenha sido sobre como esses sistemas lidam com emergências. Quando um pai ou uma mãe expressa pensamentos de suicídio ou de danos ao bebê, a resposta do chatbot é uma questão de vida e segurança. Os pesquisadores descobriram que, embora alguns sistemas pudessem detectar automaticamente esses sinais de crise, quase nenhum tinha um plano confiável para conectar o usuário a um ajudante humano. Em muitos casos, o sistema poderia sinalizar uma crise, mas não faria nada, ou forneceria uma lista genérica de números de telefone sem garantir que o usuário realmente alcançasse uma pessoa. Apenas um estudo descreveu um sistema que garantia que um humano faria o acompanhamento de um usuário dentro de um prazo específico após a detecção de uma crise. Os outros operavam sem essa rede de segurança, deixando os usuários em perigo, sem um caminho claro para o auxílio profissional.
Os pesquisadores descreveram essa situação como um paradoxo: à medida que a tecnologia se torna mais sofisticada e capaz de conversas complexas, as salvaguardas que garantem sua segurança tornam-se menos consistentes. Os sistemas mais antigos e simples frequentemente possuíam regras mais claras para privacidade e supervisão humana, enquanto os novos sistemas, mais flexíveis, eram frequentemente construídos com menos atenção a essas proteções críticas. A revisão concluiu que o rápido desenvolvimento dessas ferramentas ultrapassou o estabelecimento de padrões responsáveis. Os autores propõem um conjunto de regras mínimas de segurança para o futuro, sugerindo que desenvolvedores, médicos e formuladores de políticas devem priorizar a segurança, a privacidade e a inclusividade desde o início do processo de design. Eles argumentam que, para que essas ferramentas sejam verdadeiramente úteis, elas devem ser comprovadamente seguras e eficazes para pessoas reais em crises reais antes de serem amplamente confiadas, garantindo que a promessa de suporte digital não ocorra às custas da segurança parental.
Afogado em artigos na sua área?
Receba digests diários dos artigos mais recentes que correspondam às suas palavras-chave de pesquisa — com resumos técnicos, no seu idioma.