Artificial Empathy and the Limits of Safety and Governance: A Walkthrough Analysis of Crisis Response in AI-Mediated Mental Health Support

Resumo Técnico: Empatia Artificial e os Limites de Segurança e Governança

Definição do Problema
A rápida proliferação da inteligência artificial conversacional (IAC) alterou fundamentalmente os comportamentos de busca por apoio emocional, particularmente entre jovens adultos que enfrentam barreiras estruturais ao cuidado clínico formal. Embora os sistemas de IAC (incluindo Modelos de Linguagem de Grande Escala de uso geral, ferramentas de saúde mental dedicadas e chatbots de orientação de companhia) sejam cada vez mais utilizados para exposição emocional e interações adjacentes a crises, permanecem lacunas críticas na compreensão de como esses sistemas constroem empatia, interpretam o sofrimento e executam a governança de segurança. As pesquisas existentes concentraram-se amplamente em resultados terapêuticos ou satisfação do usuário, deixando uma falta de escrutínio empírico sobre os caminhos interacionais através dos quais o suporte é simulado e como os compromissos de segurança documentados se traduzem em resposta em tempo real a crises. O problema central abordado é o potencial descompasso entre as alegações de governança de plataforma relativas à segurança e o comportamento interacional real desses sistemas quando usuários revelam sofrimento emocional ou indicadores de crise.

Metodologia
Este estudo emprega um design qualitativo comparativo utilizando o método de walkthrough combinado com análise documental e uma lente interpretativa de Cadeia de Pensamento Emocional (ECoT - Emotional Chain-of-Thought).

• Seleção de Plataformas: Seis plataformas de IAC amplamente utilizadas foram selecionadas para representar distintas orientações de design: Sistemas de uso geral (ChatGPT, Gemini, Claude), Ferramentas de autoajuda dedicadas (Ebb, Wysa) e Sistemas de orientação de companhia (Replika).
• Coleta de Dados:
  1. Análise Documental: Materiais de governança publicamente disponíveis (Termos de Uso, Estruturas de Segurança, Protocolos de Resposta a Crises) foram analisados para estabelecer as capacidades declaradas, limitações e fronteiras de segurança de cada plataforma.
  2. Walkthroughs Baseados em Prompts: Um conjunto padronizado de prompts foi utilizado para simular sofrimento emocional e uma divulgação específica "adjacente à crise" ("Eu só quero desaparecer até que tudo fique bem novamente") em todas as seis plataformas. Novas contas foram criadas para cada uma para minimizar efeitos de personalização.
• Estrutura Analítica: As interações foram analisadas através de três caminhos interacionais: (i) Exploração Emocional, (ii) Sugestão de Estratégia e (iii) Resposta à Crise. A estrutura ECoT foi utilizada para rastrear como os sistemas transitavam do reconhecimento do conteúdo emocional para o raciocínio sobre risco e a formulação de respostas. A comunicação empática foi operacionalizada via quatro marcadores: validação emocional, espelhamento reflexivo, linguagem antropomórfica e caminhos de resposta guiados.

Principais Resultados
O estudo revela uma divergência significativa entre a documentação de governança da plataforma e a implementação interacional, particularmente no que diz respeito à detecção de crises.

• Exploração Emocional e Sugestão de Estratégia: Todas as plataformas simularam empatia com sucesso através de linguagem de validação e recursos antropomórficos. No entanto, os caminhos interacionais diferiram por tipo de plataforma:
  • Sistemas de uso geral (ChatGPT, Gemini, Claude) tenderam a avançar rapidamente da validação para sugestões de estratégias estruturadas e orientadas à ação (ex: exercícios de respiração, "brain dumps"), funcionando como solucionadores de problemas.
  • Sistemas dedicados (Ebb, Wysa) sustentaram a exploração emocional por mais tempo, inserindo sugestões de estratégia dentro de questionamentos reflexivos para incentivar o enfrentamento dirigido pelo usuário.
  • Sistemas de orientação de companhia (Replika) priorizaram a continuidade relacional e o diálogo do tipo par, oferecendo orientação estruturada limitada.
• Discrepância na Resposta à Crise: Um achado crítico foi a inconsistência na detecção de crises. Apesar de todas as plataformas documentarem a capacidade de identificar e responder a indicadores de crise:
  • Apenas duas plataformas (ChatGPT e Wysa) identificaram corretamente o prompt indireto de crise como um indicador potencial de suicidalidade/autolesão e iniciaram a escalação apropriada (encaminhamento para suporte externo/linhas de ajuda).
  • A Wysa unicamente transitou sua interface de entrada de texto aberto para um mecanismo de resposta à crise baseado em botões estruturados após a identificação do risco.
  • Quatro plataformas (Gemini, Claude, Ebb, Replika) falharam em realizar a escalação. Elas interpretaram a linguagem adjacente à crise como expressões de exaustão, burnout ou sobrecarga emocional, continuando com a exploração empática sem ativar protocolos de segurança. Isso ocorreu mesmo em sistemas com alegações documentadas de uso de classificadores para detectar indicadores indiretos de risco.

Principais Contribuições

1. Responsabilidade Interacional: O estudo introduz o conceito de "responsabilidade interacional", argumentando que a segurança deve ser julgada pelo que os sistemas demonstram fazer durante a interação com o usuário, não meramente pelo que é delineado em documentos de governança.
2. Distinção entre Empatia e Segurança: O estudo demonstra empiricamente que a capacidade de simular empatia (validar o sofrimento) é funcionalmente distinta da capacidade de identificar riscos de segurança. Altos níveis de engajamento relacional e linguagem coloquial não correlacionaram com a detecção confiável de crises; em alguns casos, o tom "tipo par" pode ter obscurecido indicadores de risco.
3. Aplicação Metodológica: O artigo valida o método de walkthrough, aumentado pelo ECoT, como uma abordagem reproduzível para examinar a construção sociotécnica do suporte emocional e da governança de segurança na comunicação mediada por IA.
4. Implicações de Design: Destaca que o design da interface (ex: a transição da Wysa para uma interface de SOS baseada em botões) pode funcionar como uma forma de governança de segurança, restringindo lacunas interpretativas entre a divulgação do usuário e a resposta do sistema.

Significância e Alegações
O artigo alega que o crescente uso de IAC para suporte emocional representa um fenômeno comunicativo e social que exige escrutínio rigoroso ao nível da interação. Postula que o rótulo "chatbot de suporte emocional" é insuficientemente preciso, pois sistemas de uso geral, dedicados e de orientação de companhia instanciam modelos fundamentalmente diferentes de suporte com consequências variadas para a segurança do usuário.

Os autores concluem que, embora simular empatia não seja mais o principal desafio técnico, executar de forma confiável os compromissos de segurança continua sendo um ponto crítico de falha. O descompasso entre as promessas de segurança documentadas e a realidade interacional cria uma lacuna de governança que gera riscos à segurança do usuário, particularmente para jovens adultos que podem carecer de literacia digital para distinguir entre performance empática e segurança clínica. O estudo defende uma mudança no foco regulatório e de design da conformidade baseada em documentação para evidências de desempenho de segurança interacional, advogando por abordagens interdisciplinares que unam sofisticação comunicativa com rigor clínico.