"Are you an AI?" Analyzing Client Suspicion of AI Use in Crisis Counseling

Resumo Técnico: "Você é uma IA?" Analisando a suspeita de clientes quanto ao uso de IA em aconselhamento de crise

Problema
À medida que ferramentas de inteligência artificial (IA) são cada vez mais implementadas na saúde mental, a confiança pública nesses sistemas permanece incerta. Embora a IA possa oferecer escalabilidade, não está claro como os clientes percebem o envolvimento da IA nas interações de aconselhamento, particularmente em momentos de crise que exigem empatia e conexão. Existe uma lacuna crítica na compreensão da frequência da suspeita de uso de IA, os gatilhos específicos que precipitam essas dúvidas e como os conselheiros humanos respondem a tais desafios. Sem esses dados, torna-se difícil projetar sistemas de IA que preservem a relação terapêutica.

Metodologia
O estudo analisou um conjunto de dados de 75.777 conversas de WhatsApp (composta por 2.225.107 mensagens) coletadas da Linha de Apoio de Emergência da Fundação Vandrevala na Índia entre 31 de maio de 2024 e 31 de março de 2025. Todas as interações foram conduzidas por conselheiros humanos treinados, sem assistência de IA.

Para identificar e caracterizar os casos de suspeita de IA, os autores empregaram um Modelo de Linguagem de Grande Escala (LLM, GPT-4.1) para processar o corpus. O LLM foi incumbido de:

1. Detecção: Identificar conversas onde os clientes suspeitaram explicitamente que estavam falando com uma IA.
2. Anotação: Extrair variáveis específicas, incluindo demografia do cliente, preocupações apresentadas, atitudes em relação à IA, gatilhos para a suspeita (ex: atrasos na resposta, frases repetitivas), tempo de suspeita dentro da conversa, estratégias de resposta do conselheiro e reações subsequentes do cliente.

O processo de anotação foi validado por meio de um rigoroso estudo de confiabilidade interexaminadores. Cinco avaliadores humanos anotaram 100 conversas, alcançando um acordo substancial (Cohen's $\kappa \ge 0,61$) em categorias de rótulo único. O LLM foi então avaliado contra essas anotações humanas, demonstrando métricas de acordo comparáveis ou superiores (ex: $\kappa = 0,82$ para Atitude do Cliente, $\kappa = 0,89$ para Estratégia do Conselheiro), sustentando seu uso como um anotador escalável.

Principais Resultados

• Prevalência e Demografia: O estudo identificou 1.157 conversas (1,5%) onde os clientes suspeitaram do uso de IA. A proporção de tais conversas aumentou de 0,8% em junho de 2024 para 2,6% em março de 2025. Clientes que expressaram suspeita foram estatisticamente mais propensos a ser homens (38,9% vs. 28,9%) e de idade entre 18–24 anos (61,3% vs. 53,0%) em comparação com a amostra geral.
• Atitudes e Crenças dos Clientes: Entre os clientes suspeitos, 21,5% preferiam explicitamente a interação humana, enquanto apenas 0,2% expressaram preferência pela IA. As crenças negativas mais comuns sobre a IA foram que ela carece de empatia (16,0%), é não confiável (11,0%) ou é pouco útil (10,6%).
• Gatilhos para Suspeita: A suspeita surgiu mais frequentemente no primeiro (38,5%) ou segundo (30,3%) quarto da conversa. Os principais gatilhos incluíram:
  • Perguntas não respondidas diretamente (17,9%).
  • Respostas impessoais (12,5%).
  • Respostas repetitivas (14,6%).
  • Tempos de resposta mais longos (8,5%).
  • Notavelmente, em 46,6% dos casos, não foi identificado um "gatilho claro" no comportamento do conselheiro.
• Respostas do Conselheiro e Resultados:
  • Reasseguramento: Em 84,3% dos casos, os conselheiros asseguraram explicitamente ao cliente que eram humanos (ex: "Eu garanto; isto não é uma IA!"). Esta estratégia levou 54,8% dos clientes a ficarem menos suspeitos e 27,6% a prosseguirem com a discussão de suas preocupações.
  • Evitação/Redirecionamento: Em 15,7% dos casos, os conselheiros redirecionaram a conversa para a preocupação apresentada pelo cliente sem abordar explicitamente a suspeita. Isso resultou em 47,8% dos clientes seguindo adiante, mas 52,2% continuaram a insistir no assunto, encerraram a conversa ou expressaram frustração.

Significância e Alegações
O artigo afirma que, à medida que a familiaridade do público com a IA cresce, a suspeita do uso de IA em ambientes de cuidado digital tende a aumentar, apresentando riscos potenciais para a relação terapêutica. Os autores destacam um paradoxo: embora revisores cegos possam julgar mensagens assistidas por IA como mais humanas e empáticas do que as puramente humanas, os clientes avaliam as mensagens de forma menos favorável quando suspeitam de envolvimento da IA, independentemente de essa suspeita ser correta ou não.

O estudo conclui que a transparência nem sempre constrói confiança. Em vez disso, os achados sugerem que conselheiros que reconhecem as dúvidas do cliente e fornecem reasseguramento direto alcançam resultados marcadamente melhores do que aqueles que evitam a questão. Os autores argumentam que a integração da assistência de IA no aconselhamento requer um equilíbrio cuidadoso entre a transparência e a percepção de autenticidade da interação terapêutica, observando que o elemento "humano" é um componente crítico da confiança do cliente em cenários de crise.