Human-Centered AI in Crisis Counseling: A Three-Tier Governance Framework

No mundo de alto risco do aconselhamento de crises, os profissionais enfrentam um desafio único e exaustivo. Eles devem ouvir pessoas nos momentos mais profundos de desespero, muitas vezes por telefone ou texto, e tomar decisões de vida ou morte em questão de minutos. Esses conselheiros são treinados para detectar sinais sutis de perigo, oferecer suporte emocional imediato e navegar por planos de segurança complexos, tudo isso enquanto gerenciam a pesada carga administrativa de papelada e acompanhamento. A pressão é imensa; um sinal de alerta perdido pode levar à tragédia, enquanto uma resposta equivocada pode fazer com que uma pessoa vulnerável se desconecte totalmente da ajuda. Durante anos, pesquisadores exploraram se a inteligência artificial poderia ajudar ao prever quem está em risco de suicídio com base em padrões de linguagem. No entanto, uma nova linha de pensamento sugere que simplesmente ter um computador prevendo o risco não é suficiente. A verdadeira questão não é se uma máquina pode adivinhar o perigo, mas como uma máquina pode ser usada com segurança para apoiar um conselheiro humano sem nunca assumir o controle.

Um artigo recente de Ambika Thangaraju propõe uma forma específica de responder a essa pergunta. Em vez de imaginar um futuro onde computadores tomam as decisões difíceis, a autora delineia um sistema de três níveis projetado para manter o julgamento humano firmemente no comando, enquanto utiliza a tecnologia para lidar com o trabalho pesado da administração. O framework trata a inteligência artificial não como um médico ou um tomador de decisões, mas como um assistente altamente organizado que trabalha sob supervisão rigorosa. A ideia central é deixar o computador gerenciar o fluxo de informações, redigir notas e organizar recursos, enquanto o conselheiro humano permanece como a única autoridade para avaliar o risco, decidir sobre um curso de ação e determinar se uma resposta de emergência é necessária. Esta abordagem tenta resolver o problema de como integrar novas ferramentas poderosas em um campo onde um único erro pode ter consequências fatais.

O sistema proposto é construído sobre três camadas distintas de responsabilidade. A primeira camada foca nas tarefas que ocorrem antes, durante e depois de uma chamada, mas exclui estritamente a tomada de decisão clínica. Nesse papel, a inteligência artificial atua como uma ferramenta de suporte. Ela pode ajudar um conselheiro ao recuperar rapidamente um modelo de plano de segurança, redigar um resumo da conversa para revisão posterior ou sinalizar uma frase específica que o conselheiro foi treinado para observar. Crucialmente, o sistema é projetado para nunca atribuir um nível de risco ao chamador, nunca diagnosticar uma condição e nunca iniciar uma intervenção de emergência por conta própria. Se o computador sugerir um curso de ação, um humano deve revisar e aprovar antes que ele se torne parte do registro. Esta camada também inclui salvaguardas para o chamador, como garantir que eles saibam que estão falando com um sistema que está ouvindo, e dar a eles a opção imediata de optar por não participar de qualquer análise automatizada de sua voz ou palavras.

A segunda camada é onde o trabalho humano real acontece. Este é o domínio do conselheiro, que retém autoridade total sobre a avaliação do risco de suicídio e a decisão final sobre como ajudar o chamador. O framework mapeia uma sequência clara de etapas para essas interações, começando pelo estabelecimento de segurança e estabilidade emocional, passando por uma avaliação estruturada dos pensamentos e planos do chamador, e terminando com uma intervenção personalizada. Ao longo de todo esse processo, a inteligência artificial da primeira camada está disponível para auxiliar, talvez lembrando o conselheiro de um checklist específico ou sugerindo um recurso, mas ela nunca se sobrepõe ao julgamento do conselheiro. Se uma situação se tornar incerta ou se o conselheiro sentir que a informação é insuficiente para tomar uma decisão segura, o sistema possui um caminho específico para essa incerteza. Em vez de adivinhar, o conselheiro é orientado a buscar ajuda de um supervisor. Da mesma forma, se um chamador parecer ter perdido o contato com a realidade, o sistema reconhece isso como um caso especial que requer atenção humana imediata e de alto nível, contornando os procedimentos padrão para garantir a segurança.

A terceira camada lida com a organização e as pessoas que gerenciam as linhas de crise. Este nível garante que os próprios conselheiros sejam apoiados e que o sistema esteja funcionando corretamente. Inclui regras para quando um supervisor deve revisar uma chamada, particularmente em situações de alto risco ou quando o conselheiro está em dúvida sobre o que fazer. Também aborda o bem-estar da equipe, reconhecendo que ouvir traumas é emocionalmente desgastante. Após uma chamada particularmente difícil, o sistema é projetado para permitir um período de descompressão e um check-in de um supervisor, em vez de empurrar imediatamente o conselheiro para a próxima chamada. Além disso, esta camada inclui auditorias regulares para garantir que a inteligência artificial esteja se comportando conforme o pretendido e que nenhum erro automatizado esteja passando despercebido. Se o sistema precisar fazer uma mudança importante, ou se uma emergência for declarada, a inteligência artificial pode ser completamente bloqueada, garantindo que apenas vozes humanas estejam guiando a resposta à crise.

O artigo enfatiza que este framework é uma proposta, não um produto acabado que foi testado em campo. É um design conceitual construído combinando métodos estabelecidos de intervenção de crise com novas ideias sobre como a tecnologia deve ser governada. A autora reconhece que, embora os modelos usados para construir este framework tenham funcionado bem em ambientes presenciais, aplicá-los a chamadas telefônicas e mensagens de texto anônimas ainda não foi testado. Existem também obstáculos práticos, como o custo da tecnologia, a necessidade de treinamento da equipe e o desafio de garantir que o sistema funcione de forma justa entre diferentes idiomas e culturas. A autora sugere que o melhor caminho à frente é começar pequeno, talvez usando a tecnologia apenas para redigir notas ou organizar recursos, e estudar cuidadosamente como isso afeta a carga de trabalho e os níveis de estresse dos conselheiros antes de expandir seu papel.

Em última análise, este trabalho oferece uma visão cautelosa e estruturada para o futuro do cuidado em crises. Argumenta que o valor da inteligência artificial neste campo reside não em sua capacidade de substituir a intuição humana, mas em sua capacidade de reduzir a carga administrativa que frequentemente distrai os conselheiros das pessoas que eles tentam ajudar. Ao criar limites claros entre o que o computador pode fazer e o que apenas um humano pode decidir, o framework visa proteger tanto os chamadores quanto os conselheiros. Sugere que o uso mais eficaz da tecnologia é servir como um parceiro constante e confiável que cuida dos detalhes, permitindo que o profissional humano se concentre inteiramente na tarefa complexa, empática e crítica de salvar uma vida.