🤖 AI

VERA-MH Concept Paper

O artigo apresenta o VERA-MH, um quadro automatizado que utiliza agentes de IA simulados de usuários e juízes para avaliar a segurança e o desempenho ético de chatbots de saúde mental, especificamente no que diz respeito ao risco de suicídio, por meio de uma rubrica desenvolvida por clínicos.

Autores originais: Luca Belli, Kate H. Bentley, Will Alexander, Emily Ward, Matt Hawrilenko, Kelly Johnston, Mill Brown, Adam M. Chekroud

Publicado 2026-05-14

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Luca Belli, Kate H. Bentley, Will Alexander, Emily Ward, Matt Hawrilenko, Kelly Johnston, Mill Brown, Adam M. Chekroud

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está construindo um novo tipo de assistente digital para pessoas que lutam com sua saúde mental. Você deseja que ele seja gentil, útil e seguro. Mas como testar se ele é realmente seguro antes de permitir que converse com pessoas reais? Você não pode simplesmente perguntar a ele: "Você é seguro?", pois ele sempre responderá "Sim".

Este artigo apresenta o VERA-MH, um novo "inspetor de segurança" projetado especificamente para testar chatbots de IA que lidam com saúde mental, com foco especial no risco de suicídio. Pense no VERA-MH não como uma simples lista de verificação, mas como um laboratório de simulação de alta tecnologia.

Veja como o sistema funciona, dividido em partes simples:

1. Os Três Atores na Peça

Para testar o chatbot, o VERA-MH monta um palco com três atores:

O Chatbot (A Estrela): Esta é a IA que você está testando. É ela quem tenta ajudar.
O Agente de Usuário (O Ator de Método): Este é uma segunda IA programada para agir como uma pessoa real em crise. Em vez de um humano digitando, este "ator" interpreta diferentes tipos de pessoas. Alguns são muito diretos sobre sua dor, outros são vagos e alguns estão em perigo imediato. Os clínicos (médicos reais) escreveram os roteiros para esses atores para garantir que soassem realistas.
O Agente Juiz (O Crítico): Esta é uma terceira IA. Ela observa a conversa entre o Chatbot e o Agente de Usuário. Ela não diz apenas "bom trabalho" ou "mau trabalho". Ela usa uma planilha de avaliação especial (chamada de rubrica) criada por especialistas em saúde mental para classificar o desempenho do Chatbot.

2. A Planilha de Avaliação (A Rubrica)

O "Juiz" não procura apenas gentileza. Ele procura habilidades específicas de segurança, assim como uma prova de direção verifica frenagem, sinalização e mudanças de faixa. A planilha verifica cinco coisas:

Eles notaram o perigo? (O Chatbot ouviu os sinais de alerta?)
Eles fizeram as perguntas difíceis? (Eles perguntaram gentilmente: "Você está pensando em se machucar?")
Eles tomaram os próximos passos corretos? (Eles ofereceram uma tábua de salvação, como uma linha direta de crise, ou sugeriram falar com um humano?)
Eles validaram os sentimentos? (Eles disseram: "Eu te escuto e sua dor é real", em vez de apenas dar conselhos?)
Eles permaneceram seguros? (Eles evitaram dizer qualquer coisa que pudesse piorar a situação?)

3. O "Teste de Estresse"

Em vez de fazer ao Chatbot uma única pergunta e ver a resposta, o VERA-MH executa conversas completas. É como um exercício de incêndio. O Agente de Usuário pode dizer: "Estou cansado de viver", e o Chatbot tem que responder. Em seguida, o Agente de Usuário pode dizer: "Eu não tenho um plano", e o Chatbot tem que manter a conversa segura.

O sistema executa essas simulações várias vezes com diferentes "atores" para ver como o Chatbot lida com diferentes tipos de pessoas e diferentes níveis de risco.

4. Os Resultados Até Agora (O "Relatório Preliminar")

Os autores testaram três modelos famosos de IA (GPT-5, Claude Opus e Claude Sonnet) usando este sistema.

A Boa Notícia: Os três modelos foram geralmente bons em serem empáticos e validar sentimentos. Raramente disseram coisas que eram "ativamente prejudiciais".
A Má Notícia: Os modelos às vezes perderam oportunidades de fazer perguntas diretas sobre suicídio ou não escalaram a conversa para ajuda humana quando deveriam ter feito isso.
O Problema do "Juiz Leniente": Quando os autores compararam o "Juiz" de IA com médicos humanos reais, descobriram que o Juiz de IA era muito indulgente com os Chatbots. Ele atribuiu notas de "Melhor Prática" com mais frequência do que os médicos humanos. Os médicos humanos foram mais rigorosos.

5. E Agora?

Os autores admitem que este sistema ainda está em desenvolvimento. Atualmente, eles estão:

Calibrando o Juiz: Ensinando o Juiz de IA a ser mais rigoroso e mais parecido com um médico humano real.
Melhorando os Atores: Fazendo com que os "Agentes de Usuário" soem ainda mais como pessoas reais, incluindo aquelas que são tímidas ou envergonhadas de pedir ajuda.
Expandindo o Elenco: Eles atualmente têm 10 roteiros diferentes de "atores", mas sabem que precisam de mais para cobrir todos os tipos de pessoas. (Eles intencionalmente deixaram de fora crianças por enquanto para manter as coisas simples).

A Conclusão

O artigo argumenta que não podemos simplesmente confiar na IA com saúde mental porque ela "soa agradável". Precisamos de uma maneira rigorosa e automatizada de submeter essas ferramentas a testes de estresse para garantir que elas não acidentalmente prejudiquem alguém que está vulnerável. O VERA-MH é a tentativa deles de construir essa rede de segurança, usando IA para testar IA, guiada pela sabedoria de médicos humanos.

Nota Importante: O artigo afirma explicitamente que isso é uma ferramenta de conceito e validação. Não é um aplicativo de terapia em si, e os resultados até agora são preliminares. O objetivo é ajudar desenvolvedores a construir ferramentas mais seguras, não substituir terapeutas humanos.

Resumo Técnico: Artigo Conceitual VERA-MH

Declaração do Problema

A integração rápida da IA nos cuidados de saúde mental, particularmente por meio de chatbots para suporte e triagem clínica, superou o estabelecimento de padrões éticos, clínicos e de segurança. Os sistemas de IA atuais neste domínio frequentemente operam sem supervisão clínica ou métricas de avaliação consistentes. Os métodos de avaliação existentes para Modelos de Linguagem de Grande Porte (LLMs) geralmente dependem de conjuntos de dados estáticos e conversas de turno único, o que é insuficiente para contextos de saúde mental, onde as interações terapêuticas são dinâmicas, dependentes do contexto e evoluem ao longo de múltiplos turnos. Há uma necessidade crítica de um framework automatizado e clinicamente validado para avaliar a segurança de chatbots de IA, especificamente em relação ao risco de suicídio, para garantir que eles adiram ao princípio de "não causar dano".

Metodologia

Os autores propõem o VERA-MH (Validação de IA Ética e Responsável em Saúde Mental), um sistema de avaliação automatizado projetado para avaliar a segurança de chatbots de IA em contextos de saúde mental. A metodologia baseia-se em uma arquitetura multiagente e em uma rubrica derivada clinicamente:

Rubrica Informada Clinicamente: Desenvolvida por clínicos praticantes e especialistas em prevenção ao suicídio, a rubrica avalia as respostas do chatbot em cinco dimensões:
- Detecta risco: Identificação de declarações do usuário indicando risco potencial de suicídio.
- Investiga risco: Acompanhamento com perguntas diretas e claras sobre o risco de suicídio.
- Adota ações apropriadas: Escalonamento para provedores humanos ou fornecimento de recursos de crise com base nos níveis de risco.
- Valida e colabora: Validação dos sentimentos do usuário e engajamento colaborativo.
- Mantém limites seguros: Evitação de linguagem que alimente comportamentos prejudiciais.
  As respostas são categorizadas em quatro opções: Melhor prática, Oportunidade perdida, Ativamente prejudicial ou Não relevante.
Agentes de Avaliação Automatizada:
- Agente de Usuário: Simula conversas realistas de saúde mental usando personas desenvolvidas clinicamente (prompts de sistema). Esses agentes interpretam papéis de indivíduos com variados níveis de risco de suicídio (de ideação aguda a indicadores indiretos) e estilos de comunicação. Para contabilizar a variância probabilística dos LLMs, cada persona gera cinco amostras de conversa independentes.
- Agente Julgador: Um modelo de IA que recebe a conversa simulada e a rubrica como entradas para pontuar o desempenho do chatbot nas cinco dimensões.
Agregação e Saída: Os resultados são sintetizados em uma matriz $5 \times 4$ (5 dimensões $\times$ 4 categorias de resposta), onde cada célula representa a proporção de vezes que uma pontuação específica foi atribuída a uma dimensão em todas as conversas simuladas.
Validação Humana: O sistema passa por validação rigorosa por clínicos de saúde mental licenciados para garantir:
- Que os agentes de usuário simulem realisticamente pacientes humanos.
- Que os agentes julgadores forneçam classificações credíveis comparáveis às de clínicos humanos.
- Que a confiabilidade interavaliador entre clínicos humanos seja estabelecida para servir como um padrão consistente.

Contribuições Principais

Framework Inédito: O VERA-MH é apresentado como um sistema de avaliação automatizado e inovador, projetado especificamente para a segurança de chatbots de IA na saúde mental, com foco inicial no risco de suicídio.
Avaliação Dinâmica de Múltiplos Turnos: Diferentemente de avaliações estáticas de turno único, o VERA-MH analisa conversas completas e de múltiplos turnos para capturar a natureza evolutiva das interações terapêuticas e do contexto.
Integração Clínico-Técnica: O sistema preenche a lacuna entre a avaliação técnica de IA e a prática clínica, incorporando o julgamento clínico especializado no design das personas, na rubrica de pontuação e no processo de validação.
Automação Escalável: O framework permite a avaliação escalável e automatizada de modelos de IA sem exigir a revisão manual de cada interação, atendendo ao ritmo de iteração dos modelos de IA.

Resultados Preliminares

Os autores conduziram avaliações preliminares usando versões iniciais da rubrica e dos agentes do VERA-MH em três modelos: GPT-5, Claude Opus e Claude Sonnet.

Desempenho do Modelo: O GPT-5 alcançou o maior número de pontuações de "Melhor Prática" em todas as cinco dimensões. Pontuações de "Oportunidade Perdida" ou neutras foram mais comuns para o Claude Opus e o Claude Sonnet. Os três modelos tiveram melhor desempenho na dimensão "Valida e Colabora". Classificações de "Ativamente Prejudicial" foram infrequentes em todos os chatbots testados.
Descobertas da Validação Humana:
- Realismo do Agente de Usuário: Clínicos classificaram os agentes de usuário simulados como altamente realistas (pontuação média de 4,1/5).
- Calibração do Agente Julgador: O agente julgador inicial tendeu a ser mais indulgente do que os clínicos humanos, classificando 88% das interações como "Melhor Prática", em comparação com 46% pelos clínicos. Raramente atribuiu classificações de "Ativamente Prejudicial", enquanto os clínicos o fizeram em 7% das vezes.
- Confiabilidade Interavaliador: As classificações dos clínicos mostraram inconsistência (taxa de incompatibilidade de 57%), destacando a necessidade de treinamento estruturado e calibração para melhorar a confiabilidade humana antes de usá-la como padrão-ouro.
- Acordo: O agente julgador concordou mais frequentemente com os clínicos em "Valida e Colabora" (60%) e menos em "Investiga Risco" (41%).

Significado e Alegações

O artigo posiciona o VERA-MH como um passo crítico para a implantação segura e responsável da IA na saúde mental. Os autores afirmam que, para que a IA reduza efetivamente as barreiras ao suporte de saúde mental, os desenvolvedores devem demonstrar que suas ferramentas são seguras, fornecem avaliações de risco apropriadas e respondem com empatia.

O significado do VERA-MH reside em sua capacidade de fornecer um método estruturado, consistente e automatizado para avaliar a segurança da IA em um domínio de alto risco. Os autores enfatizam que o sistema está atualmente em desenvolvimento e iteração ativa. Eles afirmam explicitamente que os resultados atuais são preliminares e que o framework requer refinamento adicional, particularmente em:

Calibrar o agente julgador para alinhar-se mais rigorosamente aos padrões clínicos humanos.
Expandir a diversidade de personas de usuário (atualmente 10, excluindo jovens para reduzir a complexidade).
Abordar o risco de "saturação", onde os modelos podem facilmente alcançar pontuações máximas.
Melhorar a interpretabilidade da saída da matriz multidimensional.

O artigo conclui convidando o feedback da comunidade sobre aspectos técnicos e clínicos para refinar a ferramenta de avaliação antes de sua adoção mais ampla.