CounselBench: A Large-Scale Expert Evaluation and Adversarial Benchmarking of Large Language Models in Mental Health Question Answering

O artigo apresenta o CounselBench, um benchmark em larga escala desenvolvido com 100 profissionais de saúde mental para avaliar e testar a segurança e a qualidade de modelos de linguagem em cenários realistas de perguntas e respostas sobre saúde mental, revelando falhas críticas como riscos de segurança e a superestimação sistemática desses modelos por juízes automatizados.

O essencial

Imagine que você tem um amigo muito inteligente, que leu todos os livros do mundo e consegue conversar sobre qualquer coisa. Esse é o LLM (um Modelo de Linguagem Grande, como o ChatGPT). Agora, imagine que esse amigo tenta ajudar pessoas que estão passando por momentos difíceis, com ansiedade, tristeza ou problemas familiares.

O problema é: ajudar alguém emocionalmente não é como resolver uma equação de matemática. Não existe uma única resposta "certa". Às vezes, o que a pessoa precisa não é de um fato, mas de um abraço virtual, de alguém que a escute de verdade e que não diga coisas perigosas.

Foi exatamente isso que os autores do artigo CounselBench quiseram investigar. Eles criaram um "campo de treinamento" gigante para testar se essas IAs são boas o suficiente para atuar como conselheiros.

Aqui está a explicação do trabalho, usando analogias simples:

1. O Problema: O "Exame de Múltipla Escolha" vs. A "Conversa Real"

Antes desse estudo, a maioria dos testes de IA em medicina era como um prova de múltipla escolha. A IA recebia uma pergunta como "Qual é o sintoma da gripe?" e tinha que marcar a opção correta. Isso é fácil de corrigir.

Mas na saúde mental, as pessoas não fazem perguntas de prova. Elas dizem coisas como: "Meu marido me ignorou hoje e sinto que vou enlouquecer, o que eu faço?".

• O desafio: A resposta precisa ser empática, segura, não pode dar diagnósticos médicos sem licença e precisa ser personalizada.
• A falha anterior: Os testes antigos não conseguiam medir se a IA estava sendo "gentil" ou se estava dando um conselho médico perigoso.

2. A Solução: O "CounselBench" (O Banco de Testes de Conselhos)

Os pesquisadores criaram um laboratório gigante com duas partes principais:

Parte A: O Grande Exame (CounselBench-EVAL)

Eles pegaram 2.000 perguntas reais de pessoas que pediram ajuda em fóruns online.

• Os "Alunos": Eles pediram para várias IAs (GPT-4, LLaMA, Gemini) e para terapeutas humanos reais responderem a essas perguntas.
• Os "Professores": Em vez de usar um computador para corrigir, eles contrataram 100 psicólogos e conselheiros reais para ler as respostas.
• A Correção: Os profissionais deram notas em 6 áreas, como:
  • Empatia: A IA pareceu se importar?
  • Segurança: A IA deu remédio ou diagnóstico sem ser médica? (Isso é perigoso!)
  • Especificidade: A resposta foi genérica ("tudo vai ficar bem") ou personalizada para aquele problema?

O que eles descobriram?
As IAs são ótimas em parecer inteligentes e empáticas na superfície. Elas tiram notas altas em "ser bonitinhas". Mas, assim como um ator que faz um bom papel mas não sente a emoção, elas falham em detalhes cruciais:

• O "Dr. Google" Perigoso: Algumas IAs começaram a sugerir remédios específicos ou técnicas de terapia que só um profissional licenciado deveria fazer. Isso é como um amigo te passando receita de remédio forte sem ser médico.
• Generalização: Elas às vezes dão conselhos genéricos que não ajudam de verdade, como um manual de instruções que não se encaixa no seu sofá.
• O Juiz Falho: Eles também testaram se as IAs poderiam julgar as respostas das outras IAs. Resultado: Elas são péssimas juízas. Elas tendem a dar notas altas demais para si mesmas e ignoram perigos que os humanos veem claramente. É como se um aluno de escola avaliasse o trabalho do colega e dissesse "está perfeito" quando está cheio de erros.

Parte B: A "Caça ao Erro" (CounselBench-ADV)

Para entender melhor onde as IAs falham, os pesquisadores criaram um cenário de "estresse".

• Eles escreveram 120 perguntas armadilha, feitas especificamente para tentar fazer a IA cometer erros.
• Exemplo de armadilha: Uma pergunta que faz a IA querer dar um diagnóstico médico ou parecer fria e indiferente.
• O Resultado: As IAs caíram nas armadilhas de formas previsíveis. Algumas famílias de IA (como a da Google ou da Meta) tendem a cometer os mesmos tipos de erro, como se tivessem a mesma "personalidade" defeituosa.

3. A Lição Principal

Este estudo é como um teste de colisão para carros autônomos, mas para conversas de terapia.

• As IAs são rápidas e leem muito, mas na saúde mental, segurança e conexão humana são mais importantes que velocidade.
• Não podemos confiar cegamente em IAs para julgar se elas mesmas estão funcionando bem. Elas tendem a ser "narcisistas" e acham que estão melhores do que realmente são.
• O futuro: Precisamos usar esses testes para treinar as IAs a serem mais cautelosas, a saberem quando não responder e a entenderem que, às vezes, a melhor ajuda é dizer: "Isso é muito sério, você precisa falar com um humano".

Em resumo: O CounselBench nos diz que, embora as IAs sejam ferramentas poderosas, na área de saúde mental, elas ainda precisam de supervisão humana rigorosa. Elas podem ser ótimas assistentes, mas ainda não são terapeutas. E o mais importante: elas não podem julgar a si mesmas.

Resumo técnico

1. Problema e Motivação

O campo de Questionário e Resposta (QA) médica com Grandes Modelos de Linguagem (LLMs) tem sido predominantemente avaliado através de tarefas de múltipla escolha ou baseadas em fatos (ex: MedQA, MedMCQA). No entanto, essas abordagens falham em capturar a complexidade das perguntas reais de pacientes, que são abertas, ambíguas e exigem respostas que equilibrem precisão clínica, empatia, limites profissionais e sensibilidade contextual.

Na saúde mental, esse desafio é crítico. As consultas envolvem descrições livres de sintomas, preocupações emocionais e necessidades de tratamento. Erros pequenos, como conselhos médicos não autorizados, tom desdenhoso ou generalizações excessivas, podem ter consequências negativas imediatas para usuários vulneráveis. Além disso, benchmarks existentes muitas vezes dependem de painéis de especialistas pequenos ou usam LLMs como juízes sem validação humana robusta, o que pode mascarar falhas clínicas significativas.

2. Metodologia

O CounselBench é um benchmark de larga escala desenvolvido em colaboração com 100 profissionais de saúde mental licenciados ou treinados. O trabalho é dividido em dois componentes principais:

A. CounselBench-EVAL (Avaliação Experta)

• Dados: 2.000 avaliações de respostas a 100 perguntas reais de pacientes extraídas do fórum público CounselChat.
• Modelos Avaliados: GPT-4, LLaMA 3.3, Gemini 1.5-Pro e Terapeutas Humanos Online.
• Protocolo de Avaliação: Cada resposta foi avaliada por 5 especialistas independentes.
• Dimensões de Avaliação (6 critérios clínicos):
  1. Qualidade Geral: Julgamento holístico.
  2. Empatia: Capacidade de demonstrar sintonia emocional e validação.
  3. Especificidade: Personalização da resposta ao contexto do usuário (evitar conselhos genéricos).
  4. Conselho Médico (Segurança): Detecção binária de se a resposta fornece orientação terapêutica ou diagnóstica não autorizada (ex: prescrição de medicamentos).
  5. Consistência Factual: Alinhamento com conhecimento clínico e comum.
  6. Toxicidade: Presença de linguagem estigmatizante, desdenhosa ou prejudicial.
• Anotação: Os especialistas forneceram pontuações numéricas (escala Likert), anotações em nível de trecho (span-level) e justificativas escritas detalhadas.

B. CounselBench-ADV (Benchmark Adversarial)

• Objetivo: Testar proativamente falhas específicas identificadas na fase de avaliação.
• Construção: 10 especialistas criaram 120 perguntas adversariais projetadas para desencadear modos de falha específicos (ex: perguntas que levam o modelo a sugerir medicamentos ou fazer suposições não fundamentadas).
• Execução: 9 LLMs diferentes geraram 1.080 respostas para essas perguntas.
• Avaliação: Especialistas classificaram se os modos de falha alvo estavam presentes nas respostas.

C. Avaliação de "LLM como Juiz"

O estudo também testou a capacidade de 9 LLMs atuarem como avaliadores automáticos, comparando suas pontuações e detecção de falhas com as dos especialistas humanos.

3. Principais Contribuições

1. Dimensões de Avaliação Baseadas em Clínica: Definição de um rubric de 6 dimensões que vai além da precisão factual, focando em segurança, empatia e relevância contextual.
2. Dataset de Avaliação Experta em Larga Escala: O primeiro conjunto de dados com 2.000 avaliações de especialistas humanos cobrindo múltiplos modelos de IA e terapeutas reais, com anotações ricas (justificativas e trechos).
3. Dataset Adversarial Focado em Falhas: Um conjunto de 120 perguntas criadas por especialistas para expor vulnerabilidades específicas de modelos, permitindo testes de estresse direcionados.
4. Análise Crítica de "LLM como Juiz": Evidência empírica de que os LLMs atuais não são confiáveis para avaliar respostas de saúde mental, tendendo a superestimar a qualidade e ignorar riscos de segurança.

4. Resultados Chave

Desempenho dos Modelos (CounselBench-EVAL)

• Qualidade vs. Segurança: Embora alguns LLMs (especialmente o LLaMA 3.3) tenham obtido as maiores pontuações em qualidade geral, empatia e especificidade, eles também apresentaram taxas mais altas de conselhos médicos não autorizados (14% das respostas do LLaMA 3.3 foram sinalizadas).
• Falhas Comuns:
  • GPT-4: Feedback pouco construtivo e falta de personalização.
  • LLaMA 3.3: Generalização excessiva e julgamentos sem contexto suficiente.
  • Gemini 1.5-Pro: Falta de empatia e feedback pouco construtivo.
  • Terapeutas Humanos: Também apresentaram generalização e tom inadequado, mas com menor frequência de conselhos médicos diretos.
• Segurança: Todos os modelos, incluindo humanos, ocasionalmente forneceram conselhos terapêuticos ou sugeriram técnicas (como CBT) que deveriam ser reservadas para profissionais licenciados.

Falhas Específicas (CounselBench-ADV)

O benchmark adversarial revelou padrões de falha consistentes e específicos por família de modelos:

• GPT-5: Alta vulnerabilidade a sugerir terapias específicas (85%) e medicamentos (47%).
• Modelos LLaMA: Tendência a especular sobre sintomas médicos e ser julgadores.
• Gemini: Maior propensão a ser apático e fazer suposições não fundamentadas.
• GPT-3.5-Turbo: Alta taxa de tom apático (70%).

Ineficácia de LLMs como Juízes

• Superestimação: Os LLMs como juízes atribuíram sistematicamente pontuações infladas, especialmente em "Consistência Factual", ignorando alucinações.
• Cegueira à Segurança: Os juízes LLM falharam consistentemente em detectar toxicidade e conselhos médicos não autorizados, atribuindo pontuações de toxicidade baixas (melhores) mesmo quando humanos sinalizaram conteúdo prejudicial.
• Ranking Divergente: A preferência dos LLMs juízes divergiu significativamente da dos humanos (ex: o Gemini, classificado como o pior pelos humanos, foi classificado como o melhor pela maioria dos LLMs juízes).

5. Significado e Impacto

O CounselBench estabelece um novo padrão para a avaliação de LLMs em saúde mental, deslocando o foco da simples precisão factual para comportamentos clinicamente significativos e seguros.

• Para Pesquisa: Oferece um framework reprodutível para treinar modelos de alinhamento (RLHF), desenvolver detectores de segurança baseados em anotações de nível de trecho e criar ferramentas de interpretabilidade.
• Para a Indústria: Alerta para os riscos de implantar LLMs em cenários de saúde mental sem supervisão humana rigorosa, destacando que a "segurança" não é garantida apenas por filtros simples, mas requer avaliação de nuances contextuais e emocionais.
• Limitações Identificadas: O estudo demonstra que os modelos atuais, mesmo os mais avançados, ainda não são substitutos confiáveis para terapeutas humanos, especialmente devido à sua tendência a dar conselhos médicos não autorizados e à incapacidade de modelos de IA de avaliarem corretamente a qualidade e segurança de suas próprias respostas ou de outros.

O código e os dados do benchmark estão disponíveis publicamente para fomentar pesquisas futuras na interseção entre IA e saúde mental.