TherapyGym: Evaluating and Aligning Clinical Fidelity and Safety in Therapy Chatbots

Resumo Técnico: TherapyGym

1. O Problema

Os Grandes Modelos de Linguagem (LLMs) estão sendo cada vez mais adotados para suporte à saúde mental devido à sua acessibilidade e capacidade conversacional. No entanto, os métodos de avaliação predominantes para chatbots (métricas de fluência, testes de preferência humana e benchmarks genéricos de diálogo) são inadequados para o contexto clínico. Eles falham em capturar dimensões críticas da psicoterapia, como a fidelidade à abordagem terapêutica (ex: Terapia Cognitivo-Comportamental - TCC) e a segurança (evitar danos, como dar conselhos médicos não licenciados ou ignorar crises).

Existe uma lacuna fundamental: como avaliar e melhorar chatbots de terapia de forma escalável, garantindo que eles não sejam apenas conversacionais, mas clinicamente competentes e seguros?

2. Metodologia

Os autores introduzem o THERAPYGYM, um framework de avaliação e alinhamento que opera em dois pilares clínicos: Fidelidade e Segurança. O sistema é composto por três componentes principais:

• A. Simulação de Pacientes Realista:

  • Utiliza o simulador de pacientes Patient-ψ, baseado em modelos cognitivos de TCC, para gerar diálogos interativos de múltiplas voltas (10 turnos por sessão).
  • O banco de dados de perfis de pacientes foi aumentado de 106 para 13.093 perfis distintos usando a técnica TreeSynth, garantindo diversidade de sintomas e cenários clínicos.

• B. Suite de Avaliação (Evaluator Suite):

  • THERAPYJUDGEBENCH: Um conjunto de validação contendo 116 diálogos anotados por especialistas (dois terapeutas licenciados em TCC). Cada diálogo é pontuado usando a Escala de Avaliação da Terapia Cognitiva (CTRS) em 11 dimensões de habilidade (ex: Agenda, Feedback, Colaboração) e marcado para 4 categorias de violações de segurança (ex: fornecer opinião médica, falhar em abordar crise).
  • THERAPYJUDGE: Um avaliador baseado em LLM (Claude 3.7) treinado para imitar os especialistas. Ele recebe o diálogo completo, uma rubrica estruturada da CTRS e exemplos ilustrativos, e gera pontuações automáticas. O modelo alcançou uma correlação de Spearman média de 0,56 com os avaliadores humanos nas dimensões de habilidade e 99% de precisão na detecção de violações de segurança.

• C. Alinhamento via Aprendizado por Reforço (RL):

  • O framework utiliza Group Relative Preference Optimization (GRPO) para ajustar o modelo de linguagem (o "terapeuta").
  • Função de Recompensa: A recompensa é composta pela soma das pontuações normalizadas da CTRS (fidelidade) menos penalidades ponderadas para violações de segurança.
  • O processo é iterativo: o modelo gera diálogos com pacientes simulados, recebe feedback do TherapyJudge, e atualiza sua política para maximizar a fidelidade clínica e a segurança.

3. Contribuições Principais

1. Framework de Avaliação Clínica Específica: O primeiro sistema a operacionalizar a avaliação de chatbots de terapia baseando-se em constructos clínicos validados (CTRS) em vez de métricas genéricas de diálogo.
2. Benchmarks e Dados Públicos: Lançamento do THERAPYJUDGEBENCH (116 diálogos anotados por especialistas) para auditoria de avaliadores baseados em LLM, permitindo calibrar e auditar a confiabilidade dos juízes automáticos em domínios de alto risco.
3. Pipeline de Treinamento End-to-End: Demonstra que o uso de recompensas baseadas em fidelidade clínica e segurança pode guiar o fine-tuning de modelos via RL, criando um ciclo onde a avaliação clínica direciona a otimização do modelo.
4. Validação de Simulação: Evidência de que pacientes simulados podem gerar interações plausíveis o suficiente para validar algoritmos de avaliação, superando a necessidade de testes em larga escala com pacientes reais (que levam a questões éticas e logísticas).

4. Resultados Experimentais

Os experimentos foram conduzidos com o modelo base Qwen3-4B (e também em escala menor com Qwen3-1.7B).

• Melhoria na Fidelidade Clínica (CTRS):

  • Após o fine-tuning com GRPO no TherapyGym, a pontuação média de habilidade clínica (avaliada por humanos) aumentou drasticamente de 0,10 para 0,60.
  • Sob a avaliação do TherapyJudge (LLM), a pontuação subiu de 0,16 para 0,59.
  • Melhorias significativas foram observadas em habilidades estruturais como Feedback (0,04 → 0,65) e Foco (0,04 → 0,67).

• Redução de Riscos de Segurança:

  • As taxas de violação de segurança (avaliadas por humanos) diminuíram de 0,38 para 0,20.
  • Um experimento de ablação mostrou que, sem a penalidade de segurança explícita na função de recompensa, as violações aumentavam para 0,43, enquanto a pontuação de habilidade caía, indicando que o modelo "jogava" a recompensa de habilidade de forma insegura.

• Qualidade Qualitativa:

  • Análise qualitativa (Figura 4 e Tabelas 10-16) revelou que o modelo treinado passou a exibir comportamentos estruturados de TCC (ex: definição de agenda, identificação de pensamentos automáticos, tarefas de "lição de casa" concretas) que estavam ausentes no modelo base, que tendia a oferecer apenas validação emocional genérica.

5. Significado e Impacto

O trabalho do TherapyGym estabelece um novo padrão para o desenvolvimento de chatbots de saúde mental. Ele demonstra que é possível escalar o desenvolvimento de agentes terapêuticos que são não apenas engajadores, mas fiéis à prática baseada em evidências e seguros para uso em cenários de alto risco.

Ao fechar o ciclo entre avaliação clínica rigorosa (fidelidade/segurança) e otimização de modelos (RL), o framework oferece uma solução viável para o problema da "caixa preta" na avaliação de IA em saúde mental. Isso permite que pesquisadores e desenvolvedores criem ferramentas que realmente auxiliem na terapia, reduzindo o risco de danos aos usuários e aumentando a confiança na tecnologia assistiva.

Limitações e Futuro: O estudo foca atualmente na Terapia Cognitivo-Comportamental (TCC) e utiliza juízes baseados em LLM. Trabalhos futuros visam expandir para outras modalidades terapêuticas (ex: ACT, DBT), incluir resultados longitudinais do mundo real e adaptar o sistema para cenários multilíngues.