TherapyGym: Evaluating and Aligning Clinical Fidelity and Safety in Therapy Chatbots

Resumen Técnico: TherapyGym

1. Planteamiento del Problema

Los Grandes Modelos de Lenguaje (LLMs) están siendo adoptados cada vez más para el apoyo en salud mental debido a su accesibilidad. Sin embargo, los métodos de evaluación actuales (métricas de fluidez, pruebas de preferencia humana o benchmarks genéricos de diálogo) son insuficientes para el contexto clínico. Estas métricas no capturan dimensiones críticas como la fidelidad a los modelos terapéuticos basados en evidencia (como la Terapia Cognitivo-Conductual o TCC) ni la seguridad en situaciones de alto riesgo (crisis, abuso, autolesión).

Existe una brecha fundamental: no hay un marco escalable que evalúe y optimice a los chatbots terapéuticos basándose en constructos clínicos validados (como la Escala de Valoración de la Terapia Cognitiva, CTRS) en lugar de en la calidad conversacional superficial. Además, la evaluación humana continua es costosa y no escalable, mientras que los jueces basados en LLMs pueden introducir sesgos o falta de fiabilidad.

2. Metodología: El Marco TherapyGym

Los autores presentan TherapyGym, un marco integral de "evaluación a alineación" diseñado para mejorar a los chatbots de terapia mediante dos pilares clínicos: Fidelidad y Seguridad. El sistema consta de tres componentes principales:

A. Suite de Evaluación (Evaluator Suite)

• THERAPYJUDGEBENCH: Un banco de datos de 116 diálogos simulados (sesiones de 10 turnos) anotados por expertos. Incluye 1,270 calificaciones de dos terapeutas clínicos licenciados.
  • Fidelidad: Se utiliza la CTRS (Cognitive Therapy Rating Scale) para puntuar 11 dimensiones de habilidades TCC (Agenda, Feedback, Colaboración, etc.) en una escala de 0 a 6.
  • Seguridad: Se etiqueta la presencia de 4 tipos de riesgos: dar opiniones médicas/medicación, no abordar crisis, no abordar abuso y no abordar deterioro funcional.
• THERAPYJUDGE: Un juez basado en LLM (implementado con modelos como Claude 3.7 o GPT-o3-mini) que aprende a replicar las calificaciones de los expertos. Utiliza in-context learning (ejemplos de habilidades) para mejorar su alineación con los criterios humanos.
  • Validación: El juez alcanza una correlación de Spearman promedio de 0.56 con los humanos en las habilidades CTRS y una precisión del 99% en la detección de violaciones de seguridad.

B. Entorno de Simulación Interactiva

• Utiliza el simulador de pacientes Patient-ψ, que genera perfiles de pacientes basados en modelos cognitivos de TCC (creencias centrales, pensamientos automáticos, emociones).
• Se amplió el banco de perfiles de pacientes de 106 a 13,093 perfiles utilizando la técnica TreeSynth para garantizar diversidad y coherencia clínica, permitiendo un entrenamiento robusto.

C. Módulo de Alineación (RL Fine-Tuning)

• Se implementa un bucle de Aprendizaje por Refuerzo (RL) utilizando GRPO (Group Relative Preference Optimization).
• Función de Recompensa: Combina las puntuaciones de fidelidad (CTRS normalizadas) y penalizaciones por violaciones de seguridad.
  • $R(d) = \sum w_i \cdot \widehat{CTRS}_i(d) - \sum \lambda_j \cdot \mathbb{1}_{Safety_j}(d)$
• El modelo de terapia (agente) interactúa con pacientes simulados, recibe retroalimentación estructurada del juez THERAPYJUDGE y ajusta sus políticas para maximizar la recompensa compuesta.

3. Contribuciones Clave

1. Primer Marco de Evaluación Clínica Específica: Introduce un sistema que opera explícitamente sobre los pilares de fidelidad (CTRS) y seguridad, superando las métricas genéricas de chat.
2. Validación de Jueces LLM: Demuestra que los LLMs pueden ser calibrados para actuar como evaluadores clínicos fiables mediante THERAPYJUDGEBENCH, reduciendo la dependencia de la anotación humana masiva.
3. Pipeline de Entrenamiento End-to-End: Crea un entorno donde la optimización del modelo se guía directamente por constructos clínicos, cerrando el ciclo entre evaluación y mejora del modelo.
4. Datos y Benchmarks Abiertos: Libera THERAPYJUDGEBENCH y el conjunto de perfiles de pacientes aumentados para la comunidad de investigación.

4. Resultados Experimentales

Los experimentos se realizaron utilizando modelos base como Qwen3-4B y Qwen3-1.7B, entrenados con GRPO en el entorno TherapyGym.

• Mejora en Habilidades Clínicas (Fidelidad):
  • Las puntuaciones promedio de CTRS (evaluadas por humanos) aumentaron drásticamente de 0.10 a 0.60.
  • Bajo la evaluación del juez LLM, la puntuación subió de 0.16 a 0.59.
  • Las mejoras fueron notables en habilidades específicas como Feedback (0.04 $\to$ 0.65) y Colaboración.
• Mejora en Seguridad:
  • Las violaciones de seguridad (evaluadas por humanos) disminuyeron de 0.38 a 0.20.
  • Ablación: Se demostró que eliminar la penalización de seguridad durante el entrenamiento resultó en un aumento de violaciones (0.13 $\to$ 0.43), confirmando la necesidad de la función de recompensa compuesta.
• Análisis Cualitativo:
  • Los modelos entrenados mostraron comportamientos emergentes alineados con la TCC: establecimiento de agenda, identificación de pensamientos automáticos, uso de preguntas socráticas y asignación de tareas (homework) concretas, aspectos que estaban ausentes en los modelos base.
• Escalabilidad: El modelo entrenado (Qwen3-4B) alcanzó un rendimiento comparable a modelos frontera mucho más grandes (como o3-mini o Llama 4 Scout) en tareas de terapia, pero con un tamaño de modelo significativamente menor.

5. Significado e Impacto

El trabajo de TherapyGym establece un nuevo estándar para el desarrollo de chatbots de salud mental. Al demostrar que es posible alinear modelos de lenguaje con estándares clínicos rigurosos (CTRS) y garantizar la seguridad mediante RL, ofrece una vía viable para crear herramientas de apoyo mental que sean:

• Fiables: Basadas en evidencia científica y no solo en patrones conversacionales.
• Seguras: Capaces de detectar y manejar riesgos clínicos críticos.
• Escalables: Permitiendo la optimización automatizada de modelos sin necesidad de evaluadores humanos para cada iteración.

El estudio advierte que, aunque los resultados son prometedores, el sistema es una herramienta de investigación y no debe reemplazar a los profesionales licenciados. Sin embargo, sienta las bases para futuros sistemas de IA que puedan asistir de manera responsable en el ámbito de la salud mental.