Resumen Técnico: PSYCHEPASS

Declaración del Problema

La evaluación de los Modelos de Lenguaje de Gran Escala (LLMs) en la atención de la salud mental enfrenta un "defecto desanclado" fundamental que conduce a dos formas de inestabilidad:

1. Deriva de Proceso (Process Drift): Los paradigmas de simulación actuales suelen depender de chats libres y sin dirección o de preguntas y respuestas de un solo turno. Sin una dirección clínica, estas interacciones vagan sin rumbo, fallando al activar escenarios de alto riesgo (p. ej., procesamiento de traumas) o al medir capacidades terapéuticas específicas, lo que resulta en evaluaciones que solo capturan rasgos superficiales como la empatía genérica.
2. Deriva de Estándar (Standard Drift): Los métodos de juicio existentes utilizan predominantemente la puntuación puntual estática (p. ej., escalas Likert). Esto obliga a los evaluadores a depender de estándares vagos y absolutos sin referencias comparativas, lo que conduce al colapso de la evaluación, donde las puntuaciones se agrupan en rangos estrechos con una discriminabilidad pobre, haciendo imposible el ranking y la optimización precisos.

Metodología: Marco de Trabajo PSYCHEPASS

PSYCHEPASS introduce un marco unificado para calibrar la competencia terapéutica mediante el anclaje de dos trayectorias trazables: la Trayectoria de Interacción en la simulación y la Trayectoria de Batalla en el juicio.

1. Anclaje de la Trayectoria de Interacción (Simulación)

Para eliminar la deriva de proceso, el marco reemplaza los chats abiertos con Sondeo Guionizado (Scripted Probing) basado en la teoría de la Terapia de Sesión Única (SST).

• Perfiles de Clientes: Los clientes simulados se inicializan a partir de datos del mundo real desidentificados y se expanden en personas de alta fidelidad que contienen impulsos centrales, patrones de reacción y eventos de conflicto específicos.
• Dimensiones de Competencia: La evaluación apunta a 12 dimensiones específicas categorizadas en Construcción de Alianza (Empatía, Discernimiento, Compromiso), Técnica Profesional (Habilidad, Sugestión, Reencuadre, Progresión, Trauma) y Apoyo de Fiabilidad (Crisis, Ética, Diversidad, Memoria).
• Control de la Trayectoria: La simulación se estructura en cinco fases distintas (Evaluación, Conciencia de Patrones, Evolución del Conflicto, Construcción de Comportamiento, Integración). Un prompt de sistema actualiza dinámicamente el comportamiento del cliente simulado en cada turno para activar respuestas específicas que apunten a las nueve dimensiones de competencia locales, asegurando una "prueba de estrés" integral del modelo.

2. Anclaje de la Trayectoria de Batalla (Juicio)

Para resolver la deriva de estándar, el marco abandona la puntuación estática en favor de Batallas Pareadas Dinámicas.

• Torneo de Sistema Suizo: Para gestionar los costos computacionales ($O(N^2)$ frente a $O(N \log N)$), se emplea un torneo de sistema suizo de cuatro rondas. Los modelos se enfrentan a oponentes con registros de victorias similares, asegurando que los modelos fuertes compitan entre sí.
• Mitigación de Sesgos (Debiasing): Para contrarrestar el sesgo de posición en los jueces de LLM, se utiliza una estrategia de mitigación de segmentación por etapas. Los segmentos de diálogo se presentan en un patrón alterno (segmento 1 del Modelo A, segmento 1 del Modelo B, segmento 2 del Modelo B, segmento 2 del Modelo A) para cancelar las ventajas del primer movimiento.
• Estimación de la Clasificación Elo: Se utiliza el modelo de Bradley-Terry para convertir los resultados pareados en clasificaciones Elo escalares estables mediante optimización global (Estimación de Máxima Verosimilitud), proporcionando un ranking robusto y comparable.

3. Optimización mediante RL Basado en Trayectorias

El marco establece un bucle cerrado donde las trayectorias del torneo se transforman en señales de recompensa para el Aprendizaje por Refuerzo On-Policy.

• Modelado de Recompensa: Un modelo de recompensa ($M_{RM}$) se entrena sobre los órdenes parciales de los resultados de las batallas para distinguir la calidad terapéutica a través de las dimensiones.
• Optimización de Política Relativa de Grupo (GRPO): Un LLM objetivo se optimiza utilizando el modelo de recompensa sobre los mismos perfiles de clientes utilizados en el torneo. El objetivo maximiza la ventaja de las respuestas de alta recompensa mientras penaliza el cambio de distribución mediante la divergencia KL.
• Verificación de Generalización: El rendimiento se valida en un conjunto de control de 100 perfiles de clientes para asegurar que el modelo aprenda principios terapéuticos generalizados en lugar de memorizar patrones de interacción específicos.

Resultados Clave

El marco se aplicó para evaluar 12 LLMs, incluyendo modelos de consejería específicos del dominio y modelos generales de vanguardia.

• Paisaje de Competencia: Los modelos generales de frontera propietarios (p. ej., GPT-5.2, Gemini 3 Pro) superaron significativamente a los modelos específicos del dominio. Aunque los modelos de dominio mostraron fortaleza en métricas estrechas como la empatía, carecían de la capacidad de razonamiento, el conocimiento del mundo y el seguimiento de instrucciones requeridos para escenarios de consejería longitudinales rigurosos.
• Diferenciación Dimensional: Los modelos exhibieron perfiles distintos. Por ejemplo, DeepSeek-V3.2 obtuvo una puntuación excepcionalmente alta en Diversidad pero más baja en otras áreas, mientras que PsyLLM superó a GPT-5.2 en Empatía pero tuvo dificultades con la Memoria y la Progresión.
• Alineación Humana: PSYCHEPASS demostró una alta consistencia con los juicios de expertos humanos (Cohen's $\kappa > 0.7$), logrando un acuerdo casi perfecto (1.000) en enfrentamientos de fuerte contra débil y superando la consistencia inter-experta en algunos casos.
• Efectividad de RL: Tras el entrenamiento de RL basado en trayectorias, un modelo objetivo logró una relación de victorias a derrotas de 62:25 contra su contraparte original. Se observaron mejoras significativas en Diversidad (4.0% $\to$ 92.0%) y Empatía (31.0% $\to$ 82.0%), aunque ocurrió cierta regresión en las dimensiones de Crisis y Ética, probablemente debido al cambio de dar consejos directos hacia el compromiso terapéutico.

Significado y Reivindicaciones

El artículo afirma que PSYCHEPASS aborda la brecha crítica en la evaluación de la competencia terapéutica de los LLM al establecer un paradigma riguroso, discriminativo y trazable. Sus principales contribuciones son:

1. Marco de Calibración: Proporciona el primer marco unificado para clasificar y optimizar LLMs basados en trayectorias de interacción y batalla ancladas, yendo más allá de las simulaciones desancladas y la puntuación estática.
2. Generación de Recompensa: Demuestra una vía viable para obtener recompensas de alta fidelidad para alinear las capacidades de consejería de los LLM mediante RL on-policy, creando un bucle completo desde la evaluación hasta la optimización.
3. Base para la Confianza: Al validar una alta consistencia con expertos humanos y demostrar una optimización efectiva, PSYCHEPASS pretende sentar las bases para sistemas de consejería confiables y en evolución continua que puedan servir como herramientas de apoyo bajo supervisión profesional.

Los autores declaran explícitamente que PSYCHEPASS no es un estándar clínico para terapeutas humanos ni un reemplazo para profesionales con licencia. En su lugar, es una herramienta de calibración diseñada para asegurar que los asistentes de IA cumplan con los estándares profesionales antes de su integración en los flujos de trabajo clínicos como mecanismos de apoyo para el cribado, la psicoeducación y el compromiso.