Resumo Técnico: PSYCHEPASS

Declaração do Problema

A avaliação de Grandes Modelos de Linguagem (LLMs) no cuidado de saúde mental enfrenta um "defeito não ancorado" fundamental que leva a duas formas de instabilidade:

1. Deriva de Processo (Process Drift): Os paradigmas de simulação atuais frequentemente dependem de chats livres e sem direcionamento ou de QA de turno único. Sem direção clínica, essas interações vagam sem rumo, falhando em disparar cenários de alto risco (ex: processamento de trauma) ou medir capacidades terapêuticas específicas, resultando em avaliações que capturam apenas características superficiais como empatia genérica.
2. Deriva de Padrão (Standard Drift): Os métodos de julgamento existentes utilizam predominantemente pontuação de ponto único estática (ex: escalas Likert). Isso força os avaliadores a depender de padrões vagos e absolutos sem referências comparativas, levando ao colapso da avaliação, onde as pontuações se agrupam em intervalos estreitos com baixa discriminabilidade, tornando impossível o ranking e a otimização precisos.

Metodologia: Estrutura PSYCHEPASS

O PSYCHEPASS introduz uma estrutura unificada para calibrar a competência terapêutica, ancorando duas trajetórias rastreáveis: a Trajetória de Interação na simulação e a Trajetória de Batalha no julgamento.

1. Ancorando a Trajetória de Interação (Simulação)

Para eliminar a deriva de processo, a estrutura substitui chats de código aberto por Sondagem Roteirizada (Scripted Probing) fundamentada na teoria da Terapia de Sessão Única (SST).

• Perfis de Clientes: Clientes simulados são inicializados a partir de dados do mundo real desidentificados e expandidos em personas de alta fidelidade contendo impulsos centrais, padrões de reação e eventos de conflito específicos.
• Dimensões de Competência: A avaliação visa 12 dimensões específicas categorizadas em Construção de Aliança (Empatia, Discernimento, Engajamento), Técnica Profissional (Habilidade, Sugestão, Reenquadramento, Progressão, Trauma) e Suporte de Confiabilidade (Crise, Ética, Diversidade, Memória).
• Controle de Trajetória: A simulação é estruturada em cinco fases distintas (Avaliação, Percepção de Padrão, Evolução de Conflito, Construção de Comportamento, Integração). Um prompt de sistema atualiza dinamicamente o comportamento do cliente simulado a cada turno para disparar respostas específicas visando as nove dimensões locais de competência, garantindo um "teste de estresse" abrangente do modelo.

2. Ancorando a Trajetória de Batalha (Julgamento)

Para resolver a deriva de padrão, a estrutura abandona a pontuação estática em favor de Batalhas Pareadas Dinâmicas.

• Torneio de Sistema Suíço: Para gerenciar custos computacionais ($O(N^2)$ vs. $O(N \log N)$), um torneio de sistema suíço de quatro rodadas é empregado. Os modelos são confrontados com oponentes com registros de vitórias semelhantes, garantindo que modelos fortes compitam entre si.
• Mitigação de Viés (Debiasing): Para combater o viés de posição em juízes LLM, utiliza-se uma estratégia de fatiamento de estágios. Segmentos de diálogo são apresentados em um padrão alternado (segmento 1 do Modelo A, segmento 1 do Modelo B, segmento 2 do Modelo B, segmento 2 do Modelo A) para cancelar vantagens de quem inicia a interação.
• Estimativa de Rating Elo: O modelo Bradley-Terry é usado para converter resultados pareados em ratings Elo escalares estáveis via otimização global (Estimativa de Máxima Verossimilhança), fornecendo um ranking robusto e comparável.

3. Otimização via RL Baseada em Trajetória

A estrutura estabelece um ciclo fechado onde as trajetórias de torneio são transformadas em sinais de recompensa para Aprendizado por Reforço On-Policy.

• Modelagem de Recompensa: Um modelo de recompensa ($M_{RM}$) é treinado nos pedidos parciais dos resultados das batalhas para distinguir a qualidade terapêutica através das dimensões.
• Otimização de Política Relativa de Grupo (GRPO): Um LLM alvo é otimizado usando o modelo de recompensa nos mesmos perfis de clientes usados no torneio. O objetivo maximiza a vantagem das respostas de alta recompensa enquanto penaliza o desvio de distribuição via divergência KL.
• Verificação de Generalização: O desempenho é validado em um conjunto de controle de 100 perfis de clientes para garantir que o modelo aprenda princípios terapêuticos generalizados em vez de memorizar padrões de interação específicos.

Principais Resultados

A estrutura foi aplicada para avaliar 12 LLMs, incluindo modelos de aconselhamento de domínio específico e modelos gerais de ponta.

• Panorama de Competência: Modelos gerais de fronteira proprietários (ex: GPT-5.2, Gemini 3 Pro) superaram significativamente os modelos de domínio específico. Embora os modelos de domínio mostrassem força em métricas estreitas como empatia, eles careciam do raciocínio, conhecimento de mundo e capacidade de seguir instruções necessários para cenários de aconselhamento longitudinais rigorosos.
• Diferenciação Dimensional: Os modelos exibiram perfis distintos. Por exemplo, o DeepSeek-V3.2 pontuou excepcionalmente alto em Diversidade, mas mais baixo em outras áreas, enquanto o PsyLLM superou o GPT-5.2 em Empatia, mas teve dificuldades com Memória e Progressão.
• Alinhamento Humano: O PSYCHEPASS demonstrou alta consistência com julgamentos de especialistas humanos (Cohen's $\kappa > 0.7$), alcançando concordância quase perfeita (1.000) em confrontos entre modelos fortes vs. fracos e superando a consistência inter-especialista em alguns casos.
• Efetividade do RL: Após o treinamento de RL baseado em trajetória, um modelo alvo alcançou uma razão de vitória-derrota de 62:25 contra seu original. Melhorias significativas foram observadas em Diversidade (4,0% $\to$ 92,0%) e Empatia (31,0% $\to$ 82,0%), embora alguma regressão tenha ocorrido nas dimensões de Crise e Ética, provavelmente devido à mudança do aconselhamento direto para o engajamento terapêutico.

Significância e Alegações

O artigo afirma que o PSYCHEPASS aborda a lacuna crítica na avaliação da competência terapêutica de LLMs ao estabelecer um paradigma rigoroso, discriminativo e rastreável. Suas principais contribuições são:

1. Estrutura de Calibração: Fornece a primeira estrutura unificada para classificar e otimizar LLMs baseando-se em trajetórias de interação e de batalha ancoradas, indo além de simulações não ancoradas e pontuação estática.
2. Geração de Recompensa: Demonstra um caminho viável para obter recompensas de alta fidelidade para alinhar as capacidades de aconselhamento de LLMs via RL on-policy, criando um ciclo completo da avaliação para a otimização.
3. Fundação para Confiança: Ao validar alta consistência com especialistas humanos e demonstrar otimização eficaz, o PSYCHEPASS visa lançar as bases para sistemas de aconselhamento confiáveis e em evolução contínua que possam servir como ferramentas assistivas sob supervisão profissional.

Os autores declaram explicitamente que o PSYCHEPASS não é um padrão clínico para terapeutas humanos nem um substituto para profissionais licenciados. Em vez disso, é uma ferramenta de calibração projetada para garantir que assistentes de IA atendam aos padrões profissionais antes da integração em fluxos de trabalho clínicos como mecanismos de suporte para triagem, psicoeducação e engajamento.