Resumo Técnico: Treinamento de Juízes Terapêuticos e Sistemas Multiagentes para Suporte de Saúde Mental Alinhado ao Humano

Declaração do Problema

Os Grandes Modelos de Linguagem (LLMs) mostram-se promissores para o suporte à saúde mental, contudo, sua qualidade terapêutica frequentemente não melhora a menos que a função de avaliação atue como um sinal de controle acionável, em vez de uma métrica passiva. As abordagens atuais enfrentam um "hiato entre avaliação e ação" crítico: pontuar ou filtrar respostas não garante melhoria, a menos que os sinais avaliativos sejam explicitamente usados para guiar a revisão. Além disso, os avaliadores existentes dependem frequentemente de modelos proprietários de código fechado que carecem de validação contra rubricas terapêuticas e preferências de segurança crítica, enquanto modelos de código aberto tipicamente apresentam desempenho inferior nesses domínios de alto risco. O desafio central não é meramente a capacidade de geração, mas como a avaliação é utilizada para impulsionar refinamentos direcionados e interpretáveis em resposta a padrões terapêuticos multidimensionais alinhados ao humano.

Metodologia

Os autores propõem um framework de dois estágios que transforma a geração de respostas terapêuticas em um problema de refinamento de decisão impulsionado por uma avaliação multidimensional alinhada ao humano.

Estágio I: TheraJudge (O Avaliador)

O primeiro componente é o TheraJudge, um avaliador terapêutico de código aberto treinado para produzir julgamentos confiáveis em sete dimensões psicológicas: Orientação, Informatividade, Relevância, Segurança, Empatia, Utilidade e Compreensão.

• Dados de Treinamento: O modelo é treinado com 10.000 conversas do conjunto de dados Mental-Align-100K, que inclui respostas anotadas por humanos.
• Otimização: O TheraJudge é treinado usando Otimização de Política Relativa de Grupo (GRPO), que compara grupos de respostas (especificamente grupos de 16) para aprender distinções refinadas na qualidade terapêutica.
• Estrutura de Recompensa: O treinamento emprega um sistema de recompensa de dois componentes:
  1. Recompensa de Formato: Garante que a saída seja uma estrutura JSON válida com todas as sete chaves.
  2. Recompensa Baseada em Pontuação: Uma soma ponderada das sete dimensões, onde dimensões clinicamente críticas como Segurança (peso 0,20) e Empatia (peso 0,25) são priorizadas sobre outras.
• Modelo Base: O avaliador é instanciado usando o Qwen2.5-7B, selecionado por seu forte desempenho em código aberto e transparência.

Estágio II: TheraAgent (O Sistema de Refinamento)

O segundo componente, TheraAgent, operacionaliza as avaliações do TheraJudge através de um processo de refinamento multiagente coordenado. Ele desacopla a avaliação da geração para evitar o viés do avaliador e utiliza uma arquitetura de papéis separados:

1. Avaliador (TheraJudge): Avalia a resposta inicial e fornece classificações multidimensionais estruturadas.
2. Crítico: Identifica problemas específicos na resposta (ex: falta de ação, ausência de enquadramento de segurança) com base nas baixas pontuações do avaliador.
3. Coach: Fornece sugestões concisas e acionáveis para as dimensões classificadas abaixo de 5, orientando explicitamente quais partes da resposta precisam de revisão.
4. Terapeuta (Gerador): Reescreve a resposta integrando os problemas identificados pelo Crítico e a orientação do Coach, mantendo a adequação clínica.

• Processo: Este ciclo itera até oito vezes. O processo interrompe-se precocemente se as pontuações estabilizarem ou excederem um limite, e a resposta de maior qualidade das iterações é selecionada. O gerador usado nesta etapa é o LLaMA 3.1–8B, distinto do avaliador para garantir robustez.

Principais Contribuições

1. Formulação de Refinamento de Decisão: O artigo frame a geração de respostas terapêuticas como um problema de refinamento de decisão onde julgamentos multidimensionais e alinhados ao humano servem como sinais de controle explícitos, abordando diretamente o hiato entre avaliação e ação.
2. TheraJudge: A introdução de um avaliador de código aberto, otimizado por preferência, que alcança alta confiabilidade (ICC > 0,87) em sete dimensões terapêuticas, superando tanto baselines supervisionados quanto fortes juízes de código fechado.
3. TheraAgent: Um framework multiagente que traduz sinais avaliativos em revisões de resposta direcionadas. Ao contrário da regeneração monolítica, ele repara seletivamente respostas de baixa qualidade enquanto preserva as de alta qualidade.
4. Validação Empírica: O trabalho fornece avaliação extensa via assessoria cega por clínicos licenciados, medindo não apenas melhorias na média, mas também tamanhos de efeito, taxas de recuperação para respostas de baixa qualidade e confiabilidade inter-avaliador.

Resultados

O framework foi avaliado em 267 conversas desafiadoras de saúde mental, com respostas classificadas por clínicos licenciados nas sete dimensões.

• Desempenho do Avaliador: O TheraJudge alcançou Coeficientes de Correlação Intraclasse (ICC) entre 0,87 e 0,95 quando comparado às classificações dos clínicos, superando significativamente o baseline supervisionado (Qwen-SFT) e modelos de código fechado (ex: GPT-4o, Claude-3.7, o4-mini). Notavelmente, o TheraJudge mostrou desempenho superior em dimensões críticas como Segurança e Empatia, onde modelos de código fechado exibiram instabilidade.
• Melhoria da Qualidade Terapêutica: Agindo sobre as avaliações do TheraJudge, o TheraAgent aumentou a qualidade terapêutica média geral classificada por humanos de 4,26 para 4,69 (+0,43 pontos) em uma escala de 5 pontos sob avaliação cega.
• Recuperação Direcionada: O sistema demonstrou alta eficácia em corrigir saídas inseguras ou de baixa qualidade. Respostas de baixa qualidade (pontuação inicial ≤3) melhoraram em média +2,45 pontos (um ganho de 110%).
  • Recuperação de Segurança: Respostas inseguras melhoraram de 1,74 para 4,93, alcançando uma taxa de recuperação de 100% para níveis de segurança aceitáveis.
  • Recuperação Geral: 94% das classificações inicialmente de baixa qualidade foram elevadas com sucesso acima do limite aceitável.
• Confiabilidade: As melhorias foram validadas por uma segunda rodada de avaliação cega por clínicos independentes, resultando em 96% de concordância exata e 100% de concordância de maioria nos limiares de qualidade.
• Estudos de Ablação: A remoção do avaliador explícito reduziu a melhoria em 0,21 pontos, confirmando que o feedback estruturado e multidimensional é essencial para o refinamento eficaz.

Significância e Alegações

O artigo alega que o alinhamento eficaz de LLMs de saúde mental provém de agir sobre a avaliação alinhada ao humano, em vez de depender apenas de capacidades de geração mais fortes. Ao fechar o ciclo entre avaliação e ação, o framework proposto permite:

• Melhoria Interpretável: O sistema identifica deficiências específicas (ex: falta de enquadramento de segurança) e as corrige sem degradar outros aspectos da resposta.
• Segurança e Consistência: Garante que saídas inseguras sejam consistentemente corrigidas enquanto mantém o alto desempenho em respostas que já são aceitáveis.
• Viabilidade de Código Aberto: Demonstra que modelos de código aberto, quando equipados com um avaliador especializado e alinhado ao humano e um pipeline de refinamento estruturado, podem alcançar uma qualidade terapêutica que supera juízes proprietários de código fechado em dimensões críticas de segurança e empatia.

Os autores concluem que seus resultados ressaltam a importância de ir além de simples métricas de geração para frameworks onde a avaliação serve como um sinal de controle dinâmico e acionável para o refinamento iterativo e direcionado de respostas em domínios de alto risco.