CARE: An Explainable Computational Framework for Assessing Client-Perceived Therapeutic Alliance Using Large Language Models

Título: CARE: Um Framework Computacional Explicável para Avaliar a Aliança Terapêutica Percebida pelo Cliente Usando Grandes Modelos de Linguagem

1. O Problema

A aliança terapêutica (a relação colaborativa entre conselheiro e cliente) é um dos preditores mais fortes do sucesso da terapia. No entanto, capturar com precisão a percepção do cliente sobre essa aliança é um desafio significativo:

• Limitações dos Métodos Tradicionais: Questionários pós-sessão são onerosos, frequentemente atrasados e podem ser preenchidos de forma irregular.
• Limitações das Abordagens Computacionais Existentes:
  • Geram apenas pontuações globais, ignorando a natureza multidimensional da aliança.
  • Fornecem apenas números, sem racional explicável (o "porquê" da pontuação).
  • Analisam turnos de conversa isoladamente, falhando em capturar o contexto holístico da sessão.
  • Frequentemente, há uma discrepância significativa entre como os conselheiros avaliam a aliança e como os clientes a percebem.

2. Metodologia

Os autores propõem o CARE (Client-perceived Alliance Relationship Evaluator), um framework baseado em Grandes Modelos de Linguagem (LLMs) projetado para prever pontuações de aliança multidimensionais e gerar justificativas interpretáveis a partir de transcrições de aconselhamento.

• Base de Dados (CounselingWAI):

  • Utiliza o conjunto de dados CounselingWAI, contendo sessões de aconselhamento online em chinês.
  • Enriquecimento de Dados: O dataset original foi expandido com 9.516 racionais curados por especialistas. Dois conselheiros licenciados e supervisores clínicos analisaram as transcrições para identificar evidências específicas no diálogo que justificassem as pontuações dadas pelos clientes para 12 itens do Working Alliance Inventory (WAI).
  • As dimensões avaliadas são: Objetivos (Goal), Tarefas (Task) e Vínculo (Bond).

• Arquitetura e Treinamento:

  • Modelo Base: LLaMA-3.1-8B-Instruct.
  • Paradigma de Supervisão: O modelo foi fine-tuned (ajustado) utilizando supervisão aumentada por racionais. Em vez de apenas aprender a prever o número, o modelo aprende a gerar o texto explicativo que conecta o diálogo à pontuação.
  • Validação: Utilizou-se validação cruzada de 5 dobras (5-fold cross-validation), garantindo que todas as sessões de um mesmo cliente ficassem no mesmo conjunto (treino ou teste) para evitar vazamento de dados.

• Avaliação:

  • Comparação com pontuações reais dos clientes (Ground Truth).
  • Métricas: Correlação de Pearson, Correlação de Spearman e Erro Quadrático Médio (MSE).
  • Avaliação da qualidade dos racionais gerados (fidelidade, relevância e informatividade) por humanos e métricas automáticas (BLEU, ROUGE, BERTScore).

3. Principais Contribuições

1. Enriquecimento de Dataset: Criação de um dataset único com 9.516 racionais anotados por especialistas, ligando evidências conversacionais às dimensões da aliança.
2. Framework Explicável (CARE): Desenvolvimento de um modelo que não apenas prevê pontuações, mas fornece justificativas contextuais baseadas no diálogo, superando a "caixa preta" de modelos anteriores.
3. Validação Empírica Robusta: Demonstração de que o CARE supera tanto conselheiros humanos quanto LLMs de propósito geral (como GPT-4o e DeepSeek-R1) na precisão da previsão da percepção do cliente.
4. Insights Práticos: Aplicação do modelo em larga escala para identificar padrões de interação que fortalecem ou enfraquecem a aliança terapêutica.

4. Resultados Chave

• Superação de Conselheiros Humanos:
  • Os conselheiros humanos apresentaram uma correlação de Pearson moderada com as autoavaliações dos clientes (0,22 a 0,30).
  • O CARE alcançou correlações significativamente maiores: 0,52 (Objetivos), 0,50 (Tarefas) e 0,46 (Vínculo). Isso representa uma melhoria de aproximadamente 70% a 109% na correlação de Pearson em relação aos conselheiros.
• Superioridade sobre LLMs de Propósito Geral:
  • O CARE superou modelos zero-shot de ponta (GPT-4o, DeepSeek-R1) em todas as métricas, incluindo precisão preditiva (MSE mais baixo) e estabilidade (menor desvio padrão).
  • O modelo base LLaMA-3.1-8B, quando apenas promptado, teve desempenho fraco, mas o fine-tuning com racionais aumentou a correlação em mais de 100% em algumas dimensões.
• Impacto da Supervisão por Racionais:
  • Um estudo de ablação mostrou que treinar com racionais (explicações) melhorou o desempenho em comparação ao treinamento apenas com pontuações numéricas. Isso confirma que o modelo internaliza o raciocínio humano de avaliação.
• Qualidade das Explicações:
  • As justificativas geradas pelo CARE foram validadas por especialistas humanos, mostrando alta fidelidade ao conteúdo da sessão e foco nas pistas dimensionais específicas.

5. Significado e Impacto

• Ferramenta de Apoio à Saúde Mental: O CARE demonstra o potencial de ser uma ferramenta de IA assistiva que ajuda os conselheiros a calibrar sua percepção da relação terapêutica com a realidade sentida pelo cliente, permitindo intervenções mais precisas.
• Descoberta de Padrões: A aplicação do modelo em um conjunto de dados maior revelou desafios comuns na formação da aliança (ex.: falta de clareza nos objetivos, sugestões vagas) e como padrões de interação (ex.: estratégias de apoio vs. respostas negativas do cliente) impactam o resultado.
• Explicabilidade: Ao fornecer o "porquê" das pontuações, o sistema torna a avaliação computacional transparente e útil para a prática clínica, indo além da simples pontuação numérica.
• Limitações e Futuro: O estudo reconhece que os dados são de uma plataforma chinesa e que os racionais foram gerados por especialistas (não pelos clientes diretamente), o que pode introduzir viés. Futuros trabalhos visam expandir para outros idiomas e integrar sinais multimodais (tom de voz, expressões faciais).

Em resumo, o CARE representa um avanço significativo na interseção entre Processamento de Linguagem Natural (PLN) e Psicologia, oferecendo um método escalável, preciso e explicável para monitorar a qualidade da aliança terapêutica em tempo real.