Where do LLMs Fall Short in CBT-Guided Affective Reasoning?

Resumo Técnico: Onde os LLMs falham no Raciocínio Afetivo Guiado por TCC

Definição do Problema
Embora os Grandes Modelos de Linguagem (LLMs) demonstrem alta fluência e conhecimento teórico de Terapia Cognitivo-Comportamental (TCC) — atingindo até 96% de precisão em questões de exames de licenciamento de TCC — eles falham em aplicar esse conhecimento de forma eficaz na prática. Os LLMs prontos para uso exibem um viés de avaliação sistemático, adotando posturas de baixo poder e alta amabilidade caracterizadas por "Validação e Reflexão" (V), independentemente das necessidades cognitivas específicas do usuário. Eles frequentemente ignoram a formulação estruturada exigida pela TCC (decompor o sofrimento em gatilhos, pensamentos automáticos, emoções e comportamentos) e, em vez disso, avançam prematuramente para a resolução de problemas ou validação empática. Consequentemente, suas trajetórias emocionais divergem de interações terapêuticas autênticas, e eles falham em rastrear o estado emocional mutável do usuário ou empregar intervenções apropriadas como o Questionamento Socrático (QS) ou Perspectivas Alternativas (PA).

Metodologia
Os autores propõ-se um framework orientado pelo conhecimento que trata o diálogo terapêutico como um processo de raciocínio afetivo controlado. A metodologia envolve três componentes principais:

1. Fundamentação e Verificação Clínica: As narrativas dos usuários são mapeadas para a ontologia SNOMED CT (Systematized Nomenclature of Medicine – Clinical Terms). Para garantir a coerência semântica, o sistema utiliza Inferência de Linguagem Natural (NLI) para verificar se os conceitos clínicos recuperados implicam logicamente a narrativa do usuário, filtrando alucinações ou interpretações clínicas incorretas.
2. Modelagem Cognitiva Baseada em Avaliação: Baseando-se no Diagrama de Conceitualização Cognitiva (DCC) de Beck, o framework decompõe as consultas dos usuários em um "Modelo Cognitivo do Usuário" estruturado, compreendendo gatilhos, pensamentos automáticos, respostas emocionais e consequências comportamentais. Essa estrutura é explicitamente fornecida ao LLM para restringir seu raciocínio.
3. Estratégia de Seleção de Múltiplas Cadeias de Pensamento (MCoT): Em vez de uma única passagem de geração, o LLM gera respostas candidatas para três princípios distintos da TCC — Validação e Reflexão (V), Questionamento Socrático (QS) e Perspectivas Alternativas (PA). Cada candidata é precedida por um traço de raciocínio. O modelo então pontua essas candidatas e seleciona a que melhor avança a conversa com base no estado cognitivo decomposto.

Framework de Avaliação
O estudo avalia três LLMs de pesos abertos (Gemma3-12B, Mistral-7B e GPT-OSS-20B) através de 14 estudos de caso sintéticos derivados do conjunto de dados RealCBT. A avaliação utiliza:

• Avaliação por Especialistas Humanos: Classificações cegas de confiança no princípio e preferência de resposta por especialistas na área.
• Entranhamento Linguístico: Medido via Distância Linguística Conversacional normalizada (nCLiD) para avaliar o quão proximamente a linguagem do LLM se alinha com a do usuário.
• Trajetórias de Valência–Excitação: Rastreamento de mudanças emocionais ao longo do tempo para comparar sessões sintéticas contra dados clínicos reais.
• Força de Alavancagem de Protocolo ($F$): Uma métrica inovadora de nível comportamental que quantifica a "reorientação" da resposta de um modelo em relação ao seu comportamento padrão. Ela mede a vantagem mecânica da intervenção, calculando o quanto a resposta selecionada via MCoT desloca o modelo em direção ao estado cognitivo do usuário em relação ao comportamento nativo do modelo.

Principais Resultados

• Lacuna entre Conhecimento e Aplicação: Embora os modelos possuam alto conhecimento teórico de TCC, eles falham em traduzir isso em aplicação. Mesmo com a orientação MCoT, os modelos permanecem fortemente enviesados para a Validação e Reflexão (V).
• Mudança Comportamental Limitada: A Força de Alavancagem de Protocolo ($F$) revela que a introdução de definições de protocolo via prompting altera o comportamento do modelo em apenas aproximadamente 1% (variando de 1,18% a 1,34%). Embora o framework consiga direcionar os modelos para a direção pretendida (ex: respostas V aproximam-se da linguagem do usuário, QS afasta-se), a magnitude da mudança é insuficiente para superar o viés inerente dos modelos.
• Entranhamento vs. Arco Terapêutico: Sessões sintéticas mostraram maior entranhamento linguístico (nCLiD menor) do que sessões de TCC reais, principalmente porque os modelos adotaram o padrão V, que espelha a linguagem do usuário. No entanto, sessões de TCC reais exibiram oscilações emocionais e desescaladas mais sutis, sugerindo que o alinhamento superficial não equivale à profundidade terapêutica.
• Subjetividade da Avaliação Humana: A concordância entre avaliadores sobre a preferência de resposta foi baixa (Fleiss' $\kappa$ próximo a 0), indicando que julgar a adequação terapêutica é inerentemente subjetivo quando os modelos produzem respostas fluidas, mas estrategicamente ambíguas. Contudo, os especialistas mostraram maior concordância sobre a presença de Questionamento Socrático (QS) do que sobre Validação (V).

Significância e Alegações
O artigo alega que sua principal contribuição não é uma nova técnica terapêutica, mas uma instrumentação para a comunidade de computação afetiva. Ele fornece um meio para medir onde e o quanto o direcionamento estruturado altera o comportamento de um modelo, distinguindo entre o que um modelo sabe (teoria de TCC) e o que ele faz (aplicação terapêutica).

Os autores concluem que o conhecimento de TCC por si só não garante uma aplicação eficaz. Os ganhos modestos observados (aprox. 1% de mudança) sugerem que as estratégias atuais de prompting são insuficientes para superar os vieses profundos dos LLMs em direção à validação empática. O trabalho destaca a necessidade de ir além da fluência superficial para desenvolver sistemas que possam raciocinar sobre estados afetivos e selecionar intervenções baseadas na estrutura cognitiva decomposta do usuário, ao mesmo tempo em que reconhece que lacunas significativas permanecem antes que tais sistemas possam ser considerados clinicamente viáveis.