Resumo Técnico: CBT-Audio

Declaração do Problema

A pesquisa atual na aplicação de Inteligência Artificial à Terapia Cognitivo-Comportamental (TCC) está predominantemente limitada a interações baseadas em texto. Embora os Modelos de Linguagem de Grande Escala (LLMs) tenham sido avaliados na geração de respostas terapêuticas e classificação de conhecimento, essas avaliações dependem de transcrições textuais, criando uma "ponto cego" significativo. Na prática clínica, os terapeutas dependem fortemente de pistas vocais não verbais — como tom, ritmo, hesitação, tremor e altura tonal — para avaliar o sofrimento do paciente, interpretando frequentemente a discrepância entre o que o paciente diz e como ele o diz. Conjuntos de dados e benchmarks existentes (por exemplo, Cactus, DiaCBT, RealCBT) são ou sintéticos ou apenas textuais, falhando em capturar a variabilidade emocional e os padrões de reatividade encontrados na terapia falada real. Além disso, embora exista pesquisa em saúde mental baseada em fala (por exemplo, DAIC-WOZ), ela foca amplamente na classificação diagnóstica em vez da estimativa de sofrimento ao nível de turno dentro de uma sessão terapêutica. Há uma falta de recursos para avaliar se os Modelos de Linguagem de Áudio (ALMs) podem utilizar efetivamente pistas vocais para estimar a intensidade do sofrimento do paciente em contextos de TCC.

Metodologia

Construção do Conjunto de Dados: CBT-Audio

Os autores introduzem o CBT-Audio, um conjunto de dados projetado para avaliar a estimativa de sofrimento do paciente a partir de sessões de TCC faladas.

• Material de Origem: O conjunto de dados compreende 1.802 turnos de pacientes extraídos de 96 gravações educacionais de TCC publicamente disponíveis (aproximadamente 20 horas no total) hospedadas no YouTube. Essas gravações apresentam encenações e análises de estudos de caso onde o "paciente" é interpretado por um ator, estagiário ou clínico, garantindo que nenhum identificador real de paciente esteja presente.
• Pipeline de Processamento:
  1. Extração de Turnos: O WhisperX (usando Whisper-large-v3) foi usado para transcrição e alinhamento forçado, enquanto o pyannote speaker-diarization-3.1 atribuiu rótulos de falante. Segmentos consecutivos do mesmo falante separados por menos de cinco segundos foram mesclados.
  2. Classificação de Papel: As transcrições foram processadas pelo Claude Sonnet 4.5 para distinguir entre turnos de terapeuta e de paciente com base em padrões conversacionais.
  3. Filtragem: Apenas turnos de pacientes com duração de áudio $\ge$ 2 segundos foram mantidos, filtrando fora backchannels de palavra única.
• Estratégia de Rotulagem:
  • Escala: A intensidade do sofrimento é classificada em uma escala ordinal de 1 a 5, adaptada do Inventário de Afeto Positivo e Negativo (PANAS), variando de "Calmo" (1) a "Avaliado" (5).
  • Rótulos de Referência: Gerados usando uma abordagem de Classificação de Similaridade Semântica (SSR). O GPT-audio 1.5 foi instruído com o clipe de áudio do paciente e os três turnos anteriores de contexto para gerar uma descrição do estado emocional. Essa descrição foi incorporada usando BGE-m3 e comparada via similaridade de cosseno contra cinco definições de âncora. A âncora com a maior similaridade determinou o rótulo. O processo foi repetido três vezes, com a votação majoritária (mediana para empates) servindo como rótulo de referência final.
  • Validação: Um subconjunto de 194 clipes foi anotado por cinco especialistas independentes com formações clínica e de pesquisa. O consenso dos especialistas concordou com os rótulos de referência dentro de $\pm$1 nível em 81,4% dos clipes, com uma concordância moderada entre avaliadores (Krippendorff's $\alpha$ = 0,439).

Configuração Experimental

• Modelos: Dez Modelos de Linguagem de Áudio (ALMs) de código aberto foram avaliados, incluindo SALMONN-7B, MiniCPM-o 2.6, Phi-4-Multimodal, Qwen2.5-Omni, Qwen3-Omni, Kimi-Audio, Ultravox, Audio Flamingo 3, Voxtral-Mini e Gemma-4-E4B. Esses modelos representam arquiteturas diversas (por exemplo, codificadores baseados em Whisper, codificadores de áudio personalizados, estruturas MoE).
• Condições de Entrada: Cada modelo foi testado sob três condições:
  1. Apenas Áudio (AO): Clipe de áudio do paciente + 3 turnos de contexto (transcrição).
  2. Apenas Transcrição (TO): Transcrição do paciente + 3 turnos de contexto.
  3. Áudio + Transcrição (AT): Clipe de áudio do paciente + transcrição do paciente + 3 turnos de contexto.
• Tarefa: Os modelos foram instruídos a emitir um único inteiro (1–5) estimando a intensidade do sofrimento do paciente.
• Métricas: A métrica principal foi o Erro Absoluto Médio (MAE). Métricas secundárias incluíram precisão de 1-desvio ($A_1$), correlação de posto de Spearman ($\rho$), $\kappa$ ponderado quadrático de Cohen (QWK) e RMSE. A significância estatística foi avaliada usando testes de postos sinalizados de Wilcoxon pareados sobre erros absolutos por turno.

Principais Resultados

Desempenho Geral

• Melhores Desempenhos: Gemma-4-E4B e Qwen3-Omni-30B-A3B alcançaram o menor MAE. Gemma-4-E4B teve o melhor desempenho com entrada Áudio+Transcrição (MAE 0,720), enquanto Qwen3-Omni teve o melhor desempenho com Apenas Áudio (MAE 0,785).
• Variabilidade do Modelo: O desempenho variou significativamente entre as famílias de modelos. Por exemplo, SALMONN-7B foi um claro outlier com altas taxas de erro (MAE > 1,6), enquanto Voxtral-Mini (3,6 bilhões de parâmetros) performou comparavelmente a modelos com o dobro de seu tamanho. A contagem de parâmetros não mostrou uma correlação clara com o desempenho dentro da faixa de 7–8 bilhões de parâmetros.

Impacto da Modalidade de Entrada

• Áudio vs. Texto: A entrada apenas em áudio não superou consistentemente a entrada apenas em transcrição. Na verdade, para alguns modelos (por exemplo, Ultravox, SALMONN), apenas transcrição foi a configuração superior.
• Áudio + Transcrição: Combinar áudio com transcrições produziu as melhorias mais consistentes. Em 8 de 10 famílias de modelos, adicionar áudio à transcrição melhorou a estimativa de sofrimento em comparação ao uso da transcrição sozinha. Essa melhoria foi estatisticamente significativa ($p < 0,05$) para quatro modelos: Audio Flamingo 3, Kimi-Audio-7B, Gemma-4-E4B e Qwen3-Omni-30B-A3B.
• Estudos de Caso: A análise de casos específicos revelou que o áudio fornece o maior valor quando o conteúdo verbal e a entrega vocal divergem.
  • Subestimação pelo Texto: Quando um paciente expressou desesperança verbalmente, mas com uma voz quase chorosa e hesitante, modelos apenas textuais subestimaram o sofrimento, enquanto modelos informados por áudio corrigiram isso.
  • Superestimação pelo Texto: Quando um paciente descreveu sintomas de ansiedade verbalmente, mas com uma voz estável e controlada (ou risos), modelos apenas textuais superestimaram o sofrimento, enquanto pistas de áudio ajudaram os modelos a reconhecer a falta de sofrimento agudo imediato.
  • Alinhamento: Quando palavras e voz estavam alinhadas, todas as condições de entrada performaram de forma semelhante.

Significado e Alegações

O artigo alega que o CBT-Audio aborda uma lacuna crítica na IA para saúde mental ao tornar o comportamento falado do paciente mensurável para avaliação. Os autores não alegam ter construído um sistema de diagnóstico clínico; em vez disso, eles demonstram que:

1. O áudio fornece informações complementares: Pistas vocais contêm sinais de sofrimento não capturados pelo texto, particularmente quando há uma incompatibilidade entre conteúdo e entrega.
2. ALMs atuais podem aproveitar essas pistas: Embora o áudio sozinho não seja um substituto universal para o texto, combinar áudio com transcrições permite que modelos de código aberto atuais estimem melhor a intensidade do sofrimento do paciente.
3. Direção Futura: O trabalho apoia o argumento de que futuros modelos de TCC devem ser projetados e avaliados como modelos de interação terapêutica falada, não apenas geração de texto. O CBT-Audio fornece uma base para desenvolver sistemas mais seguros e conscientes de áudio para interação em saúde mental e avaliar modelos em sua capacidade de detectar nuances do sofrimento do paciente.

Limitações

Os autores reconhecem várias limitações:

• Fonte de Dados: Todas as gravações estão em inglês e apresentam atores/estagiários em vez de pacientes reais buscando tratamento, o que pode limitar a generalizabilidade das faixas emocionais em comparação com a terapia do mundo real.
• Automação: A extração de turnos dependeu de diarização e transcrição automáticas, o que pode introduzir erros, particularmente com fala sobreposta.
• Escopo: Os rótulos medem sofrimento percebido a partir de interação observável, não diagnóstico clínico ou auto-relato do paciente. O conjunto de dados destina-se à avaliação de pesquisa, não à avaliação clínica.