Resumen Técnico: CBT-Audio

Enunciado del Problema

La investigación actual sobre la aplicación de la Inteligencia Artificial a la Terapia Cognitivo-Conductual (TCC) se limita predominantemente a interacciones basadas en texto. Si bien se han evaluado los Modelos de Lenguaje Grande (LLM) en la generación de respuestas terapéuticas y la clasificación de conocimientos, estas evaluaciones dependen de transcripciones de texto, creando un "punto ciego" significativo. En la práctica clínica, los terapeutas dependen en gran medida de señales vocales no verbales —como el tono, la velocidad, las vacilaciones, el temblor y el tono de voz— para evaluar la angustia del paciente, interpretando a menudo la discrepancia entre lo que dice un paciente y cómo lo dice. Los conjuntos de datos y puntos de referencia existentes (por ejemplo, Cactus, DiaCBT, RealCBT) son o bien sintéticos o solo de texto, lo que impide capturar la variabilidad emocional y los patrones de reactividad encontrados en la terapia hablada real. Además, aunque existe investigación sobre salud mental basada en el habla (por ejemplo, DAIC-WOZ), esta se centra principalmente en la clasificación diagnóstica en lugar de la estimación de angustia a nivel de turno dentro de una sesión terapéutica. Existe una falta de recursos para evaluar si los Modelos de Lenguaje de Audio (ALM) pueden utilizar eficazmente las señales vocales para estimar la intensidad de la angustia del paciente en contextos de TCC.

Metodología

Construcción del Conjunto de Datos: CBT-Audio

Los autores presentan CBT-Audio, un conjunto de datos diseñado para evaluar la estimación de la angustia del paciente a partir de sesiones de TCC habladas.

• Material de origen: El conjunto de datos comprende 1.802 turnos de pacientes extraídos de 96 grabaciones educativas de TCC disponibles públicamente (aproximadamente 20 horas en total) alojadas en YouTube. Estas grabaciones presentan representaciones de roles y recorridos de estudios de casos donde el "paciente" es interpretado por un actor, un becario o un clínico, asegurando que no haya identificadores de pacientes reales.
• Pipeline de procesamiento:
  1. Extracción de turnos: WhisperX (utilizando Whisper-large-v3) se utilizó para la transcripción y la alineación forzada, mientras que pyannote speaker-diarization-3.1 asignó etiquetas de hablante. Los segmentos consecutivos del mismo hablante separados por menos de cinco segundos se fusionaron.
  2. Clasificación de roles: Las transcripciones fueron procesadas por Claude Sonnet 4.5 para distinguir entre turnos de terapeuta y de paciente basándose en patrones conversacionales.
  3. Filtrado: Solo se retuvieron los turnos de pacientes con una duración de audio $\ge$ 2 segundos, filtrando las retroalimentaciones de una sola palabra.
• Estrategia de etiquetado:
  • Escala: La intensidad de la angustia se califica en una escala ordinal de 1 a 5 adaptada del Inventario de Afecto Positivo y Negativo (PANAS), que va desde "Calma" (1) hasta "Abrumado" (5).
  • Etiquetas de referencia: Generadas utilizando un enfoque de Calificación de Similitud Semántica (SSR). GPT-audio 1.5 fue instruido con el clip de audio del paciente y los tres turnos anteriores de contexto para generar una descripción del estado emocional. Esta descripción se incrustó utilizando BGE-m3 y se comparó mediante similitud del coseno contra cinco definiciones de anclaje. El anclaje con la mayor similitud determinó la etiqueta. El proceso se repitió tres veces, siendo la votación mayoritaria (mediana en caso de empate) la etiqueta de referencia final.
  • Validación: Un subconjunto de 194 clips fue anotado por cinco expertos independientes con antecedentes clínicos e investigativos. El consenso de expertos coincidió con las etiquetas de referencia dentro de $\pm$1 nivel en el 81,4 % de los clips, con un acuerdo moderado entre evaluadores (Krippendorff's $\alpha$ = 0,439).

Configuración Experimental

• Modelos: Se evaluaron diez Modelos de Lenguaje de Audio (ALM) de código abierto, incluidos SALMONN-7B, MiniCPM-o 2.6, Phi-4-Multimodal, Qwen2.5-Omni, Qwen3-Omni, Kimi-Audio, Ultravox, Audio Flamingo 3, Voxtral-Mini y Gemma-4-E4B. Estos modelos representan arquitecturas diversas (por ejemplo, codificadores basados en Whisper, codificadores de audio personalizados, estructuras MoE).
• Condiciones de entrada: Cada modelo se probó bajo tres condiciones:
  1. Solo Audio (AO): Clip de audio del paciente + 3 turnos de contexto (transcripción).
  2. Solo Transcripción (TO): Transcripción del paciente + 3 turnos de contexto.
  3. Audio + Transcripción (AT): Clip de audio del paciente + transcripción del paciente + 3 turnos de contexto.
• Tarea: Se instruyó a los modelos para que generaran un único número entero (1–5) estimando la intensidad de la angustia del paciente.
• Métricas: La métrica principal fue el Error Absoluto Medio (MAE). Las métricas secundarias incluyeron la precisión de 1-desviación ($A_1$), la correlación de rango de Spearman ($\rho$), el $\kappa$ cuadrático ponderado de Cohen (QWK) y el RMSE. La significancia estadística se evaluó utilizando pruebas de rangos con signo de Wilcoxon apareadas sobre los errores absolutos por turno.

Resultados Clave

Rendimiento General

• Mejores resultados: Gemma-4-E4B y Qwen3-Omni-30B-A3B lograron el MAE más bajo. Gemma-4-E4B obtuvo el mejor rendimiento con la entrada Audio + Transcripción (MAE 0,720), mientras que Qwen3-Omni obtuvo el mejor rendimiento con Solo Audio (MAE 0,785).
• Variabilidad del modelo: El rendimiento varió significativamente entre las familias de modelos. Por ejemplo, SALMONN-7B fue un claro valor atípico con altas tasas de error (MAE > 1,6), mientras que Voxtral-Mini (3,6 mil millones de parámetros) obtuvo un rendimiento comparable al de modelos del doble de su tamaño. El recuento de parámetros no mostró una correlación clara con el rendimiento dentro del rango de 7–8 mil millones de parámetros.

Impacto de la Modalidad de Entrada

• Audio vs. Texto: La entrada solo de audio no superó consistentemente a la entrada solo de transcripción. De hecho, para algunos modelos (por ejemplo, Ultravox, SALMONN), la transcripción sola fue la configuración superior.
• Audio + Transcripción: Combinar el audio con las transcripciones produjo las mejoras más consistentes. En 8 de cada 10 familias de modelos, agregar audio a la transcripción mejoró la estimación de la angustia en comparación con el uso de la transcripción sola. Esta mejora fue estadísticamente significativa ($p < 0,05$) para cuatro modelos: Audio Flamingo 3, Kimi-Audio-7B, Gemma-4-E4B y Qwen3-Omni-30B-A3B.
• Estudios de caso: El análisis de casos específicos reveló que el audio proporciona el mayor valor cuando el contenido verbal y la entrega vocal divergen.
  • Subestimación por texto: Cuando un paciente expresó desesperanza verbalmente pero con una voz casi llorosa y vacilante, los modelos solo de texto subestimaron la angustia, mientras que los modelos informados por audio corrigieron esto.
  • Sobreestimación por texto: Cuando un paciente describió síntomas de ansiedad verbalmente pero con una voz estable y controlada (o risa), los modelos solo de texto sobreestimaron la angustia, mientras que las señales de audio ayudaron a los modelos a reconocer la falta de angustia aguda inmediata.
  • Alineación: Cuando las palabras y la voz estaban alineadas, todas las condiciones de entrada obtuvieron resultados similares.

Significado y Afirmaciones

El artículo afirma que CBT-Audio aborda una brecha crítica en la IA para la salud mental al hacer medible el comportamiento hablado del paciente para su evaluación. Los autores no afirman haber construido un sistema de diagnóstico clínico; más bien, demuestran que:

1. El audio proporciona información complementaria: Las señales vocales contienen señales de angustia no capturadas por el texto, particularmente cuando hay una discrepancia entre el contenido y la entrega.
2. Los ALM actuales pueden aprovechar estas señales: Si bien el audio por sí solo no es un reemplazo universal para el texto, combinar el audio con transcripciones permite que los modelos de código abierto actuales estimen mejor la intensidad de la angustia del paciente.
3. Dirección futura: El trabajo respalda el argumento de que los modelos de TCC futuros deben diseñarse y evaluarse como modelos de interacción terapéutica hablada, no solo de generación de texto. CBT-Audio proporciona una base para desarrollar sistemas más seguros y conscientes del audio para la interacción en salud mental y evaluar los modelos en su capacidad para detectar los matices de la angustia del paciente.

Limitaciones

Los autores reconocen varias limitaciones:

• Fuente de datos: Todas las grabaciones están en inglés y presentan actores/becarios en lugar de pacientes reales que buscan tratamiento, lo que puede limitar la generalización de los rangos emocionales en comparación con la terapia del mundo real.
• Automatización: La extracción de turnos dependió de la diarización y transcripción automáticas, lo que puede introducir errores, particularmente con habla superpuesta.
• Alcance: Las etiquetas miden la angustia percibida a partir de la interacción observable, no el diagnóstico clínico ni el autoinforme del paciente. El conjunto de datos está destinado a la evaluación de investigación, no a la evaluación clínica.