💻 computer science

Virtual Speech Therapist: A Clinician-in-the-Loop AI Speech Therapy Agent for Personalized and Supervised Therapy

Este artículo presenta el Terapeuta de Habla Virtual (VST, por sus siglas en inglés), una plataforma impulsada por IA con un clínico en el bucle que integra la clasificación de la tartamudez basada en aprendizaje profundo con el razonamiento de modelos de lenguaje de gran tamaño multiagente para generar, criticar y refinar planes de terapia personalizados y basados en evidencia para la revisión e implementación de expertos.

Autores originales: Shakeel SHEIKH, Patrick Marmaroli, MD Sahidullah, Slim Ouni, Fabrice Hirsch, Gonçalo Leal, Björn W. Schuller

Publicado 2026-06-26

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Shakeel SHEIKH, Patrick Marmaroli, MD Sahidullah, Slim Ouni, Fabrice Hirsch, Gonçalo Leal, Björn W. Schuller

Artículo original bajo licencia CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina un mundo donde obtener ayuda para el tartamudeo no sea solo cuestión de esperar semanas por una cita, sino de tener un asistente inteligente e incansable listo para ayudarte a practicar y planificar tu terapia ahora mismo. Esa es la idea central detrás del Terapeuta Virtual del Habla (VST, por sus siglas en inglés) descrito en este artículo.

Piensa en el VST no como un robot médico que reemplaza a un humano, sino como un pasante superinteligente que trabaja codo a codo con un terapeuta del habla sénior. Así es como funciona este sistema de "Clínico en el Bucle" (Clinician-in-the-Loop), desglosado en pasos sencillos:

1. Los "Oídos" y el "Grabador" (Detección)

Primero, el sistema necesita escuchar. Imagina que hablas por un micrófono (ya sea en vivo o subiendo un archivo).

El trabajo de la IA: El sistema actúa como un par de oídos altamente entrenados. Divide tu habla en pequeños fragmentos de 4 segundos. Utiliza "aprendizaje profundo" avanzado (un tipo de cerebro computacional) para escuchar tropiezos específicos en tu habla, como la repetición de un sonido, quedarse trabado en una palabra o estirar un sonido demasiado tiempo.
El resultado: Crea un mapa detallado de tu habla, identificando exactamente qué tipo de tartamudeo tienes y dónde ocurre. Es como un radar meteorológico que no solo dice "está lloviendo", sino que te dice exactamente dónde están las nubes de tormenta y qué tan fuerte es la lluvia.

2. El "Arquitecto" y el "Inspector" (Los Agentes de IA)

Una vez que el sistema sabe qué está mal, necesita construir un plan para arreglarlo. Aquí es donde el artículo presenta un equipo de "agentes" de IA (programas de software especializados) que se comunican entre sí.

El Agente de Terapia (El Arquitecto): Esta IA actúa como un arquitecto creativo. Basándose en el "mapa meteorológico" del paso 1, redacta un plan de terapia personalizado. Sugiere ejercicios, como "practicar la respiración antes de hablar" o "reducir la velocidad en estas palabras específicas". Utiliza una enorme biblioteca de conocimiento médico (Modelos de Lenguaje de Gran Escala) para generar estas ideas.
El Agente Crítico (El Inspector): Antes de que el plan se muestre a cualquier persona, pasa por un inspector estricto. Un segundo agente de IA lee el plan del Arquitecto y hace preguntas difíciles: "¿Es esto seguro? ¿Cumple con las reglas médicas? ¿Es demasiado difícil para el paciente?".
El Bucle: Si el Inspector encuentra un problema (por ejemplo, "Este ejercicio es demasiado intenso"), se lo devuelve al Arquitecto. El Arquitecto reescribe el plan, y van y vienen un par de veces (generalmente dos rondas) hasta que el plan es perfecto. Esto es como un arquitecto y un inspector de seguridad refinando el plano de un edificio hasta que sea seguro y sólido.

3. El "Jefe Humano" (El Clínico en el Bucle)

Esta es la parte más importante del artículo. La IA no envía el plan directamente al paciente.

La Revisión: El borrador final se envía a un terapeuta del habla humano real (el "Clínico"). Piensa en la IA como un brillante asistente de investigación que ha hecho todo el trabajo pesado, pero el terapeuta humano es el Socio Principal que tiene la última palabra.
La Decisión: El terapeuta humano revisa el plan y tiene tres opciones:
1. Aprobar: "Buen trabajo, esto es perfecto. Envíalo al paciente".
2. Rechazar: "No, esto no se ajusta a las necesidades de esta persona específica. Empieza de nuevo".
3. Modificar: "Es un buen comienzo, pero cambia esta parte para enfocarse más en la confianza". La IA toma estas notas y corrige el plan automáticamente.

4. El Producto Final

Una vez que el terapeuta humano presiona "Aprobar", el paciente recibe una guía de terapia personalizada. Esta incluye metas específicas, calendarios semanales y ejercicios adaptados exclusivamente para él/ella.

Lo que el artículo realmente encontró

Los investigadores probaron este sistema con un terapeuta del habla real utilizando 16 muestras de habla diferentes. Esto fue lo que sucedió:

Funciona bien: La IA generó planes que fueron, en general, seguros, lógicos y basados en pautas médicas reales.
Entiende el "panorama completo": En un caso, la IA notó que, aunque la persona no tartamudeaba de forma ruidosa, parecía estar evitando hablar debido al miedo. La IA sugirió un plan enfocado en reducir la ansiedad en lugar de solo corregir los sonidos del habla. El terapeuta humano estuvo de acuerdo en que este era un movimiento inteligente.
Necesita el toque humano: La IA cometió algunos errores menores, como sugerir demasiados ejercicios a la vez o enfocarse en el tipo equivocado de tartamudeo. Sin embargo, cuando el terapeuta humano le dio retroalimentación, la IA aprendió rápidamente y corrigió el plan en la siguiente ronda.

La Conclusión

El artículo afirma que este sistema es una herramienta para ayudar a los terapeutas, no un reemplazo para ellos. Es como tener un GPS para la terapia del habla: el GPS (IA) puede calcular la ruta más rápida y advertirte sobre el tráfico, pero el conductor (el terapeuta humano) todavía debe mantener el volante, tomar las decisiones finales y asegurar que el viaje sea seguro para el pasajero (el paciente).

Los autores dicen que este sistema está listo para pruebas en el mundo real para ver si puede ayudar a más personas a obtener la terapia que necesitan, de manera más rápida y consistente.

Resumen Técnico: Terapeuta de Habla Virtual (VST)

Declaración del Problema

La terapia del habla para la tartamudez enfrenta barreras significativas, incluyendo los altos costos, el acceso limitado a Logopedas (SLP) especializados y la naturaleza laboriosa de las evaluaciones auditivo-perceptuales manuales. Si bien la detección automatizada de la tartamudez ha avanzado mediante el aprendizaje profundo, las herramientas digitales existentes funcionan mayoritariamente como plataformas de práctica pasivas o conductos de telepráctica. Carecen de las capacidades dinámicas, adaptativas e interactivas requeridas para simular una alianza terapéutica o generar planes de intervención personalizados y basados en evidencia. Además, la traducción de los conocimientos diagnósticos computacionales en una terapia efectiva e individualizada sigue siendo una brecha crítica, particularmente ante la ausencia de sistemas agénticos supervisados clínicamente que se adhieran a un paradigma de "Clínico en el Bucle" (CITL).

Metodología

El propuesto Terapeuta de Habla Virtual (VST) es una plataforma de IA multi-agente inteligente diseñada para cerrar la brecha entre la evaluación automatizada y la generación de terapia personalizada. El sistema opera a través de un flujo de trabajo de cuatro fases:

1. Procesamiento, Análisis y Detección

Entrada: El sistema acepta muestras de habla bruta (grabación en vivo o carga de archivo) de una Persona Que Tartamudea (PWS).
Preprocesamiento: El audio se segmenta en ventanas de 3 a 5 segundos (predeterminado 4s) con un solapamiento del 50%.
Detección de Tartamudez: Un modelo de aprendizaje profundo preentrenado identifica tipos de tartamudez (prolongación, bloqueo, repetición de sonidos, repetición de palabras, interjección). El sistema utiliza un modelo wav2vec2-XLSR-53. Se evaluaron dos estrategias:
- Extracción de Características Congelada: Uso de embeddings de un modelo congelado alimentados a una red neuronal superficial.
- Ajuste Fino Completo (Full Fine-Tuning): Adaptación de toda la arquitectura XLSR-53 sobre el conjunto de datos SEP-28k-E.
- Resultado: El ajuste fino completo produjo un rendimiento superior, particularmente para repeticiones de sonidos/palabras e interjecciones, con una puntuación F1 promedio ponderada del 67.00% en comparación con el 44.85% del enfoque no ajustado.
Transcripción: Módulos paralelos generan texto de reconocimiento automático de voz (ASR) y transcripciones fonéticas.

2. Planificación de Terapia Agéntica

El sistema emplea un flujo de trabajo de orquestación multi-agente impulsado por Modelos de Lenguaje Grande (LLM) Gemini 3 Pro (Preview):

Agente de Terapia (TherapyAgent): Recibe los resultados diagnósticos (tipos de tartamudez, transcripciones, características acústicas) y genera un plan de terapia inicial personalizado. Utiliza una configuración de temperatura de $T=0.3$ para permitir un razonamiento creativo y adaptativo manteniendo la estructura.
Agente Crítico (CriticAgent): Un módulo supervisor que evalúa la salida del Agente de Terapia frente a seis dominios: solidez clínica, impacto psicológico/seguridad, alineación con la evidencia (ej. directrices ASHA, IFA), estructura/claridad, mejoras/elementos faltantes y explicabilidad. Opera con una temperatura de $T=0$ para maximizar la precisión y la consistencia fáctica.
Refinamiento Iterativo: El sistema participa en un bucle de retroalimentación agéntica (predeterminado $N=2$ iteraciones, configurable hasta 5). La retroalimentación del Agente Crítico se reintroduce recursivamente al Agente de Terapia para revisar y optimizar el plan antes de la revisión humana.

3. Supervisión del Clínico en el Bucle (CITL)

El plan generado se presenta a un logopeda (SLP) con licencia para su validación clínica. El clínico tiene tres opciones:

Aprobar: El plan se finaliza para la entrega al paciente.
Rechazar: El flujo de trabajo termina si el plan es clínicamente inapropiado.
Modificar: El clínico proporciona retroalimentación específica (ej. ajustando la intensidad o la secuenciación), lo que activa una ronda adicional de refinamiento automatizado por parte de los agentes.

4. Entrega

El plan de terapia final, aprobado, se entrega al paciente a través de una interfaz web, la cual incluye visualizaciones de la distribución de la tartamudez, mapas de calor de la disfluencia y estrategias detalladas de progresión semanal.

Contribuciones Clave

Marco Agéntico para la Terapia: El artículo introduce una novedosa arquitectura multi-agente diseñada específicamente para la terapia del habla, yendo más allá de la detección pasiva hacia la planificación de intervenciones activas y adaptativas.
Paradigma de Clínico en el Bucle (CITL): El sistema integra explícitamente la experiencia humana como una capa de validación obligatoria, asegurando que las recomendaciones generadas por IA sigan siendo seguras, éticas y clínicamente válidas.
Autocorrección Iterativa: La inclusión de un Agente Crítico dedicado permite que el sistema se autocorrija y refine su razonamiento terapéutico a través de múltiples iteraciones antes de la intervención humana, emulando un proceso de revisión de múltiples expertos.
Implementación Integral: Los autores proporcionan una plataforma web plenamente funcional y de código abierto (alojada en GitHub y Vocametrix) que integra la detección de tartamudez de vanguardia (wav2vec2) con el razonamiento basado en LLM (Gemini 3 Pro).

Resultados y Evaluación

El sistema fue evaluado cualitativamente por un logopeda (SLP) sénior en ejercicio utilizando 16 grabaciones de habla clínicas que cubrían comportajes centrales de la tartamudez.

Validez Clínica: El VST generó consistentemente planes estructurados y clínicamente interpretables que integraban múltiples marcos terapéuticos (Modificación de la Tartamudez, Moldeamiento de la Fluidez, Reducción de la Evitación, CBT/ACT).
Sensibilidad Conductual: En casos donde la tartamudez manifiesta era mínima, el sistema identificó correctamente la posible "tartamudez encubierta" (conductas de evitación) y propuso intervenciones centradas en componentes emocionales y cognitivos en lugar de solo control motor.
Capacidad de Respuesta a la Retroalimentación: El sistema demostró una alta adaptabilidad. Cuando los clínicos proporcionaron retroalimentación respecto al uso prematuro del moldeamiento de la fluidez o la clasificación errónea de conductas de evitación, el VST revisó con éxito los planes para priorizar estrategias de reducción del miedo y desensibilización en las iteraciones subsecuentes.
Limitaciones Observadas: Los planes iniciales ocasionalmente introdujeron estrategias de moldeamiento de la fluidez demasiado pronto (antes de abordar la reactividad emocional) y a veces clasificaron erróneamente las interjecciones como prolongaciones. Sin embargo, estos problemas fueron mitigados eficazmente mediante el proceso de refinamiento CITL.

Significado y Reivindicaciones

Los autores posicionan al VST no como un reemplazo de los clínicos humanos, sino como un "aliado conocedor" y un "multiplicador de fuerza". El artículo sostiene que este marco:

Democratiza el Acceso: Ofrece una vía escalable para entregar rehabilitación del habla de alta fidelidad y basada en evidencia a regiones desatendidas con acceso limitado a SLPs.
Reduce la Carga del Clínico: Optimiza el flujo de trabajo de evaluación y planificación, permitiendo a los clínicos enfocarse en la toma de decisiones complejas y la relación terapéutica en lugar de en la redacción administrativa.
Garantiza la Seguridad y la Ética: Al integrar el paradigma CITL, el sistema mantiene la responsabilidad clínica y ética, asegurando que las intervenciones impulsadas por IA se alineen con las directrices profesionales.
Generalizabilidad: Aunque se centra en la tartamudez, el modelo de colaboración humano-IA subyacente se presenta como un marco generalizable aplicable a otros trastornos del habla y del lenguaje.

El artículo concluye que el sistema está listo para ensayos clínicos robustos para establecer su eficacia y usabilidad en el mundo real, marcando un paso significativo hacia la integración de la IA agéntica en contextos de terapia clínica regulados.