Resumen Técnico: AP-GRPO para la Reconstrucción de Habla Patológica

1. Planteamiento del Problema

La reconstrucción de habla patológica (PSR, por sus siglas en inglés) tiene como objetivo recuperar el contenido textual pretendido de un paciente a partir de grabaciones acústicas que suelen estar distorsionadas y lingüísticamente fragmentadas debido a trastornos neurodegenerativos y neuromotores (por ejemplo, ELA, enfermedad de Parkinson, parálisis cerebral, demencia).

Los enfoques actuales enfrentan dos limitaciones principales:

1. Suposición de Degradación Uniforme: El ajuste fino supervisado (SFT) estándar trata todas las posiciones de los tokens por igual, sin aprovechar el hecho de que la degradación del habla patológica rara veces es uniforme. Incluso en casos graves, algunas palabras o frases permanecan inteligibles ("anclajes audibles").
2. Señales de Recompensa Desalineadas: Los métodos de aprendizaje por refuerzo (RL) existentes, como el GRPO a nivel de oración utilizando BERTScore, recompensan la fluidez semántica sobre la fidelidad. Pueden recompensar paráfrasis fluidas (por ejemplo, sustituir "dolor" por "afección") incluso cuando el paciente produjo claramente esta última, fallando al distinguir la reconstrucción fiel de la alucinación. Además, muchos sistemas generativos requieren datos emparejados que son difíciles de recolectar en condiciones progresivas.

2. Metodología: AP-GRPO

Los autores proponen Optimización de Política Relativa de Grupo con Puerta de Anclaje Fonético (AP-GRPO), un marco que alinea los Modelos de Lenguaje de Voz (SLM) con señales de habla patológica sin requerir transcripciones de referencia durante la fase de RL. El método opera bajo el principio de que los fragmentos audibles fiables pueden servir como límites estructurales para guiar la reconstrucción de las regiones corruptas.

Componentes Principales

AP-GRPO utiliza dos componentes de recompensa distintos dentro de un marco de Optimización de Política Relativa de Grupo (GRPO):

A. Extracción y Emparejamiento de Anclajes Audibles

• Extracción: Utilizando Whisper/Whisper-X, el sistema extrae "anclajes audibles" con marcas de tiempo (palabras/frases con alta confianza, $c(m) > \tau$) de la grabación patológica.
• Emparejamiento Monotónico: Durante los pasos de RL, las reconstrucciones candidatas se escanean para emparejar estos anclajes en orden temporal.
• Intervalos entre Anclajes: Los segmentos de texto entre los anclajes emparejados se definen como "intervalos entre anclajes", representando las regiones corruptas que requieren reconstrucción.

B. Recompensa de Puerta de Anclaje ($g_{anchor}$)
Este componente impone la preservación de la evidencia audible fiable. Calcula una puntuación de cobertura ponderada por confianza:
$$g_{anchor}(y_j, A) = \epsilon_g + (1 - \epsilon_g) \frac{\sum c(m) \mathbb{1}[a(m) \text{ emparejado con } y_j]}{\sum c(m)}$$
Esta recompensa desincentiva las salidas fluidas pero infieles que contradicen los anclajes fiables.

C. Recompensa de Alineación Fonética entre Anclajes ($R_{inter}$)
Para abordar las regiones corruptas, AP-GRPO evalúa si el texto recuperado está fonéticamente respaldado por el correspondiente segmento de voz, en lugar de depender de la similitud semántica.

1. Estilo Patológico: El texto candidato se convierte en una secuencia de fonemas. Crucialmente, un Predictor de Duración Patológica (basado en un modelo TTDS preentrenado) expande esta secuencia para dar cuenta de la articulación ralentizada, los fonemas prolongados y las pausas irregulares comunes en la disartria.
2. Posteriogramas de Fonemas (PPG): El segmento de voz original se convierte en un PPG utilizando un modelo wav2vec2 congelado.
3. Suavizado de Confusión: Para manejar las desviaciones articulatorias sistemáticas (por ejemplo, /t/ frente a /d/), el PPG se suaviza mediante una matriz de confusión de fonemas, permitiendo que las confusiones clínicamente plausibles reciban un soporte no nulo.
4. Alineación Soft-DTW: Un algoritmo Soft-DTW calcula el costo de alineación entre la ruta de fonemas del texto con estilo patológico y el PPG de voz suavizado. Los costos más bajos (mejor alineación) generan mayores recompensas.

D. Objetivo de Optimización
La recompensa total combina la puerta de anclaje y la alineación fonética:
$$R_j = \log g_{anchor} + R_{inter}$$
La política se actualiza utilizando GRPO, que optimiza las ventajas relativas dentro de un grupo de candidatos muestreados. Una variable dual adaptativa ($\mu$) impone una restricción que exige que la cobertura de anclajes esperada permanezca por encima de un umbral ($\alpha = 0.95$), equilibrando dinámicamente la preservación de anclajes frente a la recuperación entre anclajes.

3. Contribuciones Clave

1. Primer Marco GRPO para Habla Patológica: AP-GRPO es el primero en aplicar la Optimización de Política Relativa de Grupo para alinear Modelos de Lenguaje de Voz específicamente para la reconstrucción de habla patológica.
2. Arquitectura de Recompensa Novedosa: Introduce un sistema de doble recompensa que combina una recompensa de puerta de anclaje (para la integridad estructural) y una recompensa de alineación fonética consciente de la patología (para la fidelidad del contenido). Esto incluye adaptaciones específicas como el modelado de duración patológica y el suavizado de confusión de fonemas.
3. Perfiles de Enfermedad Interpretables: La restricción de anclaje aprendida ($\mu$) se adapta automáticamente a la dificultad de condiciones específicas, revelando perfiles interpretables (por ejemplo, una degradación articulatoria severa requiere una mayor imposición de anclajes, mientras que las condiciones con deterioro lingüístico dependen más de la alineación fonética).

4. Resultados Experimentales

El método fue evaluado en cuatro conjuntos de datos que representan diferentes condiciones: ELA (TORGO), Parálisis Cerebral (UASpeech), Demencia (ADReSSo) y Parkinson (SJTU).

• Ganancias de Rendimiento: AP-GRPO logró la menor Tasa de Error de Palabras (WER) y Tasa de Error de Caracteres (CER) en todos los conjuntos de datos en comparación con las líneas base de SFT, modelos de difusión (Diff-DSR), modelos de lenguaje de códec (Colm-DSR) y otros métodos de RL.
  • Casos Severos (ELA): En el conjunto de datos TORGO, AP-GRPO redujo el WER de ~0.75 (línea base SFT) a 0.29, transformando una salida apenas inteligible en un texto parcialmente correcto adecuado para la comunicación clínica.
  • Casos Leves: Se observaron mejoras consistentes en todas las condiciones, siendo el método independiente del backbone (efectivo tanto en Qwen2.5-Omni como en Audio-Flamingo 3).
• Supresión de Alucinaciones: El método redujo significamente las "inserciones alucinadas" (palabras de contenido fabricadas). El análisis de descomposición mostró que, si bien el WER cayó drásticamente, las mejoras en Content-F1 fueron impulsadas por la reducción de errores en palabras de contenido más que por simples correcciones de palabras funcionales.
• Estudios de Ablación:
  • Eliminar la puerta de anclaje o la recompensa fonética degradó el rendimiento significativamente, confirmando su naturaleza complementaria.
  • Las adaptaciones patológicas (suavizado de confusión y estilo patológico) fueron críticas; eliminarlas causó que el WER saltara de ~0.29 a ~0.74.
  • Restricciones Adaptativas: La variable dual adaptativa $\mu$ superó a las restricciones fijas, equilibrando dinámicamente la preservación de anclajes y la recuperación de contenido.

5. Significación y Reivindicaciones

El artículo sostiene que AP-GRPO ofrece un camino práctico hacia la comunicación accesible para personas con trastornos del habla neurodegenerativos al:

• Cruzar el Umbral de Inteligibilidad: Transforma las salidas de "ininteligibles" (WER > 0.5) a "parcialmente correctas" (WER ~0.3), haciéndolas viables para la corrección de errores posterior y la comunicación médica.
• Eficiencia de Datos: Aprovecha la propia señal de voz del paciente para la alineación, reduciendo la dependencia de grandes escalas de transcripciones de referencia emparejadas durante la fase de RL.
• Relevancia Clínica: La capacidad del método para adaptarse automáticamente a los perfiles de deterioro específicos de la enfermedad (mediante el $\mu$ aprendido) sugiere que puede desplegarse sin necesidad de un ajuste por enfermedad, alineándose con las necesidades clínicas de herramientas robustas y generalizables.

Los autores señalan limitaciones, incluyendo que el método actualmente se centra en la reconstrucción de la transcripción en lugar de la restauración del audio, y que su rendimiento depende de la calidad de la extracción inicial de anclajes y la disponibilidad de priors de duración específicos de la enfermedad.