Joint Speech and Text Training for LLM-Based End-to-End Spoken Dialogue State Tracking

Resumen Técnico: Entrenamiento Conjunto de Voz y Texto para el Seguimiento de Estado de Diálogo Hablado Basado en LLM de Extremo a Extremo

Planteamiento del Problema
El seguimiento de estado de diálogo (DST, por sus siglas en inglés) de extremo a extremo (E2E) enfrenta un cuello de botella significativo: la escasez de datos de diálogo hablado anotados necesarios para entrenar modelos robustos en diversos dominios. Aunque el enfoque tradicional de cascada mediante Reconocimiento Automático del Habla (ASR) con módulos de DST basados en texto es común, este sufre de propagación de errores y latencia. Los métodos E2E recientes que predicen directamente los estados de diálogo a partir de voz utilizando Modelos de Lenguaje de Gran Escala (LLM) y codificadores de voz han mostrado resultados prometedores, pero tienen dificultades para generalizarse a nuevos dominios sin datos de entrenamiento hablados específicos para dichos dominios. La recolección de tales datos de voz específicos de un dominio es costosa y requiere mucha mano de obra. Por el contrario, los datos de DST textuales son abundantes y más fáciles de adquirir; sin embargo, los modelos de voz E2E estándar no pueden aprovechar directamente los datos de texto no emparejados para mejorar su rendimiento en entradas de voz.

Metodología
Los autores proponen un marco de DST E2E de Voz y Texto Conjunto diseñado para permitir la generalización entre dominios sin requerir datos de entrenamiento hablados de los dominios de destino. La arquitectura central se basa en un modelo base E2E (que comprende un codificador de voz, un conector y un LLM) mediante la adición de un codificador de texto.

• Arquitectura: El modelo acepta dos tipos de entradas durante el entrenamiento:
  1. Pipeline de Voz: El habla del usuario es codificada por un codificador de voz preentrenado (p. ej., WavLM), pasada a través de un conector, y se antepone a las incrustaciones (embeddings) del historial del diálogo antes de entrar al LLM.
  2. Pipeline de Texto: Las consultas de lenguaje natural del usuario son codificadas por un codificador de texto dedicado (un Transformer con dimensiones que coinciden con el conector), pasado a través del mismo conector, y alimentado al LLM.
• Estrategia de Entrenamiento: El sistema emplea un proceso de entrenamiento de dos fases:
  1. Preentrenamiento ASR: El codificador de voz y el conector se preentrenan en datos de voz diversos utilizando un objetivo de entropía cruzada, con el LLM congelado.
  2. Ajuste Fino Conjunto (Joint Finetuning): Se introduce el codificador de texto y se insertan capas LoRA (Low-Rank Adaptation) en el LLM. El conector, el codificador de texto y los parámetros LoRA se ajustan finamente de forma conjunta.
• Función de Pérdida: En cada paso de entrenamiento, el modelo procesa un lote de voz y un lote de texto. La optimización minimiza la suma de tres pérdidas de entropía cruzada:
  1. Pérdida de DST en datos hablados.
  2. Pérdida de DST en datos textuales no emparejados.
  3. Pérdida de DST en la transcripción del lote de voz (para asegurar que el codificador de texto ayude al pipeline de voz a comprender el dominio de destino).
• Inferencia: Crucialmente, el codificador de texto se descarta durante la inferencia. El modelo opera únicamente con entrada de voz, lo que no incurre en latencia de inferencia adicional en comparación con el modelo base.

Contribuciones Clave y Resultados
El artículo presenta experimentos en los conjuntos de datos SpokenWOZ y Speech-aware MultiWOZ, demostrando la eficacia del método propuesto:

• Generalización entre Dominios: El método adapta con éxito modelos entrenados en voz de un dominio de origen para realizar DST en dominios de destino donde solo hay datos textuales disponibles. Por ejemplo, entrenar en el habla de SpokenWOZ combinado con el texto de MultiWOZ mejoró significamente la Precisión de Objetivo Conjunto (JGA) en el conjunto de validación de MultiWOZ en comparación con un modelo base entrenado solo con la voz de SpokenWOZ.
• Comparación con Alternativas: Los autores compararon su enfoque con una estrategia de uso de Texto-a-Voz (TTS) para sintetizar datos hablados a partir de texto. Encontraron que el entrenamiento de texto conjunto logró resultados comparables al enfoque TTS, pero sin la complejidad añadida y la dependencia de sistemas TTS de alta calidad, lo cual es particularmente ventajoso para lenguas con pocos recursos.
• Mecanismo de Mejora: Los estudios de ablación revelaron que las mejoras provienen de dos factores: (1) exponer el LLM a los estados de diálogo de los dominios de destino mediante texto, y (2) el codificador de texto ayudando activamente al pipeline de voz a aprender a extraer estos estados del lenguaje natural. El simple ajuste fino de LoRA en texto sin el codificador de texto produjo un rendimiento inferior al del enfoque conjunto completo.
• Escalabilidad: Los beneficios del entrenamiento de texto conjunto fueron más pronunciados con LLMs más grandes (p. ej., Gemma-3-12B-it). En algunos casos, los modelos más grandes entrenados con texto conjunto alcanzaron un rendimiento en los dominios de destino casi idéntico al de los modelos entrenados con datos de voz emparejados de esos mismos dominios.
• Reconocimiento de Slot vs. Valor: El análisis indicó que, si bien añadir texto de una ciudad diferente (p. ej., datos de Nueva York de MultiWOZ al entrenamiento de SpokenWOZ basado en Cambridge) mejoró el reconocimiento de claves de slots, no necesariamente mejoró el reconocimiento de valores de slots (p. ej., nombres de lugares específicos), resaltando la distinción entre la generalización estructural y la basada en contenido.

Significancia
El artículo afirma que este trabajo proporciona una solución práctica al problema de la escasez de datos en el DST hablado. Al aprovechar la abundancia de datos de DST textuales no emparejados, el método propuesto permite la creación de sistemas de diálogo hablado multidominio sin el costo prohibitivo de recolectar datos hablados para cada dominio de destino. Los autores enfatizan que este enfoque permite la aplicación de estrategias establecidas de mejora de DST basadas en texto (como la aumentación de slots y la paráfrasis) a sistemas de voz de forma indirecta, abriendo nuevas vías para la investigación en escenarios de diálogo hablado de múltiples dominios y de bajos recursos.