Joint Speech and Text Training for LLM-Based End-to-End Spoken Dialogue State Tracking

Resumo Técnico: Treinamento Conjunto de Fala e Texto para DST de Ponta a Ponta Baseado em LLM

Definição do Problema
O Rastreamento de Estado de Diálogo (DST) de ponta a endereço (E2E) falado enfrenta um gargalo significativo: a escassez de dados de diálogo falado anotados necessários para treinar modelos robustos em diversos domínios. Embora o método cascata de Reconhecimento Automático de Fala (ASR) com módulos de DST baseados em texto seja uma abordagem tradicional, ele sofre com propagação de erros e latência. Métodos E2E recentes que preveem diretamente estados de diálogo a partir de fala usando Grandes Modelos de Linguagem (LLMs) e codificadores de fala mostraram-se promissores, mas lutam para generalizar para novos domínios sem dados de treinamento falados específicos para esses domínios. A coleta de tais dados falados específicos de domínio é dispendiosa e trabalhosa. Por outro lado, dados de DST textual são abundantes e mais fáceis de adquirir, porém os modelos de fala E2E padrão não conseguem aproveitar diretamente dados de texto não pareados para melhorar o desempenho em entradas faladas.

Metodologia
Os autores propõem um framework de DST E2E de Fala e Texto Conjunto projetado para permitir a generalização entre domínios sem exigir dados de treinamento falados para os domínios alvo. A arquitetura central baseia-se em um modelo E2E base (composto por um codificador de fala, um conector e um LLM) ao ser aumentada com um codificador de texto.

• Arquitetura: O modelo aceita dois tipos de entradas durante o treinamento:
  1. Pipeline de Fala: A fala do usuário é codificada por um codificador de fala pré-treinado (ex: WavLM), passada por um conector e concatenada aos embeddings do histórico do diálogo antes de entrar no LLM.
  2. Pipeline de Texto: Consultas de linguagem natural do usuário são codificadas por um codificador de texto dedicado (um Transformer com dimensões correspondentes ao conector), passado pelo mesmo conector e alimentado no LLM.
• Estratégia de Treinamento: O sistema emprega um processo de treinamento em duas fases:
  1. Pré-treinamento de ASR: O codificador de fala e o conector são pré-treinados em dados de fala diversos usando um objetivo de entropia cruzada, com o LLM congelado.
  2. Ajuste Fino Conjunto (Joint Finetuning): O codificador de texto é introduzido, e camadas LoRA (Low-Rank Adaptation) são inseridas no LLM. O conector, o codificador de texto e os parâmetros LoRA são ajustados finamente de forma conjunta.
• Função de Perda: Em cada etapa de treinamento, o modelo processa um lote de fala e um lote de texto. A otimização minimiza a soma de três perdas de entropia cruzada:
  1. Perda de DST em dados falados.
  2. Perda de DST em dados textuais não pareados.
  3. Perda de DST na transcrição do lote de fala (para garantir que o codificador de texto ajude o pipeline de fala a compreender o domínio alvo).
• Inferência: Crucialmente, o codificador de texto é descartado durante a inferência. O modelo opera exclusivamente com entrada de fala, não incorrendo em latência de inferência adicional em comparação ao modelo base.

Contribuições Principais e Resultados
O artigo apresenta experimentos nos conjuntos de dados SpokenWOZ e Speech-aware MultiWOZ, demonstrando a eficácia do método proposto:

• Generalização entre Domínios: O método adapta com sucesso modelos treinados em fala de um domínio de origem para realizar DST em domínios alvo onde apenas dados textuais estão disponíveis. Por exemplo, o treinamento no SpokenWOZ falado combinado com o MultiWOZ textual melhorou significativamente a Acurácia de Objetivo Conjunto (JGA) no conjunto de validação do MultiWOZ em comparação com um modelo base treinado apenas com o Spelo de SpokenWOZ.
• Comparação com Alternativas: Os autores compararam sua abordagem com uma estratégia usando Text-To-Speech (TTS) para sintetizar dados falados a partir de texto. Eles descobriram que o treinamento de texto conjunto alcançou resultados comparáveis à abordagem TTS, mas sem a complexidade adicional e a dependência de sistemas TTS de alta qualidade, o que é particularmente vantajoso para línguas de baixos recursos.
• Mecanismo de Melhoria: Estudos de ablação revelaram que as melhorias decorrem de dois fatores: (1) expor o LLM aos estados de diálogo do domínio alvo via texto, e (2) o codificador de texto ajudando ativamente o pipeline de fala a extrair esses estados da linguagem natural. Apenas o ajuste fino de LoRA no texto resultou em um desempenho inferior ao do processo conjunto completo.
• Escalabilidade: Os benefícios do treinamento de texto conjunto foram observados como mais pronunciados com LLMs maiores (ex: Gemma-3-12B-it). Em alguns casos, os modelos maiores treinados com texto conjunto alcançaram um desempenho em domínios alvo quase idêntico aos modelos treinados com dados de fala pareados desses mesmos domínios.
• Reconhecimento de Slot vs. Valor: A análise indicou que, embora a adição de texto de uma cidade diferente (ex: dados de Nova York do MultiWOZ para o treinamento baseado em Cambridge do SpokenWOZ) tenha melhorado o reconhecimento de chaves de slot, não melhorou necessariamente o reconhecimento de valores de slot (ex: nomes de lugares específicos), destacando a distinção entre generalização estrutural e baseada em conteúdo.

Significância
O artigo afirma que este trabalho fornece uma solução prática para o problema da escassez de dados em DST falado. Ao aproveitar a abundância de dados de DST textuais não pareados, o método proposto permite a criação de sistemas de diálogo falados de múltiplos domínios sem o custo proibitivo de coletar dados falados para cada domínio alvo. Os autores enfatizam que esta abordagem permite a aplicação de estratégias estabelecidas de melhoria de DST baseadas em texto (como aumento de slot e paráfrase) para sistemas falados indiretamente, abrindo novos caminhos para pesquisa em cenários de diálogo falado de múltiplos domínios e de baixos recursos.