Multi-task Learning is Not Enough: Representational Entanglement in Dual-output Second Language Speech Recognition

Resumo Técnico: Aprendizado Multitarefa não é Suficiente: Emaranhamento Representacional no Reconhecimento de Fala de Segunda Língua de Saída Dupla

Declaração do Problema
Sistemas de reconhecimento de fala de segunda língua (L2) frequentemente requerem a geração simultânea de duas transcrições distintas a partir de um único sinal acústico: uma transcrição de nível de superfície (pronúncia literal, capturando fenômenos fonológicos como coarticulação e redução) e uma transcrição orientada ao significado (a forma escrita canônica). Embora o Aprendizado Multitarefa (MTL) seja uma abordagem natural para tais tarefas de saída dupla (DO) sob a premissa de que representações compartilhadas beneficiam ambas as saídas, este artigo desafia essa suposição. Os autores postulam que o MTL conjunto pode não beneficiar uniformemente ambas as tarefas, particularmente em contextos de L2, onde a divergência entre a forma falada e o significado pretendido é significativa.

Metodologia
O estudo emprega um design experimental controlado comparando modelos de Saída Única (SO) contra modelos de Saída Dupla (DO) em conjuntos de dados de coreano e inglês para L2.

• Arquitetura:
  • Baseline SO: Modelos separados são treinados para as tarefas de superfície e de significado, cada um utilizando uma arquitetura híbrida CTC-attention com uma cabeça CTC auxiliar para supervisão de alinhamento.
  • Modelo DO: Um codificador Conformer compartilhado alimenta dois decodificadores Transformer separados (um para superfície, outro para significado). A cabeça CTC auxiliar permanece na saída do codificador, treinada exclusivamente nos alvos de nível de superfície para manter o alinhamento monótônico quadro-token.
• Conjuntos de Dados: Os experimentos utilizam conjuntos de dados AI-Hub contendo fala lida de falantes de chinês/japonês nativos aprendendo coreano e falantes de coreano nativos aprendendo inglês. A divergência superfície-significado é quantificada usando a distância de edição de Levenshtein (ED).
• Análise: Os autores utilizam o Alinhamento de Kernel Centrado (CKA) para medir a similaridade das representações entre as camadas em ambos os codificadores e decodificadores. Isso permite uma investigação mecanística de como as representações das tarefas divergem ou convergem em configurações SO versus DO.

Principais Resultados

1. Compensações Assimétricas de Tarefa: O MTL conjunto melhora consistentemente a transcrição de significado, mas degrada a transcção de superfície em ambos os idiomas. No entanto, a magnitude desta compensação é dependente da língua.
2. Degradação Específica da Língua: A degradação da transcrição de superfície é substancialmente mais severa no inglês do que no coreano. No inglês, a lacuna de desempenho de superfície aumenta monotonicamente conforme a divergência superfície-significado (ED) aumenta, enquanto o coreano mostra efeitos menores e inconsistentes em relação à divergência.
3. Emaranhamento no Nível do Codificador: A análise CKA do codificador revela que:
   • Coreano: Os codificadores SO para tarefas de superfície e significado desenvolvem representações distintas (desemaranhadas) a partir da Camada 3. O codificador DO alinha-se seletivamente com a tarefa de superfície.
   • Inglês: Os codificadores SO para ambas as tarefas aprendem representações quase idênticas (emaranhadas), mesmo quando treinados separadamente. O codificador DO herda este emaranhamento, falhando em adotar uma representação alvo clara para a tarefa de superfície.
4. Adaptação no Nível do Decodificador:
   • Coreano: Os decodificadores DO alinham-se com suas respectivas tarefas, mantendo representações específicas da tarefa consistentes com a separação do codificador.
   • Inglês: O decodificador de significado contorna o codificador emaranhado ao construir uma representação única, levando à melhoria do significado. Por outro lado, o decodificador de superfície permanece vinculado à representação emaranhada do codificador, resultando em uma degradação desproporcional da superfície.

Principais Contribuições

• Demonstração Empírica: O artigo fornece evidências empíricas de que o MTL conjunto para ASR de L2 de saída dupla exibe comportamentos assimétricos dependentes da língua, contradizendo a suposição geral de que representações compartilhadas são universalmente benéficas.
• Localização Mecanística: Através das análises de codificador e decodificador trans-tarefa, os autores localizam a fonte da degradação de desempenho no emaranhamento representacional do nível do codificador. Eles demonstram que, no inglês, a falta de representações de tarefas distintas no codificador impede que o decodificador de superfície compense, enquanto o decodificador de significado pode se adaptar de forma independente.

Significância e Alegações
O artigo afirma que os atuais frameworks de MTL conjunto são insuficientes para o ASR de L2 de saída dupla porque falham em mitigar o emaranhamento no nível do codificador. As descobertas sugerem que simplesmente compartilhar um codificador não é suficiente; a arquitetura deve abordar explicitamente o emaranhamento das representações das tarefas. Os autores motivam o design de futuros frameworks de MTL que incorporem mecanismos para desemaranhar essas representações no nível do codificador. Eles propõem que abordagens como decomposição esparsa, treinamento adversarial e mecanismos de portão (gating) podem ser direções promissoras para reduzir a degradação de superfície em sistemas de saída dupla. O artigo conclui que a adaptação no nível do decodificador sozinha não pode compensar totalmente o emaranhamento no nível do codificador.