TSPC: A Two-Stage Phoneme-Centric Architecture for code-switching Vietnamese-English Speech Recognition

Este artigo propõe a arquitetura TSPC, um modelo de reconhecimento de fala de código alternado vietnamita-inglês baseado em fonemas que, através de uma abordagem de duas etapas, supera os métodos existentes com menor taxa de erro de palavras e menor consumo de recursos computacionais.

O essencial

Imagine que você está tentando entender uma conversa onde as pessoas misturam duas línguas diferentes: o Vietnamita e o Inglês. Isso é chamado de "alternância de código" (code-switching).

O problema é que os computadores (os sistemas de reconhecimento de voz) costumam ficar confusos nessa situação. É como se eles ouvissem uma palavra em inglês, mas, por causa da semelhança de som, a escrevessem errada em vietnamita.

Por exemplo, se alguém diz a palavra inglesa "concert" (show), o computador pode ouvir e escrever "con sót" (que em vietnamita significa algo como "filho sobrevivente" ou "sobrinho", dependendo do contexto, mas é um erro total de significado). O computador não consegue distinguir a "sombra" do sotaque.

Os autores deste artigo criaram uma solução inteligente chamada TSPC. Vamos explicar como funciona usando uma analogia simples:

A Analogia do "Tradutor de Sombra"

Imagine que o sistema de reconhecimento de voz tradicional é como um tradutor que tenta adivinhar a palavra final direto do som. Se o som é ambíguo, ele erra.

O novo sistema TSPC funciona como uma linha de montagem de duas etapas com um especialista no meio:

Etapa 1: O "Detetive de Sombra" (Speech-to-Phone)

Em vez de tentar adivinhar a palavra escrita imediatamente, o sistema primeiro transforma o som em uma "sombra" ou "esqueleto" de sons básicos, chamados fonemas.

• O Truque: O Vietnamita é uma língua de tons (como música, onde o tom muda o significado da palavra). O Inglês não tem tons.
• A Solução: O sistema pega a palavra inglesa (ex: "video") e a transforma em uma "sombra vietnamita" (ex: "vi deo"). Ele ignora a ortografia inglesa e foca apenas no som, adaptando-o para o sistema de tons vietnamita. É como se ele dissesse: "Não importa se você escreve 'video' em inglês, para o meu ouvido vietnamita, isso soa como 'vi deo'".

Etapa 2: O "Arquiteto de Palavras" (Phone-to-Text)

Agora que temos essa sequência de sons adaptados ("vi deo"), a segunda etapa entra em ação. Ela pega esses sons e os transforma em texto correto.

• O Truque: Como o sistema já sabe que o som foi adaptado para o vietnamita, ele usa regras de "gramática de sons" para montar a frase final. Se o som foi identificado como "vi deo", ele sabe que a palavra correta é "video".
• A Segurança: Eles usam uma técnica de "máscara" (como um jogo de "complete a frase"). Se o sistema tem dúvida sobre um som, ele tenta adivinhar o contexto para não errar a palavra inteira.

Por que isso é genial?

1. Ponte entre Mundos: A maior dificuldade é que o Vietnamita e o Inglês têm sons que se parecem muito (como o "s" ou o "t"). O sistema TSPC usa essa semelhança a seu favor, criando um "dicionário de sombras" onde palavras inglesas são mapeadas para sílabas vietnamitas.
2. Economia de Recursos: A maioria dos sistemas modernos precisa de computadores gigantescos e milhões de dados para funcionar bem. O TSPC foi feito para funcionar com menos dados e menos poder de computador, o que é ótimo para países ou empresas que não têm supercomputadores.
3. Resultado: O sistema conseguiu reduzir drasticamente os erros. Enquanto os melhores sistemas antigos erravam cerca de 28% das vezes em conversas mistas, o TSPC reduziu esse erro para 19%.

Em resumo

Pense no TSPC como um intérprete muito esperto que, ao ouvir uma mistura de línguas, não tenta adivinhar a palavra final de imediato. Em vez disso:

1. Ele primeiro identifica os sons básicos e os "traduz" para o dialeto sonoro local (Vietnamita).
2. Depois, ele monta a frase final baseada nesses sons já adaptados.

Isso evita que o computador confunda um "concert" com um "con sót", tornando a comunicação entre humanos e máquinas muito mais natural e precisa, mesmo quando falamos duas línguas ao mesmo tempo.

Resumo técnico

Resumo Técnico: TSPC para Reconhecimento de Fala com Mudança de Código (Vietnamita-Inglês)

1. O Problema

O Reconhecimento Automático de Fala (ASR) enfrenta desafios significativos ao lidar com Mudança de Código (Code-Switching - CS), cenário em que os falantes alternam entre idiomas (neste caso, Vietnamita e Inglês) dentro da mesma conversa.

• Desafios Específicos: A sobreposição fonológica entre os dois idiomas gera ambiguidades acústicas. Por exemplo, palavras em inglês podem ser erroneamente transcritas como palavras vietnamitas foneticamente similares (ex: "concert" sendo transcrito como "con sót").
• Limitações dos Modelos Atuais: Os modelos End-to-End (E2E) tradicionais frequentemente falham em capturar distinções fonéticas finas e não conseguem lidar adequadamente com a natureza tonal do vietnamita (6 tons lexicais) quando combinada com fonemas não tonais do inglês. Técnicas de biasing ou identificação de idioma (LID) muitas vezes sofrem com a escassez de dados naturais de CS para idiomas de recursos limitados.

2. Metodologia: Arquitetura TSPC

Os autores propõem o TSPC (Two-Stage Phoneme-Centric), uma arquitetura de duas etapas que utiliza uma representação fonêmica unificada como intermediária, em vez de mapear diretamente o áudio para o texto.

A. Representação Fonêmica Unificada (Vietnamita-Centrica)

• O núcleo da abordagem é mapear palavras em inglês para uma representação fonêmica baseada no vietnamita.
• Devido à sobreposição de inventários de vogais e consoantes, as palavras em inglês são decompostas e alinhadas com sílabas vietnamitas acusticamente similares.
• Exemplo: O ditongo inglês "eI" é alinhado à sílaba vietnamita "ây".
• O sistema utiliza um conjunto de fonemas estendido do vietnamita que inclui marcadores de tom (ex: -1, -4), permitindo que o modelo trate a pronúncia adaptada de palavras em inglês dentro de um espaço fonêmico coerente.

B. Pipeline de Duas Etapas

1. Etapa 1: Speech-to-Phone (S2P)
   • Converte o sinal de áudio bruto em uma sequência de fonemas.
   • Utiliza um codificador pré-treinado (baseado em PhoWhisper-base) congelado para extração de características acústicas e um decodificador Transformer para gerar a sequência de fonemas.
   • O objetivo é modelar explicitamente tanto os inventários fonêmicos tonais quanto não tonais.
2. Etapa 2: Phone-to-Text (P2T)
   • Trata a conversão de fonemas para texto como um problema de tradução de máquina (MT).
   • Utiliza o modelo T5 (Text-to-Text Transfer Transformer).
   • Estratégia de Máscara: Para mitigar erros de propagação da etapa S2P, o modelo P2T é pré-treinado com uma estratégia de mascaramento de fonemas (inspirada em BERT/SSL), aprendendo representações contextuais robustas mesmo com entradas ruidosas ou fonemas incorretos.

C. Integração e Ajuste Fino (Fine-Tuning)

• Os dois modelos são integrados e submetidos a um ajuste fino conjunto (Joint Fine-Tuning).
• Durante o ajuste conjunto, os parâmetros do módulo S2P são congelados para garantir a consistência da sequência fonética, enquanto o módulo P2T é atualizado para se adaptar às previsões do S2P.
• Foram exploradas estratégias de congelamento parcial (apenas as primeiras camadas do encoder do P2T) para melhorar a adaptação à tarefa específica.

3. Contribuições Principais

• Abordagem Centrada em Fonemas: Propõe uma arquitetura que desafia o paradigma E2E direto, utilizando fonemas como uma camada intermediária estruturada para resolver ambiguidades fonológicas em CS.
• Mapeamento de Inglês para Fonemas Vietnamitas: Desenvolveu um conjunto unificado onde palavras em inglês são representadas através de sílabas e fonemas vietnamitas, facilitando o processamento em um único espaço linguístico.
• Eficiência em Recursos Limitados: O modelo demonstra alto desempenho mesmo com recursos computacionais reduzidos (treinado em uma única GPU GTX 3090) e dados de treinamento limitados para a tarefa de CS.
• Estratégia de Mascaramento no P2T: A introdução de pré-treinamento com mascaramento no módulo de conversão fonema-texto aumenta a robustez contra erros de reconhecimento fonêmico.

4. Resultados Experimentais

Os experimentos foram conduzidos em conjuntos de dados vietnamitas (VLSP 2020, VietBud500, etc.) e dados de CS Vietnamita-Inglês (incluindo o conjunto Capleaf e dados sintéticos).

• Desempenho em CS (Mudança de Código):
  • O modelo TSPC com ajuste fino conjunto e encoder P2T com SSL alcançou uma Taxa de Erro de Palavra (WER) de 19,06% no conjunto de teste de CS.
  • Isso representa uma melhoria significativa em relação ao baseline PhoWhisper-base (27,90%) e supera modelos grandes como Whisper-Large-v3-turbo (31,60%) e Qwen3-ASR (38,93%).
• Desempenho em Vietnamita Puro:
  • O modelo alcançou uma WER de 15,87% em dados puramente vietnamitas, superando o Wav2Vec2-vn-base e competindo de perto com o PhoWhisper-base (14,05%), apesar de usar menos dados de treinamento.
• Estudos de Ablação:
  • A estratégia de "apenas ajustar o encoder" (encoder only) no ajuste fino conjunto mostrou-se superior, alcançando 17,78% de WER em CS, indicando que manter o conhecimento pré-treinado do decodificador é benéfico.

5. Significado e Conclusão

O trabalho TSPC demonstra que decompor o reconhecimento de fala em etapas fonêmicas e textuais, utilizando uma representação fonêmica unificada, é uma estratégia eficaz para lidar com a complexidade da mudança de código entre idiomas com características fonológicas distintas (tonal vs. não tonal).

• Impacto: A arquitetura oferece uma solução viável e eficiente para cenários de recursos limitados, onde grandes modelos E2E podem ser inviáveis ou menos precisos devido à falta de dados de treinamento específicos para CS.
• Futuro: Os autores sugerem que a incorporação de modelagem baseada em grafos poderia melhorar ainda mais a representação das relações estruturais entre fonemas, e que a pré-treinagem conjunta do decodificador continua sendo uma via promissora.

Em resumo, o TSPC estabelece um novo baseline para ASR de CS Vietnamita-Inglês, provando que a modelagem explícita de fonemas e tons pode superar a ambiguidade acústica sem a necessidade de recursos computacionais massivos.