Resumo Técnico: ARTI-6 – Rumo à Codificação de Fala Articulatória de Seis Dimensões

1. Declaração do Problema

A produção da fala envolve movimentos coordenados dos articuladores do trato vocal que geram sinais acústicos. No entanto, o mapeamento da acústica para a articulação não é transparente, tornando a inversão articulatória (inferir movimentos ocultos a partir do som) e a síntese articulatória (reconstruir o som a partir de movimentos) desafios complexos.

As soluções existentes enfrentam limitações específicas:

• Modalidade de Dados: Modelos de alto desempenho anteriores, como o SPARC, dependem de dados de Articulografia Eletromagnética (EMA). A EMA captura apenas um subconjunto do trato vocal, perdendo regiões críticas como o véu palatino, a raiz da língua e a laringe. Consequentemente, esses modelos carecem de informações explícitas sobre nasalidade e sonoridade, muitas vezes exigindo correlatos acústicos (ex: pitch, energia) para compensar.
• Complexidade de Representação: Embora a ressonância magnética em tempo real (rtMRI) forneça cobertura total do trato vocal, os dados resultantes são de alta dimensionalidade e opacos. Por outro lado, características excessivamente simplificadas correm o risco de descartar informações fisiológicas essenciais.
• A Lacuna: Há uma necessidade de uma representação compacta, interpretável e fisiologicamente fundamentada que capture a dinâmica articulatória chave (incluindo as regiões ausentes na EMA) mantendo-se computacionalmente eficiente para modelagem e aplicações em tempo real.

2. Metodologia: O Framework ARTI-6

Os autores propõem o ARTI-6, um framework de codificação de fala articulatória de seis dimensões derivado de dados de rtMRI. O framework consiste em três componentes principais:

A. Seleção de Características de Seis Dimensões

Os autores selecionaram seis Regiões de Interesse (ROIs) principais baseadas na seleção orientada pelo conhecimento de articuladores críticos para objetivos de produção de fala (formação e liberação de constrição). Essas regiões são:

1. Abertura Labial (LA)
2. Ponta da Língua (TT)
3. Corpo da Língua (TB)
4. Véu Palatino (VL)
5. Raiz da Língua (TR)
6. Laringe (LX)

Extração de Características: Em vez de rastreamento cinemático complexo, os autores utilizam a intensidade de pixels da imagem de frames de rtMRI como uma medida de aproximação (proxy) para o grau de constrição em cada região. Essa escolha é motivada pela premissa de que essas regiões representam o requisito articulatório mínimo para a fala, que outros pontos cinemáticos correlacionam-se fortemente com eles, e que os modelos podem inferir a dinâmica completa a partir desses representantes.

B. Modelo de Inversão Articulatória

Este componente prevê as características articulatórias de seis dimensões a partir da acústica da fala.

• Backbone: O modelo utiliza modelos de fundação de fala pré-treinados (Whisper-Large, WavLM, HuBERT, Wav2Vec2).
• Arquitetura: O modelo de fundação é ajustado (fine-tuned) usando LoRA (Low-Rank Adaptation). Matrizes de baixo posto aprendíveis são inseridas nas camadas feed-forward dos blocos Transformer.
• Processamento: Uma camada linear aprendível combina estados ocultos de camadas convolucionais e Transformer. A saída passa por camadas convolucionais pontuais 1D e uma camada de projeção para mapear para as características alvo de seis dimensões.
• Dados: Treinado no dataset USC Long Single-Speaker (LSS) (54 minutos de dados de rtMRI de um único falante), com remoção de ruído aplicada via o modelo de restauração de fala Miipher.

C. Modelo de Síntese Articulatória

Este componente reconstrói a fala inteligível diretamente das características articulatórias de seis dimensões.

• Arquitetura: Baseado em HiFi-GAN v1.
• Configuração: Utiliza taxas de upsampling e tamanhos de kernel específicos para corresponder a uma taxa de amostragem de saída de 16 kHz.
• Condicionamento: O modelo é condicionado em embeddings de falante extraídos de ECAPA-TDNN para capturar as características individuais do falante, assumindo que o modelo de síntese pode aprender traços do trato vocal através desses embeddings.
• Dados de Treinamento: Como o dataset LSS é insuficiente para treinar um sintetizador profundo, os autores aumentaram o treinamento usando o dataset LibriTTS-R. Eles geraram pares de características articulatórias previstas (usando o modelo de inversão baseado em WavLM) e a acústica da fala correspondente para treinar o modelo de síntese.

3. Principais Resultados

Desempenho da Inversão Articulatória

• Correlação Geral: O modelo alcançou uma correlação de previsão de 0,87 (correlação de Pearson) no conjunto de teste.
• Melhor Backbone: WavLM-Large e HuBERT produziram o maior desempenho (correlação de 0,872 no conjunto de teste), superando o Whisper-Large e o Wav2Vec2-XLSR.
• Análise Fonêmica: O desempenho variou por região e tipo de fonema.
  • Alta Precisão: As regiões labiais e linguais (LA, TT, TB) mostraram alta precisão de previsão.
  • Menor Precisão: O véu palatino (VL) e a laringe (LX) mostraram desempenho comparativamente inferior.
  • Atribuição: O menor desempenho do vélo é atribuído ao ruído na intensidade de pixels durante o fechamento (flutuações não relacionadas ao movimento ativo). O menor desempenho da laringe é atribuído às limitações do rtMRI midsagital em capturar dinâmicas detalhadas da geometria interna.

Desempenho da Síntese Articulatória

A fala sintetizada foi avaliada contra o ground truth e outros conjuntos de características intermediárias (Mel-spectrograms, EMA+pitch+loudness).

• Inteligibilidade: Apesar da extrema redução de dimensionalidade (6 dimensões), a fala permaneceu aceitavelmente inteligível.
  • Taxa de Erro de Palavra (WER): ~12,5%
  • Taxa de Erro de Caractere (CER): ~7,4%
• Naturalidade:
  • UTMOS: 3,840 (de 5)
  • Pontuação Média de Opinião (MOS): 3,947
• Comparação: Embora a qualidade seja inferior a abordagens de alta dimensionalidade (ex: Mel-spectrograms ou métodos baseados em EMA), os resultados demonstram que uma representação de 6 dimensões pode gerar fala com som natural.

4. Significância e Alegações

O artigo afirma que o ARTI-6 fornece um framework unificado, interpretável e computacionalmente eficiente para a tecnologia de fala. Sua significância reside em três áreas principais:

1. Completude Fisiológica: Ao contrário dos sistemas baseados em EMA, o ARTI-6 captura explicitamente o véu palatino, a raiz da língua e a laringe, proporcionando uma cobertura mais completa do trato vocal sem depender de correlatos acústicos para nasalidade ou sonoridade.
2. Interpretabilidade: As seis regiões são fundamentadas em cinemática articulatória e modelos linguísticos, tornando as características inferidas valiosas para pesquisa científica onde a aquisição direta de dados articulatórios é difícil (ex: correlacionar a fala com sinais cerebrais ou musculares).
3. Eficiência e Praticidade: Com apenas seis dimensões, o ARTI-6 é significativamente mais compacto que as características convencionais (MFCCs, mel-spectrograms) ou espaços latentes (200+ dimensões). Esta baixa dimensionalidade oferece eficiência computacional e baixa latência, tornando-o adequado para aplicações em tempo real, como processamento em dispositivos e streaming.

5. Limitações e Trabalho Futuro

Os autores reconhecem que o framework atual é limitado a um espaço articulatório de um único falante. O trabalho futuro visa:

• Estender o framework para espaços de múltiplos falantes para permitir a generalização sem condicionamento específico do falante.
• Refinar as variáveis da língua para melhor comparabilidade entre falantes.
• Otimizar a seleção de regiões articulatórias e medidas de aproximação (proxy).
• Explorar conjuntos de características híbridos combinando características articulatórias e acústicas.

O código-fonte e as amostras de fala estão publicamente disponíveis para facilitar novas pesquisas em inversão e síntese articulatória.