ArtBoost: Synthetic Articulatory Data Augmentation for Acoustic-to-Articulatory Inversion

Resumo Técnico: ArtBoost – Aumento de Dados Articulatórios Sintéticos para Inversão Acústica-Articulatória

Definição do Problema
A inversão acústica-articulatória (AAI) visa estimar movimentos articulatórios físicos a partir de sinais de fala. Embora as abordagens de aprendizagem profunda tenham melhorado o desempenho da AAI ao aproveitar conjuntos de dados pareados áudio–articulatório em larga escala, sua eficácia é fundamentalmente limitada pela escassez de tais conjuntos de dados. A coleta de dados de alta qualidade via Articulografia Eletromagnética (EMA) é dispendiosa, exige hardware especializado e ambientes controlados, e resulta em conjuntos de dados de pequena escala e com diversidade de locutores limitada. Consequentemente, os modelos de AAI baseados em dados sofrem de cobertura insuficiente da variabilidade articulatória entre locutores e contextos fonéticos.

Metodologia: ArtBoost
Para enfrentar o gargalo da escassez de dados sem exigir novas gravações baseadas em sensores, os autores propõem o ArtBoost, uma estratégia de aumento de dados que reaproveita conjuntos de dados de malha facial 3D alinhados com áudio em larga escala (originalmente desenvolvidos para animação facial 3D impulsionada por fala) como uma fonte de supervisão articulatória pseudo. A metodologia procede em três estáções:

1. Segmentação de Utterance Guiada por ASR: Uma vez que os conjuntos de dados de fala–malha (ex: TFHP) consistem em longas gravações de vídeo contínuas, enquanto os corpora de EMA são organizados por utterance (unidade de fala), os autores utilizam o Reconhecimento Automático de Fala (ASR) para segmentar as longas gravações em clipes de nível de utterance. Esses clipes são sincronizados com os quadros de malha 3D correspondentes para criar pares compatíveis com os protocolos padrão de treinamento de AAI.
2. Extração de Trajetória Articulatória Pseudo: Das sequências de malha segmentadas, o sistema rastreia âncoras faciais específicas correspondentes a articuladores visíveis: o lábio superior (UL), o lábio inferior (LL) e o incisivo inferior (LI). Para aproximar o movimento articulatório, a posição média de regiões de vértices predefinidas para essas âncoras é calculada. O sistema extrai componentes de movimento ao longo das direções de protrusão (eixo z) e abertura da boca (eixo y). Esses sinais são formatados em uma representação de trajetória de 12 canais (correspondendo aos formatos padrão de EMA), onde os canais correspondentes às âncoras visíveis são povoados com os dados extraídos, e os canais restantes são definidos como zero.
3. Estratégia de Treinamento de Dois Estágios: O modelo de AAI é treinado usando uma abordagem de pré-treinamento e ajuste fino (fine-tuning):
   • Pré-treinamento: O modelo é treinado nas trajetórias articulatórias pseudo de larga escala derivadas dos dados de fala–malha. Uma função de perda com máscara de canal é empregada, calculando o erro de previsão apenas nos canais correspondentes às âncoras visíveis (UL, LL, LI).
   • Ajuste Fino (Fine-tuning): O modelo pré-treinado é subsequentemente ajustado nos limitados conjuntos de dados de EMA reais (HPRC e USC-TIMIT) usando trajetórias de verdade fundamental (ground-truth) com supervisão de canal total.

Principais Contribuições

• Fonte de Dados Inovadora: O artigo introduz o uso de conjuntos de dados de fala–malha como uma fonte escalável e sintética de supervisão articulatória, expandindo efetivamente o espaço de treinamento para AAI sem novas gravações de sensores.
• Pipeline de Extração: Um pipeline robusto é estabelecido para converter a geometria da malha facial visível em trajetórias articulatórias pseudo que se alinham com os formatos convencionais de dados de EMA.
• Agnosticismo de Arquitetura: A estratégia foi desenhada para ser integrada a diversas arquiteturas de modelos de AAI, não se limitando a uma estrutura de rede específica.

Resultados Experimentais
Os autores avaliaram o ArtBoost nos conjuntos de dados de EMA HPRC e USC-TIMIT usando validação cruzada de exclusão de um locutor (leave-one-speaker-out).

• Ganhos de Desempenho: A aplicação do ArtBoost resultou em melhorias consistentes tanto no Coeficiente de Correlação de Pearson (PCC) quanto no Erro Quadrático Médio (RMSE). Notavelmente, no conjunto de dados USC-TIMIT (que possui menos amostras de verdade fundamental), o PCC melhorou aproximadamente +25% (de 0,351 para 0,510), enquanto o HPRC apresentou uma melhoria de +2%.
• Generalização: Melhorias foram observadas em múltiplos articuladores, incluindo aqueles não diretamente supervisionados pelos rótulos pseudo (ex: movimentos de língua e palato), sugerindo que o aumento melhora a representação aprendida pelo modelo sobre a dinâmica de produção da fala.
• Robustez: Os ganhos de desempenho foram consistentes em diferentes arquiteturas de AAI, incluindo modelos de Aprendizagem Auto-Supervisionada (SSL)-AAI e modelos de Independência de Locutor (SI)-AAI.
• Análise Qualitativa: Visualizações confirmaram que as trajetórias pseudo extraídas refletem dinâmicas articulatórias visíveis fisicamente significativas (ex: fechamento labial e movimento da mandíbula) e que as previsões finais do modelo alinham-se com as tendências temporais dos sinais de EMA de verdade fundamental.

Significância e Alegações
O artigo afirma que o ArtBoost fornece uma solução eficaz e escalável para o problema de limitação de dados em AAI. Ao aproveitar abundantes dados de fala–malha sintéticos, o método permite que os modelos aprendam um prior forte do movimento articulatório visível antes de refinar suas previsões em dados de sensores do mundo real limitados. Os autores postulam que os dados de fala–malha servem como uma fonte prática de supervisão articulatória, permitindo modelos de AAI mais robustos que podem generalizar melhor entre locutores e condições, mesmo quando as medições articulatórias diretas são escassas. O trabalho sugere que esta abordagem pode ser integrada perfeitamente em estruturas de AAI existentes para melhorar o desempenho sem a necessidade de campanhas de coleta de dados dispendiosas.