UniCUE: Unified Recognition and Generation Framework for Chinese Cued Speech Video-to-Speech Generation

O artigo apresenta o UniCUE, um framework unificado pioneiro que gera fala diretamente a partir de vídeos de Linguagem de Sinais Visual (Cued Speech) em mandarim sem depender de texto intermediário, integrando tarefas de reconhecimento e geração para superar as limitações de pipelines existentes e validado com um novo conjunto de dados em larga escala.

O essencial

Imagine que você está tentando entender o que alguém está dizendo apenas olhando para a boca dele. Isso é difícil, certo? Às vezes, dois sons parecem iguais quando vistos (como "p" e "b"), e o cérebro se confunde.

Agora, imagine que essa pessoa usa as mãos para fazer gestos específicos enquanto fala, como se estivesse "desenhando" as letras no ar. Isso é a Linguagem de Sinais de Apoio (ou Cued Speech). É como um código visual que ajuda pessoas com deficiência auditiva a entenderem perfeitamente o que está sendo dito, combinando o movimento da boca com o movimento das mãos.

O problema é: como transformar esse vídeo de mãos e boca em uma voz real e natural?

Até agora, as máquinas faziam isso em duas etapas separadas, como se fosse uma linha de montagem defeituosa:

1. Primeiro, uma IA tentava "ler" o vídeo e escrever o texto (ex: "Olá, como vai?").
2. Depois, outra IA pegava esse texto e o transformava em voz.

O problema dessa abordagem: Se a primeira IA errar uma letra, a segunda IA fala a frase errada. Além disso, a voz fica desalinhada com o vídeo, parecendo um dublagem ruim de filme.

A Solução: O "UniCUE" (O Maestro Unificado)

Os pesquisadores criaram um novo sistema chamado UniCUE. Pense nele não como uma linha de montagem, mas como um maestro de orquestra que entende a música e a toca ao mesmo tempo.

Aqui está como funciona, usando analogias simples:

1. O Olho que Entende (Processador Visual Consciente de Pose)

Antes, as IAs olhavam apenas para o vídeo bruto, que é cheio de "ruído" e detalhes desnecessários. O UniCUE usa uma lente especial que foca nos movimentos (como um dançarino que vê apenas a dança, ignorando a roupa).

• A Analogia: Imagine que você está tentando aprender a dançar. Se você olhar apenas para a foto da pessoa, não entende o movimento. Mas se você olhar para o "esqueleto" dela (os pontos das articulações), entende exatamente como ela se move. O UniCUE faz isso: ele mistura a imagem do vídeo com o "esqueleto" das mãos e da boca para entender a intenção do som.

2. O Tradutor de Significado (Pool de Alinhamento Semântico)

O sistema precisa garantir que o que a mão está dizendo combine perfeitamente com o que a boca está dizendo.

• A Analogia: Pense em um tradutor simultâneo em uma conferência. Ele não apenas traduz palavra por palavra; ele garante que o sentimento e o significado da frase original sejam mantidos na tradução. O UniCUE usa um "piscar de olhos" matemático (aprendizado contrastivo) para garantir que o gesto da mão e o som da voz estejam sempre "casados" e fazendo sentido juntos.

3. A Ponte Mágica (VisioPhonetic Adapter)

Esta é a parte mais genial. O sistema de reconhecimento (que entende o vídeo) e o sistema de geração (que cria a voz) falam "línguas" diferentes.

• A Analogia: Imagine que o reconhecimento é um pintor que descreve uma paisagem em detalhes, e a geração de voz é um músico que precisa tocar essa paisagem. O Adapter é como um tradutor que pega a descrição do pintor e a transforma instantaneamente em partitura musical para o músico. Isso permite que a voz seja criada diretamente a partir da compreensão visual, sem passar pelo texto escrito, evitando erros de digitação e mantendo o ritmo perfeito.

O Grande Diferencial: Inclusão Real

A maioria dos sistemas antigos foi treinada apenas com pessoas que ouvem bem. Mas pessoas com deficiência auditiva muitas vezes têm movimentos de boca diferentes ou menos claros.

• A Inovação: Os pesquisadores criaram um novo banco de dados gigante (o UniCUE-HI) com vídeos de pessoas que têm e não têm deficiência auditiva. É como treinar um motorista não apenas em estradas perfeitas, mas também em estradas de terra e chuva, para que ele saiba dirigir em qualquer situação.

O Resultado?

O UniCUE consegue pegar um vídeo de alguém fazendo os sinais com as mãos e a boca, e gerar uma voz humana, natural e perfeitamente sincronizada, sem precisar escrever o texto no meio do caminho.

• É mais rápido: Não precisa esperar o texto ser escrito.
• É mais preciso: Não erra palavras porque "entendeu" o gesto antes de falar.
• É mais humano: A voz soa natural e respeita o ritmo de quem está falando.

Em resumo, o UniCUE é como dar uma voz nova e clara para quem usa a linguagem de apoio, permitindo que a comunicação entre surdos e ouvintes seja fluida, instantânea e sem barreiras.

Resumo técnico

1. Problema e Contexto

A Linguagem de Sinais Cued (Cued Speech - CS) é um sistema visual que utiliza formas e posições das mãos para complementar a leitura labial, ajudando pessoas com deficiência auditiva a distinguir fonemas que parecem iguais na boca. O objetivo do trabalho é a tarefa de Geração de Áudio a partir de Vídeo de CS (CSV2S), que visa converter vídeos de CS em sinais de fala inteligíveis.

Os desafios principais identificados pelos autores são:

• Abordagens Atuais (CSR + TTS): A maioria das soluções existentes combina Reconhecimento de CS (CSR) para transcrever vídeo em texto e, em seguida, usa um sistema Texto-para-Fala (TTS). Isso introduz propagação de erros (erros no reconhecimento afetam a fala) e desalinhamento temporal, pois o texto intermediário perde as nuances espaciais e temporais finas do vídeo.
• Geração Direta (End-to-End): Gerar áudio diretamente do vídeo sem texto intermediário é difícil devido à complexidade multimodal (mãos + lábios) e à escassez de dados de CS, especialmente de falantes com deficiência auditiva.
• Falta de Dados: Conjuntos de dados existentes focam apenas em falantes ouvintes, limitando a generalização para o público-alvo principal (pessoas com deficiência auditiva).

2. Metodologia: O Framework UniCUE

O UniCUE é o primeiro framework unificado que realiza a geração de fala diretamente a partir de vídeos de CS, sem depender de um texto intermediário. A arquitetura integra duas tarefas: Reconhecimento (CSR) e Geração (CSV2S), compartilhando representações visuais.

Componentes Principais:

1. Processador Visual Consciente de Pose (Pose-aware Visual Processor):

   • Em vez de processar apenas frames de vídeo brutos, o modelo ingere tanto o vídeo quanto mapas de pose (extraídos via OpenPose).
   • Utiliza um codificador visual compartilhado (ResNet + Transformer) para fundir as características de movimento dos lábios e das mãos em uma representação mista ($Z_{mv}$).
   • Isso permite modelar a "fenômeno de precedência da mão" (onde o sinal manual antecede o movimento labial) e captura nuances expressivas específicas de cada usuário.

2. Pool de Alinhamento Semântico (Semantic Alignment Pool):

   • Utiliza aprendizado contrastivo para alinhar as representações visuais (vídeo e pose) com o espaço semântico textual.
   • Garante que as características visuais extraídas correspondam semanticamente aos fonemas e palavras, servindo como uma "ponte" entre a compreensão visual e a geração de áudio.

3. Adaptador VisioFonético (VisioPhonetic Adapter - VPA):

   • É o módulo inovador que conecta a tarefa de reconhecimento à geração.
   • Transforma as representações visuais semânticas ($Z_{mv}$) em condições compatíveis com um modelo de difusão latente.
   • Usa mecanismos de atenção cruzada e vetores aprendidos para refinar as características visuais em sinais fonéticos adequados para síntese de áudio.

4. Arquitetura Unificada:

   • Caminho de Reconhecimento (CSR): Usa um decodificador autoregressivo para transcrever o vídeo em texto, supervisionado por perda de entropia cruzada e modelagem de linguagem mascarada.
   • Caminho de Geração (CSV2S): Usa um Modelo de Difusão Latente (LDM) condicionado pelas representações refinadas pelo VPA para gerar espectrogramas de áudio, que são convertidos em fala por um vocoder.

3. Contribuições Chave

• Primeiro Framework Unificado CSV2S: Propõe uma arquitetura que transfere capacidades de compreensão visual (CSR) para melhorar diretamente a geração de fala, eliminando a necessidade de texto intermediário.
• Novo Conjunto de Dados (UniCUE-HI): Os autores construíram o maior conjunto de dados de CS em Mandarim até a data, contendo 11.282 vídeos de 14 falantes (6 ouvintes e 8 com deficiência auditiva). Isso preenche uma lacuna crítica, permitindo treinar e testar modelos para o público real de usuários assistivos.
• Mecanismos Técnicos Inovadores: Introdução do Pose-aware Visual Processor para fusão multimodal robusta e do VisioPhonetic Adapter para mapeamento eficiente entre visão e fonética em modelos de difusão.

4. Resultados Experimentais

Os experimentos foram conduzidos no conjunto de dados UniCUE-HI, comparando o UniCUE com métodos SOTA (State-of-the-Art) de reconhecimento (CSR), geração de fala a partir de lábios (Lip2Speech, LipVoicer) e pipelines combinados.

• Precisão Linguística: O UniCUE alcançou a menor Taxa de Erro de Palavras (WER) em ambos os grupos (0.205 para ouvintes e 0.248 para deficientes auditivos), superando significativamente os métodos diretos e os pipelines CSR+TTS.
• Sincronização Temporal: Métricas como LSE-D (distância temporal) e LSE-C (confiança) mostraram que o áudio gerado está perfeitamente alinhado com o vídeo de entrada, superando métodos que ignoram a dinâmica das mãos.
• Qualidade de Fala: O modelo obteve pontuações superiores em DNSMOS (naturalidade) e STOI (inteligibilidade).
• Estudo com Usuários: Uma avaliação subjetiva com 20 voluntários confirmou que o UniCUE é percebido como mais inteligível, natural e sincronizado do que as abordagens existentes.
• Ablação: A remoção de qualquer componente (Processador de Pose, Pool de Alinhamento ou VPA) resultou em degradação significativa, validando a importância de cada módulo.

5. Significado e Impacto

O trabalho do UniCUE representa um avanço significativo na tecnologia assistiva para pessoas com deficiência auditiva. Ao permitir a conversão direta e precisa de sinais visuais complexos (mãos e lábios) em fala natural e sincronizada, o sistema facilita a comunicação em tempo real em ambientes educacionais e sociais. A inclusão de dados de falantes com deficiência auditiva no conjunto de treinamento é particularmente crucial, pois garante que a tecnologia seja robusta e eficaz para os usuários que mais precisam dela, superando as limitações de modelos treinados apenas com dados de falantes ouvintes.