Resumo Técnico: OmniMate

Definição do Problema

Avanços recentes em modelos generativos baseados em difusão permitiram a geração de avatares orientados por áudio de alta fidelidade e em tempo real, além de uma síntese audiovisual unificada. No entanto, estender essas capacidades para o streaming interativo de código aberto (open-ended) apresenta dois desafios críticos:

1. Horizonte de Geração Desconhecido: Ao contrário da geração convencional com segmentos de fala predefinidos, o streaming interativo requer que o modelo gere respostas baseadas em prompts de execução sem saber antecipadamente quando o conteúdo será concluído. Durações fixas correm o risco de truncar respostas ou gerar redundância, enquanto a detecção explícita de conclusão introduz latência, o que prejudica a interação em tempo real.
2. Deriva de Identidade Cross-Modal de Longo Prazo: Em cenários de streaming com contexto temporal limitado, as pistas de identidade visual (aparência, pose) e as pistas de identidade do falante (timbre de voz) tendem a desaparecer ao longo do tempo. Abordagens de referência única têm dificuldade em manter a consistência em poses, pontos de vista não vistos e múltiplas turnos de conversa, levando à deriva de identidade.

Metodologia

Os autores propõem o OmniMate, um framework unificado projetado para a geração de avatares audiovisuais interativos em tempo real e de código aberto. O sistema sintetiza conjuntamente fala, movimentos faciais, gestos corporais e efeitos sonoros relacionados a ações, mantendo transições suaves entre os estados de "escuta" (listening) e "execução" (execution). O framework é construído sobre o modelo de fundação LTX2.3 e incorpora dois módulos inovadores:

1. Controlador de Progresso de Geração (GPC)

O GPC aborda o desafio da terminação adaptativa de resposta e das transições de estado suaves.

• Mecanismo: Ele modela explicitamente o progresso da geração de cada fragmento (chunk) de streaming. Dado um tempo de execução estimado de um LLM, o GPC mapeia o progresso alinhado ao latente para embeddings de tempo contínuos (variando de 1 a 1000 para execução, e 0 para escuta).
• Injeção: Esses sinais de progresso são injetados nas representações latentes via um Perceptron de Camada Múltipla (MLP) e Codificação Posicional Senoidal.
• Estratégia de Treinamento: Os autores constroem dados de treinamento de transição de estado usando um modelo professor bidirecional destilado por DMD. Este professor gera sequências com transições explícitas entre estados de execução e escuta. Uma máscara de atenção cruzada de texto por segmento é aplicada para garantir que o modelo estudante aprenda a atender a prompts específicos (execução vs. escuta) com base no sinal de progresso injetado, evitando o vazamento semântico entre as fronteiras de estado.

2. Módulo de Condicionamento de Múltiplas Referências (MRCM)

O MRCM aborda a preservação de identidade de longo prazo aproveitando pistas persistentes.

• Condicionamento Visual: Em vez de uma única referência, o módulo concatena múltiplas imagens de referência (até quatro) com os latentes de vídeo ruidosos ao longo da dimensão temporal. Embeddings de Posição Rotativa Negativos (Negative RoPE) são aplicados a esses tokens de referência para evitar que interfiram nas posições temporais dos frames gerados.
• Condicionamento de Falante: Uma estratégia livre de treinamento é empregada, onde um segmento de áudio de referência (ou uma fala de aquecimento gerada pelo modelo) é usado para substituir os latentes de áudio gerados durante o processo de denoising. Isso garante um timbre de voz e características de falante consistentes durante toda a interação.

Pipeline de Treinamento e Inferência

O processo de treinamento envolve quatro estágios:

1. Ajuste fino (fine-tuning) do LTX2.3 com condicionamento de identidade visual.
2. Destilação de um modelo professor bidirecional de poucos passos usando Destilação de Correspondência de Distribuição (DMD) e construção de trajetórias de ODE de transição de estado.
3. Inicialização de ODE: Otimização conjunta do GPC e do modelo causal estudante.
4. Self-Forcing DMD: Destilação adicional do modelo para reforçar o comportamento autorregressivo, onde cada chunk atende apenas aos chunks de referência, ao primeiro chunk e aos chunks adjacentes.

Durante a inferência, o sistema utiliza um LLM para gerar o conteúdo da resposta e a duração estimada. O GPC converte essa duração em sinais de progresso para guiar a geração em streaming, enquanto o MRCM mantém a consistência da identidade.

Principais Contribuições

1. Framework OmniMate: Um framework de geração de avatar audiovisual interativo em tempo real e de código aberto, capaz de sintetizar conjuntamente fala, expressões, gestos e sons ambientais com baixa latência.
2. Controlador de Progresso de Geração (GPC): Um controlador inovador que modela explicitamente o progresso da geração, permitendo que o modelo siga cronogramas de execução desejados, alcance transições suaves entre estados de escuta e execução, e responda a novas instruções com latência mínima.
3. Módulo de Condicionamento de Múltiplas Referências (MRCM): Um módulo que utiliza múltiplas imagens de referência e um segmento de áudio de referência para preservar a consistência de identidade visual e de falante de longo prazo durante interações estendidas de streaming.

Resultados Experimentais

Os autores avaliaram o OmniMate em uma adaptação orientada à interação do VerseBench, comparando-o com modelos offline de última geração (ex: Ovi-1.1, MOVA, UniVerse-1) e modelos de tempo real (ex: OmniForcing, Hallo-Live).

• Métricas de Desempenho: O OmniMate alcançou a maior velocidade de geração (27,64 FPS) e o menor Tempo para o Primeiro Frame (3,49s) entre os métodos de tempo real, mantendo uma qualidade visual competitiva e precisão de sincronia labial (lip-sync).
• Consistência: O modelo demonstrou superior consistência audiovisual (IB-Score) e forte preservação de identidade de áudio (A-ID) e identidade visual (V-ID) ao longo de longas durações.
• Estudos de Ablação: Experimentos confirmaram que a remoção do GPC levava a transições de estado imprecisas e fala repetitiva, enquanto a remoção dos componentes do MRCM resultava em degradação da identidade visual sob diferentes pontos de vista e características de falante inconsistentes.
• Estabilidade de Longa Duração: Avaliações em 30s, 60s e 240s não mostraram degradação significativa na qualidade ou consistência, validando a capacidade do framework para interações estendidas.

Significância e Alegações

O artigo afirma que o OmniMate fornece uma solução robusta para sistemas de avatar interativos em tempo real, resolvendo os trade-offs fundamentais entre a incerteza do horizonte de geração e a preservação de identidade de longo prazo. Ao integrar o controle de progresso adaptativo e o condicionamento de múltiplas referências, o framework permite conversas de múltiplos turnos naturais, imersivas e coerentes, onde o avatar pode alternar suavemente entre ouvir e falar sem deriva de identidade ou constrangimentos causados pela latência. Os autores posicionam o OmniMate como um passo em direção a comportamentos conversacionais de usuário-avatar responsivos e realistas, que mantêm alta fidelidade por períodos prolongados.

Limitações

Os autores reconhecem que respostas extremamente longas ou estimativas de duração imprecisas podem ocasionalmente levar a omissões de palavras ou repetições. Além disso, os mecanismos atuais de preservação de identidade limitam a geração de ações que envolvam grandes mudanças de aparência ou de cena. Trabalhos futuros são propostos para focar em um melhor modelagem de progresso e na extensão do framework para interações autônomas de longo horizonte.