From Synchrony to Sequence: Exo-to-Ego Generation via Interpolation

1. Problema e Motivação

O artigo aborda o desafio da geração de vídeo Exo-to-Ego (de uma visão de terceira pessoa para uma visão em primeira pessoa). O objetivo é sintetizar um vídeo em primeira pessoa (egocêntrico, $g$) a partir de um vídeo sincronizado em terceira pessoa (exocêntrico, $x$) e suas poses de câmera correspondentes.

Embora a sincronização temporal forneça pares de dados supervisionados, o trabalho identifica que essa sincronização introduz descontinuidades espaciais, temporais e geométricas severas.

• O Desafio Central: A transição direta entre o último quadro da visão exocêntrica e o primeiro quadro da visão egocêntrica cria um "salto" abrupto.
• Limitação dos Métodos Atuais: Modelos de geração de vídeo padrão (baseados em difusão) assumem trajetórias de movimento suaves e contínuas. Eles falham ao lidar com essas descontinuidades abruptas de ponto de vista e pose, resultando em artefatos visuais e falta de coerência temporal.

2. Metodologia: Syn2Seq-Forcing

Os autores propõem uma nova formulação chamada Syn2Seq-Forcing (Sincronia para Sequência), que transforma o problema de um modelo "condição-para-saída" (condition-output) para um modelo de sinal sequencial contínuo.

A. Interpolação como Ponte

Em vez de tentar gerar o vídeo egocêntrico diretamente a partir do exocêntrico, o método interpola entre as duas visões para criar um sinal único e contínuo:

1. Sequência Unificada ($S$): O vídeo de entrada é construído concatenando:
   • O vídeo exocêntrico original ($X$).
   • Um segmento intermediário interpolado ($I$) que faz a transição visual suave entre o último quadro de $X$ e o primeiro quadro de $G$.
   • O vídeo egocêntrico alvo ($G$).
2. Interpolação de Pose: Similarmente, as poses da câmera são interpoladas para criar uma trajetória suave ($P$) entre as poses exocêntricas e egocêntricas.

B. Geração de Interpolação (WFLF)

Para criar os quadros intermediários de alta qualidade ($I$), o trabalho utiliza o modelo WAN2.2 First/Last Frame (WFLF).

• Este modelo é usado para gerar os quadros de transição entre o último quadro exocêntrico e o primeiro egocêntrico.
• Esses quadros gerados atuam como "pseudo-ground-truth" durante o treinamento, servindo como uma ponte visual que o modelo principal deve aprender a navegar.

C. Modelo Base: Diffusion Forcing Transformer (DFoT)

O núcleo do sistema é o DFoT, um modelo de difusão projetado para condicionamento de histórico flexível.

• Funcionamento: Ao contrário de pipelines padrão que assumem um layout de condicionamento fixo, o DFoT aplica níveis de ruído independentes para cada quadro.
• Vantagem: Isso permite que o modelo trate o histórico (quadros passados) como uma máscara dinâmica. Quadros com muito ruído atuam como "não condicionados", enquanto quadros com pouco ruído fornecem contexto histórico.
• Aplicação: O modelo é treinado para denoizar a sequência completa $S$ (Exo + Interpolação + Ego) condicionada à sequência de poses $P$.

3. Contribuições Principais

1. Identificação da Raiz do Problema: O trabalho demonstra que a principal barreira na geração Exo-to-Ego não é apenas a qualidade do condicionamento, mas as descontinuidades induzidas pela sincronização.
2. Reformulação Sequencial: A proposta de substituir a abordagem de mapeamento direto por uma modelagem sequencial com interpolação, permitindo que modelos de difusão capturem transições coerentes.
3. Ganhos de Desempenho sem Interpolação de Pose: Um achado crucial é que interpolar apenas os quadros de vídeo (sem interpolar as poses) já resulta em melhorias significativas, indicando que a descontinuidade visual/espacial-temporal é o fator dominante de dificuldade.
4. Unificação de Direções: O framework é geral o suficiente para unificar tanto a geração Exo-to-Ego quanto Ego-to-Exo em um único modelo contínuo.

4. Resultados Experimentais

Os experimentos foram realizados no conjunto de dados Ego-Exo4D, nas categorias Bike (Ciclismo), Cooking (Cozinha) e Health (Saúde).

• Métricas: O método foi avaliado usando PSNR, SSIM e LPIPS.
• Comparação: O método Syn2Seq-Forcing superou consistentemente os baselines mais recentes, incluindo TrajectoryCrafter, Wan-FCtrl, Wan VACE e Exo2EgoSyn.
  • Exemplo: Na categoria Health, o método alcançou um PSNR de 16.71 (vs. 15.62 do melhor baseline), um SSIM de 0.57 (vs. 0.48) e um LPIPS de 0.48 (menor é melhor).
• Estudos de Ablação:
  • A interpolação de quadros (Frame Interpolation - FI) sozinha trouxe grandes ganhos.
  • A adição da interpolação de pose (Pose Interpolation - PI) trouxe melhorias adicionais, mas menores, confirmando que a transição visual é o gargalo principal.
  • O uso de Embeddings de Plücker para as poses de câmera mostrou-se superior a outras representações (Global ou Ray Encoding).

5. Significado e Impacto

Este trabalho oferece uma nova perspectiva fundamental para a síntese de vídeo de visão cruzada (cross-view).

• Mudança de Paradigma: Ao tratar a transição de visão não como um salto instantâneo, mas como uma sequência contínua de eventos a serem modelados, o trabalho resolve um problema fundamental de coerência temporal que limita os geradores de vídeo atuais.
• Flexibilidade: A abordagem permite um controle mais fino sobre a transição de perspectiva e abre caminho para a geração de sequências longas e bidirecionais (ex: alternar entre visão de primeira e terceira pessoa em um único vídeo).
• Eficiência: Demonstra que é possível obter resultados de alta qualidade sem a necessidade de priores 3D complexos ou múltiplas visões exocêntricas, dependendo apenas de uma única visão exocêntrica e poses de câmera.

Em resumo, o artigo estabelece que suavizar a trajetória do sinal de entrada (através de interpolação) é a chave para habilitar modelos de difusão modernos a realizarem tarefas complexas de mudança de perspectiva em vídeo.