Face-to-Face: A Video Dataset for Multi-Person Interaction Modeling

Título: Face-to-Face: Um Conjunto de Dados de Vídeo para Modelagem de Interação entre Múltiplas Pessoas

1. O Problema

A modelagem do ritmo reativo e dinâmico da conversação humana permanece um desafio significativo na visão computacional. A maioria dos conjuntos de dados áudio-visuais existentes (como os usados para reconhecimento de fala ou síntese de "cabeças falantes") foca em falantes isolados entregando monólogos curtos ou em pessoas que estão no mesmo espaço, mas não interagem.
Esses dados falham em capturar a estrutura de "chamada e resposta" do diálogo, onde o comportamento da Pessoa B no tempo $t_1$ é estritamente condicionado pelo que a Pessoa A fez no intervalo anterior $[t_0, t_1]$. A falta de dados com dependências sequenciais dyádicas (entre dois indivíduos), consistência de identidade e interações densas impede o avanço em aplicações de Realidade Virtual, Interação Humano-Computador e IA Embutida.

2. Metodologia e Pipeline de Construção

Os autores introduzem o Face-to-Face with Jimmy Fallon (F2F-JF), um conjunto de dados de 70 horas contendo 14.123 clipes de conversas em formato de talk-show. A construção do conjunto de dados segue um pipeline semi-automático de quatro etapas (ilustrado na Fig. 2 do artigo):

1. Triagem Inicial (Initial Vetting): Utiliza rastreamento de múltiplas pessoas para cortar 400 horas de episódios brutos em segmentos onde exatamente duas identidades são visíveis simultaneamente, reduzindo o tempo total para 140 horas.
2. Localização do Anfitrião (Host Localization): A partir do áudio, utiliza-se diarização de fala (com sistemas como Pyannote) para identificar os intervalos de fala do anfitrião (Jimmy Fallon). Um classificador binário, treinado com um pequeno conjunto de dados rotulados e baseado em um modelo Gaussiano de embeddings, identifica quais falantes correspondem ao anfitrião com alta precisão (~98% F1).
3. Modelagem do Rosto do Anfitrião: Extrai-se exemplos de rostos das janelas de fala do anfitrião para criar um conjunto de referência visual. Um modelo de reconhecimento facial (ArcFace) é usado para gerar embeddings positivos, permitindo a verificação visual consistente.
4. Rastreamento e Atribuição de Identidade: O pipeline reprocessa os clipes filtrados, detectando rostos em cada quadro e classificando-os como "anfitrião" ou "convidado" com base no limiar de similaridade coseno aprendido. Rostos não-anfitriões são agrupados online para manter IDs consistentes dentro de cada clipe.

Pré-processamento para Tarefa de Avatar:
Para a tarefa de geração de avatares, os clipes são transformados em "cortes canônicos" (crops) sincronizados:

• Contexto do Convidado: Os primeiros 64 quadros (aprox. 2,5s) mostrando o convidado falando.
• Resposta do Anfitrião: Os 81 quadros seguintes (aprox. 3,2s) mostrando a reação do anfitrião.
• Clipes com baixa cobertura de detecção ou desproporção extrema de zoom são descartados.

3. Principais Contribuições

O artigo oferece três contribuições principais:

1. O Conjunto de Dados F2F-JF: Um recurso escalável de 70 horas, com clipes dyádicos de alta fidelidade, metadados de rastreamento quadro a quadro e áudio sincronizado, focado na interação anfitrião-convidado.
2. Pipeline de Processamento e Cortes Canônicos: Uma receita completa (código e método) para extrair pares de "contexto/resposta" prontos para modelagem de comportamento sequencial.
3. Baseline de Geração de Avatar Reativo: Uma arquitetura estendida do modelo MultiTalk (baseado no Wan 2.1 DiT) que incorpora um caminho de modulação de vídeo leve. O modelo gera a resposta do anfitrião condicionada não apenas ao seu próprio áudio, mas também ao vídeo prévio do convidado.

4. Resultados Experimentais

Os autores avaliaram o modelo gerador de avatares usando métricas de sincronização labial (Sync-C, Sync-D), realismo de distribuição (FVD) e alinhamento emocional (Emotion-FID). O estudo de ablação variou a escala de Classifier-Free Guidance (CFG) para o vídeo:

• Sincronização Labial: A sincronização fala-lábios (Sync-C/D) é melhor quando a condicionamento visual é fraca ou inexistente (CFG próximo a 0). Isso sugere que o áudio já contém as pistas temporais necessárias e que uma extrapolação visual agressiva pode perturbar levemente o timing.
• Realismo e Emoção: Métricas de distribuição (Emotion-FID e FVD) melhoram consistentemente à medida que a condicionamento visual aumenta. Isso indica que o uso do vídeo do convidado ajuda o modelo a gerar padrões de movimento e expressões emocionais mais alinhados com a interação real, mesmo que o timing labial não mude drasticamente.
• Qualidade Visual: Figuras qualitativas mostram que, com CFG alto, a cabeça e os gestos do anfitrião gerado refletem melhor a reação ao convidado (ex: inclinação da cabeça, contato visual), algo que modelos baseados apenas em áudio não conseguem capturar.

5. Significado e Impacto

• Preenchimento de Lacuna: O F2F-JF é o primeiro recurso de benchmark controlado focado especificamente em comportamento sequencial dyádico, permitindo estudar como um agente deve reagir visualmente a outro em tempo real.
• Validação de Conceito: O trabalho demonstra que é possível treinar modelos de difusão para incorporar contexto visual cruzado (de uma pessoa para outra) sem destruir a qualidade de sincronização labial.
• Futuro da Pesquisa: O conjunto de dados e a baseline fornecem um "blueprint" (modelo) para pesquisas futuras em avatares digitais inteligentes, interações sociais em VR e modelagem de comportamentos conversacionais complexos (como backchanneling, espelhamento e latência de resposta).
• Limitações e Expansão: Os autores reconhecem que o conjunto de dados tem viés (focado em um único anfitrião e ângulos de câmera específicos), mas planejam expandir o pipeline para outros anfitriões e culturas, tornando-se uma base para uma nova geração de IA socialmente consciente.

Em resumo, o paper não apenas libera um novo conjunto de dados, mas estabelece uma metodologia e uma linha de base técnica para que a comunidade de visão computacional comece a modelar a interação humana, e não apenas a fala individual.