Resumo Técnico: MuVAP

Declaração do Problema

Os modelos atuais de alternância de turnos (turn-taking) multiparty enfrentam limitações significativas em cenários reais de Interação Humano-Robô (HRI). Abordagens tradicionais frequentemente dependem de matrizes de microfones complexas, configurações de múltiplas câmeras ou entradas de áudio multicanais para isolar os falantes, o que é impraticável para ambientes não controlados. Além disso, os modelos de Projeção de Atividade de Voz (VAP) existentes, embora eficazes para interações diádicas (dois participantes), sofrem com a complexidade combinatória quando escalonados para configurações multiparty; o espaço de rótulos cresce exponencialmente com o número de falantes ($N$), tornando-os inadequados para tamanhos de grupo dinâmicos. Adicionalmente, os conjuntos de dados existentes usados para Detecção de Falante Ativo (ASD) frequentemente contêm cortes editoriais (jump cuts) que interrompem o fluxo temporal causal necessário para treinar modelos preditivos de alternância de turnos.

Metodologia

Os autores propõem o MuVAP (Multimodal Multiparty Voice Activity Projection), um framework causal projetado para prever a dinâmica de alternância de turnos usando apenas um fluxo de áudio monoaural e uma única visão de câmera. A arquitetura consiste em três componentes primários:

1. Projeção Relativa ao Papel: Para abordar o problema de escalabilidade da modelagem multiparty, os autores introduzem uma abstração inovadora que mapeia qualquer interação de $N$ falantes em um estado fixo de "Atual vs. Próximo" detentor do turno (floor-holder). Em vez de modelar todas as permutações possíveis de falantes, o sistema identifica o falante com a maior atividade histórica como o "Detentor Atual" e o falante com a maior atividade futura como o "Próximo Detentor". Isso reduz o estado variável de $N$ falantes para uma representação pareada fixa, comprimindo o espaço de rótulos de exponencial para um tamanho gerenciável (136 estados únicos para um vetor de 8 bits).
2. Arquitetura Multimodal Causal:
   • Backbone VAP: Extrai pistas prosódicas e linguísticas de áudio bruto usando um codificador de Codificação Preditiva Contrastiva (CPC) e um Transformer causal.
   • Backbone ASD Causal: Uma arquitetura TalkNet modificada que é pré-treinada em múltiplos conjuntos de dados para gerar embeddings visuais robustos para separação de falantes. Utiliza convoluções causais e atenção cruzada para fundamentar sinais acústicos a rastreios faciais específicos sem depender de quadros futuros.
   • Módulo de Fusão: O modelo funde embeddings de áudio globais ($Z_{VAP}$) com embeddings visuais de falantes individuais ($Z_{ASD}$) por meio de um Transformer de Quadro e um Transformer Temporal. Ele produz duas saídas: GlobalVAP (GVAP) para prever o estado global de mudança/manutenção (shift/hold) e SpeakerVAP (SVAP) para prever a atividade de um falante específico.
3. Estratégia de Treinamento: O modelo utiliza uma abordagem de treinamento modular:
   • Fisher Corpus (1960h): Para aprender sinais acústicos de alternância de turnos (VAP).
   • MSDWild, WASD, AVA-AS (140h+): Para pré-treinar o módulo ASD.
   • AVCC (31h): Para otimizar a dinâmica temporal em sequências multiparty contínuas e não editadas.

Principais Contribuições

• Framework MuVAP: Um modelo multimodal causal que permite a predição de alternância de turnos sensível ao falante a partir de um único canal de áudio e uma única visão de câmera, eliminando a necessidade de matrizes de microfones ou geometria de múltiplas visões.
• Projeção Relativa ao Papel: Um método inovador para lidar com a complexidade multiparty ao abstrair a dinâmica de grupo em um estado fixo de "Atual vs. Próximo", permitindo que o modelo se generalize para tamanhos de grupo arbitrários sem necessidade de retreinamento.
• Corpus de Conversa Áudio-Visual (AVCC): A introdução de um novo conjunto de dados de 31 horas de conversas multiparty de câmera única e não editadas. Diferente de conjuntos de dados existentes (ex: MSDWild), o AVCC preserva o fluxo conversacional natural, incluindo silêncios mútuos, sobreposições e pistas de pré-turno, que são essenciais para a modelagem causal de alternância de turnos.
• Predição Hierárquica: Uma abordagem de tarefa dupla onde o GVAP atua como um "condutor social" para prever transições de turno globais, que então condicionam o SVAP para identificar o próximo falante específico.

Resultados

As avaliações foram conduzidas no conjunto de dados AVCC para duas tarefas: Predição de Mudança/Manutenção (classificação binária de se um turno irá mudar ou ser mantido) e Predição do Próximo Falante (NSP) (identificação do próximo falante).

• Predição de Mudança/Manutenção: O MuVAP superou bases fortes, incluindo um modelo VAP unimodal e uma base MLP não fundida. Em configurações de 2 falantes, o MuVAP alcançou um Macro-F1 de 0,696 (Silencioso) e 0,641 (Ativo), comparado ao VAP unimodal de 0,672 e 0,622, respectivamente. Os resultados indicam que a fundamentação visual auxilia significativamente na distinção de sinais acústicos sobrepostos.
• Predição do Próximo Falante: O MuVAP alcançou uma acurácia de 0,637 (2 falantes, Silencioso) e 0,477 (3 falantes, Silencioso), superando a base MLP. O desempenho melhorou ainda mais ao condicionar as predições nas saídas do GVAP e na identificação do falante anterior.
• Validação da Projeção Relativa ao Papel: Experimentos no corpus Fisher mostraram que a Projeção Relativa ao Papel (usando áudio mono) alcançou um Macro-F1 de 0,778, apenas ligeiramente inferior à projeção baseada em falante usando áudio estéreo (0,799), validando a viabilidade da abordagem para entradas de canal único.

Significância e Alegações

O artigo afirma que o MuVAP representa um passo significativo para o implante de agentes conversacionais responsivos em ambientes sociais reais usando apenas hardware comum (microfone único e câmera). Ao demonstrar que a fundamentação visual via rastreios ASD pode substituir efetivamente a separação de áudio espacial, o framework aborda um gargalo crítico na HRI. Os autores enfatizam que sua abordagem imita a atenção social humana ao focar no atual e no próximo detentores do turno, evitando assim a explosão combinatória da modelagem conjunta.

A introdução do conjunto de dados AVCC é destacada como uma contribuição crucial, pois fornece o primeiro recurso de larga escala não editado para treinar modelos causais de alternância de turnos "no mundo real", superando as limitações de conjuntos de dados editados que quebram a continuidade temporal. Os autores concluem que a combinação de redução de estado escalável (Projeção Relativa ao Papel) com fundamentação audiovisual oferece um caminho robusto para a predição de interação multiparty, embora notem que trabalhos futuros são necessários para validar a escalabilidade em grupos maiores e diversas línguas.