Resumo Técnico: Investigando a Informatividade Multimodal sob Diferentes Condições de Visibilidade de Parceiros em Diálogo Mediado por Vídeo

Declaração do Problema

A comunicação humana é inerentemente multimodal e incorporada, onde gestos frequentemente carregam informações ausentes ou subespecificadas na fala. No entanto, os modelos de diálogo contemporâneos baseiam-se tipicamente apenas em transcrições de texto, falhando em aproveitar todo o espectro de pistas comunicativas. Embora trabalhos anteriores tenham estabelecido que gestos podem auxiliar na resolução de referências, permanece incerto quanto da informação referencial os gestos carregam de forma independente, como eles complementam a fala e como essa dinâmica muda sob diferentes condições de visibilidade de parceiros (ex: apenas áudio vs. mediado por vídeo). Além disso, os benchmarks existentes carecem da granularidade necessária para distinguir quando o gesto fornece valor único versus quando ele apenas reforça a fala. Este estudo aborda essas lacunas quantificando a informatividade de gestos icônicos e sua fusão com a fala em uma tarefa controlada de comunicação referencial.

Metodologia

Conjunto de Dados e Tarefa

O estudo utiliza a extensão de vídeo do conjunto de dados CABB (Akamine et al., 2025a,b), apresentando 90 participantes falantes de holandês organizados em 45 díades. A tarefa é um jogo de comunicação referencial onde um "Diretor" descreve um de 16 objetos visuais novos (Fribbles) para um "Casador" (Matcher), que deve identificar o alvo.

• Condições: As díades interagiram sob três condições de visibilidade: Apenas Áudio (AO), Vídeo Assimétrico (ASYM) e Vídeo Simétrico (SYM).
• Dados: O conjunto de dados inclui áudio de alta qualidade, transcrições ortográficas alinhadas no tempo (holandês/inglês), vídeo de múltiplos ângulos e dados de rastreamento de movimento.
• Formulação da Tarefa: O problema é formulado como uma classificação de referente sobre 16 candidatos (mais uma classe "OUTRO"). Os modelos preveem o objeto alvo dado uma transcrição de fala, uma sequência de gestos esqueléticos, ou ambos.

Abordagem de Modelagem

Os autores desenvolveram um pipeline comparando arquiteturas unimodais e multimodais:

1. Representações de Gesto: Dois layouts esqueléticos foram comparados:
   • MediaPipe-3D: 51 pontos-chave (coordenadas 3D).
   • MMPose-2D: 69 pontos-chave (coordenadas 2D incluindo o rosto).
   • Encoder: Ambos os layouts foram processados usando Redes Convolucionais de Grafos Espaço-Temporais (ST-GCN) para capturar dependências anatômicas e temporais.
2. Representações de Fala: As transcrições foram codificadas usando uma projeção de texto CLIP ViT-L/14 congelada.
3. Representações de Referente: Imagens dos 16 Fribbles foram codificadas usando a projeção de imagem CLIP congelada para servir como protótipos de classe.
4. Mecanismo de Fusão: Um módulo de fusão residual com portão (gated residual fusion) integra as representações de gesto e fala. A fusão é ancorada na fala, permitindo que o modelo controle seletivamente a informação do gesto com base no sinal de fala.
5. Alinhamento Apenas Durante o Treinamento: Um componente inovador envolve o alinhamento Pose-para-Imagem (P→V). Durante o treinamento, uma perda contrastiva (InfoNCE) alinha as representações de gesto aprendidas com as representações de imagem CLIP congeladas dos objetos alvo. Esse alinhamento é descartado no momento da inferência.
6. Baselines: O estudo compara contra um modelo de linguagem-visão de propósito geral (Qwen3-VL) e baselines unimodais.

Protocolo de Avaliação

• Métricas: Acurácia Top-k ($k \in \{1, 2, 3, 4, 5\}$), Macro-F1 e uma métrica de utilidade $U_{1:5}$ que mede a qualidade do ranking.
• Validação: Validação cruzada de cinco dobras (five-fold cross-validation), agrupada por tentativa para evitar vazamento de dados. Dados face a face foram usados apenas para treinamento auxiliar.
• Análise Estatística: Uma regressão logística binária Bayesiana foi empregada para analisar os efeitos da visibilidade e das rodadas de interação no desempenho do modelo e na produção de gestos humanos.

Principais Resultados

1. Gesto como um Canal Referencial Genuíno

Modelos de apenas gesto alcançaram desempenho significativamente acima do acaso:

• Acurácia Top-1: ~19,5–20,4% (Chance: 5,9%).
• Acurácia Top-5: ~55,5–56,4%, colocando o referente correto em uma lista curta em mais da metade das instâncias.
• Isso confirma que gestos icônicos sozinhos contêm informação referencial recuperável, independente da fala.

2. Complementaridade Seletiva do Gesto

Embora os modelos de apenas fala tenham performado fortemente (46,5% Top-1), adicionar o gesto proporcionou melhorias consistentes, embora modestas (~1,6–1,7 pontos percentuais).

• Ganho Impulsionado pela Incerteza: O benefício da fusão foi seletivo. No quartil de menor confiança das previsões de fala (onde a acurácia da fala era de ~20%), adicionar o gesto melhorou a acurácia em +7,5 pontos percentuais. Em segmentos de fala de alta confiança, o ganho foi insignificante.
• Isso indica que o gesto auxilia primariamente na resolução de referência quando o sinal verbal é ambíguo ou subespecificado.

3. Impacto do Alinhamento Pose-para-Imagem

O alinhamento P→V apenas durante o treinamento melhorou ainda mais o desempenho multimodal:

• A acurácia Top-1 aumentou em 1,7 pontos percentuais (de 48,1% para de 49,8%) para o melhor modelo de fusão.
• Crucialmente, este alinhamento não melhorou o desempenho de apenas gesto, sugerindo que seu papel principal é facilitar a integração do gesto na representação de fala, em vez de melhorar a discriminação do gesto isoladamente.

4. Efeitos da Visibilidade do Parceiro e Entrainment

• Visibilidade: A produção de gestos e a informatividade foram significativamente maiores quando os interlocutores podiam se ver (Vídeo Simétrico/Assimétrico) em comparação ao apenas áudio. No entanto, a fala e o desempenho do modelo de fusão permaneceram estáveis entre as condições de visibilidade.
• Entrainment (Sincronia): Ao longo de seis rodadas de interação, a acurácia da fala melhorou significamente (de 40,3% para 60,4%), refletindo o entrainment lexical (convencionalização de expressões de referência). Em contraste, a acurácia de apenas gesto permaneceu estável, e nenhum efeito de entrainment de gesto independente foi observado.

Significância e Contribuições

O artigo faz contribuições tanto para a modelagem técnica quanto para a análise da interação humana:

1. Modelagem Técnica: Demonstra que o gesto é um canal de informação recuperável e complementar no diálogo multimodal. O estudo estabelece que os ganhos de fusão estão concentrados em regiões de incerteza da fala, fornecendo uma visão mais matizada da integração multimodal do que métricas de desempenho agregadas. A introdução do alinhamento semântico apenas no treinamento (P→V) oferece um método para melhorar a fusão sem alterar os inputs no momento da inferência.
2. Análise da Interação Humana: Ao conectar o desempenho do modelo aos dados humanos, o estudo quantifica efeitos pragmáticos. Confirma que a visibilidade do parceiro modula a produção e a informatividade do gesto, enquanto a interação repetida impulsiona o entrainment lexical na fala, mas não necessariamente no gesto.
3. Rigor Metodológico: O uso de representações esqueléticas controladas (em vez de vídeo bruto) permite uma avaliação direta da informatividade do gesto, desvinculando-a das complexidades dos modelos de linguagem-visão de propósito geral que, como mostrado pelo baseline Qwen3-VL, podem falhar em utilizar frames de gesto de forma eficaz sem restrições arquiteturais específicas.

Os autores concluem que, embora os gestos sejam informativos, sua utilidade em modelos computacionais é mais pronunciada quando resolvem a ambiguidade no sinal verbal, e sua produção é fortemente influenciada pelo contexto visual da interação.