Automated Detection of Mutual Gaze and Joint Attention in Dual-Camera Settings via Dual-Stream Transformers

1. Declaração do Problema

A detecção de Olhar Mútuo (MG) e Atenção Conjunta (JA) é fundamental para a psicologia do desenvolvimento, particularmente na compreensão das interações entre cuidadores e bebês. No entanto, a análise tradicional depende da codificação manual e intensiva em mão de obra de gravações de vídeo, o que é lento, propenso a erros humanos e difícil de escalar.

• Desafios: A detecção automatizada em configurações laboratoriais de múltiplas câmeras é computacionalmente difícil devido às dinâmicas relacionais cruzadas complexas entre câmeras.
• Limitações dos Métodos Existentes:
  • Rastreamento ocular: Alta precisão, mas baixa validade ecológica (requer uso de dispositivos ou estímulos baseados em tela).
  • Linhas de base convolucionais: Frequentemente falham em capturar as relações espaciais e semânticas entre dois indivíduos através de diferentes vistas de câmera.
  • LLMs Multimodais: Embora poderosos, muitas vezes carecem da sensibilidade temporal de alta granularidade necessária para limites comportamentais específicos e sofrem com altos custos computacionais e latência.

2. Metodologia

Os autores propõem uma Arquitetura Transformer de Duplo Fluxo projetada para processar fluxos de vídeo sincronizados de duas câmeras (uma focada no bebê, outra no cuidador) para realizar classificação binária ao nível de quadro para MG e JA.

A. Visão Geral da Arquitetura

• Entrada de Duplo Fluxo: O modelo processa dois fluxos de vídeo paralelos simultaneamente.
• Backbones Congelados (GazeLLE): Em vez de treinar um extrator de características do zero, os autores utilizam o GazeLLE (um modelo consciente do olhar baseado no DINOv2) como um backbone congelado. Este modelo extrai priores visuais ricos e características conscientes do olhar diretamente de entradas RGB.
  • Dois módulos GazeLLE operam em paralelo com pesos compartilhados.
  • Uma camada de projeção linear reduz a amostragem dos embeddings de alta dimensão para 512 dimensões para reduzir a sobrecarga computacional.
• Mecanismo de Fusão de Tokens:
  • As sequências de tokens projetadas de ambas as vistas de câmera são concatenadas.
  • Um token [CLS] aprendível é adicionado ao início da sequência para servir como uma representação global do estado de duas câmeras.
  • Esta sequência é alimentada em um Codificador Transformer (3 camadas, 4 cabeças de atenção) que modela conjuntamente relações espaciais e de vista cruzada, permitindo que o token [CLS] agregue informações contextuais de ambos o pai e a criança.
• Cabeça de Classificação: O token [CLS] atualizado é passado através de um Perceptron de Multicamadas (MLP) com ativações ReLU e LayerNorm para produzir um único logit, que é convertido em uma probabilidade via uma função sigmoide.

B. Conjunto de Dados e Pré-processamento

• Fonte de Dados: Um conjunto de dados semi-naturalista de 13 díades cuidador-bebê participando de sete sessões observacionais.
• Configuração: Três câmeras sincronizadas foram utilizadas (vista do bebê, vista do pai, vista de cima), embora o modelo utilize apenas as vistas do bebê e do pai.
• Pipeline de Pré-processamento:
  1. Sincronização: A correlação cruzada de áudio foi usada para alinhar os dois fluxos de câmera, corrigindo deslocamentos induzidos por hardware de até 1 segundo.
  2. Extração de Quadros: Os vídeos foram amostrados a 1 fps para equilibrar a dinâmica comportamental com a eficiência computacional.
  3. Detecção de Rosto: O RetinaFace foi usado para detectar rostos e gerar caixas delimitadoras de cabeça (máscaras), que são entradas necessárias para o backbone GazeLLE.
  4. Anotação: Uma ferramenta personalizada baseada em React foi desenvolvida para anotação manual, permitindo que pesquisadores rotulassem eventos de MG e JA com alta precisão temporal.
• Divisão de Dados: Uma divisão temporal foi utilizada (os primeiros 10% para validação, o restante para treinamento) para evitar vazamento de dados. O conjunto de teste consistiu em duas sessões mantidas de fora.

3. Principais Contribuições

1. Arquitetura Novel: Introdução de um Transformer de duplo fluxo que aproveita backbones congelados conscientes do olhar (GazeLLE) e um mecanismo de fusão de tokens personalizado para bridar a lacuna espacial entre vistas de duas câmeras.
2. Avaliação Extensiva: Comparação rigorosa contra uma linha de base leve de Rede Neural Convolucional (CNN) e um Modelo de Linguagem Multimodal de Grande Escala (LLM) de última geração (Llama-4 Vision).
3. Ciência Aberta: Os autores disponibilizaram o código-fonte da arquitetura do modelo, pesos pré-treinados e o conjunto de dados de teste, fornecendo uma base eficiente em parâmetros para que outros pesquisadores ajustem finamente modelos para seus ambientes laboratoriais específicos.
4. Ferramentas Personalizadas: Desenvolvimento de uma ferramenta de anotação personalizada e uma interface de visualização para revisar as previsões do modelo contra a verdade fundamental.

4. Resultados

O modelo proposto foi avaliado em um conjunto de teste mantido de fora usando Precisão, Revocação, F1-score e ROC-AUC.

• Detecção de Olhar Mútuo (MG):
  • Modelo Proposto: F1-score 0,825, AUC 0,834.
  • Linha de Base CNN: F1-score 0,655, AUC 0,429 (próximo de um palpite aleatório).
  • Linha de Base LLM: F1-score 0,480, AUC 0,602.
• Detecção de Atenção Conjunta (JA):
  • Modelo Proposto: F1-score 0,767, AUC 0,862.
  • Linha de Base CNN: F1-score 0,589, AUC 0,681 (alta variância na revocação).
  • Linha de Base LLM: F1-score 0,610, AUC 0,595.

Principais Descobertas:

• O modelo Transformer superou significativamente ambas as linhas de base no equilíbrio entre precisão e revocação.
• A linha de base CNN falhou em generalizar, sugerindo que características espaciais puramente locais são insuficientes para modelar dinâmicas relacionais de vista cruzada.
• A linha de base LLM mostrou um viés para superprever eventos e carecia da precisão temporal para delinear limites comportamentais estritos, resultando em menores F1-scores.
• Eficiência: O modelo proposto alcançou uma taxa de transferência de inferência de 9,46 amostras/segundo em uma NVIDIA A100, enquanto o LLM alcançou apenas 0,14 amostras/segundo e exigiu significativamente mais memória de GPU (duas GPUs de 40GB versus uma única de menor footprint para o modelo proposto).

5. Significado e Impacto

• Bridando a Lacuna: Este trabalho efetivamente conecta a modelagem computacional e a ciência comportamental aplicada, fornecendo uma ferramenta escalável e automatizada para analisar interações sociais em configurações naturalistas.
• Escalabilidade: Ao reduzir a dependência da codificação manual, a ferramenta permite a análise de conjuntos de dados psicológicos em grande escala que anteriormente eram inviáveis de processar.
• Acessibilidade: A disponibilização de pesos pré-treinados permite que outros laboratórios ajustem finamente o modelo com dados mínimos, superando o problema comum de "deslocamento de domínio" na visão computacional (por exemplo, diferentes ângulos de câmera ou iluminação).
• Direções Futuras: Os autores identificam trabalhos futuros incluindo suavização temporal para reduzir ruído, expansão da diversidade do conjunto de dados, integração de rastreamento de identidade para lidar com interações não restritas e extensão da arquitetura para cenários de múltiplas partes (múltiplas câmeras).

Em conclusão, o artigo apresenta uma solução altamente eficiente, precisa e acessível para automatizar a detecção de comportamentos sociais críticos, demonstrando que arquiteturas Transformer especializadas superam tanto CNNs tradicionais quanto LLMs de propósito geral neste domínio específico.