Automated Detection of Mutual Gaze and Joint Attention in Dual-Camera Settings via Dual-Stream Transformers

1. Énoncé du problème

La détection du regard mutuel (MG) et de l'attention conjointe (JA) est fondamentale en psychologie du développement, en particulier pour comprendre les interactions nourrisson-prestataire. Cependant, l'analyse traditionnelle repose sur un codage manuel laborieux des enregistrements vidéo, ce qui est lent, sujet aux erreurs humaines et difficile à mettre à l'échelle.

• Défis : La détection automatisée dans des configurations de laboratoire multi-caméras est computationnellement difficile en raison de dynamiques relationnelles inter-caméras complexes.
• Limites des méthodes existantes :
  • Suivi oculaire : Haute précision mais faible validité écologique (nécessite le port de dispositifs ou des stimuli basés sur écran).
  • Lignes de base convolutives : Échouent souvent à capturer les relations spatiales et sémantiques entre deux individus à travers différentes vues de caméra.
  • LLMs multimodaux : Bien que puissants, ils manquent souvent de la sensibilité temporelle fine requise pour les limites comportementales spécifiques et souffrent de coûts computationnels élevés et de latence.

2. Méthodologie

Les auteurs proposent une Architecture Transformer à double flux conçue pour traiter des flux vidéo synchronisés provenant de deux caméras (l'une focalisée sur le nourrisson, l'autre sur le prestataire) afin d'effectuer une classification binaire au niveau des images pour le MG et le JA.

A. Aperçu de l'architecture

• Entrée à double flux : Le modèle traite deux flux vidéo parallèles simultanément.
• Backbones figés (GazeLLE) : Au lieu d'entraîner un extracteur de caractéristiques à partir de zéro, les auteurs utilisent GazeLLE (un modèle conscient du regard basé sur DINOv2) comme backbone figé. Ce modèle extrait des priors visuels riches et des caractéristiques conscientes du regard directement à partir des entrées RVB.
  • Deux modules GazeLLE fonctionnent en parallèle avec des poids partagés.
  • Une couche de projection linéaire sous-échantillonne les plongements de haute dimension à 512 dimensions pour réduire la surcharge computationnelle.
• Mécanisme de fusion de tokens :
  • Les séquences de tokens projetées des deux vues de caméra sont concaténées.
  • Un token [CLS] apprenable est préfixé à la séquence pour servir de représentation globale de l'état à double caméra.
  • Cette séquence est alimentée dans un Encodeur Transformer (3 couches, 4 têtes d'attention) qui modélise conjointement les relations spatiales et inter-vues, permettant au token [CLS] d'agréger des informations contextuelles à la fois du parent et de l'enfant.
• Tête de classification : Le token [CLS] mis à jour est passé à travers un Perceptron Multicouche (MLP) avec des activations ReLU et une normalisation par couches (LayerNorm) pour produire un seul logit, converti en probabilité via une fonction sigmoïde.

B. Jeu de données et prétraitement

• Source de données : Un jeu de données semi-naturaliste de 13 dyades prestataire-nourrisson participant à sept sessions d'observation.
• Configuration : Trois caméras synchronisées ont été utilisées (vue nourrisson, vue parent, vue de dessus), bien que le modèle n'utilise que les vues nourrisson et parent.
• Pipeline de prétraitement :
  1. Synchronisation : La corrélation croisée audio a été utilisée pour aligner les deux flux de caméra, corrigeant les décalages induits par le matériel pouvant aller jusqu'à 1 seconde.
  2. Extraction d'images : Les vidéos ont été échantillonnées à 1 ips pour équilibrer la dynamique comportementale avec l'efficacité computationnelle.
  3. Détection de visage : RetinaFace a été utilisé pour détecter les visages et générer des boîtes englobantes de tête (masques), qui sont des entrées requises pour le backbone GazeLLE.
  4. Annotation : Un outil personnalisé basé sur React a été développé pour l'annotation manuelle, permettant aux chercheurs d'étiqueter les événements MG et JA avec une haute précision temporelle.
• Division des données : Une division temporelle a été utilisée (les 10 % premiers pour la validation, le reste pour l'entraînement) pour éviter la fuite de données. L'ensemble de test comprenait deux sessions retenues.

3. Contributions clés

1. Architecture novatrice : Introduction d'un Transformer à double flux qui exploite des backbones figés conscients du regard (GazeLLE) et un mécanisme de fusion de tokens personnalisé pour combler l'écart spatial entre les vues à double caméra.
2. Évaluation approfondie : Comparaison rigoureuse contre une ligne de base légère de Réseau de Neurones Convolutif (CNN) et un Modèle de Langage Multimodal de pointe (LLM, Llama-4 Vision).
3. Science ouverte : Les auteurs ont rendu open source l'architecture du modèle, les poids pré-entraînés et le jeu de données de test, fournissant une fondation efficace en paramètres pour que d'autres chercheurs affinent des modèles pour leurs environnements de laboratoire spécifiques.
4. Outils personnalisés : Développement d'un outil d'annotation personnalisé et d'une interface de visualisation pour examiner les prédictions du modèle par rapport à la vérité terrain.

4. Résultats

Le modèle proposé a été évalué sur un ensemble de test retenu en utilisant la précision, le rappel, le score F1 et l'aire sous la courbe ROC (ROC-AUC).

• Détection du regard mutuel (MG) :
  • Modèle proposé : Score F1 0,825, AUC 0,834.
  • Ligne de base CNN : Score F1 0,655, AUC 0,429 (proche d'un tirage au sort).
  • Ligne de base LLM : Score F1 0,480, AUC 0,602.
• Détection de l'attention conjointe (JA) :
  • Modèle proposé : Score F1 0,767, AUC 0,862.
  • Ligne de base CNN : Score F1 0,589, AUC 0,681 (forte variance dans le rappel).
  • Ligne de base LLM : Score F1 0,610, AUC 0,595.

Constats principaux :

• Le modèle Transformer a significativement surpassé les deux lignes de base dans l'équilibre entre précision et rappel.
• La ligne de base CNN n'a pas réussi à généraliser, suggérant que les caractéristiques spatiales purement locales sont insuffisantes pour modéliser les dynamiques relationnelles inter-caméras.
• La ligne de base LLM a montré un biais vers la sur-prédiction des événements et manquait de précision temporelle pour délimiter des limites comportementales strictes, résultant en des scores F1 plus faibles.
• Efficacité : Le modèle proposé a atteint un débit d'inférence de 9,46 échantillons/seconde sur un NVIDIA A100, tandis que le LLM n'atteignait que 0,14 échantillon/seconde et nécessitait beaucoup plus de mémoire GPU (deux GPU de 40 Go contre une seule empreinte plus petite pour le modèle proposé).

5. Importance et impact

• Combler le fossé : Ce travail comble efficacement le modèle computationnel et la science comportementale appliquée en fournissant un outil évolutif et automatisé pour analyser les interactions sociales dans des environnements naturalistes.
• Évolutivité : En réduisant la dépendance au codage manuel, l'outil permet l'analyse de jeux de données psychologiques à grande échelle qui étaient auparavant impossibles à traiter.
• Accessibilité : La mise en open source des poids pré-entraînés permet à d'autres laboratoires d'affiner le modèle avec un minimum de données, surmontant le problème de « décalage de domaine » courant en vision par ordinateur (par exemple, différents angles de caméra ou éclairage).
• Perspectives futures : Les auteurs identifient des travaux futurs incluant un lissage temporel pour réduire le bruit, l'expansion de la diversité des jeux de données, l'intégration du suivi d'identité pour gérer les interactions non contraintes, et l'extension de l'architecture à des scénarios multi-parties (multi-caméras).

En conclusion, l'article présente une solution hautement efficace, précise et accessible pour automatiser la détection de comportements sociaux critiques, démontrant que les architectures Transformer spécialisées surpassent à la fois les CNN traditionnels et les LLM à usage général dans ce domaine spécifique.