Automated Detection of Mutual Gaze and Joint Attention in Dual-Camera Settings via Dual-Stream Transformers

Aquí se presenta un resumen técnico detallado del artículo "Detección Automatizada de la Mirada Mutua y la Atención Conjunta en Configuraciones de Doble Cámara mediante Transformadores de Doble Flujo".

1. Planteamiento del Problema

La detección de la Mirada Mutua (MG) y la Atención Conjunta (JA) es fundamental para la psicología del desarrollo, particularmente en la comprensión de las interacciones entre cuidador e infante. Sin embargo, el análisis tradicional depende de una codificación manual intensiva de las grabaciones de video, lo cual es lento, propenso a errores humanos y difícil de escalar.

• Desafíos: La detección automatizada en configuraciones de laboratorio con múltiples cámaras es computacionalmente difícil debido a las complejas dinámicas relacionales cruzadas entre cámaras.
• Limitaciones de los Métodos Existentes:
  • Rastreo ocular (Eye-tracking): Alta precisión pero baja validez ecológica (requiere el uso de dispositivos o estímulos basados en pantallas).
  • Líneas base convolucionales: A menudo fallan al capturar las relaciones espaciales y semánticas entre dos individuos a través de diferentes vistas de cámara.
  • Modelos de Lenguaje Grandes Multimodales (Multimodal LLMs): Aunque son potentes, a menudo carecen de la sensibilidad temporal fina requerida para los límites conductuales específicos y sufren de altos costos computacionales y latencia.

2. Metodología

Los autores proponen una Arquitectura de Transformador de Doble Flujo diseñada para procesar flujos de video sincronizados desde dos cámaras (una enfocada en el infante y otra en el cuidador) para realizar una clasificación binaria a nivel de cuadro para MG y JA.

A. Descripción General de la Arquitectura

• Entrada de Doble Flujo: El modelo procesa dos flujos de video paralelos simultáneamente.
• Backbones Congelados (GazeLLE): En lugar de entrenar un extractor de características desde cero, los autores utilizan GazeLLE (un modelo consciente de la mirada basado en DINOv2) como un backbone congelado. Este modelo extrae priores visuales ricos y características conscientes de la mirada directamente de las entradas RGB.
  • Dos módulos GazeLLE operan en paralelo con pesos compartidos.
  • Una capa de proyección lineal reduce la muestreo de los embeddings de alta dimensión a 512 dimensiones para reducir la sobrecarga computacional.
• Mecanismo de Fusión de Tokens:
  • Las secuencias de tokens proyectadas desde ambas vistas de cámara se concatenan.
  • Un token [CLS] aprendible se antepone a la secuencia para servir como una representación global del estado de doble cámara.
  • Esta secuencia se introduce en un Codificador Transformer (3 capas, 4 cabezas de atención) que modela conjuntamente las relaciones espaciales y cruzadas entre vistas, permitiendo que el token [CLS] agregue información contextual tanto del padre como del niño.
• Cabeza de Clasificación: El token [CLS] actualizado se pasa a través de un Perceptrón Multicapa (MLP) con activaciones ReLU y LayerNorm para generar un único logit, que se convierte en una probabilidad mediante una función sigmoide.

B. Conjunto de Datos y Preprocesamiento

• Fuente de Datos: Un conjunto de datos semi-naturalista de 13 díadas cuidador-infante participando en siete sesiones de observación.
• Configuración: Se utilizaron tres cámaras sincronizadas (vista del infante, vista del padre, vista superior), aunque el modelo utiliza únicamente las vistas del infante y del padre.
• Pipeline de Preprocesamiento:
  1. Sincronización: Se utilizó la correlación cruzada de audio para alinear los dos flujos de cámara, corrigiendo desajustes inducidos por hardware de hasta 1 segundo.
  2. Extracción de Cuadros: Los videos se muestrearon a 1 fps para equilibrar la dinámica conductual con la eficiencia computacional.
  3. Detección de Rostros: Se utilizó RetinaFace para detectar rostros y generar cajas delimitadoras de cabeza (máscaras), que son entradas requeridas para el backbone GazeLLE.
  4. Anotación: Se desarrolló una herramienta personalizada basada en React para la anotación manual, permitiendo a los investigadores etiquetar eventos de MG y JA con alta precisión temporal.
• División de Datos: Se utilizó una división temporal (primer 10% para validación, el resto para entrenamiento) para evitar la fuga de datos. El conjunto de prueba consistió en dos sesiones retenidas.

3. Contribuciones Clave

1. Arquitectura Novel: Introducción de un Transformador de doble flujo que aprovecha backbones conscientes de la mirada congelados (GazeLLE) y un mecanismo de fusión de tokens personalizado para cerrar la brecha espacial entre las vistas de doble cámara.
2. Evaluación Exhaustiva: Comparación rigurosa contra una línea base ligera de Red Neuronal Convolucional (CNN) y un Modelo de Lenguaje Grande Multimodal (LLM) de última generación (Llama-4 Vision).
3. Ciencia Abierta: Los autores hicieron de código abierto la arquitectura del modelo, los pesos preentrenados y el conjunto de datos de prueba, proporcionando una base eficiente en parámetros para que otros investigadores ajusten finamente modelos para sus entornos de laboratorio específicos.
4. Herramientas Personalizadas: Desarrollo de una herramienta de anotación personalizada y una interfaz de visualización para revisar las predicciones del modelo frente a la verdad fundamental.

4. Resultados

El modelo propuesto se evaluó en un conjunto de prueba retenido utilizando Precisión, Recall, Puntuación F1 y ROC-AUC.

• Detección de Mirada Mutua (MG):
  • Modelo Propuesto: Puntuación F1 0.825, AUC 0.834.
  • Línea base CNN: Puntuación F1 0.655, AUC 0.429 (cerca de una adivinanza aleatoria).
  • Línea base LLM: Puntuación F1 0.480, AUC 0.602.
• Detección de Atención Conjunta (JA):
  • Modelo Propuesto: Puntuación F1 0.767, AUC 0.862.
  • Línea base CNN: Puntuación F1 0.589, AUC 0.681 (alta varianza en el recall).
  • Línea base LLM: Puntuación F1 0.610, AUC 0.595.

Hallazgos Clave:

• El modelo Transformer superó significativamente a ambas líneas base en el equilibrio entre precisión y recall.
• La línea base CNN falló al generalizar, lo que sugiere que las características espaciales puramente locales son insuficientes para modelar las dinámicas relacionales cruzadas entre cámaras.
• La línea base LLM mostró un sesgo hacia la sobre-predicción de eventos y carecía de la precisión temporal para delinear límites conductuales estrictos, resultando en puntuaciones F1 más bajas.
• Eficiencia: El modelo propuesto logró un rendimiento de inferencia de 9.46 muestras/segundo en una NVIDIA A100, mientras que el LLM logró solo 0.14 muestras/segundo y requirió significativamente más memoria GPU (dos GPUs de 40 GB frente a una sola de menor huella para el modelo propuesto).

5. Significado e Impacto

• Cerrando la Brecha: Este trabajo conecta eficazmente el modelado computacional y la ciencia conductual aplicada al proporcionar una herramienta escalable y automatizada para analizar interacciones sociales en entornos naturalistas.
• Escalabilidad: Al reducir la dependencia de la codificación manual, la herramienta permite el análisis de conjuntos de datos psicológicos a gran escala que previamente eran inviables de procesar.
• Accesibilidad: La publicación de los pesos preentrenados permite a otros laboratorios ajustar finamente el modelo con datos mínimos, superando el problema del "desplazamiento de dominio" común en la visión por computadora (por ejemplo, diferentes ángulos de cámara o iluminación).
• Direcciones Futuras: Los autores identifican trabajo futuro que incluye el suavizado temporal para reducir el ruido, la expansión de la diversidad del conjunto de datos, la integración del seguimiento de identidad para manejar interacciones no restringidas y la extensión de la arquitectura a escenarios multipartita (multicámara).

En conclusión, el artículo presenta una solución altamente eficiente, precisa y accesible para automatizar la detección de comportamientos sociales críticos, demostrando que las arquitecturas de Transformadores especializadas superan tanto a las CNN tradicionales como a los LLMs de propósito general en este dominio específico.