Automated Detection of Mutual Gaze and Joint Attention in Dual-Camera Settings via Dual-Stream Transformers

1. Enunciato del Problema

Il rilevamento dello sguardo reciproco (MG) e dell'attenzione congiunta (JA) è fondamentale per la psicologia dello sviluppo, in particolare per comprendere le interazioni tra caregiver e infante. Tuttavia, l'analisi tradizionale si basa sulla codifica manuale, laboriosa, delle registrazioni video, che è lenta, soggetta a errori umani e difficile da scalare.

• Sfide: Il rilevamento automatizzato in ambienti di laboratorio multi-camera è computazionalmente complesso a causa delle dinamiche relazionali incrociate tra le telecamere.
• Limitazioni dei Metodi Esistenti:
  • Eye-tracking: Alta precisione ma bassa validità ecologica (richiede l'uso di dispositivi indossabili o stimoli basati su schermo).
  • Baseline Convoluzionali: Spesso non riescono a catturare le relazioni spaziali e semantiche tra due individui attraverso diverse viste delle telecamere.
  • LLM Multimodali: Sebbene potenti, spesso mancano della sensibilità temporale fine necessaria per i confini comportamentali specifici e soffrono di elevati costi computazionali e latenza.

2. Metodologia

Gli autori propongono un'Architettura di Trasformatore a Doppio Flusso progettata per elaborare flussi video sincronizzati da due telecamere (una focalizzata sull'infante, l'altra sul caregiver) per eseguire una classificazione binaria a livello di frame per MG e JA.

A. Panoramica dell'Architettura

• Input a Doppio Flusso: Il modello elabora simultaneamente due flussi video paralleli.
• Backbone Congelati (GazeLLE): Invece di addestrare un estrattore di caratteristiche da zero, gli autori utilizzano GazeLLE (un modello consapevole dello sguardo basato su DINOv2) come backbone congelato. Questo modello estrae priors visivi ricchi e caratteristiche consapevoli dello sguardo direttamente dagli input RGB.
  • Due moduli GazeLLE operano in parallelo con pesi condivisi.
  • Un livello di proiezione lineare riduce le embedding ad alta dimensionalità a 512 dimensioni per ridurre il sovraccarico computazionale.
• Meccanismo di Fusione dei Token:
  • Le sequenze di token proiettate da entrambe le viste delle telecamere vengono concatenate.
  • Un token [CLS] apprendibile viene preposto alla sequenza per fungere da rappresentazione globale dello stato a doppia telecamera.
  • Questa sequenza viene immessa in un Codificatore Transformer (3 livelli, 4 teste di attenzione) che modella congiuntamente le relazioni spaziali e cross-view, permettendo al token [CLS] di aggregare informazioni contestuali sia dal genitore che dal bambino.
• Testa di Classificazione: Il token [CLS] aggiornato viene passato attraverso un Perceptron a Strati Multipli (MLP) con attivazioni ReLU e LayerNorm per produrre un singolo logit, che viene convertito in una probabilità tramite una funzione sigmoide.

B. Dataset e Preprocessing

• Fonte Dati: Un dataset semi-naturalistico di 13 coppie caregiver-infante partecipanti a sette sessioni osservative.
• Configurazione: Sono state utilizzate tre telecamere sincronizzate (vista infante, vista genitore, vista dall'alto), sebbene il modello utilizzi solo le viste Infante e Genitore.
• Pipeline di Preprocessing:
  1. Sincronizzazione: È stata utilizzata la cross-correlazione audio per allineare i due flussi delle telecamere, correggendo offset indotti dall'hardware fino a 1 secondo.
  2. Estrazione dei Frame: I video sono stati campionati a 1 fps per bilanciare le dinamiche comportamentali con l'efficienza computazionale.
  3. Rilevamento del Volto: RetinaFace è stato utilizzato per rilevare i volti e generare maschere (bounding box) delle teste, che sono input necessari per il backbone GazeLLE.
  4. Annotazione: È stato sviluppato uno strumento personalizzato basato su React per l'annotazione manuale, consentendo ai ricercatori di etichettare gli eventi MG e JA con alta precisione temporale.
• Divisione dei Dati: È stata utilizzata una divisione temporale (primi 10% per la validazione, il resto per l'addestramento) per prevenire la fuoriuscita di dati. Il set di test è costituito da due sessioni tenute da parte.

3. Contributi Chiave

1. Architettura Innovativa: Introduzione di un Transformer a doppio flusso che sfrutta backbone consapevoli dello sguardo congelati (GazeLLE) e un meccanismo di fusione dei token personalizzato per colmare il divario spaziale tra le viste a doppia telecamera.
2. Valutazione Estesa: Confronto rigoroso rispetto a una baseline leggera di Rete Neurale Convoluzionale (CNN) e a uno stato dell'arte di Large Language Model Multimodali (LLM, Llama-4 Vision).
3. Scienza Aperta: Gli autori hanno reso open source l'architettura del modello, i pesi pre-addestrati e il dataset di test, fornendo una base efficiente in termini di parametri affinché altri ricercatori possano affinare i modelli per i loro specifici ambienti di laboratorio.
4. Strumentazione Personalizzata: Sviluppo di uno strumento di annotazione personalizzato e di un'interfaccia di visualizzazione per rivedere le previsioni del modello rispetto alla verità fondamentale.

4. Risultati

Il modello proposto è stato valutato su un set di test tenuto da parte utilizzando Accuratezza, Precisione, Recall, F1-score e ROC-AUC.

• Rilevamento dello Sguardo Reciproco (MG):
  • Modello Proposto: F1-score 0.825, AUC 0.834.
  • Baseline CNN: F1-score 0.655, AUC 0.429 (vicino al caso casuale).
  • Baseline LLM: F1-score 0.480, AUC 0.602.
• Rilevamento dell'Attenzione Congiunta (JA):
  • Modello Proposto: F1-score 0.767, AUC 0.862.
  • Baseline CNN: F1-score 0.589, AUC 0.681 (alta varianza nel recall).
  • Baseline LLM: F1-score 0.610, AUC 0.595.

Risultati Chiave:

• Il modello Transformer ha superato significativamente entrambe le baseline nel bilanciare precisione e recall.
• La baseline CNN non è riuscita a generalizzare, suggerendo che le caratteristiche spaziali puramente locali sono insufficienti per modellare le dinamiche relazionali cross-camera.
• La baseline LLM ha mostrato un bias verso la sovrastima degli eventi e mancava della precisione temporale per delimitare confini comportamentali rigorosi, risultando in punteggi F1 inferiori.
• Efficienza: Il modello proposto ha raggiunto un throughput di inferenza di 9.46 campioni/secondo su una NVIDIA A100, mentre l'LLM ha raggiunto solo 0.14 campioni/secondo e ha richiesto significativamente più memoria GPU (due GPU da 40GB contro un singolo footprint più piccolo per il modello proposto).

5. Significato e Impatto

• Colmare il Divario: Questo lavoro colma efficacemente il divario tra modellazione computazionale e scienza comportamentale applicata fornendo uno strumento scalabile e automatizzato per analizzare le interazioni sociali in ambienti naturalistici.
• Scalabilità: Riducendo la dipendenza dalla codifica manuale, lo strumento consente l'analisi di grandi dataset psicologici che in precedenza non erano fattibili da elaborare.
• Accessibilità: La messa a disposizione open source dei pesi pre-addestrati permette ad altri laboratori di affinare il modello con dati minimi, superando il problema dello "spostamento di dominio" comune nella visione artificiale (ad esempio, diversi angoli delle telecamere o illuminazione).
• Direzioni Future: Gli autori identificano lavori futuri tra cui il smoothing temporale per ridurre il rumore, l'espansione della diversità del dataset, l'integrazione del tracciamento dell'identità per gestire interazioni non vincolate e l'estensione dell'architettura a scenari multi-parte (multi-camera).

In conclusione, il documento presenta una soluzione altamente efficiente, accurata e accessibile per automatizzare il rilevamento di comportamenti sociali critici, dimostrando che architetture Transformer specializzate superano sia le CNN tradizionali che gli LLM generici in questo specifico dominio.