Automated Detection of Mutual Gaze and Joint Attention in Dual-Camera Settings via Dual-Stream Transformers

1. Probleemstelling

De detectie van Mutuele Blikcontacten (MG) en Gedeelde Aandacht (JA) is fundamenteel voor de ontwikkelingspsychologie, met name bij het begrijpen van interacties tussen baby en verzorger. Echter, traditionele analyse is afhankelijk van arbeidsintensieve, handmatige codering van video-opnames, wat traag is, vatbaar voor menselijke fouten en moeilijk schaalbaar.

• Uitdagingen: Geautomatiseerde detectie in multi-camera laboratoriumomgevingen is computationeel moeilijk vanwege complexe cross-camera relationele dynamieken.
• Beperkingen van Bestaande Methoden:
  • Eye-tracking: Hoge precisie maar lage ecologische validiteit (vereist het dragen van apparatuur of schermgebaseerde stimuli).
  • Convolutionele Baselines: Slagen er vaak niet in om de ruimtelijke en semantische relaties tussen twee individuen over verschillende camera-weergaven vast te leggen.
  • Multimodale LLM's: Hoewel krachtig, missen ze vaak de fijnmazige temporele gevoeligheid die vereist is voor specifieke gedragsgrenzen en lijden ze onder hoge computationele kosten en latentie.

2. Methodologie

De auteurs stellen een Dual-Stream Transformer Architectuur voor die is ontworpen om gesynchroniseerde video-stromen van twee camera's te verwerken (één gericht op de baby, één op de verzorger) om frame-level binaire classificatie uit te voeren voor MG en JA.

A. Architectuur Overzicht

• Dual-Stream Input: Het model verwerkt twee parallelle video-stromen gelijktijdig.
• Bevroren Backbones (GazeLLE): In plaats van een feature extractor vanaf nul te trainen, gebruiken de auteurs GazeLLE (een blikbewust model gebaseerd op DINOv2) als een bevroren backbone. Dit model haalt rijke visuele priors en blikbewuste features direct uit RGB-inputs.
  • Twee GazeLLE-modules werken parallel met gedeelde gewichten.
  • Een lineaire projectielaag downsampt de hoog-dimensionele embeddings naar 512 dimensies om de computationele overhead te verminderen.
• Token Fusion Mechanisme:
  • De geprojecteerde token-sequenties van beide camera-weergaven worden samengevoegd.
  • Een leerbare [CLS] token wordt aan het begin van de sequentie geplaatst om te dienen als een globale representatie van de dual-camera staat.
  • Deze sequentie wordt ingevoerd in een Transformer Encoder (3 lagen, 4 attention heads) die gezamenlijk ruimtelijke en cross-view relaties modelleert, waardoor de [CLS] token contextuele informatie van zowel de ouder als het kind kan aggregeren.
• Classificatie Head: De bijgewerkte [CLS] token wordt doorgegeven aan een Multi-Layer Perceptron (MLP) met ReLU-activaties en LayerNorm om een enkele logit te outputten, die via een sigmoid-functie wordt omgezet naar een waarschijnlijkheid.

B. Dataset en Preprocessing

• Data Bron: Een semi-naturalistische dataset van 13 verzorger-baby dyaden die deelnemen aan zeven observatiesessies.
• Opstelling: Drie gesynchroniseerde camera's werden gebruikt (Baby-weergave, Ouder-weergave, Top-down), hoewel het model alleen de Baby- en Ouder-weergaven gebruikt.
• Preprocessing Pipeline:
  1. Synchronisatie: Audio cross-correlatie werd gebruikt om de twee camera-stromen af te stemmen, waardoor hardware-geïnduceerde offsets tot 1 seconde werden gecorrigeerd.
  2. Frame Extractie: Video's werden gesampled op 1 fps om gedragsdynamiek in evenwicht te brengen met computationele efficiëntie.
  3. Gezichtsdetectie: RetinaFace werd gebruikt om gezichten te detecteren en head bounding boxes (masks) te genereren, die vereiste inputs zijn voor de GazeLLE backbone.
  4. Annotatie: Een op maat gemaakt React-gebaseerd hulpmiddel werd ontwikkeld voor handmatige annotatie, waardoor onderzoekers MG- en JA-gebeurtenissen met hoge temporele precisie konden labelen.
• Data Splitsing: Een temporele splitsing werd gebruikt (eerste 10% voor validatie, de rest voor training) om data-lekkage te voorkomen. De testset bestond uit twee vastgehouden sessies.

3. Belangrijkste Bijdragen

1. Nieuwe Architectuur: Introductie van een dual-stream Transformer die bevroren blikbewuste backbones (GazeLLE) en een aangepast token fusion-mechanisme benut om de ruimtelijke kloof tussen dual-camera-weergaven te overbruggen.
2. Uitgebreide Evaluatie: Rigoureuze vergelijking tegen een lichtgewicht Convolutional Neural Network (CNN) baseline en een state-of-the-art Multimodal Large Language Model (LLM, Llama-4 Vision).
3. Open Science: De auteurs hebben de modelarchitectuur, voorgeöorde gewichten en de testdataset open-source gemaakt, waardoor een parameter-efficiënte basis wordt geboden voor andere onderzoekers om modellen te fine-tunen voor hun specifieke laboratoriumomgevingen.
4. Aangepast Gereedschap: Ontwikkeling van een aangepast annotatiehulpmiddel en een visualisatie-interface voor het beoordelen van modelvoorspellingen tegen de ground truth.

4. Resultaten

Het voorgestelde model werd geëvalueerd op een vastgehouden testset met behulp van Accuracy, Precision, Recall, F1-score en ROC-AUC.

• Mutuele Blikcontacten (MG) Detectie:
  • Voorgesteld Model: F1-score 0,825, AUC 0,834.
  • CNN Baseline: F1-score 0,655, AUC 0,429 (bijna willekeurig gissen).
  • LLM Baseline: F1-score 0,480, AUC 0,602.
• Gedeelde Aandacht (JA) Detectie:
  • Voorgesteld Model: F1-score 0,767, AUC 0,862.
  • CNN Baseline: F1-score 0,589, AUC 0,681 (hoge variantie in recall).
  • LLM Baseline: F1-score 0,610, AUC 0,595.

Belangrijkste Bevindingen:

• Het Transformer-model presteerde significant beter dan beide baselines in het balanceren van precisie en recall.
• De CNN baseline faalde in generalisatie, wat suggereert dat puur lokale ruimtelijke features onvoldoende zijn voor het modelleren van cross-camera relationele dynamieken.
• De LLM baseline vertoonde een bias naar het overvoorspellen van gebeurtenissen en miste de temporele precisie om strikte gedragsgrenzen af te bakenen, wat resulteerde in lagere F1-scores.
• Efficiëntie: Het voorgestelde model behaalde een inferentie-doorvoer van 9,46 samples/seconde op een NVIDIA A100, terwijl de LLM slechts 0,14 samples/seconde behaalde en aanzienlijk meer GPU-geheugen vereiste (twee 40GB GPU's versus een enkele kleinere footprint voor het voorgestelde model).

5. Betekenis en Impact

• Overbruggen van de Kloof: Dit werk overbrugt effectief computationele modellering en toegepaste gedragswetenschap door een schaalbaar, geautomatiseerd hulpmiddel te bieden voor het analyseren van sociale interacties in naturalistische omgevingen.
• Schaalbaarheid: Door de afhankelijkheid van handmatige codering te verminderen, stelt het hulpmiddel de analyse mogelijk van grootschalige psychologische datasets die eerder onhaalbaar waren om te verwerken.
• Toegankelijkheid: Het open-source maken van voorgeöorde gewichten stelt andere laboratoria in staat het model met minimale data te fine-tunen, waardoor het "domain shift"-probleem dat gebruikelijk is in computer vision (bijv. verschillende camerahoeken of belichting) wordt overwonnen.
• Toekomstige Richtingen: De auteurs identificeren toekomstig werk, waaronder temporele smoothing om ruis te verminderen, het uitbreiden van de datasetdiversiteit, het integreren van identiteits-tracking om onbeperkte interacties te hanteren, en het uitbreiden van de architectuur naar multi-party (multi-camera) scenario's.

Concluderend presenteert het artikel een zeer efficiënte, nauwkeurige en toegankelijke oplossing voor het automatiseren van de detectie van kritieke sociale gedragingen, en toont het aan dat gespecialiseerde Transformer-architecturen zowel traditionele CNN's als algemene LLM's in dit specifieke domein overtreffen.