Automated Detection of Mutual Gaze and Joint Attention in Dual-Camera Settings via Dual-Stream Transformers

1. Problemstellung

Die Erkennung von gegenseitigem Blickkontakt (Mutual Gaze, MG) und gemeinsamer Aufmerksamkeit (Joint Attention, JA) ist grundlegend für die Entwicklungspsychologie, insbesondere zum Verständnis der Interaktionen zwischen Säuglingen und Betreuungspersonen. Die traditionelle Analyse stützt sich jedoch auf arbeitsintensive, manuelle Kodierung von Videoaufzeichnungen, was langsam, anfällig für menschliche Fehler und schwer skalierbar ist.

• Herausforderungen: Die automatisierte Erkennung in Laborumgebungen mit mehreren Kameras ist aufgrund komplexer interkamerale relationaler Dynamiken rechnerisch anspruchsvoll.
• Einschränkungen bestehender Methoden:
  • Eye-Tracking: Hohe Präzision, aber geringe ökologische Validität (erfordert das Tragen von Geräten oder bildschirmbasierte Reize).
  • Convolutional Baselines: Versagen häufig darin, die räumlichen und semantischen Beziehungen zwischen zwei Personen über verschiedene Kameraperspektiven hinweg zu erfassen.
  • Multimodale LLMs: Obwohl leistungsstark, fehlt es ihnen oft an der erforderlichen feinabgestimmten zeitlichen Sensitivität für spezifische Verhaltensgrenzen, und sie leiden unter hohen Rechenkosten und Latenzzeiten.

2. Methodik

Die Autoren schlagen eine Dual-Stream-Transformer-Architektur vor, die darauf ausgelegt ist, synchronisierte Videoströme von zwei Kameras (eine fokussiert auf das Kind, eine auf die Betreuungsperson) zu verarbeiten, um eine frame-basierte binäre Klassifizierung für MG und JA durchzuführen.

A. Architekturübersicht

• Dual-Stream-Eingabe: Das Modell verarbeitet zwei parallele Videoströme gleichzeitig.
• Eingefrorene Backbones (GazeLLE): Anstatt einen Merkmalsextraktor von Grund auf neu zu trainieren, nutzen die Autoren GazeLLE (ein blickbewusstes Modell auf Basis von DINOv2) als eingefrorenes Backbone. Dieses Modell extrahiert reichhaltige visuelle Priors und blickbewusste Merkmale direkt aus RGB-Eingaben.
  • Zwei GazeLLE-Module arbeiten parallel mit geteilten Gewichten.
  • Eine lineare Projektionsschicht downsampt die hochdimensionalen Embeddings auf 512 Dimensionen, um den Rechenaufwand zu reduzieren.
• Token-Fusionsmechanismus:
  • Die projizierten Token-Sequenzen aus beiden Kameraperspektiven werden verkettet.
  • Ein lernbarer [CLS]-Token wird der Sequenz vorangestellt, um eine globale Repräsentation des Dual-Kamera-Zustands zu dienen.
  • Diese Sequenz wird in einen Transformer-Encoder (3 Schichten, 4 Attention-Köpfe) eingespeist, der gemeinsam räumliche und interkamerale Beziehungen modelliert und es dem [CLS]-Token ermöglicht, kontextuelle Informationen sowohl vom Elternteil als auch vom Kind zu aggregieren.
• Klassifizierungshead: Der aktualisierte [CLS]-Token wird durch ein Multi-Layer Perceptron (MLP) mit ReLU-Aktivierungen und LayerNorm geleitet, um ein einzelnes Logit auszugeben, das über eine Sigmoid-Funktion in eine Wahrscheinlichkeit umgewandelt wird.

B. Datensatz und Vorverarbeitung

• Datenquelle: Ein semi-natürliches Dataset von 13 Betreuungsperson-Kind-Dyaden, die an sieben Beobachtungssitzungen teilnahmen.
• Setup: Drei synchronisierte Kameras wurden verwendet (Kind-Perspektive, Eltern-Perspektive, Top-Down), wobei das Modell jedoch nur die Perspektiven von Kind und Eltern nutzt.
• Vorverarbeitungspipeline:
  1. Synchronisation: Audio-Kreuzkorrelation wurde verwendet, um die beiden Kamerastrome auszurichten und hardwarebedingte Verschiebungen von bis zu 1 Sekunde zu korrigieren.
  2. Frame-Extraktion: Videos wurden mit 1 fps abgetastet, um Verhaltensdynamiken mit Recheneffizienz in Einklang zu bringen.
  3. Gesichtserkennung: RetinaFace wurde verwendet, um Gesichter zu erkennen und Kopf-Bounding-Boxen (Masken) zu generieren, die als erforderliche Eingaben für das GazeLLE-Backbone dienen.
  4. Annotation: Ein benutzerdefiniertes, React-basiertes Tool wurde für die manuelle Annotation entwickelt, das es Forschern ermöglicht, MG- und JA-Ereignisse mit hoher zeitlicher Präzision zu kennzeichnen.
• Datenaufteilung: Eine zeitliche Aufteilung wurde verwendet (erste 10 % zur Validierung, der Rest zum Training), um Datenlecks zu verhindern. Der Testset bestand aus zwei zurückgehaltenen Sitzungen.

3. Hauptbeiträge

1. Neuartige Architektur: Einführung eines Dual-Stream-Transformers, der eingefrorene blickbewusste Backbones (GazeLLE) und einen benutzerdefinierten Token-Fusionsmechanismus nutzt, um die räumliche Lücke zwischen Dual-Kamera-Ansichten zu überbrücken.
2. Umfassende Evaluation: Strenge Vergleichsstudie gegen eine leichte Convolutional Neural Network (CNN)-Baseline und ein state-of-the-art Multimodales Large Language Model (LLM, Llama-4 Vision).
3. Open Science: Die Autoren haben die Modellarchitektur, die vortrainierten Gewichte und den Testdatensatz quelloffen gemacht und bieten so eine parameter-effiziente Grundlage für andere Forscher, um Modelle für ihre spezifischen Laborumgebungen zu feinabstimmen.
4. Benutzerdefinierte Werkzeuge: Entwicklung eines benutzerdefinierten Annotations-Tools und einer Visualisierungsschnittstelle zur Überprüfung von Modellvorhersagen gegen die Ground Truth.

4. Ergebnisse

Das vorgeschlagene Modell wurde auf einem zurückgehaltenen Testset unter Verwendung von Genauigkeit (Accuracy), Präzision, Recall, F1-Score und ROC-AUC evaluiert.

• Erkennung von gegenseitigem Blickkontakt (MG):
  • Vorgeschlagenes Modell: F1-Score 0,825, AUC 0,834.
  • CNN-Baseline: F1-Score 0,655, AUC 0,429 (nahezu zufälliges Raten).
  • LLM-Baseline: F1-Score 0,480, AUC 0,602.
• Erkennung von gemeinsamer Aufmerksamkeit (JA):
  • Vorgeschlagenes Modell: F1-Score 0,767, AUC 0,862.
  • CNN-Baseline: F1-Score 0,589, AUC 0,681 (hohe Varianz im Recall).
  • LLM-Baseline: F1-Score 0,610, AUC 0,595.

Wichtige Erkenntnisse:

• Das Transformer-Modell schnitt bei der Balance zwischen Präzision und Recall signifikant besser ab als beide Baselines.
• Die CNN-Baseline scheiterte an der Generalisierung, was darauf hindeutet, dass rein lokale räumliche Merkmale für die Modellierung interkamerale relationaler Dynamiken unzureichend sind.
• Die LLM-Baseline zeigte eine Tendenz zur Überprognose von Ereignissen und fehlte die zeitliche Präzision, um strikte Verhaltensgrenzen zu definieren, was zu niedrigeren F1-Scores führte.
• Effizienz: Das vorgeschlagene Modell erreichte einen Inferenz-Durchsatz von 9,46 Proben/Sekunde auf einer NVIDIA A100, während die LLM nur 0,14 Proben/Sekunde erreichte und deutlich mehr GPU-Speicher benötigte (zwei 40-GB-GPUs im Vergleich zu einem einzelnen kleineren Footprint für das vorgeschlagene Modell).

5. Bedeutung und Auswirkung

• Überbrückung der Lücke: Diese Arbeit überbrückt effektiv die computergestützte Modellierung und die angewandte Verhaltenswissenschaft, indem sie ein skalierbares, automatisiertes Tool zur Analyse sozialer Interaktionen in natürlichen Umgebungen bereitstellt.
• Skalierbarkeit: Durch die Reduzierung der Abhängigkeit von manueller Kodierung ermöglicht das Tool die Analyse großangelegter psychologischer Datensätze, deren Verarbeitung zuvor nicht machbar war.
• Zugänglichkeit: Die Quelloffenheit der vortrainierten Gewichte ermöglicht es anderen Laboren, das Modell mit minimalen Daten zu feinabstimmen und so das im Computer Vision übliche Problem des „Domain Shift" (z. B. unterschiedliche Kamerawinkel oder Beleuchtung) zu überwinden.
• Zukünftige Richtungen: Die Autoren identifizieren zukünftige Arbeiten, einschließlich zeitlicher Glättung zur Rauschreduzierung, Erweiterung der Datenvielfalt, Integration von Identitätsverfolgung zur Handhabung unbeschränkter Interaktionen und Erweiterung der Architektur auf Szenarien mit mehreren Parteien (Multi-Camera).

Zusammenfassend stellt das Paper eine hocheffiziente, genaue und zugängliche Lösung zur Automatisierung der Erkennung kritischer sozialer Verhaltensweisen vor und zeigt, dass spezialisierte Transformer-Architekturen in diesem spezifischen Bereich sowohl traditionelle CNNs als auch allgemeine LLMs übertreffen.