💻 computer science

Recognizing Co-Speech Gestures in-the-Wild

Dieses Paper stellt GRW vor, den ersten groß angelegten Datensatz aus 156.688 manuell annotierten Videoclips, die unbeschränkte ko-sprachliche Gesten spezifischen Wörtern zuordnen, um den Datenmangel zu überwinden und das Training sowie das Benchmarking von multimodalen Modellen für die semantische Gestenklassifizierung, -erkennung und -lokalisierung in der Zeit zu ermöglichen.

Ursprüngliche Autoren: Sindhu B Hegde, K R Prajwal, Andrew Zisserman

Veröffentlicht 2026-06-01

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Sindhu B Hegde, K R Prajwal, Andrew Zisserman

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie beobachten einen Freund, der eine Geschichte erzählt. Er benutzt nicht nur Worte; seine Hände tanzen, schneiden die Luft oder zeichnen Kreise, um das Gesagte zu unterstreichen. Manchmal passt eine Handbewegung perfekt zu einem bestimmten Wort (wie etwa das weite Spreizen der Hände bei dem Wort „riesig“). Manchmal trommelt er auch nur mit den Fingern im Rhythmus seiner Stimme, was keine spezifische Bedeutung hat.

In dieser Arbeit geht es darum, Computern beizubringen, zwischen diesen zwei Arten von Handbewegungen zu unterscheiden und – was noch wichtiger ist – herauszufinden, genau welches Wort die Handbewegung beschreibt.

Hier ist eine Aufschlüsselung der Arbeit unter Verwendung einfacher Analogien:

1. Das Problem: Die „Nadel im Heuhaufen“

Derzeit sind Computer gut darin, große, offensichtliche Handlungen zu erkennen (wie „Winken zur Begrüßung“ oder „Klatschen“). Aber sie sind schlecht darin, die subtilen, spezifischen Gesten zu entdecken, die während jemand spricht, auftreten.

Der Heuhaufen: Stundenlange Videos, in denen Menschen einfach nur reden und ihre Hände zufällig bewegen (wie Zappeln oder Trommeln zu einem Beat).
Die Nadel: Die seltenen Momente, in denen eine Handbewegung tatsächlich etwas Spezifisches bedeutet, wie etwa das Zeichnen eines Quadrats in die Luft, während man „Box“ sagt.
Das Problem: Um einen Computer zu lehren, diese Nadeln zu finden, benötigt man eine riesige Sammlung von Videos, in denen Menschen diese bereits markiert haben. Bis jetzt hatte niemand einen ausreichend großen „Plan“ dieser Nadeln erstellt.

2. Die Lösung: Der „GRW“-Datensatz

Die Autoren haben eine neue Datenbank namens GRW (Gesture Recognition in the Wild) erstellt. Denken Sie an dies als eine riesige, akribisch organisierte Bibliothek von Videoclips.

Größe: Sie enthält über 156.000 Videoclips.
Der Inhalt: Sie deckt 150 spezifische Wörter ab (wie „groß“, „Kreis“, „drücken“, „Tschüss“).
Die Magie: Für jeden Clip haben Menschen sorgfältig markiert:
1. Gibt es eine bedeutungsvolle Geste? (Ja/Nein)
2. Für welches Wort ist sie? (z. B. „Spirale“)
3. Wann genau passiert sie? (Auf den exakten Frame genau, selbst wenn sich die Hand bewegt, bevor das Wort gesprochen wird).

Warum ist das besonders?
Die meisten bisherigen Datensätze waren wie eine Tanzklasse, in der Menschen bestimmte Bewegungen in einem Studio üben. GRW ist wie eine Aufnahme von Menschen auf einer belebten Party. Das Licht ist seltsam, die Kamerawinkel sind chaotisch und die Menschen bewegen sich natürlich. Das macht die Daten viel schwieriger zu lernen, aber auch viel nützlicher für das echte Leben.

3. Was sie entdeckt haben (Die „Geheimnisse“ der sprechenden Hände)

Durch die Analyse all dieser Daten fanden die Autoren einige überraschende Muster:

Nicht alle Wörter bekommen einen Tanz: Einige Wörter, wie „Tschüss“, werden fast immer mit einem Winken einhergehend (66 % der Zeit). Andere, wie „schauen“, werden selten durch eine Geste begleitet (weniger als 1 % der Zeit).
Der „Umschlag“-Eff Effekt: Die Handbewegung beginnt meist nicht exakt dann, wenn das Wort gesprochen wird. Es ist wie eine Schutzblase um das Wort herum. Die Hand beginnt sich oft zu bewegen, bevor die Person das Wort ausspricht, und bewegt sich weiter, nachdem sie das Wort beendet hat.
Viele Wege, dasselbe zu sagen: Eine Person zeichnet vielleicht eine Spirale mit einer Hand, während eine andere beide Hände benutzt. Der Computer muss lernen, dass all diese verschiedenen Tänze „Spirale“ bedeuten.

4. Das neue „Gehirn“ (Die Modelle)

Die Autoren bauten zwei KI-Modelle, um diese neue Bibliothek zu nutzen:

Modell A: Der „Detektiv“
- Aufgabe: Er betrachtet ein kurzes Video und fragt: „Ist hier eine bedeutungsvolle Geste vorhanden oder zappelt die Person nur herum?“
- Trick: Er schaut sich nicht nur die 4 Sekunden der Geste an, sondern die 10 Sekunden, die sie umgeben. Dies hilft ihm, den „normalen“ Rhythmus der Person zu verstehen, um den einen Moment zu erkennen, in dem sie diesen R rhythmus unterbricht, um einen spezifischen Punkt zu machen.
Modell B: Der „Übersetzer“
- Aufgabe: Wenn der Detektiv sagt: „Ja, da ist eine Geste“, versucht dieses Modell zu erraten, welches Wort es ist und wann genau es stattfindet.
- Trick: Sie trainierten dieses Modell in zwei Schritten. Zuerst ließ sie es an einem riesigen Haufen von „Rohentwürfen“ üben (Videos, in denen sie vermuteten, dass eine Geste vorhanden sei, sich aber nicht zu 100 % sicher waren). Dann verfeinerten sie es anhand der „perfekten“ Videos, bei denen Menschen die Antworten doppelt geprüft hatten. Dies machte das Modell viel intelligenter.

5. Die Ergebnisse

Als sie ihre neuen Modelle gegen bestehende Modelle (und sogar gegen eine sehr intelligente KI namens Gemini) testeten, gewannen ihre Modelle.

Sie waren besser darin, bedeutungsvolle Gesten zu erkennen.
Sie waren besser darin, das Wort zu erraten.
Sie waren besser darin, den exakten Start- und Endzeitpunkt der Bewegung zu bestimmen.

Zusammenfassung

Die Arbeit besagt im Wesentlichen: „Wir haben die größte, chaotischste und realistischste Bibliothek von Videos mit sprechenden Händen gebaut, die es je gab. Wir haben einen Computer damit trainiert, endlich zu verstehen, dass wenn jemand die Hände ausbreitet, während er ‚groß‘ sagt, er nicht einfach nur wahllos die Hände bewegt – er definiert das Wort ‚groß‘ visuell. Und wir haben gezeigt, dass das Betrachten des Kontextes um die Bewegung herum dem Computer hilft, viel besser zu verstehen.“

Hinweis: Die Arbeit konzentriert sich strikt auf den Aufbau dieses Datensatzes und der Modelle zur Erkennung dieser Gesten. Sie behauptet nicht, dass diese Modelle derzeit bereits in der Therapie, im Bildungswesen oder anderen realen Anwendungen eingesetzt werden; es handelt sich rein um die Forschung und die von ihnen geschaffenen Werkzeuge.

Technische Zusammenfassung: Erkennung von Co-Speech-Gestik in der freien Umgebung (GRW)

Problemstellung
Während Menschen während der Sprache natürlich Hand- und Oberkörperbewegungen ausführen, stellt nur eine spärliche Teilmenge dieser Bewegungen „semantische Co-Speech-Gestik“ dar – visuell darstellende Bewegungen (ikonisch, deiktisch oder metaphorisch), die direkt mit spezifischen gesprochenen Wörtern verknüpft sind. Aktuelle multimodale Video-Verständnismodelle haben Schwierigkeiten, diese spezifischen, feingliedrigen Gesten zu erkennen. Diese Einschränkung resultiert aus einem kritischen Mangel an präzise annotierten Trainingsdaten in unbeschränkten („in-the-wild“) Umgebungen. Bestehende Datensätze sind entweder auf isolierte Kommandogesten beschränkt, verfügen nicht über eine semantische Bindung an das Gesprochene oder wurden in kontrollierten Laborumgebungen aufgenommen, die den natürlichen Diskurs nicht widerspiegeln. Darüber hinaus ist die Unterscheidung zwischen semantischen Gesten und nicht-semantischen Beat-Gesten oder zufälligen Bewegungen aufgrund der Spärlichkeit semantischer Ereignisse, der hohen Variabilität der Form und der lockeren zeitlichen Ausrichtung zwischen Sprache und Gestik eine Herausforderung.

Methodik
Die Autoren schlagen eine umfassende Lösung vor, die die Erstellung eines neuen Datensatzes und die Entwicklung spezialisierter Modelle umfasst, die auf diesem trainiert werden.

Der GRW-Datensatz:
- Skalierung und Umfang: Der Gesture Recognition in the Wild (GRW) Datensatz umfasst 156.688 manuell annotierte Videoclips aus diversen, unbeschränkten Umgebungen (z. B. Interviews, Talkshows). Er deckt 150 konzeptionelle Wörter ab, die physische Handlungen, räumliche Beschreibungen und abstrakte Konzepte umfassen.
- Annotationsgranularität: Der Datensatz enthält 17.473 verifizierte positive Instanzen semantischer Gesten mit rahmengenauen zeitlichen Grenzen sowohl für die Sprache als auch für die entsprechende Geste. Er enthält zudem 139.215 verifizierte negative Stichproben (in denen das Wort zwar gesprochen wird, aber keine semantische Geste auftritt) sowie 61.141 Pseudo-label-Clips für das Pre-training.
- Kuratierungspipeline: Der Datensatz wurde durch groß angelegtes automatisches Mining aus dem MultiVSR-Korpus kuratiert, gefolgt von einem mehrstufigen menschlichen Annotationsprozess. Dies beinhaltete das Filtern nach visueller Handpräsenz, die binäre Klassifizierung von semantischen gegenüber nicht-semantischen Gesten sowie die präzise zeitliche Lokalisierung der Gestengrenzen. Die Qualitätskontrolle wurde durch Multi-Annotator-Konsens und Mehrheitsentscheidungen sichergestellt.
Modellarchitektur:
Die Autoren führen zwei komplementäre Modelle ein, die auf einem eingefrorenen visuellen Backbone (SHuBERT) basieren, welcher robuste Handform- und Bewegungsmerkmale aus vortrainierten Gebärdensprachdaten extrahiert.
- Semantischer Gestenklassifikator: Dieses Modell bestimmt, ob ein kurzer Videoclip eine semantische Geste enthält. Es nutzt eine Transformer-Architektur, die einen langen zeitlichen Kontext (bis zu 10 Sekunden) verarbeitet, um die Basis-Kinematik eines Sprechers zu etablieren. Durch das Cross-Attention-Verfahren eines kurzen Abfrageintervalls (4 Sekunden) gegen diesen breiteren Kontext kann das Modell semantische Gesten effektiv von häufigen, repetitiven Beat-Gesten abgrenzen.
- Worterkennungs- und Lokalisationsmodell: Dieses Modell führt zwei Aufgaben aus: (a) die Klassifizierung des spezifischen Wortes, das mit der Geste assoziiert ist, und (b) die Lokalisierung der zeitlichen Grenzen der Geste Frame für Frame. Es verwendet eine zweistufige Trainingsstrategie: Zuerst das Pre-training auf den groß angelegten, schwach überwachten Pseudo-Label-Daten, um allgemeine Muster zu erlernen, gefolgt vom Fine-tuning auf dem kleinen Satz manuell verifizierter „reiner“ Daten für die präzise Grenzerkennung.

Zentrale Beiträge

GRW-Datensatz: Der erste groß angelegte, unbeschränkte Benchmark für semantische Co-Speech-Gestik, der verifizierte Wortlabels und rahmengenaue zeitliche Grenzen für über 156.000 Clips bereitstellt.
Empirische Erkenntnisse: Eine umfassende Analyse der Gestendynamik in der freien Umgebung, die zeigt, dass semantische Gesten hochgradig spärlich sind (z. B. wird „look“ in weniger als 1 % der Fälle gestikuliert), oft deutlich länger als das gesprochene Wort sind und häufig vor dem Sprachsegment beginnen und nach ihm enden (lose zeitliche Ausrichtung).
Neue Modelle und Benchmarks: Die Formalisierung von drei Kernaufgaben – semantische Gestenklassifikation, Worterkennung und zeitliche Lokalisierung – sowie spezialisierter State-of-the-Art-Modelle für jede dieser Aufgaben. Die Autoren etablieren neue Benchmarks, die zeigen, dass ihre Modelle bestehende Vision-Language-Modelle (VLMs) und spezialisierte Gesten-Baselines übertreffen.

Ergebnisse

Semantische Klassifikation: Das vorgeschlagene Modell erreicht eine Genauigkeit von 70,25 % und 91,62 % Genauigkeit bei Vorhersagen mit hoher Konfidenz und übertrifft damit deutlich Baselines wie Gemini-3 (66,64 %) und JEGAL (65,60 %). Die hohe Leistung bei Konfidenzschwellen $\ge$ 0,9 validiert die Nützlichkeit des Modells für das Mining sauberer semantischer Gesten aus unbeschrifteten Daten.
Worterkennung & Lokalisierung: Das Modell erreicht eine Top-1-Genauigkeit von 18,57 % und ein mIoU von 0,6643 für die Lokalisierung und übertrifft damit alle Baselines. Bemerkenswert ist, dass das Modell gut auf ungesehene Wörter generalisiert (85,1 % Genauigkeit auf einem gehaltenen Wortsatz), was darauf hindeutet, dass es Gestenmuster lernt und nicht nur spezifische Wort-Gesten-Paare auswendig lernt.
Ablationsstudien: Experimente bestätigen, dass die Bereitstellung eines erweiterten zeitlichen Kontextes (10 s) die Klassifizierungsgenauigkeit im Vergleich zu kürzeren Kontexten um 5,3 % verbessert. Zudem steigert das Pre-training auf schwach überwachten Daten die Leistung bei den finalen Fine-tuning-Aufgaben signifikant.

Bedeutung
Das Paper behauptet, dass GRW einen bedeutenden Sprung in Bezug auf Skalierung und Annotationsgranularität gegenüber bestehenden Benchmarks darstellt und das Training von Modellen ermöglicht, die semantische Gesten mit gesprochenen Wörtern in realen Szenarien assoziieren können. Durch die Adressierung des Mangels an präzisen Trainingsdaten schafft diese Arbeit eine neue Grundlage für die multimodale Gestenforschung. Die Autoren räumen ein, dass der Datensatz aus öffentlich zugänglichen Diskursen (Vorträge, Interviews) stammt, was einen spezifischen Register formeller Kommunikation widerspiegeln kann, betonen jedoch, dass der Datensatz und die Modelle die notwendigen Werkzeuge bieten, um das Verständnis natürlicher Co-Speech-Gestik in der freien Umgebung voranzutreiben. Die Arbeit zeigt, dass die Modellierung eines erweiterten zeitlichen Bewegungskontexts entscheidend ist, um semantische Gesten von nicht-semantischem Rauschen zu unterscheiden – eine Fähigkeit, die aktuellen Foundation-Modellen fehlt.