🤖 AI

Real-time body pose non-verbal communication with a consistency-based reliability measure

Dieses Paper führt einen neuen Datensatz zur Erkennung kommunikativer Intention allein aus 2D-Körperposen ein, bewertet verschiedene Modelle für die echtzeitfähige, kostengünstige robotische Kommunikation auf Geräten und schlägt eine auf Selbstkonsistenz basierende Metrik vor, um unüberwachte Zuverlässigkeitsschätzungen für diese Vorhersagen bereitzustellen.

Ursprüngliche Autoren: Alina Marcu, Dragos Costea, Cristina Lazar, Marius Leordeanu

Veröffentlicht 2026-06-09

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Alina Marcu, Dragos Costea, Cristina Lazar, Marius Leordeanu

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Die Kernidee: Mit dem Körper kommunizieren, wenn man nicht sprechen kann

Stellen Sie sich vor, Sie stehen auf einem riesigen, lauten Feld, weit weg von einem Rettungsroboter. Sie können nicht rufen (es ist zu laut), und die Kamera des Roboters kann Ihr Gesicht nicht deutlich erkennen (Sie sind zu weit weg). Aber Sie können immer noch mit den Armen wedeln, springen oder mit den Füßen stampfen.

Diese Arbeit stellt eine einfache Frage: Kann ein Roboter verstehen, was Sie meinen, indem er nur Ihre Körperbewegungen beobachtet, ohne Ihr Gesicht zu sehen oder Ihre Stimme zu hören?

Die Autoren sagen „Ja“, aber mit einer Einschränkung: Der Roboter muss schlau genug sein, um zu wissen, wann er nur rät und wann er sich tatsächlich sicher ist.

Das Problem: Das „fehlende Bindeglied“ im Robotertraining

Derzeit werden Roboter mit zwei Arten von Daten trainiert, von denen keine für diese spezifische Aufgabe geeignet ist:

Emotions-Datensätze: Diese mischen Ihre Stimme, Ihr Gesicht und Ihren Körper. Es ist, als würde man versuchen, ein Buch zu lesen, während der Lehrer einem ständig die Antworten zuruft. Der Roboter wird verwirrt darüber, welcher Teil der Antwort vom Körper kam.
Aktions-Datensätze: Diese lehren Roboter, einfache Handlungen wie „Gehen“ oder „Sitzen“ zu erkennen. Aber sie lehren sie nicht die Bedeutung hinter der Handlung. Zum Beispiel könnte ein Winken „Hallo“, „Tschüss“ oder „Hilfe!“ bedeuten. Aktions-Datensätze sagen nur „Winken“. Sie erfassen nicht die Absicht.

Die Lücke: Es gab kein Trainingshandbuch für Roboter, um zu lernen, wie man „Körpersprache“ (wie „Komm her“ oder „Geh weg“) liest, indem man nur ein Skelett aus Punkten verwendet, in Echtzeit und auf einem kleinen Computer.

Was sie getan haben: Einen neuen Spielplatz bauen

Um dies zu beheben, erstellte das Team seinen eigenen Datensatz namens „Ours“.

Die Schauspieler: Sie filmten Menschen, die 10 spezifische „Botschaften“ (wie „Ich freue mich, dich zu sehen“, „Geh weg“ oder „Wir haben ein Geschäft abgeschlossen“) ausschließlich mit ihrem ganzen Körper ausführten.
Das Format: Sie entfernten Gesichter und Stimmen und ließen nur das bewegliche Skelett (17 Schlüsselgelenke) übrig.
Der Vergleich: Sie testeten ihren neuen Datensatz nicht nur. Sie testeten ihn auch gegen:
- Echte, unordentliche Daten: Bestehende Videos von Menschen beim Sprechen (bei denen die Körpersprache subtil ist).
- Synthetische (künstliche) Daten: Computergenerierte Animationen. Einige waren sehr einfach und repetitiv (leicht), andere sahen sehr realistisch aus, hatten aber unordentliche Bewegungen (schwer).

Der Test: Kann der Roboter mithalten?

Sie testeten 12 verschiedene „Gehirn“-Modelle (Algorithmen) auf diesen Daten. Sie wollten zwei Dinge herausfinden:

Genauigkeit: Hat der Roboter die richtige Botschaft erraten?
Geschwindigkeit: Konnte er dies schnell genug auf einem kleinen Roboter-Chip (wie dem NVIDIA Orin Nano) ausführen, ohne Verzögerungen?

Das Ergebnis:

Ja, es funktioniert. Die meisten Modelle konnten die Absicht allein aus den Körperbewegungen korrekt identifizieren, selbst auf der kleinen, schnellen Hardware.
Die „Fake“-Falle: Computergenerierte Daten (synthetisch) waren manchmal zu einfach. Die Roboter erreichten perfekte Punktzahlen bei künstlichen Daten, hatten aber größere Schwierigkeiten mit echten menschlichen Bewegungen, die unordentlicher und weniger repetitiv sind.
Das „Gesichts“-Problem: Als sie einen Datensatz testeten, bei dem Menschen nah beieinander standen und sprachen (IPC), scheiterten die Roboter. Warum? Weil diese Botschaften auf Gesichtsausdrücken und der Stimme basierten, nicht auf großen Körperbewegungen. Dies bewies, dass der Roboter keine „gedankenlesende“ Körpersprache interpretieren kann, wenn der Körper sich nicht wirklich bewegt.

Das Geheimrezept: Der „Selbstkontroll“-Mechanismus

Dies ist der kreativste Teil der Arbeit. Normalerweise sagt ein Roboter: „Ich bin mir zu 90 % sicher, dass dies ‚Komm her‘ ist!“ Aber wie weiß er, ob er falsch liegt?

Die Autoren entdeckten einen Weg, wie der Roboter seine eigene Arbeit überprüfen kann, ohne dass ein Mensch ihm die Antwort sagen muss.

Die Analogie: Stellen Sie sich vor, Sie versuchen, den nächsten Schritt in einem Tanz vorherzusagen. Sie raten den nächsten Schritt, tun dann so, als hätten Sie diesen Schritt tatsächlich ausgeführt, und versuchen dann, den darauffolgenden Schritt basen der Vorhersage zu erraten.
Der Prozess: Der Roboter sagt die Körperbewegung voraus, speist diese Vorhersage dann wieder in sich selbst ein, um den nächsten Moment vorherzusagen, und so weiter.
Der „Selbstkonsistenz“-Score:
- Wenn der Roboter immer wieder dieselbe Botschaft vorhersagt (z. B. „Komm her“), während er die Zukunft simuliert, ist er konsistent. Das bedeutet, er ist wahrscheinlich korrekt.
- Wenn der Roboter zwischen Botschaften hin und her springt (z. B. „Komm her“ -> „Geh weg“ -> „Komm her“), ist er inkonsistent. Dies ist ein Warnsignal, dass er verwirrt ist.

Der Beweis: Sie haben mathematisch bewiesen, dass, wenn ein Roboter konsistent mit sich selbst ist, er wahrscheinlich richtig liegt. Sie zeigten jedoch auch eine Grenze auf: Wenn die Aufgabe unmöglich ist (wie der Versuch, eine Botschaft von einer Person zu lesen, die sich nicht bewegt), kann der Roboter zwar selbstbewusst konsistent, aber dennoch völlig falsch liegen.

Das Fazit

Körpersprache funktioniert: Roboter können die Absicht von Menschen allein aus deren Körperbewegungen verstehen, selbst aus der Ferne.
Realismus ist wichtig: Künstliche Daten sind zu sauber; echte menschliche Bewegung ist unordentlich und schwerer vorherzusagen.
Selbstvertrauen: Roboter können ihre eigene interne „Stabilität“ nutzen, um zu entscheiden, wann sie handeln und wann sie sagen: „Ich bin mir nicht sicher, ich warte ab.“

Diese Forschung ebnet den Weg für Rettungsroboter, die die Gesten einer gestrandeten Person aus der Ferne verstehen können, oder Sicherheitsdrohnen, die ein „Bedrohungs“- oder „Hilfe“-Signal erkennen können, ohne ein Gesicht sehen zu müssen.

Technische Zusammenfassung: Echtzeit-Körperpose zur nonverbalen Kommunikation mit einem konsistenzbasierten Zuverlässigkeitsmaß

Problemstellung
Die Arbeit befasst sich mit der Erkennung kommunikativer Intentionen allein aus einer 2D-Körperpose, wobei gezielt Szenarien adressiert werden, in denen Gesichtskanäle und Audiokanäle nicht verfügbar oder unzuverlässig sind (z. B. die Kommunikation über große Distanzen zwischen Mensch und Roboter, Rettungseinsätze, datenschutzsensible Überwachung). Bestehende Ressourcen versäumen es, dieses Signal zu isolieren: Affektive Korpora (z. B. MELD, IEMOCIP) vermischen Körperbewegung mit Sprache und Gesichtsausdrücken, während Benchmarks für Skelett-Aktionserkennung (z. B. NTU RGB+D 120) ausgeführte Aktionen (Gehen, Sitzen) über lange Zeitfenster labeln, anstatt über die kurzen Bursts (1–2 Sekunden), die spezifische kommunikative Intentionen vermitteln. Zudem verlassen sich bestehende Drohnen-Gestensysteme auf kleine, feste Vokabulare von Kommandoposen statt auf einen reicheren, natürlichen Raum kommunikativer Intentionen. Es besteht eine kritische Lücke bei Datensätzen und Benchmarks, die auf die Erkennung kommunikativer Intentionen unter Echtzeit- und On-Device-Beschränkungen abzielen. Darüber hinaus benötigen einsatzfähige Systeme nicht nur Genauigkeit, sondern auch einen Mechanismus, um zu signalisieren, wenn eine Vorhersage wahrscheinlich falsch ist, um sicherheitskritische Fehler zu vermeiden; herkömmliche Kalibrierungsmethoden erfordern jedoch oft gelabelte Validierungsdaten.

Methodik
Die Autoren schlagen ein Framework vor, das Datensatz-Erstellung, Modell-Benchmarking und ein neuartiges unüberwachtes Zuverlässigkeitsmaß umfasst.

Datensatz-Erstellung: Die Autoren veröffentlichen einen Datensatz („Ours“), der 157.000 echte Frames von Ganzkörperposen abdeckt, die 10 kommunikative Intentionen (z. B. „komm zu mir“, „Missbilligung“, „wir haben ein Geschäft abgeschlossen“) enthalten. Diese wurden unter Verwendung von YOLO11-pose aus echten menschlichen Videos erfasst. Um Generalisierung und Schwierigkeitsgrad zu bewerten, wird dieser mit vier anderen Korpora verglichen:
- IPC (Real): Ein groß angelegtes multimodales Korpus (Seamless Interaction) mit 8 interpersonalen Zirkumplex-Codes, das als Negativkontrolle dient, in dem die Intention nicht allein aus grober 2D-Bewegung extrahierbar ist.
- MotionLCM (Synthetisch): Generiert via Latent Consistency Model, bietet Daten mit geringer Varianz und hoher Trennbarkeit.
- Kimodo (Synthetisch): Generiert via SMPL-X, bietet eine ausgewogene Varianz.
- VEO3.1 (Synthetisch): Text-zu-Video generierte Daten, die eine hohe Varianz und fotorealistisches Erscheinungsbild bieten.
  Alle Datensätze sind auf 105-Frame-Sequenzen von 17 COCO 2D-Keypoints bei 30 Hz standardisiert.
Modell-Benchmarking: Zwölf Modelle werden unter angepassten Trainingsbedingungen auf Hardware für eingebettete Systeme (NVIDIA Jetson Orin Nano) getestet. Die Modelle werden kategorisiert in:
- Nur Erkennung (Recognition-only): Skelett-Graph-Klassifikatoren (ST-GCN++, CTR-GCN, 2s-AGCN, EfficientGCN-B0).
- Gemeinsame Vorhersage-Erkennung (Joint Forecast-Recognition): Architekturen, die gleichzeitig zukünftige Bewegungs-Trajektorien vorhersagen und die Intention klassifizieren (MLP, LSTM, CNN-LSTM, Transformer, MotionMixer, POTR, InfoGCN++, PGBIG).
  Die Leistung wird durch Genauigkeit (Macro-F1), Trajektorien-Vorhersagefehler (MAE) und Inferenzlatenz (FPS) gemessen.
Konsistenzbasiertes Zuverlässigkeitsmaß: Das Paper führt eine label-freie Konfidenzschätzung ( $c_{10}$ ) ein, die aus der autoregressiven Selbstkonsistenz eines Modells abgeleitet wird. Das Modell prognostiziert seine eigene zukünftige Bewegung, speist diese Prognose als Input wieder ein und klassifiziert das Fenster wiederholt über 10 Schritte. Der Konsistenz-Score ist der Anteil der Schritte, in denen die vorhergesagte Bezeichnung gleich bleibt. Die Autoren liefern einen theoretischen Beweis (Proposition 1), der die Wahrscheinlichkeit begrenzt, mit der eine selbstkonsistente Vorhersage korrekt ist, und zeigen, dass diese Wahrscheinlichkeit mit der Anzahl der konsistenten Schritte ( $n$ ) steigt, aber durch die Trennbarkeit der Klassen ( $f_r, f_g$ ) begrenzt ist.

Wichtigste Ergebnisse

Intentions-Rekuperation: Kommunikative Intention ist allein aus der 2D-Körperpose auf dem „Ours“-Datensatz rekonstruierbar. Graph-basierte und rekurrenten Modelle (z. B. 2s-AGCN, CNN-LSTM) erreichen bei den meisten Intentionen eine Recall-Rate von 90–100 %. Spezifische Intentionen wie „Missbilligung“, „komm zu mir“ und „enthusiastisch“ zeigen jedoch eine inhärente Ambiguität unter 2D-Projektion.
Datensatz-Schwierigkeit: Synthetische Datensätze (MotionLCM, Kimodo) sind leicht zu lernen (nahezu Decken-Genauigkeit) aufgrund der geringen Varianz. VEO3.1 stellt eine größere Herausforderung dar, was durch fotorealistisches Rauschen bedingt ist. Das IPC-Datensatz fungiert als Fallbeispiel für ein Scheitern; Modelle erreichen eine Genauigkeit nahe der Zufallswahrscheinlichkeit, was bestätigt, dass interpersonale Haltungs-Codes nicht aus grober 2D-Körperbewegung ohne Gesicht oder Kontext extrahierbar sind.
Vorhersage vs. Stabilität: Ein niedriger Trajektorien-Vorhersagefehler (MAE) garantiert keine Robustheit. Modelle, die den MAE minimieren, neigen dazu, Bewegungen übermäßig zu glätten. Die autoregressive Rollout-Stabilität (wie gut ein Modell die Klassen-interne Bewegung beibehält, wenn es seine eigenen Vorhersagen konsumiert) ist eine distinkte und kritische Metrik. CNN-LSTM und InfoGCN++ zeigten eine überlegene Stabilität im Vergleich zu MLPs und Transformern.
Zuverlässigkeitssignal: Der $c_{10}$ -Konsistenz-Score ist ein kalibriertes Zuverlässigkeitssignal auf lernbaren Datensätzen. Hohe Konsistenz korreliert mit hoher Genauigkeit (bis zu 0,93 auf „Ours“ und ~1,0 auf synthetischen Sets). Entscheidend ist, dass auf dem IPC-Datensatz, wo die Aufgabe nicht lernbar ist, $c_{10}$ hoch bleibt, sich aber von der Korrektheit entkoppelt und somit das Regime korrekt identifiziert, in dem die Konfidenz nicht informativ ist.
Edge-Performance: Alle 12 Modelle laufen deutlich über 30 FPS auf dem NVIDIA Orin Nano. Die primäre Einschränkung für den Einsatz ist die Genauigkeit, nicht die Latenz. Dual-Task-Modelle dominieren bei der reinen Klassifikation, bieten aber die notwendigen Fähigkeiten für Vorhersage und Zuverlässigkeit.

Bedeutung und Ansprüche
Das Paper beansprucht drei Hauptbeiträge:

Datensatz und Benchmark: Es schließt eine Lücke, indem es einen Datensatz und Benchmark bereitstellt, der spezifisch auf die kommunikative Intention aus der Körperpose allein abzielt und reale sowie synthetische Daten kontrastiert, um die Modellleistung von Datensatz-Artefakten zu isolieren.
Hardware-bewusstes Benchmarking: Es liefert einen umfassenden Vergleich von Architekturen auf eingebetteter Hardware und stellt fest, dass die Genauigkeit der limitierende Faktor für die Echtzeit-Kommunikation zwischen Mensch und Roboter auf Geräten ist, nicht die Rechengeschwindigkeit.
Unüberwachte Zuverlässigkeit: Es demonstriert, dass die autoregressive Selbstkonsistenz eines Modells als valides, label-freies Zuverlässigkeitssignal dient. Das Paper beweist, dass dieses Signal informativ ist, wenn die Aufgabe lernbar ist, und korrekt identifiziert, wenn dies nicht der Fall ist (d. h. wenn das Modell zwar selbstbewusst, aber falsch liegt). Dies ermöglicht es einem System, bei unsicheren Vorhersagen nicht zu handeln, was ein kritisches Merkmal für sicherheitsrelevante Anwendungen ist.

Die Autoren kommen zu dem Schluss, dass die Körperpose allein ein lebensfähiger Kanal für die kommunikative Intention unter Einsatzbeschränkungen ist, sofern das System die Selbstkonsistenz nutzt, um seine eigene Vertrauenswürdigkeit in Echtzeit zu prüfen. Sie weisen auf Limitationen hin, die sich aus der Abhängigkeit von der 2D-Pose ergeben (Verlust von Tiefeninformationen) sowie auf die Notwendigkeit weiterer groß angelegter Evaluierungen in realen Langstreckenszenarien.