Speech-Gesture GAN: Gesture Generation for Robots and Embodied Agents
Dieser Artikel schlägt ein Speech-Gesture-GAN-Framework vor, das ein conditionales Generatives Adversariales Netzwerk nutzt, um realistische co-sprachliche Gestensequenzen für verkörperte Agenten zu erzeugen, indem es die Beziehungen zwischen Sprachtext, Audio-Features und Gelenkwinkeln aus einem öffentlichen Datensatz lernt.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie unterrichten einen Roboter, wie er mit einem Menschen ein Gespräch führt. Sie können den Roboter so programmieren, dass er spricht, doch wenn er während des Sprechens wie eine Statue da steht, wirkt das Gespräch unbeholfen und roboterhaft. Menschen hingegen bewegen ständig ihre Hände, zucken mit den Schultern und zeigen mit dem Finger, während sie sprechen. Diese Bewegungen werden als Gesten bezeichnet, und sie helfen uns, Gefühle auszudrücken, Punkte zu betonen und unsere Worte natürlicher wirken zu lassen.
Diese Arbeit stellt ein neues „Gehirn" für Roboter (und virtuelle Charaktere) vor, das lernt, wie es seine Hände synchron zu dem, was es sagt, bewegt. Hier ist, wie sie es getan haben, einfach erklärt:
Das Problem: Das „Unheimliche Tal" beim Sprechen
Wenn ein Roboter spricht, ohne sich zu bewegen, wirkt es seltsam. Wenn er seine Hände zufällig bewegt, sieht er aus wie ein fehlerhafter Videospielcharakter. Das Ziel ist es, die Handbewegungen des Roboters mit der Bedeutung der Worte (wie das Hochhalten von zwei Fingern beim Sagen von „zwei") und dem Rhythmus der Stimme (wie ein schnelles Handzucken beim Sagen eines kurzen, scharfen Wortes) in Einklang zu bringen.
Die Lösung: Ein „Kopier-Kind"-Spiel (Das GAN)
Die Forscher entwickelten ein System, das auf einem Konzept namens Generatives Adversariales Netzwerk (GAN) basiert. Stellen Sie sich dies als ein Spiel zwischen zwei Schülern vor:
- Der Fälscher (Der Generator): Dieser Teil der KI versucht, gefälschte Handbewegungen basierend auf dem, was der Roboter sagt, zu erzeugen. Er möchte den Lehrer täuschen, indem er diese als echte menschliche Bewegungen erscheinen lässt.
- Der Detektiv (Der Diskriminator): Dieser Teil der KI betrachtet die Bewegungen und versucht herauszufinden: „Ist dies eine echte menschliche Geste, oder hat der Roboter sie gerade erfunden?"
Sie spielen dieses Spiel immer wieder. Der Fälscher wird besser darin, realistische Bewegungen zu erzeugen, und der Detektiv wird besser darin, die Fälschungen zu erkennen. Schließlich wird der Fälscher so gut, dass die Bewegungen nicht mehr von denen eines echten Menschen zu unterscheiden sind.
Das Geheimnis: Zuhören und Lesen
Die meisten früheren Roboter hörten nur auf den Klang der Stimme oder lasen nur den Text. Der Roboter dieser Arbeit tut beides, was wie ein Musiker ist, der sowohl das Notenblatt liest als auch gleichzeitig auf den Taktstock des Dirigenten hört.
- Der Klang (Audio): Der Roboter hört den Tonhöhenverlauf und Rhythmus der Stimme, um zu wissen, wann er sich bewegen soll.
- Die Bedeutung (Text): Der Roboter liest die Worte, um zu wissen, was er bewegen soll (z. B. wenn das Wort „groß" ist, könnten sich die Hände weit ausbreiten).
Durch die Kombination beider Aspekte kann der Roboter Gesten erzeugen, die sowohl zum Rhythmus der Rede als auch zur tatsächlichen Bedeutung der Geschichte passen.
Das Trainingslager
Um diesen Roboter zu unterrichten, verwendeten die Forscher einen speziellen Datensatz namens Trinity-Datensatz. Stellen Sie sich einen professionellen Schauspieler vor, der in einem Raum voller 20 Hochgeschwindigkeitskameras steht. Er sprach stundenlang über Filme, Hobbys und den Alltag, während er seine Hände auf natürliche Weise bewegte. Die Kameras zeichneten jeden Gelenkwinkel seines Körpers auf.
- Die Forscher speisten diese Daten in ihre KI ein.
- Sie entfernten die Beine und Finger (da viele Roboter, wie der beliebte NAO oder Pepper, keine komplexen Finger oder Beine haben, die auf die gleiche Weise bewegt werden können).
- Sie konzentrierten sich auf Wirbelsäule, Nacken, Schultern und Arme.
Hat es funktioniert?
Die Forscher testeten ihren Roboter auf zwei Arten:
- Der Mathe-Test (Objektiv): Sie maßen die Geschmeidigkeit und Geschwindigkeit der Hände des Roboters im Vergleich zum echten menschlichen Schauspieler. Die Bewegungen des Roboters waren viel näher an denen des echten Menschen als bei anderen Robotern, mit denen er verglichen wurde.
- Der Mensch-Test (Subjektiv): Sie zeigten Videos des sich bewegenden Roboters echten Menschen und fragten: „Sieht dies natürlich aus? Passt es zur Rede?"
- Das Ergebnis: Die Menschen konnten keinen Unterschied erkennen! Statistisch waren die Gesten des Roboters genauso natürlich, zeitlich gut abgestimmt und bedeutungsvoll wie die Gesten des echten menschlichen Schauspielers.
Das Fazit
Diese Arbeit beweist, dass wir durch die Verwendung eines „Fälscher-gegen-Detektiv"-Spiels und das Unterrichten des Roboters, sowohl auf den Klang als auch auf die Bedeutung der Sprache zu hören, Roboter schaffen können, die nicht nur sprechen, sondern tatsächlich mit menschlicher Körpersprache kommunizieren. Es ist ein großer Schritt hin dazu, dass unsere digitalen und robotischen Freunde weniger wie Maschinen und mehr wie natürliche Gesprächspartner wirken.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.