Toward Signing Activity Projection in Sign Language Interaction
Diese Arbeit untersucht den Transfer von Voice Activity Projection (VAP) auf die Gebärdensprachinteraktion unter Verwendung des Public DGS Corpus und stellt fest, dass Modelle auf Basis von Hand-Cues zwar vielversprechend für die Vorhersage von Fortsetzungen der Gebärdensprache sind, eine präzise Vorhersage des Turn-Taking jedoch weiterhin eine Herausforderung darstellt und gebärdensprachspezifische Ereignisdefinitionen erfordert, die über aus der Sprache abgeleitete Kategorien hinausgehen.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich einen sozialen Roboter als einen neuen Tanzpartner vor. In einem normalen Gespräch lassen Menschen sich gegenseitig ausreden. Wenn Sie aufhören zu sprechen, weiß Ihr Partner, wann er einspringen oder wann er warten muss. Computer werden immer besser darin, diesen „Tanz“ vorherzusagen, wenn Menschen sprechen, indem sie ein System namens Voice Activity Projection (VAP) nutzen. Es ist wie ein Radar, das auf die Stille hört und vermutet: „Wird die Person gleich wieder sprechen oder ist ich an der Reihe?“
Aber was passiert, wenn der „Tanz“ nicht aus gesprochenen Worten besteht, sondern aus Gebärdensprache?
Dieses Paper ist ein erster Versuch, einem Roboter beizubringen, das Abwechseln beim Sprechen (Turn-Taking) in Gebärdensprache vorherzusagen, indem dieselbe „Radar“-Technologie verwendet wird – nur dass er statt auf Geräusche zu hören, das Video beobachtet.
Die große Herausforderung: Mit den Augen hören
In der gesprochenen Sprache hört der Roboter auf den Klang einer Stimme. In der Gebärdensprache gibt es keine Stimme, die man hören kann. Die „Stimme“ ist die Bewegung der Hände, der Blick in den Augen und die Form des Mundes.
Die Forscher wollten herausfinden, ob sie einfach die „Ohren“ des Roboters durch „Augen“ ersetzen könnten. Sie nahmen ein System, das für die Sprache entwickelt wurde, und versuchten, es mit Gebärdensprachdaten aus einer öffentlichen Datenbank (dem Public DGS Corpus) zum Laufen zu bringen.
Wie sie das Experiment durchführten
Da der Roboter nicht wirklich „hören“ konnte, mussten die Forscher eine vereinfachte Version des Spiels erstellen:
- Der „An/Aus“-Schalter: Anstatt zu versuchen, komplexe Sätze zu verstehen, verwandelten sie das Video in ein einfaches „An/Aus“-Licht. Wenn eine Person eine Gebärde machte, war das Licht AN. Wenn sie still war, war das Licht AUS.
- Die zwei Fragen: Sie stellten dem Roboter zwei spezifische Fragen über die Zukunft:
- Frage A (Der „Wer ist als Nächstes dran?“-Test): Wer beginnt nach einem Moment, in dem beide still sind, wieder? Ist es dieselbe Person (HALTEN/HOLD), oder geht das Sprechrecht auf die andere Person über (WECHSELN/SHIFT)?
- Frage B (Der „Sind sie fertig?“-Test): Wenn jemand gerade gebärdet, wird er dann sehr bald aufhören und den anderen sprechen lassen?
Die Werkzeuge: Was der Roboter beobachtete
Der Roboter sah sich nicht einfach das ganze Video an, sondern konzentrierte sich auf bestimmte Körperteile, wie ein Detektiv, der nach Hinweisen sucht:
- Hände: Die Hauptakteure in der Gebärdensprache.
- Augen: Wohin die Person schaut.
- Mund: Die Form des Mundes (die oft beim Gebärden hilft).
Sie trainierten den Roboter unter Verwendung dieser visuellen Hinweise, um die zukünftigen „An/Aus“-Lichter vorherzusagen.
Die Ergebnisse: Ein gemischtes Bild
Die Ergebnisse waren ein wenig wie bei einem Schüler, der in einem Fach sehr gut ist, aber in einem anderen Schwierigkeiten hat:
- Die gute Nachricht (Der „Wer ist als Nächstes dran?“-Test): Der Roboter war tatsächlich ziemlich gut darin, zu erraten, wer nach einer Stille als Nächstes spricht, besonders wenn er die Hände beobachtete. Es stellt sich heraus, dass Handbewegungen ein sehr starker Hinweis darauf sind, wer das „Rederecht“ hält.
- Die schlechte Nachricht (Der „Sind sie fertig?“-Test): Der Roboter hatte Schwierigkeiten vorherzusagen, ob jemand kurz davor steht, aufzuhören und das Wort an den anderen zu übergeben. Selbst wenn der Roboter die Augen oder den Mund beobachtete, konnte er den genauen Moment, in dem eine Sprechsequenz endet, nicht zuverlässig vorhersagen.
Warum war es so schwer?
Die Autoren erklären, dass die „Regeln“, die sie dem Roboter beigebracht haben, aus der gesprochenen Sprache entlehnt wurden und vielleicht nicht perfekt zur Gebärdensprache passen.
- Die falsche Karte: Sie nutzten eine Karte, die für die „Stimme“ entwickelt wurde, um sich in der „Gebärde“ zu bewegen. In der Gebärdensprache ist das Ende eines Beitrags nicht nur das Aufhören eines Lautes; es beinhaltet komplexe visuelle Hinweise wie das Einhalten einer Pose, das Ansehen des anderen oder spezifische Handformen, die das einfache „An/Aus“-Licht nicht gut erfassen konnte.
- Fehlende Details: Der Roboter beobachtete 2D-Strichmännchen-Umrisse (Keypoints) des Körpers. Er übersah die Tiefe der Handbewegungen und die subtilen Nuancen der Mimik, die entscheidend dafür sind, zu wissen, wann ein Beitrag wirklich beendet ist.
Das Fazit
Dieses Paper ist ein „Proof of Concept“ (ein Machbarkeitsnachweis). Es zeigt:
- Wir können versuchen, dieselbe prädiktive Technologie für die Gebärdensprache zu verwenden wie für die gesprochene Sprache.
- Handbewegungen sind ein mächtiger Hinweis darauf, wer gerade spricht.
- Jedoch funktioniert das bloße Kopieren von Sprachregeln nicht perfekt. Um einen Roboter wirklich gut in Gebärdensprache-Gesprächen zu machen, müssen wir neue Regeln und Definitionen erfinden, die spezifisch für die Gebärdensprache sind, anstatt einfach nur Sprachregeln auf sie zu übertragen.
Kurz gesagt: Der Roboter lernt gerade zu tanzen, stolpert aber noch über die spezifischen Schritte des Gebärdensprache-Tanzes, weil er versucht, sie mit einer Karte zu lernen, die für eine ganz andere Art von Tanz gedacht ist.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.