Toward Signing Activity Projection in Sign Language Interaction
Cet article étudie le transfert de la projection de l'activité vocale (VAP) à l'interaction en langue des signes à l'aide du corpus Public DGS, constatant que si les modèles basés sur les indices manuels sont prometteurs pour prédire les continuations de signes, la prédiction précise de la prise de parole reste un défi et nécessite des définitions d'événements spécifiques à la langue des signes au-delà des catégories dérivées de la parole.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Imaginez un robot social comme un nouveau partenaire de danse. Dans une conversation normale, les gens se relaient pour parler. Si vous arrêtez de parler, votre partenaire sait quand intervenir ou quand attendre. Les ordinateurs deviennent très doués pour prédire cette « danse » lorsque les gens parlent, en utilisant un système appelé Voice Activity Projection (VAP). C'est comme un radar qui écoute le silence et devine : « La personne est-elle sur le point de parler à nouveau, ou est-ce mon tour ? »
Mais que se passe-t-il quand la « danse » n'est pas faite de mots parlés, mais de langue des signes ?
Ce document est une première tentative pour apprendre à un robot à prédire la prise de parole en langue des signes en utilisant la même technologie de « radar », mais au lieu d'écouter le son, il observe la vidéo.
Le grand défi : Écouter avec les yeux
Dans le langage parlé, le robot écoute le son d'une voix. En langue des signes, il n'y a pas de voix à entendre. La « voix » est le mouvement des mains, le regard des yeux et la forme de la bouche.
Les chercheurs ont voulu voir s'ils pouvaient simplement remplacer les « oreilles » du robot par des « yeux ». Ils ont pris un système conçu pour la parole et ont essayé de le faire fonctionner avec des données de langue des signes provenant d'une base de données publique (le Public DGS Corpus).
Comment ils ont mené l'expérience
Puisque le robot ne pouvait pas réellement « entendre » la langue des signes, les chercheurs ont dû créer une version simplifiée du jeu :
- L'interrupteur « On/Off » : Au lieu d'essayer de comprendre des phrases complexes, ils ont transformé la vidéo en une simple lumière « On/Off ». Si une personne faisait un signe, la lumière était ALLUMÉE (ON). Si elle était immobile, la lumière était ÉTEINTE (OFF).
- Les deux questions : Ils ont posé deux questions spécifiques au robot sur le futur :
- Question A (Le test du « Qui est le prochain ? ») : Après un moment où les deux personnes sont silencieuses, qui recommence ? Est-ce la même personne (RETOUR/HOLD), ou le tour passe-t-il à l'autre personne (CHANGEMENT/SHIFT) ?
- Question B (Le test du « Ont-ils fini ? ») : Si quelqu'un est en train de signer, est-il sur le point de s'arrêter pour laisser l'autre personne parler très bientôt ?
Les outils : Que le robot a-t-il observé ?
Le robot n'a pas seulement regardé toute la vidéo ; il s'est concentré sur des parties spécifiques du corps, comme un détective cherchant des indices :
- Les mains : Les acteurs principaux de la langue des signes.
- Les yeux : Là où la personne regarde.
- La bouche : La forme de la bouche (qui aide souvent dans la signature).
Ils ont entraîné le robot en utilisant ces indices visuels pour prédire les futures lumières « On/Off ».
Les résultats : Un bilan mitigé
Les conclusions étaient un peu comme celles d'un étudiant qui est excellent dans une matière mais en difficulté dans une autre :
- La bonne nouvelle (Le test du « Qui est le prochain ? ») : Le robot était en fait assez doué pour deviner qui parlerait ensuite après un silence, surtout lorsqu'il observait les mains. Il s'avère que les mouvements des mains sont un indice très fort pour savoir qui détient la « parole » dans une conversation en langue des signes.
- La mauvaise nouvelle (Le test du « Ont-ils fini ? ») : Le robot avait du mal à deviner si un signeur était sur le point de s'arrêter pour passer la parole. Même quand le robot regardait les yeux ou la bouche, il ne pouvait pas prédire de manière fiable le moment exact où un tour se terminait.
Pourquoi était-ce difficile ?
Les auteurs expliquent que les « règles » qu'ils ont enseignées au robot étaient empruntées au langage parlé, et qu'elles ne correspondent peut-être pas parfaitement à la langue des signes.
- La mauvaise carte : Ils ont utilisé une carte conçue pour la « voix » pour naviguer dans les « signes ». En langue des signes, la fin d'un tour n'est pas seulement l'arrêt d'un son ; cela implique des indices visuels complexes comme maintenir une pose, regarder l'autre personne ou des formes de mains spécifiques que la simple lumière « On/Off » ne capturait pas bien.
- Manque de détails : Le robot observait des silhouettes 2D (points clés/keypoints) du corps. Il manquait la profondeur des mouvements des mains et les nuances subtiles des expressions faciales qui sont cruciales pour savoir quand un tour est véritablement terminé.
L'essentiel
Ce document est une « preuve de concept ». Il montre que :
- Nous pouvons essayer d'utiliser la même technologie prédictive pour la langue des signes que pour la parole.
- Les mouvements des mains sont un indice puissant pour savoir qui parle.
- Cependant, copier simplement les règles de la parole ne fonctionne pas parfaitement. Pour qu'un robot soit vraiment bon dans les conversations en langue des signes, nous devons inventer de nouvelles règles et définitions qui sont spécifiques à la langue des signes, plutôt que de simplement forcer les règles de la parole sur elle.
En bref, le robot apprend à danser, mais il trébuche encore sur les pas spécifiques de la danse de la langue des signes, car il essaie de les apprendre en utilisant une carte destinée à un autre type de danse.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.