Each language version is independently generated for its own context, not a direct translation.
🎬 Le film de la conversation : Au-delà des mots
Imaginez que vous regardez un film muet. Vous voyez les personnages bouger, sourire, lever les épaules, mais vous n'avez pas le son. Maintenant, imaginez l'inverse : vous entendez une conversation, mais vous ne voyez rien. Dans les deux cas, vous ratez une partie de l'histoire.
C'est exactement le problème que les linguistes rencontrent avec les corpus (de grandes bibliothèques de données linguistiques). Jusqu'à présent, la plupart ressemblent à des recueils de scripts de théâtre : on y trouve les mots exacts, mais on a oublié le jeu d'acteur, les gestes, les regards et les intonations. Or, quand on parle, on utilise tout notre corps pour communiquer, pas juste notre bouche.
🤖 Le projet Gest-IT : Créer un "film" complet
L'équipe de l'Université de Bologne (en Italie) a lancé un projet appelé Gest-IT. Leur but ? Construire une bibliothèque de conversations qui ne se contente pas d'enregistrer les mots, mais qui capture aussi le mouvement.
Pour faire simple, ils ont créé un système de trois couches superposées, comme un sandwich ou un gâteau à trois étages :
- L'étage des mots (ce qui est dit).
- L'étage de la voix (l'accent, les pauses, les cris, les chuchotements).
- L'étage du corps (les gestes des mains, les mouvements de tête, les épaules).
👁️🙈 L'expérience : Qui parle à qui ?
Pour tester leur système, ils ont organisé des conversations très spéciales. Ils ont mélangé deux groupes de personnes :
- Des personnes qui voient bien (les "voyants").
- Des personnes aveugles ou malvoyantes (les "non-voyants").
Ils ont créé des scénarios un peu comme dans un jeu de rôle :
- Face à face : Tout le monde se voit (ou croit se voir).
- Dos à dos : Les gens parlent sans se voir, comme s'ils étaient dans le noir.
Pourquoi faire ça ? Pour voir si le fait de savoir que l'autre vous regarde (ou pas) change la façon dont on bouge les mains. Est-ce qu'on fait plus de gestes quand on est "vu" ? Et est-ce qu'une personne aveugle fait les mêmes gestes qu'une personne voyante quand elle parle ?
🛠️ La boîte à outils : Comment on note tout ça ?
C'est là que ça devient technique, mais on peut utiliser une analogie.
Jusqu'ici, décrire un geste était comme essayer de décrire un dessin en disant "c'est un truc qui ressemble à un oiseau". C'est flou et subjectif.
Les chercheurs ont décidé d'utiliser un système appelé Typannot.
Imaginez que le corps humain est un clavier d'ordinateur géant.
- Au lieu de dire "il a levé la main", le système décrit exactement quels doigts bougent, comment le poignet tourne, et où est la tête.
- C'est comme passer d'une description poétique ("il a fait un geste expressif") à une recette de cuisine précise ("tourner le poignet de 30 degrés, étirer l'index").
Grâce à cela, ils peuvent analyser les gestes de manière "objective", sans se fier à ce que le chercheur pense que le geste signifie, mais en regardant sa forme pure.
📂 Le résultat : Une base de données intelligente
Toutes ces données (vidéos, sons, transcriptions des mots et des gestes) sont rangées dans un format standardisé (CoNLL-U), un peu comme si on mettait toutes les pièces d'un puzzle dans une boîte bien rangée, avec des étiquettes précises.
Cela permet aux ordinateurs de "lire" non seulement les mots, mais aussi de comprendre comment les mots et les gestes dansent ensemble.
🚀 Et après ?
Pour l'instant, c'est une exploration pilote (un premier essai). L'équipe a posé les fondations et montré que c'est possible de faire ça pour la langue italienne, en mélangeant des personnes voyantes et non-voyantes.
En résumé :
Ce papier dit : "Arrêtons de regarder seulement les mots écrits. Pour comprendre vraiment comment les humains parlent, il faut regarder le film complet, avec les gestes, les regards et les voix. Nous avons créé un nouveau système de 'sous-titrage' qui décrit le corps aussi précisément que les mots, pour mieux comprendre la communication entre tous les humains, qu'ils voient ou non."