How Pragmatics Shape Articulation: A Computational Case Study in STEM ASL Discourse

Résumé Technique : Comment la pragmatique façonne l'articulation dans le discours de la SLA en milieu STEM

Énoncé du problème
Les modèles de langue des signes à l'état de l'art actuel sont principalement entraînés sur des données produites par des interprètes ou des vidéos de vocabulaire isolé. Ces ensembles de données capturent des productions claires et standardisées, mais ne parviennent pas à rendre compte de la variabilité inhérente au dialogue naturel. La communication humaine est intrinsèquement adaptative, caractérisée par l'entraînement (ajustement des comportements linguistiques à un interlocuteur) et la réduction d'effort (simplification de l'articulation par la répétition). Dans les langues des signes, ces processus adaptatifs se manifestent par des changements spatiotemporels tels que l'abaissement des signes, l'affaiblissement (weak drop) et le sous-dimensionnement de la localisation (location undershooting). Cependant, les modèles computationnels existants négligent souvent ces changements articulatoires dépendants du contexte, créant un fossé dans la compréhension de la manière dont la pragmatique façonne l'articulation des signes et de la manière dont les technologies actuelles représentent ces variations. Plus précisément, il existe un manque de données quantitatives comparant la signature diidique interactive à la production isolée et aux contextes monologiques dans des domaines spécialisés comme les STEM (Sciences, Technologie, Ingénierie et Mathématiques), où la fluidité du vocabulaire est élevée.

Méthodologie
Pour combler cette lacune, les auteurs ont construit un ensemble de données multimodal et un cadre computationnel pour analyser le discours de la SLA en milieu STEM.

• Collecte de données : L'étude a utilisé la capture de mouvement (système Vicon, 120 fps, 73 marqueurs) pour enregistrer deux signeurs sourds fluents (un instructeur en biologie et un étudiant) dans deux conditions principales :
  1. Vocabulaire isolé : L'étudiant a produit 77 signes STEM individuellement pour établir une base de référence pour les propriétés spatiales et temporelles.
  2. Dialogue dyadique : Une conversation spontanée de 8,52 minutes entre l'instructeur et l'étudiant couvrant des sujets de biologie (ex: structure cellulaire, génétique).
  • Données supplémentaires : Pour distinguer la réduction d'effort individuelle de l'entraînement spécifique au dialogue, les auteurs ont inclus :
    • Le cours monologique : Un cours solo par le même instructeur sur les mêmes sujets.
    • Données d'interprète : Articles Wikipédia signés en accès libre (ASL STEM Wiki) et contenus signés par des interprètes, représentant les distributions typiques des données d'entraînement.
• Annotation : Les données vidéo ont été annotées à l'aide d'ELAN selon les principes de glossage SLAASH, en se concentrant sur la traduction au niveau de la phrase et l'identification de signes STEM spécifiques.
• Métriques cinématiques : Les auteurs ont adapté les métriques des études sur les gestes pour quantifier la variabilité articulatoire :
  • Réduction spatiale : Mesurée via l'étendue spatiale (Spatial Extent - diagonale de la boîte englobante 3D) et la longueur du trajet (Path Length - distance cumulée parcourue).
  • Réduction temporelle : Mesurée via la vitesse moyenne (Average Velocity) et la durée d'articulation (Articulation Duration).
  • Abaissement du signe : Mesuré comme le déplacement vertical moyen de la main dominante.
• Analyse computationnelle :
  • Entraînement vs Réduction d'effort : Les auteurs ont comparé les réductions du dialogue par rapport au monologue. Les réductions présentes dans les deux cas ont été attribuées à l'effort individuel ; les réductions uniques au dialogue ont été attribuées à l'entraînement.
  • Évaluation du modèle : Deux encodeurs pré-entraînés, SignCLIP (points clés squelettiques, apprentissage contrastif) et I3D (vidéo RGB, reconnaissance d'action), ont été évalués.
  • Tâches :
    1. Embedding-based Entrainment (Entraînement basé sur l'encodage) : Analyse des changements de similitude cosinus entre les encodages (embeddings) des signeurs lors de mentions répétées.
    2. Sign Spotting (Repérage de signes) : Une tâche de recherche où des signes isolés servent de requêtes pour chercher dans des séquences continues de dialogues/monologues, mesurant le rang de rappel moyen (MRR) et le rappel à k (Recall@k).
  • Rendu d'avatar : Pour atténuer le bruit visuel des combinações de capture de mouvement, des avatars 3D ont été rendus à partir des données de mouvement pour tester la robustesse des modèles face à des entrées hors distribution.

Contributions clés

1. Cadre de désenchevêtrement : Introduction d'une méthode pour isoler l'entraînement spécifique au dialogue de la réduction d'effort individuelle en SLA en utilisant des métriques continues de mouvement spatial, temporel et vertical.
2. Preuve quantitative d'adaptation : Démonstration que la signature en dialogue présente une réduction spatiale et temporelle significative par rapport au vocabulaire isolé, reflétant les changements adaptatifs caractéristiques de la communication interactive.
3. Réduction contextuelle : Mise en évidence d'une réduction spatiale et temporelle statistiquement significative des signes STEM lors de mentions répétées en dialogue, un motif absent dans les contextes de monologue, indiquant que cette adaptation reflète l'entraînement plutôt qu'une simple efficacité générale.
4. Limites des modèles : Évaluation des modèles d'encodage de signes existants et démonstration de leur échec à généraliser à ces différences articulatoires pragmatiques, particulièrement dans les contextes interactifs.

Résultats

• Réduction articulatoire : En moyenne, les signes en dialogue étaient 24,6 % plus courts (instructeur) et 44,6 % plus courts (étudiant) en durée par rapport aux signes de vocabulaire isolé. Les longueurs de trajectoire ont également montré une tendance constante à la baisse dans le dialogue.
• Entraînement vs Effort :
  • Dialogue : Présente une réduction spatiale et temporelle systématique lors des mentions répétées, particulièrement dans la main gauche et le bras (suggérant un "weak drop").
  • Monologue : Le même instructeur a montré peu ou pas de réduction spatiale et des tendances temporelles incohérentes dans les cours solo, suggérant que la compression observée en dialogue est pilotée par l'adaptation interactionnelle plutôt que par l'efficacité individuelle.
  • Abaissement du signe : Aucune différence significative n'a été trouvée dans la position verticale de la main, indiquant que l'abaissement du signe est hautement dépendant du contexte et n'est pas la caractéristique primaire de cette réduction de dialogue spécifique.
• Performance des modèles :
  • Sign Spotting : La performance était la plus élevée dans la condition instructeur-monologue (la plus proche des données de pré-entraînement) et la plus faible dans les conditions de dialogue. SignCLIP n'a réussi à récupérer aucun élément correct dans les 50 premiers rangs dans les contextes de dialogue.
  • Métriques d'entraînement : Bien que la similitude des embeddings ait légèrement augmenté entre les signeurs au fil du temps (suggérant un certain entraînement), les modèles ont eu du mal à maintenir des représentations stables du même signe à travers différents contextes pragmatiques.
  • Rendu d'avatar : Le rendu des données de capture de mouvement sous forme d'avatars n'a pas systématiquement amélioré les performances et, dans certains cas, les a réduites, soulignant que le problème n'est pas simplement le bruit visuel mais un décalage fondamental dans la représentation articulatoire.

Signification et affirmations
L'article affirme fournir la première preuve quantitative que l'adaptation pragmatique en langue des signes suit des principes articulatoires mesurables comparables au dialogue parlé. Les auteurs soutiennent que les technologies actuelles de langue des signes conceptualisent mal la variation : elles sont entraînées pour reconnaître quel signe est produit, mais pas comment ou pourquoi il varie dans des contextes interactifs.

L'étude souligne que la signature est un système adaptatif et interactionnel plutôt qu'une séquence d'éléments lexicaux statiques. Les conclusions suggèrent que les modèles entraînés principalement sur des interprètes ou des données isolées échouent à capturer la variabilité articulatoire graduelle de la signature réelle, particulièrement dans les domaines spécialisés comme les STEM où le vocabulaire est fluide. Les auteurs concluent que le développement de technologies éducatives et de modèles de langue des signes robustes nécessite des cadres qui tiennent compte de la variabilité continue dépendante du discours et des pressions spécifiques de l'adaptation pragmatique.

Note : Les auteurs présentent modestement ces résultats comme une étude de cas en raison de la petite taille de l'échantillon (une seule paire instructeur-étudiant) et de la nature spécifique du domaine STEM, mettant en garde contre une généralisation large sans recherches supplémentaires à travers divers signeurs et contextes de discours.