SignAgent: Agentic LLMs for Linguistically-Grounded Sign Language Annotation and Dataset Curation

Ce papier présente SignAgent, un cadre novateur utilisant des modèles de langage agissants pour automatiser l'annotation linguistique et la curation de jeux de données en langue des signes, surmontant ainsi les limites des méthodes traditionnelles en termes d'échelle et de précision phonologique.

L'essentiel

🤖 SignAgent : Le Traducteur-Enquêteur pour la Langue des Signes

Imaginez que la Langue des Signes (comme la LSF ou l'ASL) est un langage très complexe, écrit non pas avec des mots sur du papier, mais avec tout le corps : les mains, les bras, le visage, et même la vitesse des mouvements. C'est comme une danse où chaque geste a un sens précis.

Le problème actuel ? Les ordinateurs sont très forts pour "voir" les vidéos, mais ils sont souvent bavards et imprécis. Ils disent "c'est un mouvement de main", mais ils ne comprennent pas quel mot cela représente, ni les subtilités grammaticales. De plus, pour apprendre aux ordinateurs, il faut que des humains annotent des heures de vidéos, ce qui prend un temps fou (plus d'une heure de travail pour une minute de vidéo !). C'est comme essayer de remplir un océan avec une petite cuillère.

SignAgent est la solution proposée par les chercheurs. C'est un nouveau type d'intelligence artificielle qui ne se contente pas de "regarder" la vidéo, mais qui réfléchit comme un linguiste expert.

---

🧩 Comment ça marche ? L'analogie du Chef d'Orchestre et de la Bibliothèque

Pour comprendre SignAgent, imaginez une équipe de deux personnes très spécialisées travaillant dans un bureau rempli d'outils :

1. Le Chef d'Orchestre (L'Orchestrator)

C'est le cerveau du système. Imaginez un chef d'orchestre très intelligent qui ne joue pas d'instrument lui-même, mais qui sait exactement quel instrument faire jouer à quel moment.

• Son rôle : Il reçoit une vidéo de quelqu'un qui signe. Il ne devine pas le mot. Au lieu de ça, il dit : "Attends, je vais utiliser l'outil A pour regarder la forme de la main, l'outil B pour analyser le mouvement, et l'outil C pour vérifier la position."
• Il coordonne tout cela étape par étape, comme un détective qui rassemble des indices avant de conclure.

2. La Bibliothèque Magique (SignGraph)

C'est la base de connaissances. Imaginez une bibliothèque géante qui contient non seulement un dictionnaire, mais aussi les règles de grammaire, les différentes façons de faire un signe (par exemple, le signe "basket" peut se faire avec une main ou deux), et les liens entre les mots.

• Quand le Chef d'Orchestre a un doute, il va consulter cette bibliothèque pour vérifier : "Est-ce que ce mouvement correspond bien au mot 'pomme' ou à 'poire' ?"

3. La Boîte à Outils (Les "Tools")

Entre le Chef et la Bibliothèque, il y a une boîte à outils remplie de petits robots spécialisés :

• Un robot qui ne regarde que la forme des mains.
• Un autre qui analyse la trajectoire des poignets.
• Un troisième qui repère où la main se trouve (près du visage, sur la poitrine, etc.).

---

🎯 Les Deux Missions de SignAgent

Le papier teste ce système sur deux tâches principales, que l'on peut comparer à deux jeux différents :

Mission 1 : Le Puzzle des Mots (Annotation "Pseudo-gloss")

Imaginez que vous avez une vidéo d'une phrase signée et sa traduction écrite en français. Le but est de dire : "Ce geste correspond au mot 'chat', celui-ci à 'manger', et celui-là à 'bon'".

• Avant SignAgent : L'ordinateur essayait de deviner directement, souvent en se trompant d'ordre ou en inventant des mots.
• Avec SignAgent : Le Chef d'Orchestre prend la liste des mots possibles (le puzzle), regarde les indices visuels (forme, mouvement), consulte la bibliothèque, et assemble les pièces dans le bon ordre. C'est comme si on lui donnait les pièces du puzzle et qu'il les rangeait dans la bonne case grâce à sa logique.

Mission 2 : Le Tri des Jumelles (ID Glossing)

Parfois, le même mot peut être signé de plusieurs façons légèrement différentes (par exemple, avec la main gauche ou la droite, ou un peu plus vite). Ce sont des "variantes" du même mot.

• Le problème : Les ordinateurs classiques voient ces différences et pensent que ce sont deux mots différents. Ils créent trop de catégories inutiles.
• La solution SignAgent : Le système regarde les vidéos, les regroupe par ressemblance visuelle, puis demande à la Bibliothèque : "Est-ce que ces deux groupes sont vraiment différents ou juste des variantes du même mot ?"
• Résultat : Au lieu d'avoir 5 catégories pour le mot "basket", SignAgent en regroupe intelligemment en 2 ou 3, en comprenant que c'est le même concept, peu importe si la main est gauche ou droite.

---

🌟 Pourquoi c'est important ?

C'est un peu comme passer d'un traducteur automatique basique (qui fait des erreurs grossières) à un interprète humain expérimenté qui comprend le contexte.

• Gain de temps : Au lieu que des humains annotent des milliers d'heures de vidéos, SignAgent peut le faire beaucoup plus vite, en gardant une haute qualité.
• Compréhension réelle : Il ne se contente pas de reconnaître des formes, il comprend la linguistique (la grammaire et les règles) derrière les gestes.
• Transparence : Contrairement aux "boîtes noires" où l'on ne sait pas pourquoi l'IA a pris une décision, SignAgent laisse une trace de son raisonnement. On peut voir : "J'ai choisi ce mot parce que la forme de la main correspondait à 90% et le mouvement à 80%".

En résumé

SignAgent, c'est l'histoire d'une intelligence artificielle qui a décidé d'arrêter de deviner et de commencer à raisonner. En combinant la puissance de réflexion des grands modèles de langage (LLM) avec des outils spécialisés pour analyser les gestes et une base de connaissances linguistiques, elle permet de créer des bases de données de langue des signes beaucoup plus riches, précises et utiles pour l'avenir.

C'est un pas de géant pour rendre la langue des signes accessible aux ordinateurs, tout en respectant sa richesse et sa complexité humaine.

Résumé technique

1. Problématique

Les langues des signes (LS) sont des langues visuo-gestuelles complexes dont la structure repose sur des composants phonologiques coordonnés (forme de la main, mouvement, lieu, orientation, indices faciaux). La création de ressources à grande échelle pour ces langues se heurte à deux obstacles majeurs :

• L'absence de systèmes de raisonnement linguistique : Les méthodes computationnelles actuelles opèrent souvent au niveau du "gloss" (étiquette mot-à-mot) sans saisir les nuances linguistiques profondes ou les variations phonologiques.
• Le goulot d'étranglement de l'annotation manuelle : L'annotation linguistique détaillée est extrêmement coûteuse en temps (plus d'une heure pour annoter une minute de vidéo) et en ressources, empêchant la création de jeux de données massifs et phonologiquement conscients nécessaires à l'entraînement de modèles d'IA avancés.

L'objectif de cet article est de surmonter ces limitations en proposant un cadre automatisé capable de raisonner linguistiquement pour annoter et curer des données de langues des signes.

2. Méthodologie : Le Framework SignAgent

Les auteurs proposent SignAgent, un framework agentic (agentique) qui utilise des Modèles de Langage à Grande Échelle (LLM) pour orchestrer une suite d'outils linguistiques et de bases de connaissances. L'architecture repose sur trois composants principaux :

A. Les Agents

1. SignAgent Orchestrator : Un LLM (modèle de type "decoder-only") agissant comme contrôleur central. Il effectue un raisonnement en plusieurs étapes (ReAct : Reason-Act), décompose les tâches complexes, coordonne les outils et interagit avec la base de connaissances. Il génère des traces de raisonnement structurées (JSON) et décide d'appeler des outils ou d'interroger le graphe de connaissances.
2. SignGraph : Un agent de récupération (RAG - Retrieval-Augmented Generation) basé sur des graphes de connaissances. Il fournit un ancrage linguistique et lexical via deux graphes dirigés :
   • LexicalKnowledgeGraph : Contient les entrées du dictionnaire et leurs composants phonologiques.
   • LinguisticKnowledgeGraph : Contient des concepts linguistiques extraits de manuels de référence.

B. La Boîte à Outils (Toolset)

Le framework utilise une hiérarchie d'outils pour analyser les vidéos de LS :

• Base Tools (Outils de base) : Effectuent une analyse linguistique de bas niveau (classification de la forme de la main, du mouvement, du lieu, segmentation temporelle, extraction de gloss visuels, détection de la latéralité).
• Enhanced Tools (Outils améliorés) : Fusionnent les sorties des outils de base avec des connaissances spécifiques pour produire des preuves structurées prêtes à l'emploi. Ils incluent :
  • Gloss Evidence Collector : Fusionne la recherche visuelle et la correspondance phonologique pour générer des candidats de gloss pondérés.
  • Visual ID Glossing : Regroupe les vidéos par similarité visuelle pour identifier des variantes lexicales.
  • Clustered Phonological Analysis : Analyse le chevauchement phonologique entre les clusters visuels pour suggérer des fusions linguistiquement valides.

3. Contributions Clés

1. Première application du raisonnement agentique pour les LS : Combinaison inédite de preuves multimodales augmentées par des outils et d'une récupération ancrée dans des connaissances (RAG) pour l'annotation.
2. Évaluation sur deux tâches complémentaires :
   • Annotation de Pseudo-glosses : Alignement et réordonnancement de glosses candidats sur une séquence vidéo signée.
   • ID-Glossing : Identification et regroupement des variantes lexicales d'un même gloss (ex: "basketball" fait d'une main ou des deux) en raisonnant sur la similarité visuelle et le chevauchement phonologique.
3. Amélioration progressive (Ablation) : Démonstration que chaque étape du pipeline (de la lemmatisation simple au raisonnement agentique complet) apporte des gains de performance significatifs par rapport aux approches à pipeline fixe.
4. Données ouvertes : Mise à disposition publique des données curées pour soutenir la recherche linguistique.

4. Résultats Expérimentaux

Les expériences ont été menées sur des corpus de Langue des Signes Britannique (BSL) et Américaine (ASL).

Tâche 1 : Annotation de Pseudo-glosses (BSL)

• Objectif : Aligner une séquence de glosses sur une vidéo à partir d'une phrase traduite.
• Performance : SignAgent a surpassé les bases de référence (Sign2GPT, GBDT + fuzzy).
  • Sur l'ensemble combiné, il a atteint 59,40 % de correspondance de sous-séquence commune (LCS) contre 55,97 % pour le meilleur baselne, et 0,343 de corrélation de rang de Kendall (contre 0,257).
  • L'amélioration est particulièrement notable sur les échantillons difficiles ("Poor"), où l'agent corrige les inversions systématiques que les méthodes fixes ne peuvent pas résoudre.

Tâche 2 : ID-Glossing (ASL)

• Objectif : Affiner les clusters visuels pour identifier les variantes lexicales correctes.
• Performance : Comparé à un encodeur visuel de pointe (SignRep), SignAgent produit des clusters beaucoup plus cohérents :
  • Réduction du nombre de IDs par gloss (de 4,81 à 2,30), indiquant moins de fragmentation.
  • Amélioration de la qualité des clusters : Coefficient de Silhouette passant de -0,04 à 0,058 et ratio Calinski-Harabasz de 6,75 à 7,58.
  • Les décisions de fusion sont guidées par des contraintes phonologiques expertes (via SignGraph) plutôt que par la seule similarité visuelle, permettant de regrouper correctement des variantes qui diffèrent visuellement mais partagent la même structure phonologique.

5. Signification et Conclusion

SignAgent démontre qu'une approche agentic, combinant un LLM raisonneur, des outils d'analyse spécialisés et une base de connaissances linguistiques, peut automatiser efficacement l'annotation linguistique des langues des signes.

• Avantages : Le système est interprétable (chaque décision est justifiée par des preuves extraites), auditables et évolutif. Il ne se contente pas de prédire, il raisonne sur les preuves multimodales.
• Limites : Le framework dépend encore de ressources lexicales existantes et ne capture qu'en partie les structures non-manuelles et prosodiques.
• Impact : Ce travail positionne les LLMs agentiques non pas comme un remplacement des experts linguistes, mais comme des collaborateurs évolutifs et auditable capables de réduire drastiquement le coût de la curation de données, ouvrant la voie à des modèles de compréhension des langues des signes plus robustes et linguistiquement fondés.