Résumé technique : Augmentation de corpus pour la traduction de la langue des signes via l'assemblage de vidéos guidé par un LLM

Énoncé du problème

La traduction de la langue des signes (SLT - Sign Language Translation) vise à convertir des vidéos en langue des signes en texte de langue parlée. Bien que les vastes jeux de données faiblement alignés aient permis d'atteindre une certaine échelle et que les méthodes sans gloss (gloss-free) aient réduit la dépendance vis-à-vis de l'annotation experte, les paires vidéo-texte parallèles de haute qualité pour l'ajustement fin (fine-tuning) restent rares. Cette rareté limite la généralisation sur le vocabulaire de longue traîne et les constructions inédites. Les approches d'augmentation de données existantes se heurtent à des obstacles importants : l'assemblage au niveau des caractéristiques (feature-level) est lié à des encodeurs spécifiques, les méthodes au niveau du squelette nécessitent des étapes de rendu pour être utilisables par des modèles RGB, et la génération de vidéos réalistes reste un défi ouvert. De plus, des évaluations contrôlées récentes (par exemple, Sincan et al.) suggèrent que de nombreuses améliorations rapportées pour la SLT sans gloss s'estompent sous des conditions strictes, le gain vérifié le plus important par rapport à une ligne de base n'étant que de +0,98 BLEU-4.

Méthodologie

Les auteurs proposent un pipeline d'augmentation de corpus qui génère des paires vidéo-texte RGB synthétiques sans nécessiter de corpus vidéo externes, de modèles de génération vidéo ou d'annotations humaines supplémentaires. Le pipeline repose uniquement sur un corpus d'entraînement existant annoté par des gloss et sur un grand modèle de langage (LLM). Le processus se compose de trois étapes :

1. Extraction de clips par gloss : En utilisant la segmentation par alignement forcé CTC (basée sur Zuo et al.), le système extrait des clips au niveau des trames pour des gloss individuels à partir de vidéos d'entraînement existantes. Cela crée une base de données vidéo « indexée par gloss » sans annotations temporelles manuelles.
2. Génération de paires gloss-phrase guidée par LLM : Un LLM ancré dans le corpus génère de nouvelles paires gloss-phrase. Pour éviter la dérive du vocabulaire et assurer la cohérence du domaine (bulletins météo allemands), le LLé est fourni avec :
   • Le vocabulaire complet des gloss de Phoenix.
   • 500 exemples échantillonnés aléatoirement dans le corpus comme contexte.
   • Des paires « ancres » sélectionnées via une stratégie de moindre utilisation pour assurer la couverture de la distribution d'entraînement.
     Les séquences générées sont filtrées pour éliminer les correspondances exactes, les sous-séquences de phrases existantes et les doublons, garantissant un contenu linguistique réellement nouveau.
3. Assemblage de la vidéo : Les séquences synthétiques sont assemblées en échantillonnant aléatoirement des phrases parmi le pool généré et en les assignant à des clips.
   • Sélection du signeur : Pour les phrases générées par le LLM, un signeur est échantillonné uniformément parmi ceux ayant enregistré des clips pour chaque gloss de la séquence.
   • Assignation des clips : Les clips sont sélectionnés aléatoirement parmi les occurrences disponibles pour le signeur assigné.
   • Gestion des transitions : Les trames de transition sont échantillonnées à partir de la distribution empirique des écarts entre les gloss dans le jeu de données réel. Notamment, les auteurs excluent explicitement l'optimisation de la transition basée sur L2 (lissage des limites), jugeant cela contre-productif.

Les données synthétiques résultantes consistent en des paires vidéo-texte RGB standards, ce qui les rend agnostiques vis-à-vis de l'architecture et directement consommables par des modèles de SLT basés sur le RGB ou convertibles en représentations de pose ou de caractéristiques.

Contributions clés

1. Pipeline scalable et agnostique à l'architecture : Une méthode pour étendre les corpus de SLT en utilisant uniquement les annotations de gloss existantes et un LLM, produisant des paires vidéo-texte RGB synthétiques compatibles avec n'importe quelle architecture descendante basée sur le RGB.
2. Gain de performance significatif sous conditions contrôlées : Dans le cadre d'évaluation rigoureux établi par Sincan et al., l'augmentation proposée atteint une amélioration de +2,92 BLEU-4 par rapport à la ligne de base reproduite du GFSLT-VLP (21,38 → 24,30). Ce gain est obtenu sans modifier l'architecture du modèle, l'objectif d'entraînement ou les hyperparamètres.
3. Vérification de la source du gain : Les auteurs démontrent que l'amélioration n'est pas un artefact de l'augmentation des étapes de gradient. Une ligne de base de données réelles « doublement échantillonnées » (appariées pour le calcul) a obtenu 21,17 BLEU-4, ce qui est statistiquement indiscernable de la ligne de base réelle, confirmant que le contenu synthétique lui-même est le moteur de la performance.
4. Résultats empiriques contre-intuitifs :
   • Préjudice du VLP : L'introduction de données synthétiques assemblées lors du pré-entraînement de langage-vision (VLP) provoque l'effondrement des performances en aval, malgré l'amélioration des objectifs de pré-entraînement. Les auteurs suggèrent que l'encodeur visuel apprend des représentations qui s'adaptent aux discontinuités synthétiques mais échouent à se généraliser à la signature continue réelle.
   • Lissage des transitions : L'optimisation des transitions de clips pour la fluidité visuelle (via la distance L2) nuit aux performances de l'ajustement fin. Les auteurs proposent que les limites abruptes puissent agir comme une forme de régularisation implicite, forçant le modèle à se concentrer sur le contenu visuel central plutôt que sur les indices de bordure temporelle.

Résultats

• Résultats primaires (200 époques) : Le modèle augmenté a atteint 24,30 BLEU-4 et 46,09 ROUGE-L, contre 21,38 BLEU-4 et 41,69 ROUGE-L pour la ligne de base.
• Ablation sur le contenu du LLM : Le remplacement des phrases générées par le LLM par les phrases originales de l'entraînement Phoenix (tout en conservant l'assignation aléatoire des clips) a provoqué une chute de performance à 20,04 BLEU-4, tombant en dessous de la ligne de base sans augmentation. Cela confirme que le contenu linguistique nouveau, et non seulement la variation visuelle, est le principal moteur du gain.
• Analyse de contamination : Les séquences de gloss synthétiques ne présentaient aucune proximité plus étroite avec les ensembles de développement ou de test que les phrases réelles d'entraînement (scores max-BLEU-4 plus bas), excluant ainsi toute fuite d'évaluation.

Signification

L'article soutient que les approches centrées sur les données, spécifiquement l'injection de paires synthétiques linguistiquement diverses, constituent un levier plus efficace pour améliorer la SLT que les ajustements architecturaux ou les stratégies de pré-entraînement qui introduisent des discontinuités visuelles. En démontrant un gain de près de +3 BLEU-4 dans un cadre contrôlé où d'autres méthodes n'ont pas réussi à montrer d'amélioration significative, ce travail souligne le potentiel de la génération de données guidée par LLM pour surmonter la rareté des données parallèles de langue des signes de haute qualité. Les conclusions concernant les effets néfastes du lissage visuel et du pré-entraînement VLP avec des données synthétiques offrent des orientations critiques pour les futures stratégies d'augmentation, suggérant que la préservation des discontinuités « naturelles » peut être bénéfique pour la robustesse du modèle.