CMTD: Cascaded Multi-Token Disambiguation Model for Lip Reading

La reconnaissance de la parole silencieuse est un domaine de l'informatique dédié à la compréhension de ce que les gens disent en observant uniquement leurs lèvres, sans entendre le moindre son. Cette capacité est vitale pour les situations où l'audio est absent ou peu fiable, comme dans les usines bruyantes, les environnements sous-marins, ou pour les personnes sourdes qui s'appuient sur des indices visuels. Cependant, apprendre à un ordinateur à lire sur les lèvres est notoirement difficile car la bouche humaine est un médiateur sonore médiocre par elle-même. De nombreux sons différents, comme les lettres « b » et « p », créent des formes de bouche presque identiques, tandis qu'un même son peut paraître légèrement différent selon les mots qui l'entourent. Cette confusion visuelle signifie qu'un ordinateur regardant une vidéo peut voir une forme de bouche qui pourrait appartenir à plusieurs mots différents, laissant la machine deviner. Pour résoudre cela, les chercheurs ont traditionnellement tenté d'affiner les « yeux » de l'ordinateur pour percevoir des différences subtiles, ou ils ont ajouté un dictionnaire de phrases communes pour aider à deviner les mots manquants. Pourtant, ces méthodes peinent souvent lorsque la preuve visuelle est simplement trop ambiguë pour trancher entre deux options similaires.

Une équipe de chercheurs de l'Université de technologie de Hefei a proposé une nouvelle approche qui change la façon dont l'ordinateur pense l'avenir pendant qu'il lit le présent. Ils appellent leur système CMTD, un modèle conçu pour résoudre la confusion visuelle en regardant vers l'avant. Au lieu d'essayer de deviner le mot suivant de manière isolée, le système prédit simultanément une courte séquence de mots à venir pendant qu'il décode encore le mot actuel. Imaginez un lecteur qui, tout en regardant un seul mot sur une page, jette également un coup d'œil aux quelques mots suivants pour comprendre la phrase complète ; ce contexte l'aide à décider si un mot flou est « banque » (comme pour l'argent) ou « banque » (comme pour un bord de rivière). Les chercheurs ont construit un modèle qui fait exactement cela pour la lecture labiale. Il génère une prédiction primaire pour le moment présent et, en même temps, utilise cette prédiction pour former une chaîne de prédictions pour le futur immédiat. En vérifiant si la prédiction actuelle s'insère logiquement dans les mots futurs prédits, le système peut écarter les options qui semblent correctes visuellement mais qui n'ont aucun sens dans le contexte de la phrase.

Le cœur de cette nouvelle méthode est une structure en cascade où la prédiction d'un instant alimente directement la prédiction de l'instant suivant, créant une chaîne de raisonnement continue. Le système ne se contente pas de regarder les images vidéo ; il maintient également une mémoire interne de ce qu'il vient de prédire et utilise cette mémoire pour prévoir la suite. Si la vidéo montre une forme de bouche qui pourrait être soit « bao », soit « biao » (deux caractères chinois qui se ressemblent beaucoup), le système regarde ce qui doit suivre. Si la prédiction future suggère un mot qui n'a de sens qu'avec « biao », le système choisit avec assurance cette option, même si la preuve visuelle pour le mot actuel était faible. Ce processus se déroule en couches : le modèle fait une prédiction principale, puis une seconde prédiction pour l'étape suivante, et une troisième pour l'étape d'après. Ces prédictions ne sont pas des devinettes indépendantes ; elles sont liées entre elles de sorte que l'erreur de l'une ne fausse pas les autres. Les chercheurs ont entraîné le modèle pour qu'il donne la priorité à la correction du mot suivant immédiat tout en apprenant de la chaîne plus longue de mots futurs, garantissant ainsi que le système reste stable et ne soit pas perturbé par ses propres prédictions lointaines.

Lorsqu'il lit réellement une vidéo, le système utilise une stratégie appelée inférence sensible aux jetons futurs (future-token-aware inference) pour décider quand faire confiance à ses yeux et quand demander de l'aide. Il génère plusieurs chemins de mots possibles basés sur ses observations visuelles et ses prédictions futures. Il vérifie ensuite son degré de confiance dans sa lecture visuelle. Si la preuve visuelle est forte et claire, le système choisit simplement la meilleure option et continue. Cependant, si la preuve visuelle est faible et que le système est incertain, il fait appel à un modèle de langue — un outil distinct entraîné sur de vastes quantités de texte — pour reclasser les options en fonction de leur probabilité d'apparaître dans une phrase réelle. Cela garantit que l'ordinateur ne s'appuie sur des conjectures linguistiques que lorsque les données visuelles sont véritablement ambiguës, empêissant ainsi d'ignorer les indices visuels clairs au profit de suppositions statistiques. Cet équilibre permet au système de rester fidèle à ce qu'il voit tout en utilisant le contexte pour résoudre les énigmes que la vision seule ne peut résoudre.

Les chercheurs ont testé ce nouveau modèle sur deux ensembles de données majeurs : l'un contenant des milliers de phrases chinoises issues de bulletins d'information et un autre avec des phrases anglaises prononcées par un groupe fixe de personnes. Sur l'ensemble de données chinois, le nouveau modèle a nettement surpassé les méthodes précédentes, réduisant le taux d'erreur de manière substantielle par rapport aux systèmes qui reposaient uniquement sur de meilleures caractéristiques visuelles ou des règles linguistiques fixes. Il a réussi à distinguer les caractères visuellement similaires avec beaucoup plus de précision que ses prédécesseurs. Sur l'ensemble de données anglais, le modèle a obtenu des résultats compétitifs par rapport aux meilleurs systèmes existants, bien que l'amélioration ait été moins spectaculaire car les phrases anglaises utilisées pour le test étaient très simples et possédaient un vocabulaire limité, laissant moins de place pour que les compétences de contexte avancées du système puissent briller. Les expériences ont montré que la capacité du modèle à anticiper et à lier les prédictions ensemble était le facteur clé de son succès, prouvant que la compréhension du flux d'une phrase est aussi importante que la clarté de la perception des mouvements de la bouche.

L'étude a également exploré pourquoi la simple copie des méthodes utilisées pour la génération de texte ne fonctionnait pas pour la lecture labiale. Lorsque les chercheurs ont essayé d'utiliser des branches de prédiction parallèles qui ne communiquent pas entre elles, ou des méthodes qui reposent sur la connaissance des bonnes réponses futures pendant l'entraînement, le système a échoué à maintenir sa précision en regardant plus loin dans le futur. Les erreurs se sont accumulées et les prédictions sont devenues peu fiables. L'approche en cascade, où le système construit ses prédictions futures étape par étape à partir de ses propres prédictions précédentes, s'est avérée être la seule façon de maintenir la stabilité. De plus, les chercheurs ont découvert que prédire trop de mots futurs à la fois nuisait en réalité aux performances, suggérant qu'un certain niveau de contexte est le point d'équilibre optimal pour ce type de tâche visuelle. En limitant le nombre de prédictions futures et en pesant soigneusement l'importance de chaque étape, le système a appris à équilibrer la précision visuelle immédiate et le contexte à long terme.

En fin de compte, ce travail démontre que la résolution de l'ambiguïté de la lecture labiale nécessite plus que des caméras plus nettes ou des dictionnaires plus vastes ; cela nécessite un modèle qui comprend le flux narratif de la parole. En intégrant le contexte futur directement dans le processus de décodage, le modèle CMTD peut distinguer des mots qui se ressemblent sur les lèvres mais qui appartiennent à des phrases différentes. Les résultats suggèrent que cette approche offre une manière robuste de gérer l'incertitude inhérente à la parole visuelle, marquant une étape importante pour la technologie qui repose sur la communication silencieuse. Bien que les tests actuels aient été menés sur des données vidéo contrôlées et de haute qualité, le succès de cette méthode pose les bases de futurs systèmes qui pourraient un jour gérer les conditions plus désordonnées et imprévisibles d'une conversation réelle.