DAVE: A Decoupled Audio-Visual Enhancement Framework for Real-World Speech Separation

Imaginez que vous soyez à une fête animée où tout le monde parle en même temps. Votre cerveau est un filtre surpuissant capable de se concentrer sur la voix de votre ami tout en ignorant le cliquetis des verres et les basses de la musique. C'est ce qu'on appelle la « séparation de la parole ». Maintenant, imaginez que vous essayiez de faire cela pour un robot ou un programme informatique. Si l'ordinateur n'a que des oreilles, il est confus quand deux personnes parlent en même temps. Mais si l'ordinateur a aussi des yeux, il peut regarder qui bouge les lèvres pour identifier qui parle. C'est l'« amélioration audio-visuelle de la parole ». C'est un peu comme un détective utilisant à la fois un microphone et une caméra pour résoudre un mystère. Cependant, la vie réelle est désordonnée. Les caméras peuvent devenir floues, des gens peuvent sortir du champ, ou l'éclairage peut être terrible. Si un ordinateur s'appuie trop lourdement sur une caméra instable, il pourrait se tromper de personne. La grande question que les chercheurs tentent de résoudre est la suivante : Comment construire un système qui utilise la caméra pour aider, mais qui ne s'effondre pas si la caméra échoue ?

Entrez en scène DAVE, un nouveau cadre créé par le chercheur Wei Zhou et son équipe. Considérez DAVE comme une agence de détectives intelligente à deux étapes qui refuse de paniquer lorsque les preuves deviennent floues.

Le problème des détectives « tout-en-un »

La plupart des tentatives précédentes sur ce problème étaient comme un détective qui collait ses yeux à l'écran de la caméra tout en essayant d'écouter. Ils mélangeaient la vidéo et l'audio dès le départ. Si la vidéo était floue ou si le visage de la personne était caché, tout le système devenait confus et commençait à deviner de travers. C'était comme essayer de résoudre un puzzle en portant des lunettes embuées ; plus vous essayiez d'utiliser les lunettes, plus l'image devenait mauvaise.

Les auteurs soutiennent que cette approche « collée ensemble » est risquée. Dans le monde réel, les signaux visuels se dégradent souvent. Au lieu de forcer l'ordinateur à utiliser une mauvaise vidéo pour corriger l'audio, DAVE prend un chemin différent : il découple les deux. Il sépare le travail de « nettoyage de l'audio » de celui de « déterminer qui parle ».

Étape 1 : Construire une meilleure salle de sport d'entraînement (DAVE-Corpus)

Avant qu'un détective puisse résoudre de vrais crimes, il doit s'entraîner. Le problème est qu'il n'existe pas assez d'enregistrements de réunions réelles et bruyantes pour entraîner ces ordinateurs. La plupart des données d'entraînement sont trop propres et parfaites, comme un enregistrement en studio, ce qui ne prépare pas l'IA à une cafétéria bruyante.

Pour corriger cela, l'équipe a construit DAVE-Corpus, une immense salle de sport d'entraînement contenant 219 411 mélanges audio différents. Ils n'ont pas seulement enregistré de nouvelles réunions ; ils ont pris des enregistrements de réunions publiques existants et ont utilisé une méthode « combinatoire » astucieuse pour les remixer. Imaginez prendre des milliers de différents clips vocaux et les mélanger aléatoirement dans un mixeur numérique, en ajoutant des échos réalistes (comme parler dans une grande salle) et du bruit de fond. Ils ont même veillé à ce que les voix soient suffisamment différentes pour être des locuteurs distincts. Ce vaste ensemble de données a appris à l'IA comment gérer la réalité désordonnée des sons du monde réel sans avoir besoin d'un flux vidéo parfait.

Étape 2 : Le système à deux voies

DAVE divise le travail en deux équipes distinctes qui n'interfèrent pas entre elles :

1. Le nettoyeur audio seul : Le seul travail de cette équipe est de prendre le bruit désordonné et de le séparer en deux flux de parole propres. Ils ne regardent pas la vidéo du tout. Ils sont entraînés pour être incroyablement robustes, en utilisant une stratégie « multi-objectif progressive ». Cela signifie qu'ils ne sont pas seulement évalués sur la discrétion du bruit, mais aussi sur la facilité de compréhension de la parole, sur la manière dont la voix unique du locuteur est préservée et sur le caractère naturel du son pour une oreille humaine.
2. Le détective visuel : Une fois que l'audio est séparé en deux flux anonymes, cette équipe intervient. Ils regardent la vidéo pour décider quel flux appartient à quelle personne. Mais voici la partie astucieuse : ils ne font pas seulement confiance à une seule vue de la caméra. Ils utilisent une « fusion pondérée » de quatre indices différents :
   • Empreinte vocale : À qui la voix ressemble-t-elle ? (C'est l'indice le plus important).
   • Synchronisation labiale : Est-ce que les lèvres bougent en rythme avec le son ?
   • SyncNet : Une vérification spécialisée de la correspondance audio-visuelle.
   • Points clés (Keypoints) : Suivre le mouvement de la bouche même si le visage est flou.

Si la vidéo est mauvaise (floue ou obstruée), le système s'appuie fortement sur l'empreinte vocale. Si la vidéo est claire, il utilise les quatre indices. De cette façon, si la caméra échoue, le système ne plante pas ; il s'appuie simplement davantage sur l'audio qu'il a déjà nettoyé.

Étape 3 : Le filet de sécurité « certifié »

Le dernier tour de force est ce que les auteurs appellent une « amélioration sélective certifiée ». Imaginez que vous ayez une règle : « Nous ne pouvons toucher à l'audio que si nous sommes sûrs à 100 % que nous ne faussons pas le score officiel ».

Dans le monde réel, il arrive parfois que nous n'ayons pas de « référence parfaite » pour comparer (comme un enregistrement de ce que le locuteur devrait dire). Dans ces cas-là, DAVE applique des étapes de nettoyage supplémentaires, comme la suppression du bruit de fond avec un GAN (un type d'IA qui apprend à générer des sons réalistes) et l'ajustement du volume. Cependant, pour les parties des tests où nous avons une référence parfaite, ils n'appliquent pas ces étapes supplémentaires. Cela garantit que le système ne rend jamais accidentellement les scores « officiels » moins bons. C'est un protocole de sécurité qui garantit que l'IA ne prend des risques que là où elle est autorisée à le faire.

Les résultats

Lorsque l'équipe a testé DAVE lors du « Real-World Audio-Visual Speech Enhancement Challenge », les résultats ont été impressionnants.

• Dans la Piste 1 (scénarios mixtes du monde réel), DAVE a battu la ligne de base officielle par une marge énorme, améliorant le rapport signal sur bruit de plus de 16 dB et réduant le taux d'erreur de compréhension de la parole (CER) de 1,025 à 0,171.
• Dans la Piste 2 (où la vidéo était intentionnellement dégradée par du flou et des images manquantes), DAVE est resté solide. Même avec une mauvaise vidéo, il a obtenu une qualité de signal de 8,93 dB et un faible taux d'erreur de 0,220.

Le point essentiel est qu'en séparant le « nettoyage » de l'« identification », et en s'entraînant sur un ensemble de données massif et réaliste, DAVE a prouvé que vous n'avez pas besoin d'une vidéo parfaite pour obtenir un excellent audio. C'est un système qui sait quand faire confiance à ses yeux et quand faire confiance à ses oreilles, ce qui en fait un partenaire beaucoup plus fiable pour les applications du monde réel comme l'écoute assistée ou l'interaction homme-machine.