💻 computer science

Talking Together: Synthesizing Co-Located 3D Conversations from Audio

Cet article présente un nouveau système à double flux qui synthétise des animations faciales 3D réalistes et conscientes de l'espace pour deux participants co-localisés à partir d'un audio mixte, en modélisant leurs relations spatiales dynamiques et leur regard mutuel, le tout étayé par un jeu de données à grande échelle de plus de deux millions de paires conversationnelles.

Auteurs originaux : Mengyi Shan, Shouchieh Chang, Ziqian Bai, Shichen Liu, Yinda Zhang, Luchuan Song, Rohit Pandey, Sean Fanello, Zeng Huang

Publié 2026-03-10

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Mengyi Shan, Shouchieh Chang, Ziqian Bai, Shichen Liu, Yinda Zhang, Luchuan Song, Rohit Pandey, Sean Fanello, Zeng Huang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayiez de recréer une conversation réelle entre deux amis, mais que vous ne disposiez que d'un enregistrement de leurs voix mélangées dans un seul fichier audio. La plupart des technologies actuelles ressemblent à un mauvais appel vidéo : elles génèrent deux « têtes parlantes » séparées flottant dans le vide, regardant droit devant elles, s'ignorant complètement. Elles peuvent parler, mais elles n'interagissent pas.

Ce papier présente un nouveau système appelé « Talking Together » qui corrige cela. Il prend cet enregistrement audio unique et mixé pour générer une scène 3D complète et réaliste où deux personnes se tiennent face à face, se regardent, hochent la tête et réagissent naturellement.

Voici comment ils ont procédé, décomposé en concepts simples :

1. La Cuisine « Deux Flux »

Imaginez le système comme une cuisine avec deux chefs travaillant côte à côte.

Le Problème : Habituellement, si vous donnez à un chef un pot de soupe mélangé (l'audio), il ne peut pas dire quels ingrédients appartiennent à quel plat.
La Solution : Ce système utilise une Architecture à Double Flux. Imaginez deux chefs (l'un pour la Personne A, l'autre pour la Personne B) travaillant dans la même cuisine. Ils disposent d'un système spécial de « dialogue croisé ». Pendant que le Chef A cuisine, il peut jeter un coup d'œil à ce que fait le Chef B pour voir s'il doit faire une pause, hocher la tête ou avoir l'air surpris. Cela permet au système de déterminer qui parle et qui écoute, même lorsque les deux parlent en même temps.

2. Les Badges « Jeu de Rôle »

Pour aider les chefs à savoir qui fait quoi, le système leur attribue des badges numériques.

Orateur vs Auditeur : Le système analyse l'audio pour deviner qui parle et qui écoute. Il attribue ensuite un badge à l'« Orateur » indiquant : « Tu parles, bouge les lèvres ! » et un badge à l'« Auditeur » indiquant : « Tu écoutes, hoche la tête et regarde dans les yeux ! »
La Magie : Même si l'audio est désordonné ou si les deux personnes parlent en même temps, ces badges aident le système à maintenir des animations distinctes et réalistes pour les deux personnages.

3. Le Coach « Contact Visuel »

L'une des parties les plus difficiles d'une vraie conversation est de regarder l'autre personne. Les anciennes méthodes faisaient souvent regarder les personnages fixement la caméra.

La Correction : Les chercheurs ont ajouté une « Perte de Regard » spéciale. Imaginez cela comme un coach strict debout au-dessus de l'animation, vérifiant chaque image. Si les personnages ne se regardent pas quand ils devraient, le coach leur inflige une « pénalité ». Cela force l'IA à apprendre l'art subtil du contact visuel mutuel et des regards détournés naturels, rendant la conversation vivante.

4. Le Directeur « Texte vers Scène »

Par le passé, vous ne pouviez pas dire à l'ordinateur où les personnes devaient se tenir. Elles apparaissaient simplement dans des endroits aléatoires.

L'Innovation : Ce système vous permet de taper une instruction simple, comme « Ils se disputent de l'autre côté d'une table » ou « Ils chuchotent intimement ».
Comment cela fonctionne : Le système utilise un Modèle de Langage de Grande Taille (comme un assistant intelligent) pour traduire votre texte en coordonnées 3D. Il agit comme un directeur disant aux acteurs : « D'accord, toi tiens-toi ici, et toi tiens-toi là », avant même que l'animation ne commence.

5. Le « Régime de Données »

Les modèles d'IA sont comme des athlètes ; ils doivent manger beaucoup de données pour devenir forts. Le problème était qu'il n'y avait pas assez de vidéos de haute qualité de deux personnes parlant dans la même pièce.

Le Festin : L'équipe a créé un régime massif pour son IA :
1. Le Buffet « Sauvage » : Ils ont extrait plus de 2 millions de clips vidéo de vraies personnes parlant dans la nature pour apprendre comment les humains interagissent réellement.
2. Le Complément « Stérile » : Ils ont également créé un ensemble de données synthétique en mélangeant artificiellement des vidéos propres et de haute qualité de personnes seules. Cela a appris à l'IA un synchronisation labiale parfaite (correspondance des mouvements de la bouche avec les mots) sans le flou et le bruit des vidéos du monde réel.
Le Résultat : En s'entraînant sur les deux, l'IA a appris à être à la fois socialement intelligente (grâce aux vidéos sauvages) et techniquement précise (grâce aux vidéos propres).

L'Essentiel

Le résultat est un système qui ne fait pas seulement parler deux personnes ; il les fait converser. Il capture la « danse » d'une vraie conversation : les inclinaisons de tête, le contact visuel, l'espace partagé et la réaction à ce que l'autre personne dit. Il nous fait passer d'une sensation de « conférence vidéo » à une sensation de « réunion réelle », le tout généré à partir d'un seul fichier audio.

Résumé technique : Parler ensemble : Synthèse de conversations 3D co-localisées à partir de l'audio

Définition du problème

L'article aborde le défi de la génération d'animations faciales 3D complètes et photoréalistes pour deux participants interagissant et co-localisés, à partir d'un seul flux audio mixte. Bien que les recherches existantes sur l'animation 3D pilotée par l'audio aient considérablement progressé, elles se concentrent principalement sur la génération pour un seul locuteur ou produisent des « têtes parlantes » décorporealisées rappelant les appels vidéo de conférence. Ces approches antérieures échouent à modéliser la co-localisation physique des participants, ignorant les indices non verbaux cruciaux dérivés d'un espace 3D partagé, tels que les mouvements de tête réactifs, le regard mutuel et les relations spatiales dynamiques (position et orientation relatives). Les auteurs identifient la rareté de données d'entraînement 3D à grande échelle et haute fidélité capturant des conversations dyadiques naturelles comme un obstacle majeur aux progrès dans ce domaine.

Méthodologie

1. Pipeline de curation des données

Pour surmonter la pénurie de données, les auteurs introduisent un pipeline novateur pour curer deux jeux de données complémentaires :

Jeu de données de conversations dyadiques : Un corpus massif de plus de deux millions de paires interactives extraites de vidéos « in-the-wild ». Ce jeu de données capture les dynamiques conversationnelles naturelles et les relations spatiales, mais souffre d'occlusions et d'une résolution inférieure. Le pipeline inclut un filtrage des scénarios (suppression des appels vidéo), un contrôle de qualité (filtrage des visages occlus/flous), une séparation de source audio (en utilisant Looking to Listen) et une reconstruction 3D du visage.
Jeu de données de doublage synthétique : Un jeu de données haute fidélité généré par le réassemblage de segments issus de vidéos de haute qualité, face avant, d'une seule personne. Cela crée des « pseudo-conversations » avec des masques de locuteur parfaits et un mouvement des lèvres précis, essentiels pour entraîner un expert de synchronisation labiale robuste.

2. Architecture du modèle

Le cœur du système est une architecture de diffusion à double flux construite sur une colonne vertébrale U-Net partagée :

Conception à double flux : Deux flux parallèles traitent simultanément les entrées bruyantes pour chaque participant, favorisant une représentation unifiée et agnostique du locuteur du mouvement facial.
Mécanismes d'attention croisée : Des couches d'attention croisée entre deux locuteurs au sein du décodeur permettent un échange d'informations bidirectionnel entre les deux flux. Cela permet au modèle de capturer l'influence mutuelle, les dynamiques de prise de parole et les comportements non verbaux réactifs.
Embeddings de rôle de locuteur : Des embeddings apprenables ( $e_{speak}$ et $e_{listen}$ ) sont interpolés en fonction des masques de probabilité de locuteur pour encoder dynamiquement l'état conversationnel (parler vs écouter) pour chaque participant.
Conditionnement dynamique : Le modèle est conditionné par un vecteur complet contenant des caractéristiques audio Wav2Vec, des embeddings de rôle, des masques de probabilité de locuteur et, de manière cruciale, les translations 3D initiales des deux têtes.

3. Stratégie d'entraînement

Les auteurs emploient une stratégie d'entraînement en deux étapes pour équilibrer les dynamiques d'interaction avec la précision de l'articulation :

Étape 1 (Pré-entraînement) : Le modèle est pré-entraîné sur le vaste et diversifié jeu de données de conversations dyadiques pour apprendre l'alignement audio-visuel général et les comportements interactifs (rotation de la tête, translation, expression).
Étape 2 (Affinage) : Le modèle est affiné sur le jeu de données de doublage synthétique de haute qualité. Durant cette étape, la perte est principalement restreinte aux paramètres d'articulation des lèvres et de la mâchoire du participant parlant, corrigeant les ambiguïtés de synchronisation labiale inhérentes aux données « in-the-wild ».

4. Contrôle spatial et modélisation du regard

Contrôle texte-espace : Pour permettre un contrôle intuitif du positionnement relatif des participants, le système utilise un Grand Modèle de Langage (LLM) dans une approche de few-shot prompting. Les utilisateurs fournissent des invites en langage naturel (par exemple, « debout côte à côte »), et le LLM prédit les coordonnées de translation 3D initiales, qui conditionnent le modèle de diffusion.
Perte auxiliaire de regard : Une fonction de perte ciblée est introduite pour favoriser un contact visuel mutuel réaliste. Cette perte est appliquée sélectivement aux échantillons présentant un mouvement de tête significatif, encourageant le modèle à apprendre des déplacements de regard naturels et des schémas de contact visuel.

Contributions clés

Curation de jeux de données à grande échelle : La création d'un pipeline automatisé produisant un jeu de données de conversations dyadiques de deux millions de paires et un jeu de données de doublage synthétique haute fidélité pour un entraînement robuste.
Architecture de diffusion à double flux : Un modèle novateur avec une colonne vertébrale U-Net partagée, une attention croisée et un conditionnement FiLM qui dissocie efficacement l'audio mixte et modélise les interactions locuteur-écouteur.
Stratégie d'entraînement sur données mixtes : Une approche en deux étapes qui exploite des données réelles massives pour ancrer l'interaction et des données synthétiques de haute qualité pour une synchronisation labiale précise.
Dynamiques spatiales contrôlables : Le premier système à synthétiser explicitement des performances 3D co-localisées avec des dispositions spatiales contrôlables via des invites textuelles et un regard mutuel réaliste via une fonction de perte spécialisée.

Résultats

La méthode a été évaluée par rapport à des références de l'état de l'art, incluant des modèles pour un seul locuteur (CodeTalker, SelfTalk, FaceFormer) et des modèles d'interaction à deux locuteurs existants (DualTalk, L2L).

Performance quantitative : La méthode proposée a obtenu les meilleures performances sur presque toutes les métriques, y compris la distance Fréchet (FD) pour le réalisme, la distance Fréchet appariée (P-FD) pour la cohérence de l'interaction, et l'erreur quadratique moyenne (MSE) pour la précision de l'expression, de la rotation et de la translation. Notamment, elle a nettement surpassé les références dans les métriques de regard et de mouvement de l'écouteur.
Évaluation humaine : Dans une étude utilisateur à choix forcé impliquant 19 participants, le modèle complet a été sélectionné comme le meilleur dans toutes les catégories (Qualité des lèvres, Mouvements du locuteur/de l'écouteur, Qualité de l'interaction et Regard) avec un taux de préférence d'environ 70-79 %, surpassant nettement la meilleure référence (DualTalk).
Études d'ablation : Les expériences ont confirmé que la suppression de tout composant (par exemple, la deuxième étape d'entraînement, l'attention croisée ou la perte de regard) dégradait les performances, validant la nécessité du pipeline complet.
Généralisation : Le modèle a démontré une généralisation supérieure sur un jeu de données hors distribution (OOD) contenant des identités non vues, surpassant les références spécialisées.

Importance et affirmations

L'article affirme être le premier à modéliser explicitement la relation spatiale 3D dynamique — incluant la position relative, l'orientation et le regard mutuel — entre deux participants interagissant à partir d'un seul flux audio. En allant au-delà du paradigme de « conférence vidéo » des têtes parlantes isolées, le système génère des animations dyadiques fluides, contrôlables et conscientes de l'espace. Les auteurs positionnent ce travail comme une étape fondamentale vers des interactions sociales véritablement immersives en réalité virtuelle (VR) et en téléprésence, où le flux organique du dialogue face à face et les indices non verbaux sont critiques pour la crédibilité. Le travail souligne qu'un dialogue réaliste en personne ne requiert pas seulement une synchronisation labiale précise, mais la synthèse d'un espace 3D partagé où les participants réagissent les uns aux autres d'une manière physiquement significative.