F-Actor: Controllable Conversational Behaviour in Full-Duplex Models

Ce papier présente F-Actor, le premier modèle de parole conversationnelle en duplex intégral open-source et suivant des instructions, capable d'adapter dynamiquement son comportement (comme les interruptions ou les encouragements) et sa voix grâce à un entraînement efficace sur 2 000 heures de données sans préentraînement à grande échelle.

L'essentiel

Voici une explication simple du papier de recherche F-Actor, imagée comme si l'on racontait l'histoire d'un nouvel acteur très spécial.

🎭 Le Problème : Les Robots qui parlent "en solo"

Imaginez une conversation humaine normale. C'est comme un jeu de ping-pong rapide où l'on peut :

1. Parler en même temps que l'autre (pour dire "oui", "d'accord" ou pour couper la parole).
2. Écouter et réagir instantanément sans attendre que l'autre ait fini sa phrase.
3. Changer de ton selon l'ambiance (être timide, énergique, ou même imiter un ami).

Aujourd'hui, la plupart des assistants vocaux (comme Siri ou Alexa) sont comme des joueurs de ping-pong très lents. Ils attendent que vous ayez fini de parler, font une pause, réfléchissent, puis répondent. Ils ne peuvent pas vous interrompre gentiment, ni dire "hum-hum" pendant que vous parlez. De plus, ils ont souvent la même voix et le même comportement, peu importe la situation.

🚀 La Solution : F-Actor, l'Acteur Polyvalent

Les chercheurs ont créé F-Actor (Full-Duplex Actor). C'est un modèle d'intelligence artificielle conçu pour être un acteur de théâtre qui suit un script précis, mais qui improvise en temps réel.

Voici comment ça marche, avec quelques analogies :

1. Le "Double Casque" (Full-Duplex)

Imaginez que F-Actor porte un double casque.

• Une oreille écoute ce que vous dites.
• L'autre oreille écoute ce que lui-même est en train de dire.
• Grâce à cela, il peut vous couper la parole (si le script le demande) ou vous dire "Je vous écoute" pendant que vous parlez, exactement comme un humain. Il ne gèle pas quand il parle.

2. Le "Costume et le Script" (Instructions)

C'est ici que la magie opère. D'habitude, un robot est figé. F-Actor, lui, peut changer de costume et de rôle sur commande. Vous lui donnez un script (une instruction) avant la scène :

• La Voix : "Aujourd'hui, tu dois parler avec la voix d'un grand-père gentil" ou "d'une jeune femme énergique".
• Le Comportement : "Tu dois dire 'oui' 3 fois pendant que je parle" (ce qu'on appelle des backchannels) ou "Tu dois m'interrompre 1 fois".
• Le Sujet : "On va parler de vacances à la plage".
• Qui commence ? "C'est toi qui dis bonjour en premier".

C'est comme si vous donniez un rôle à un acteur : "Tu es un ami qui écoute bien et qui coupe la parole pour s'exciter". L'acteur (F-Actor) suit ces consignes à la lettre.

3. L'Entraînement Économe (Le Secret)

Habituellement, pour entraîner un robot aussi intelligent, il faut des centaines de milliers d'heures de données et des super-ordinateurs qui coûtent une fortune (comme pour les gros modèles d'IA actuels).

Mais F-Actor est un champion de l'économie.

• Les chercheurs ont utilisé une astuce : ils ont pris un cerveau de robot déjà très intelligent (un modèle de langage) et ils l'ont gelé (ils ne l'ont pas touché).
• Ils n'ont entraîné que les "muscles" de la parole et les "yeux" qui regardent les instructions.
• Résultat : Ils ont pu créer ce robot avec seulement 2 000 heures de données (ce qui est très peu pour ce domaine) et en seulement deux jours de calcul sur quatre cartes graphiques. C'est comme apprendre à un acteur à jouer un rôle en une répétition, au lieu de répéter pendant un an.

🎬 Ce que cela change pour nous

Avec F-Actor, les conversations avec les machines pourraient enfin ressembler à de vraies discussions :

• Plus de temps d'attente gênant.
• Des robots qui peuvent être sympathiques (en disant "hum-hum" au bon moment) ou assertifs (en coupant la parole pour corriger une erreur).
• Des robots qui s'adaptent à votre humeur ou à votre contexte, au lieu de parler toujours de la même façon.

⚠️ Les Limites (Le réalisme)

Comme tout bon acteur, F-Actor a ses limites :

1. Il parle encore un peu "synthétique" (on entend qu'il est un robot), car il a été entraîné sur des voix générées par ordinateur.
2. Il ne peut pas imiter n'importe qui (pour éviter les arnaques), il utilise une liste limitée de voix prédéfinies.
3. Il est encore un peu moins précis sur le nombre exact d'interruptions demandées (si on lui demande 5 interruptions, il en fera peut-être 3 ou 4), mais c'est un excellent début.

En résumé

F-Actor, c'est comme donner à un robot la capacité de jouer un rôle dans une conversation en temps réel. Il écoute, parle, coupe la parole et change de voix selon vos ordres, le tout sans avoir besoin d'une usine entière pour être entraîné. C'est un grand pas vers des conversations avec les machines qui ne font plus "robotiques", mais humaines.

Résumé technique

Voici un résumé technique détaillé de l'article "F-Actor: Controllable Conversational Behaviour in Full-Duplex Models" en français.

1. Problématique

Les systèmes de conversation vocale actuels souffrent de limitations majeures par rapport à l'interaction humaine naturelle :

• Manque de duplex intégral (Full-Duplex) : Les humains peuvent écouter et parler simultanément (interrompre, donner des signaux d'écoute comme "oui", "hum"). La plupart des systèmes actuels fonctionnent en mode "tour par tour" (half-duplex) ou gèrent mal les chevauchements de parole.
• Absence de contrôlabilité : Les systèmes existants offrent peu de possibilités de personnalisation dynamique du comportement conversationnel (ton de voix, style d'interaction, fréquence des interruptions, initiation du dialogue).
• Coût computationnel élevé : Les modèles récents capables de gérer le duplex intégral nécessitent souvent un pré-entraînement à grande échelle ou des optimisations multi-étapes, les rendant inaccessibles aux chercheurs avec des ressources académiques limitées.
• Évaluation réactive : Les évaluations se concentrent souvent sur la capacité du système à réagir aux interruptions de l'utilisateur, mais rarement sur sa capacité proactive à interrompre ou à utiliser des signaux d'écoute (backchannels).

2. Méthodologie

Les auteurs proposent F-Actor, le premier modèle de conversation vocale en duplex intégral, open-source et capable de suivre des instructions, entraîné sous des contraintes de ressources académiques.

Architecture et Composants

• Cœur du modèle (Backbone) : Utilisation de Llama-3.2-1B-Instruct comme modèle de langage (LLM).
• Encodage Audio : Utilisation de NanoCodec (basé sur la quantification scalaire finie - FSQ) pour convertir l'audio en unités acoustiques discrètes (DAU). L'encodeur audio est figé (frozen) pour l'efficacité.
• Flux de données : Le modèle traite deux flux audio simultanés (Utilisateur et Système) et un flux texte optionnel.
  • Les DAU sont encodés via des couches d'embedding dédiées par flux et par codebook.
  • Les embeddings du locuteur (Speaker Embeddings) et les instructions textuelles sont concaténés et préfixés au flux audio.
• Génération : Au-dessus de l'LLM, huit têtes linéaires (Linear Heads) projettent l'état caché final vers les logits des DAU (4 pour l'utilisateur, 4 pour le système). Seules les têtes du système sont utilisées à l'inférence.

Protocole d'Entraînement

• Approche Single-Stage : Contrairement aux méthodes précédentes nécessitant un pré-entraînement massif, F-Actor est entraîné en une seule étape.
• Données : Entraînement sur 2 000 heures de données (dataset Behavior-SD, synthétique mais de haute qualité).
• Stratégie de Finetuning : Seuls l'LLM et les têtes linéaires de génération DAU sont entraînés. L'encodeur audio reste figé.
• Alignement Texte-Audio : Expérimentation avec un flux texte généré en parallèle. L'alignement au niveau du mot (word-level) avec un délai audio de 2 tokens s'est avéré optimal pour la synchronisation.
• Instructions : Le modèle reçoit des prompts spécifiant :
  1. La narration du dialogue.
  2. Qui initie la conversation.
  3. Le nombre exact de backchannels et d'interruptions souhaités.
  4. Le locuteur cible (via un embedding vocal).

3. Contributions Clés

1. Premier modèle open-source contrôlable : Introduction d'un modèle de duplex intégral capable de suivre des instructions explicites pour contrôler la voix, le sujet, le comportement (interruptions/backchannels) et l'initiation.
2. Efficacité des ressources : Démonstration qu'un modèle performant peut être entraîné avec seulement 2 000 heures de données et deux jours de calcul sur 4 GPU A100-40GB, sans pré-entraînement à grande échelle.
3. Analyse systématique : Évaluation rigoureuse des choix architecturaux (alignement texte/audio, type de quantification FSQ vs RVQ, présence de flux texte, délais audio).
4. Reproductibilité : Publication du code et des modèles pour favoriser la recherche future.

4. Résultats

Les résultats sont évalués sur la génération de dialogue, la qualité de la parole et le suivi des instructions.

• Capacités Générales :

  • L'ajout d'un flux texte et d'un alignement au niveau du mot réduit considérablement le Word Error Rate (WER) entre le texte généré et l'audio transcrit (passant de >23% à ~7,2%).
  • La qualité de la parole (mesurée par UTMOS) reste compétitive (~3,4-3,5), bien que légèrement inférieure aux données de référence (3,78).
  • Le modèle équilibre bien le temps de parole entre les interlocuteurs.

• Suivi des Instructions (Instruction-Following) :

  • Initiation : Précision > 99% pour démarrer ou attendre selon le prompt (surtout avec le flux texte et le délai audio).
  • Cohérence du Locuteur : Similarité cosinus élevée (jusqu'à 0,54) avec l'embedding cible, avec un dérive vocal minimale.
  • Narration : Le modèle adhère bien à la narration fournie, validé par un juge LLM et une évaluation humaine (corrélation parfaite entre le classement LLM et humain).
  • Comportement (Backchannels/Interruptions) : Corrélation positive entre les nombres spécifiés dans le prompt et ceux générés (r=0,54 pour les backchannels, r=0,25 pour les interruptions). Note : Le modèle tend à générer moins d'événements que demandé, probablement dû à la rareté de ces événements dans les données d'entraînement.

• Comparaison avec l'État de l'Art (SOTA) :

  • Les métriques de prise de tour (IPU, pauses, chevauchements) sont comparables à des modèles avancés comme Moshi et dGLSM, et reflètent les statistiques des conversations réelles.

5. Signification et Impact

• Accessibilité : F-Actor démontre que les systèmes de conversation vocale avancés et contrôlables ne nécessitent pas nécessairement des budgets de calcul de l'ordre du milliard de paramètres ou de milliers d'heures de pré-entraînement.
• Contrôle Comportemental : C'est une avancée majeure vers des agents conversationnels qui ne se contentent pas de répondre, mais qui adoptent un style d'interaction humain (interruptions, écoute active) de manière contrôlable.
• Fondation pour la Recherche : En libérant le code et le modèle, les auteurs comblent le vide laissé par des modèles propriétaires fermés (comme MinMo ou Voila) et permettent une évaluation transparente et reproductible des systèmes de duplex intégral.
• Limitations et Risques : Les auteurs reconnaissent les limites (difficulté à respecter des comptes exacts d'interruptions, dépendance aux données synthétiques, pas de support streaming natif pour l'encodeur) et mettent en garde contre les risques d'usurpation d'identité, mitigés par l'utilisation d'un pool restreint de voix et de données TTS synthétiques.

En résumé, F-Actor établit un nouveau standard pour les modèles de conversation vocale en duplex, prouvant qu'un contrôle fin du comportement conversationnel est réalisable avec des ressources académiques limitées.