Low-Latency Turn-Taking via Context-Aware Preface Generation in a Real-World Dialogue Robot

Résumé technique : Génération de préfaces sensibles au contexte pour une prise de parole à faible latence

Énoncé du problème
Les systèmes de dialogue basés sur les modèles de langage de grande taille (LLM), particulièrement ceux utilisant des pipelines en cascade ASR–LLM–TTS, souffrent de délais de réponse importants car la génération ne commence généralement qu'une fois que la parole de l'utilisateur est entièrement reconnue. Bien que les marqueurs de conversation (ex. : « euh-huh », « je vois ») soient couramment utilisés pour masquer ces délais, ils deviennent souvent peu naturels avec le temps s'ils sont génériques ou répétitifs. Le défi central réside dans l'équilibre entre la vitesse de réponse et la qualité de la génération : une génération incrémentale naïve peut dégrader la cohérence, tandis qu'attendre la reconnaissance complète de l'énoncé crée une latence perceptible. Les systèmes nécessitent un mécanisme pour maintenir la maîtrise de la parole avec des réponses préliminaires contextuellement appropriées pendant que la réponse substantielle est en cours de formulation.

Méthodologie
Les auteurs proposent un cadre de réponse incrémentale à deux étapes conçu pour découpler la préparation de la réponse de l'amorce de la parole. L'architecture du système se compose des composants suivants :

1. Détection de la disponibilité de l'intention (Intent Readiness Detection) : Un modèle de classification binaire détermine si l'intention de l'utilisateur est devenue suffisamment prévisible à partir du préfixe actuel de l'énoncé (conditionné par l'énoncé précédent du système).

   • Entraînement : Le modèle a été entraîné en deux étapes : d'abord sur un corpus pseudo-étiqueté par LLM (765k instances), puis affiné sur un corpus annoté par des humains (30k instances). Les deux jeux de données ont été diversifiés pour inclure des hésitations et des auto-corrections.
   • Architecture : Basée sur un encodeur Japanese ModernBERT 30M avec une tête de classification binaire, utilisant la perte focale (focal loss) pour traiter le déséquilibre des classes.
   • Déclencheur : Lorsque le score de disponibilité de l'intention dépasse un seuil de 0,35, le système déclenche la génération d'une courte réponse préfacière.

2. Génération en deux étapes :

   • Étape 1 (Réponse préfacière) : Une fois la disponibilité de l'intention détectée, le système génère une courte réponse préfacière sensible au contexte (ex. : « Le magasin de burgers... »). Des contraintes strictes sont appliquées : les réponses sont limitées à 10 caractères japonais, ne doivent pas introduire de nouveaux faits, ne doivent pas faire de déclarations définitives, ni exprimer un accord fort.
   • Étape 2 (Réponse principale) : Simultanément, le système génère la réponse principale complète et pertinente à la tâche, basée sur l'énoncé complet de l'utilisateur.

3. Contrôle de la prise de parole (Turn-Taking Control) : Un modèle de projection d'activité vocale (VAP) estime indépendamment quand l'utilisateur cède la parole. Si une réponse préfacière est prête lorsque le VAP prédit une transition de tour, le système la délivre immédiatement. La réponse principale suit une fois que le résultat STT complet est disponible.

Principales contributions

• Architecture découplée : Le papier introduit un cadre qui sépare le moment de l'amorce de la parole (contrôlé par le VAP) de la préparation de la réponse (contrôlée par la Détection de la disponibilité de l'intention).
• Préfaces sensibles au contexte : Contrairement aux marqueurs fixes, le système génère des réponses préliminaires conditionnées par l'intention émergente de l'utilisateur, comblant ainsi l'écart entre la prédiction de la prise de parole et la génération de la réponse substantielle.
• Contraintes de sécurité : Le système impose des contraintes strictes de longueur et de sémantique sur les réponses préfacières afin d'atténuer les risques d'erreurs de prédiction précoce et d'hallucinations lors du déploiement réel.

Résultats expérimentaux
Le cadre a été évalué lors d'une expérience de terrain utilisant un robot de guidage d'itinéraire dans un centre commercial japonais. Trois conditions ont été comparées : sans marqueur (no-filler), marqueur fixe (ex. : « oui ») et préface contextuelle.

• Latence de réponse initiale : Les conditions avec marqueur fixe et préface contextuelle ont toutes deux réduit significativement la latence de réponse initiale par rapport à la ligne de base sans marqueur. Cependant, la condition avec marqueur fixe présentait une latence initiale nettement plus courte que la condition avec préface contextuelle.
• Écart initial-principal : La condition de préface contextuelle a démontré un écart significativement plus court entre la réponse initiale et la réponse principale par rapport à la condition de marqueur fixe. Cela indique que, bien que la préface prenne un peu plus de temps à générer qu'un marqueur fixe, elle permet de délivrer la réponse principale plus tôt par rapport au début de l'interaction.
• Moment du déclenchement : Dans la condition de préface contextuelle, le détecteur de disponibilité de l'intention s'est déclenché en moyenne après 5,53 caractères (69,2 % de la longueur finale de l'énoncé), déclenchant avant la fin de la parole de l'utilisateur dans 58,2 % des cas.
• Ruptures de dialogue : Environ 8 % des réponses préfacières ont été annotées comme des ruptures (ex. : fragments ou questions génériques), principalement dues à une troncature de sortie ou à un ancrage contextuel faible.
• Évaluations subjectives : Des questionnaires exploratoires post-interaction (30 par condition) n'ont montré aucune différence statistiquement significative entre les quatre conditions concernant le rythme de la conversation, le naturel, la pertinence ou la satisfaction.

Signification et revendications
Le papier affirme que les réponses préfacières sensibles au contexte offrent un compromis pratique pour les robots de dialogue réels. Bien qu'elles n'atteignent pas la latence initiale absolue des marqueurs fixes, elles réduisent considérablement le délai avant la livraison de la réponse substantielle, améliorant ainsi le flux d'informations sans dépendre de marqueurs non naturels et répétitifs.

Les auteurs concluent modestement que, bien que la méthode améliore la praticité de la génération de réponse en comblant le temps d'attente post-tour, l'absence de différences significatives dans les évaluations subjectives suggère que des études plus larges et ciblées sont nécessaires pour déterminer l'impact sur l'expérience utilisateur globale. L'étude souligne que la génération stable et contextuellement ancrée de préfaces courtes reste un goulot d'étranglement clé, et que les travaux futurs devront se concentrer sur l'amélioration de la continuité sémantique et prosodique entre la préface et la réponse principale.