💻 computer science

Human-1 by Josh Talks: A Full-Duplex Conversational Modeling Framework in Hindi using Real-World Conversations

Ce travail présente Human-1, le premier système de dialogue vocal en duplex intégral pour le hindi, entraîné sur 26 000 heures de conversations réelles pour permettre des interactions naturelles incluant des interruptions et des chevauchements de voix.

Auteurs originaux : Bhaskar Singh, Shobhit Banga, Pranav Sharma

Publié 2026-04-28

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Bhaskar Singh, Shobhit Banga, Pranav Sharma

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Le défi : Apprendre à "danser" dans une conversation

Imaginez que vous parlez avec un ami. La conversation n'est pas un jeu de ping-pong où l'on attend sagement que la balle revienne pour frapper. C'est plutôt une danse. Parfois, vous vous coupez la parole, parfois vous faites de petits bruits d'approbation (« mmm », « oui ») pendant que l'autre parle, et parfois vous riez en même temps.

Jusqu'à présent, la plupart des intelligences artificielles (comme Siri ou Alexa) sont des joueurs de ping-pong : elles écoutent, attendent que vous fassiez un silence total, puis elles répondent. C'est rigide et peu naturel.

Le projet "Human-1" de Josh Talks veut transformer l'IA en un véritable partenaire de danse capable de gérer ce chaos magnifique qu'est une conversation humaine, mais spécifiquement pour la langue hindi.

Le problème : Le mur de la langue

Adapter une IA existante (appelée Moshi) à l'hindi, c'est comme essayer de faire jouer un morceau de jazz complexe sur un vieux piano qui n'a que des touches de piano classique.

Le dictionnaire est cassé : L'IA d'origine était entraînée pour l'anglais. L'alphabet hindi (le Devanagari) est totalement différent. C'est comme si on essayait de lire une partition de musique française avec un alphabet chinois : l'IA était perdue, elle découpait les mots en mille morceaux inutiles.
Le manque de "matière première" : Pour apprendre à danser, il ne suffit pas de lire des livres sur la danse ; il faut voir des gens danser. Pour l'hindi, il n'existait pas de gigantesque bibliothèque d'enregistrements où l'on entend deux personnes parler naturellement avec leurs voix séparées.

La solution : La "Grande Bibliothèque des Voix"

Pour résoudre cela, les chercheurs ont fait quelque chose d'incroyable : ils ont collecté 26 000 heures de vraies conversations spontanées.

Imaginez une bibliothèque géante contenant des milliers de bandes sonores de gens qui discutent de tout et de rien, sans script, sans mise en scène. Et surtout, ils ont enregistré chaque personne sur un canal différent (comme un enregistrement stéréo). C'est comme si, au lieu d'écouter une foule bruyante, on avait un micro pour chaque danseur : l'IA peut ainsi voir exactement quand l'un commence à parler et quand l'autre l'interrompt.

Comment ils ont "réparé" le cerveau de l'IA

Ils ont procédé en deux étapes, un peu comme l'apprentissage d'un enfant :

La phase d'imprégnation (Pré-entraînement) : Ils ont remplacé le vieux dictionnaire anglais par un nouveau dictionnaire hindi. Ils ont ensuite plongé l'IA dans les 26 000 heures de conversations pour qu'elle apprenne les sons, le rythme et la structure de la langue.
La phase de perfectionnement (Fine-tuning) : Ils ont ensuite pris 1 000 heures de conversations très "propres" et de haute qualité pour peaufiner les détails, comme un artisan qui polit une sculpture après l'avoir sculptée dans la masse.

Le résultat : Une IA qui "comprend" le rythme

Les tests montrent que l'IA ne se contente pas de parler hindi, elle comprend le tempo.

Elle sait quand faire une pause.
Elle sait quand laisser un petit espace pour que l'humain réagisse.
Elle est capable de simuler des interactions humaines si naturelles que, lors de tests avec de vrais locuteurs, les gens ont trouvé que la qualité se rapprochait énormément de celle d'un humain.

En résumé

Human-1, c'est le passage de l'IA "robotique" (qui attend son tour) à l'IA "sociale" (qui vit la conversation). C'est une première étape immense pour que les langues indiennes, parlées par des centaines de millions de personnes, puissent enfin avoir des assistants numériques qui ne sont pas seulement intelligents, mais qui sont aussi humains dans leur manière de dialoguer.

Résumé Technique : Human-1

1. Problématique (Le Problème)

Les systèmes de dialogue vocaux actuels sont majoritairement "half-duplex", ce qui signifie qu'ils fonctionnent de manière séquentielle : un utilisateur doit finir de parler avant que le système ne puisse répondre. Cela empêche la capture des comportements naturels de la conversation humaine, tels que les interruptions, les chevauchements de voix (overlaps) et les rétroactions (backchannels).

Bien que des modèles "full-duplex" (capables de traiter deux flux audio simultanément) commencent à émerger, ils sont presque exclusivement développés pour l'anglais. Le passage à l'hindi présente trois défis majeurs :

Incompatibilité linguistique : Les tokenizer conçus pour l'alphabet latin sont inefficaces pour l'écriture Devanagari (fragmentation excessive des tokens).
Complexité de l'adaptation : Le remplacement du tokenizer nécessite une réinitialisation des paramètres textuels, transformant l'adaptation en un processus de ré-entraînement partiel plutôt qu'en un simple fine-tuning.
Pénurie de données : L'entraînement de modèles duplex nécessite des enregistrements stéréo massifs avec des canaux séparés pour chaque locuteur, une ressource quasi inexistante pour les langues indiennes.

2. Méthodologie

Les auteurs s'appuient sur l'architecture Moshi (un modèle de dialogue duplex de pointe) et proposent une adaptation structurée :

Architecture de base : Ils utilisent le codec audio neural Mimi (qui encode l'audio à 24 kHz en tokens discrets) et le RQ-Transformer (un transformer hiérarchique). Ils ont découvert que Mimi généralise bien à l'hindi sans réentraînement, ce qui leur a permis de geler (freeze) ce composant pour réduire les coûts de calcul.
Adaptation du Tokenizer : Ils ont remplacé le tokenizer SentencePiece anglais par un nouveau modèle entraîné sur un vaste corpus de texte hindi, réinitialisant ainsi les tables d'embeddings et les couches de projection textuelle.
Stratégie de données (Contribution majeure) :
- Pré-entraînement : Utilisation d'un corpus massif de 26 000 heures de conversations spontanées en hindi, provenant de 14 695 locuteurs, enregistrées en stéréo (canaux séparés).
- Fine-tuning : Un sous-ensemble de 1 000 heures de données hautement curées (clarté, faible bruit) pour affiner la qualité.
Procédure d'entraînement en deux étapes :
1. Étape 1 (Pré-entraînement) : Entraînement du RQ-Transformer sur les 26 000 heures avec un taux d'apprentissage élevé pour compenser la réinitialisation des paramètres textuels.
2. Étape 2 (Fine-tuning) : Ajustement fin sur les 1 000 heures avec des taux d'apprentissage différenciés pour les composants temporel et de profondeur du transformer.

3. Contributions Clés

Le premier système de dialogue full-duplex open et reproductible pour l'hindi.
Création du plus grand corpus de conversations spontanées en hindi : 26 000 heures de données stéréo, essentielles pour apprendre les dynamiques de prise de parole (turn-taking).
Cadre d'adaptation linguistique : Une méthodologie prouvée pour adapter des architectures de parole-à-parole (speech-to-speech) à des langues non latines via le remplacement de tokenizer et le ré-entraînement partiel.

4. Résultats

Qualité Audio : Le codec Mimi conserve une excellente intelligibilité en hindi (STOI de 0,878).
Performance Linguistique : La perplexité (PPL) est optimisée avec une température de sampling de $\tau = 0.8$ , indiquant une meilleure cohérence linguistique.
Évaluation Humaine : Les locuteurs natifs ont attribué un score de 4,10/5 pour le naturel, se rapprochant de la qualité humaine (4,55/5). Dans 66,9 % des cas de comparaisons par paires, le modèle a obtenu des résultats équivalents à l'humain (match/tie).
Dynamique de conversation : À une température de $\tau = 0.9$ , le modèle reproduit des statistiques de prise de parole (pauses, gaps) très proches de la réalité humaine (ground-truth).

5. Signification et Impact

Ce travail démontre que la qualité et la nature spontanée des données sont plus cruciales que la quantité brute pour les systèmes duplex. Alors que le modèle original Moshi a nécessité 7 millions d'heures, Human-1 atteint des résultats probants avec seulement 26 000 heures de données de haute qualité.

Cette recherche ouvre la voie au développement de systèmes d'IA conversationnels ultra-réalistes pour l'hindi et d'autres langues indiennes, capables d'interagir de manière fluide, naturelle et non linéaire, comme un véritable être humain.