💻 computer science

Human-1 by Josh Talks: A Full-Duplex Conversational Modeling Framework in Hindi using Real-World Conversations

Este trabajo presenta el primer sistema de diálogo hablado de dúplex completo para el hindi, basado en la adaptación de la arquitectura Moshi y entrenado con 26,000 horas de conversaciones reales para permitir interacciones naturales que incluyen interrupciones y solapamientos.

Autores originales: Bhaskar Singh, Shobhit Banga, Pranav Sharma

Publicado 2026-04-28

📖 3 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Bhaskar Singh, Shobhit Banga, Pranav Sharma

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

El "Humano-1": Enseñándole a una IA a conversar como un verdadero indio

Imagina que estás hablando por teléfono con un amigo. No es una comunicación perfecta de "uno habla y el otro espera en silencio absoluto". En la vida real, nos interrumpimos, decimos "ajá" o "claro" mientras el otro habla para demostrar que escuchamos, y a veces ambos hablamos al mismo tiempo por un segundo. A esto se le llama comunicación "full-duplex" (ida y vuelta simultánea).

Hasta ahora, la mayoría de los asistentes de voz (como Siri o Alexa) son "half-duplex": funcionan como un walkie-talkie. Tú hablas, terminas, el aparato procesa, y luego te responde. Si intentas interrumpirlos, se confunden.

El equipo de Josh Talks ha creado algo llamado Human-1, que es como si le hubieran quitado el walkie-talkie a la IA y le hubieran dado un teléfono inteligente para que aprenda a charlar de verdad, pero aplicado al hindi, un idioma con más de 600 millones de hablantes que casi nadie había explorado con esta tecnología.

¿Cómo lo hicieron? (Las tres piezas del rompecabezas)

Para lograr esto, los investigadores tuvieron que resolver tres grandes retos, como si estuvieran construyendo un coche de carreras desde cero:

1. El "Cerebro" y el "Oído" (La arquitectura):
Usaron un modelo llamado Moshi como base. Imagina que Moshi es un músico que ya sabe tocar el piano (el sonido), pero solo sabe leer partituras en inglés. Los investigadores decidieron dejar el "oído" del músico intacto (porque ya sabía reconocer sonidos), pero tuvieron que cambiarle las "partituras" para que pudiera leer notas en hindi (el nuevo tokenizador).

2. La "Biblioteca de Experiencias" (Los datos):
Aquí está el verdadero secreto. Para que un niño aprenda a hablar, no le das un diccionario; lo pones en una habitación con gente hablando. Los investigadores hicieron algo similar: recolectaron 26,000 horas de conversaciones reales en hindi.

La analogía: No les dieron grabaciones de noticias o gente leyendo libros de texto (que es aburrido y robótico), sino grabaciones de personas reales hablando por teléfono, riendo, interrumpiéndose y charlando de forma natural. Es como si, en lugar de estudiar gramática, el modelo se hubiera ido de fiesta y de cafés con gente real para aprender cómo se habla de verdad.

3. El "Entrenamiento en dos pasos" (El aprendizaje):
No puedes enseñarle todo a una IA de golpe o se volverá loca. Primero, la dejaron "sumergirse" en la enorme biblioteca de 26,000 horas para que entendiera el idioma (Pre-entrenamiento). Luego, la tomaron de la mano con 1,000 horas de conversaciones muy cuidadas y perfectas para pulir su comportamiento (Fine-tuning).

¿Qué tan bueno es? (Los resultados)

Los resultados son impresionantes. Cuando los probaron con personas reales:

Suena natural: La gente sintió que la IA hablaba de forma muy humana.
Sabe cuándo callar y cuándo hablar: El modelo aprendió el "baile" de la conversación. No se queda callado eternamente ni habla encima de ti de forma grosera todo el tiempo; sabe encontrar ese ritmo natural de las charlas humanas.

En resumen...

Este proyecto es como haber construido el primer "traductor de alma y ritmo" para el idioma hindi. No solo traduce palabras, sino que entiende el ritmo de la vida: las pausas, los silencios y la emoción de una charla real. Es un paso gigante para que la tecnología deje de sentirse como una máquina y empiece a sentirse como un compañero de charla.

Resumen Técnico: Human-1 (Josh Talks)

Título: Human-1 by Josh Talks: A Full-Duplex Conversational Modeling Framework in Hindi using Real-World Conversations

1. El Problema (Problem Statement)

Los sistemas de diálogo actuales suelen ser "half-duplex", lo que significa que operan de forma secuencial: un usuario debe terminar de hablar para que el sistema responda. Esto impide capturar la naturaleza real de la conversación humana, que es "full-duplex" (incluyendo interrupciones, solapamientos de voz y señales de escucha o backchannels).

Aunque existen modelos de vanguardia como Moshi para el inglés, existe una brecha tecnológica significativa para idiomas como el hindi, debido a:

Incompatibilidad de tokenizadores: Los modelos existentes usan scripts latinos, ineficientes para el alfabeto Devanagari.
Escasez de datos: La falta de corpus de audio estéreo (con canales separados para cada hablante) que capturen interacciones naturales y espontáneas.
Complejidad lingüística: El hindi presenta patrones prosódicos, mezcla de códigos (code-mixing) con inglés y dinámicas de turno distintas al inglés.

2. Metodología (Methodology)

Los autores adaptaron la arquitectura Moshi mediante un enfoque de aprendizaje parcial y un entrenamiento en dos etapas:

Arquitectura Base: Utilizaron el códec neuronal Mimi para la compresión de audio y un RQ-Transformer (con 7 mil millones de parámetros) para modelar los flujos de texto y audio en paralelo.
Adaptación del Tokenizador: Reemplazaron el tokenizador de SentencePiece original (inglés) por uno entrenado específicamente en un corpus de texto en hindi. Esto obligó a la reinicialización de los parámetros dependientes del vocabulario (tablas de embeddings y la capa de proyección lineal de texto), transformando la tarea de un simple ajuste fino (fine-tuning) a un pre-entrenamiento parcial.
Estrategia de Datos (Contribución Clave):
- Pre-entrenamiento: Crearon un corpus masivo de 26,000 horas de conversaciones espontáneas en hindi, con 14,695 hablantes únicos, grabadas en estéreo con canales separados. Esto permite al modelo aprender turnos y solapamientos directamente de la señal sin necesidad de diarización artificial.
- Fine-tuning: Utilizaron un subconjunto curado de 1,000 horas de alta calidad para refinar la naturalidad.
Procedimiento de Entrenamiento:
1. Etapa 1 (Pre-entrenamiento): Entrenamiento del RQ-Transformer manteniendo congelado el códec Mimi.
2. Etapa 2 (Fine-tuning): Ajuste con tasas de aprendizaje divididas para el Temporal Transformer y el Depth Transformer.

3. Contribuciones Clave (Key Contributions)

Primer sistema full-duplex abierto para el hindi: Un marco reproducible para diálogos de voz en tiempo real en este idioma.
El corpus de conversación más grande para un idioma indio: 26,000 horas de audio estéreo espontáneo, diseñado específicamente para modelado de diálogo.
Demostración de eficiencia de transferencia: Demostraron que el códec Mimi (entrenado en inglés) generaliza bien al hindi sin necesidad de reentrenamiento, permitiendo centrar el cómputo en el transformador de lenguaje.

4. Resultados (Results)

Calidad del Códec: El índice STOI (0.878) confirmó que el habla en hindi permanece inteligible tras la compresión.
Perplejidad (PPL): El modelo mostró mayor fluidez lingüística con una temperatura de muestreo baja ( $\tau = 0.8$ ), donde la coherencia es mayor.
Evaluación Humana: Los hablantes nativos calificaron la naturalidad en 4.10/5, acercándose significativamente a la calidad humana (4.55/5). En comparaciones por pares, el 66.9% de los casos resultaron en empates, indicando que el modelo alcanza niveles casi humanos.
Dinámicas de Turno: El análisis mostró que con una temperatura de $\tau = 0.9$ , el modelo replica casi perfectamente los patrones de pausas y huecos (gaps) de las conversaciones humanas reales.

5. Significado e Impacto (Significance)

Este trabajo establece un precedente para la creación de sistemas de IA conversacional en idiomas con grandes poblaciones pero pocos recursos digitales. La conclusión principal es que la escala y la calidad de los datos de conversación espontánea son más críticos que el volumen masivo de datos de lectura o noticias. Human-1 demuestra que es posible lograr un comportamiento de diálogo fluido y natural en nuevos idiomas mediante la adaptación inteligente de arquitecturas existentes y la recopilación de datos de audio estéreo de alta fidelidad.