Resumen Técnico: Listen-Write-Speak (LWS)

Planteamiento del Problema

Los Modelos de Lenguaje de Gran Escala (LLMs) basados en voz enfrentan actualmente un cuello de botella fundamental: sus salidas están restringidas a la modalidad hablada, lo que suprime capacidades nativas de texto como la generación de código, el análisis estructurado y el razonamiento de múltiples pasos. Los enfoques existentes para los LLMs de voz suelen tratar al texto como un estado intermedio oculto o una modalidad subordinada utilizada únicamente para mejorar las respuestas habladas. Esto limita las salidas hacia el usuario a lo que puede ser verbalizado, obligando a los usuarios a transcribir manualmente datos estructurados complejos (p. ej., bloques de código, tablas) o a linealizar información estructurada en listas habladas difíciles de revisar. Además, los modelos actuales a menudo carecen de capacidades genuinas de full-duplex (escuchar mientras se habla) o no logran mantener un canal de razonamiento persistente y visible para el usuario durante la interacción.

Metodología: Listen-Write-Speak (LWS)

Los autores proponen Listen-Write-Speak (LWS), un paradigma de interacción de tres canales y prioridad en el texto. A diferencia de trabajos previos que dependen de modificaciones arquitectónicas complejas o modelos separados, LWS implementa este comportamiento enteramente a través de un Esquema de Tokens dentro de un Transformer autorregresivo estándar.

Arquitectura Central

El sistema opera sobre un contexto de atención causal compartido donde tres canales se ejecutan concurrentemente dentro de intervalos temporales discretos llamados Unidades (establecidas en 1 segundo en los experimentos):

1. Canal de Escucha (Percepción): Ingiere continuamente flujos de audio del usuario (representados como tokens de audio discretos) a lo largo de la interacción, permitiendo la capacidad de full-duplex.
2. Escritura Visible (Cognición) Canal: Siempre activo. Externaliza la cognición nativa de texto del modelo como texto de formato libre y visible para el usuario.
   • Durante la Escucha: Construye un razonamiento incremental (p. ej., comprensión parcial, desambiguación) basado en el audio escuchado hasta el momento.
   • Durante el Habla: Emite artefactos estructurados (código, tablas, derivaciones) en paralelo con el habla natural.
3. Canal de Habla (Expresión): Genera lenguaje hablado natural como una respuesta oral en tiempo real. Este canal está activo únicamente durante la fase de respuesta.

Esquema de Tokens

LWS utiliza tokens especiales para delimitar los límites de los canales dentro de cada Unidad, sin requerir cambios arquitectónicos en el LLM subyacente:

• Unidades de Escucha: <unit> $\rightarrow$ audio $\rightarrow$ <|lc|> (inicio de cognición de escucha) $\rightarrow$ escritura $\rightarrow$ <|/lc|> (fin de cognición de escucha) $\rightarrow$ </unit>.
• Unidades de Habla: <unit> $\rightarrow$ audio $\rightarrow$ <|spk|> $\rightarrow$ habla $\rightarrow$ <|eos|> $\rightarrow$ <|rc|> (inicio de cognición de respuesta) $\rightarrow$ escritura $\rightarrow$ <|/rc|> (fin de cognición de respuesta) $\rightarrow$ </unit>.

La separación de la cognición de la fase de escucha (ls cogn) y la cognición de la fase de respuesta (reply cogn) es explícita para prevenir la fuga de información y simplificar la predicción del siguiente token, ya que condicionan estados de información diferentes.

Construcción de Datos

Dado que los corpus públicos carecen de anotaciones cognitivas por segundo alineadas con líneas de tiempo de audio, los autores desarrollaron una pipeline de datos de dos etapas:

1. Síntesis Cognitiva Offline: Un LLM profesor robusto sintetiza tres flujos de texto a partir de pares de QA estándar: una cadena de razonamiento en streaming (para ls cogn), una respuesta de voz (para speak) y la respuesta estructurada original (para reply cogn). Una restricción causal estricta asegura que el razonamiento en el tiempo $t$ solo utilice la entrada escuchada hasta $t$.
2. Construcción de Línea de Tiempo Online: Los flujos sintetizados se alinean con grabaciones de audio reales y alineaciones de caracteres basadas en CTC para construir secuencias de Unidades. Esto incluye intervalos de silencio aleatorios y aumentación de interrupciones para simular el ritmo conversacional natural y el solapamiento.

Principales Contribuciones

1. Cambio de Paradigma: Formulación de LWS como un paradigma de tres canales con prioridad en el texto donde un único LLM autorregresivo escucha, escribe texto visible y habla simultáneamente, tratando la escritura visible como un canal de salida de primera clase.
2. Implementación del Esquema de Tokens: Realización de este complejo comportamiento enteramente mediante tokens especiales en un Transformer estándar, evitando la necesidad de decodificadores adicionales o módulos de fusión entre canales.
3. Pipeline de Datos: Desarrollo de una pipeline de dos etapas que sintetiza anotaciones cognitivas causalmente consistentes y por segundo para entrenar al modelo en interacción por streaming.
4. Validación Empírica: Demostración de una fuerte interacción full-duplex y una salida estructurada de alta calidad sin sacrificar la capacidad de respuesta en tiempo real.

Resultados Experimentales

El modelo fue evaluado en varios benchmarks utilizando una arquitectura MiniCPM-V con un backbone Qwen3-8B.

• Comprensión y Razonamiento Hablado (URO-Bench): LWS logró las mejores puntuaciones en las divisiones de Pro en chino (Promedio: 84.6) y en Comprensión/Razonamiento Básico en chino (92.5/85.9). Superó consistentemente a sus ablaciones internas (modelos sin escritura mientras escuchan o hablan), validando la utilidad del canal de escritura visible en ambas fases.
• Calidad de la Respuesta (VoiceBench AlpacaEval): LWS obtuvo una puntuación de 4.72, superando a todos los baselines de código abierto listados y siguiendo de cerca a GPT-4o-Audio (4.78). Esta puntuación refleja la calidad del canal de Escritura Visible.
• Consistencia de Canal: El modelo alcanzó una tasa de consistencia del 92.6% entre las salidas habladas y escritas, indicando que el enfoque de doble canal no compromete la coherencia.
• Interacción Full-Duplex (Full-Duplex-Bench): LWS demostró un cambio de turno competitivo (0.97 Candor TOR con 0.48s de latencia) y un manejo de interrupciones sólido (calidad de 4.02 GPT-4o con 0.65s de latencia), recuperándose de los solapamientos sin retrasos significativos.
• Convergencia de Entrenamiento: Los tres canales (escritura de escucha, habla, escritura de respuesta) convergieron suavemente con baja varianza, confirmando la viabilidad del entrenamiento conjunto de tres canales en un solo modelo autorregresivo.

Significación y Reivindicaciones

El artículo afirma que la escritura visible puede servir como un canal de salida de primera clase para la interacción de voz sin sacrificar la capacidad de respuesta en tiempo real. Al unificar la escucha full-duplex, la escritura visible y el habla en tiempo real, LWS permite que los modelos de voz aprovechen todas sus capacidades nativas de texto (código, análisis estructurado) en un entorno multimodal. Los autores enfatizan que este enfoque no requiere modificaciones arquitectónicas, lo que lo hace escalable y reutilizable.

El estudio concluye que, si bien LWS está optimizado para la capacidad de respuesta, actualmente enfrenta limitaciones en la profundidad del razonamiento (debido a las restricciones de tiempo real) y en la modalidad de entrada (entrada exclusivamente de voz). Sin embargo, establece un nuevo estándar para cómo los LLMs basados en voz pueden interactar con los usuarios, yendo más allá del habla linealizada para incluir salidas intermedias persistentes, inspeccionables y estructuradas.