⚡ electrical engineering

MOSS Transcribe Diarize Technical Report

MOSS Transcribe Diarize es un modelo de lenguaje grande multimodal unificado que logra una transcripción con marcas de tiempo y atribución de hablantes de vanguardia al aprovechar una ventana de contexto de 128k y un entrenamiento de extremo a extremo en extensos datos del mundo real para superar las limitaciones de los sistemas existentes.

Autores originales: MOSI. AI, :, Donghua Yu, Zhengyuan Lin, Hanfu Chen, Chen Yang, Yiyang Zhang, Jingqi Chen, Ke Chen, Liwei Fan, Yi Jiang, Jie Zhu, Muchen Li, Wenxuan Wang, Yang Wang, Zhe Xu, Botian Jiang, Yitian Gong

Publicado 2026-07-20

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: MOSI. AI, :, Donghua Yu, Zhengyuan Lin, Hanfu Chen, Chen Yang, Yiyang Zhang, Jingqi Chen, Ke Chen, Liwei Fan, Yi Jiang, Jie Zhu, Muchen Li, Wenxuan Wang, Yang Wang, Zhe Xu, Botian Jiang, Yitian Gong, Yuqian Zhang, Wenbo Zhang, Songlin Wang, Zhiyu Wu, Zhaoye Fei, Qinyuan Cheng, Shimin Li, Xipeng Qiu

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás sentado en una cafetería concurrida, tratando de escribir exactamente lo que tres amigos diferentes se dicen entre sí. Necesitas saber no solo las palabras, sino quién las dijo y exactamente cuándo habló. Este es el desafío de la "Transcripción con Atribución de Hablante y Marcas de Tiempo" (SATS, por sus siglas en inglés). Es un superpoder para las computadoras, que convierte una grabación de audio desordenada en un guion limpio y organizado donde cada frase está etiquetada con el nombre del hablante y un tiempo de reloj preciso. Esto es increíblemente útil para transcribir reuniones de negocios, analizar llamadas de servicio al cliente o ayudar a personas con discapacidades auditivas a seguir conversaciones complejas.

Hasta ahora, las computadoras solían intentar resolver esto en dos pasos separados. Primero, un robot de "voz a texto" escuchaba y escribía las palabras. Luego, un robot diferente, el "detective de hablantes", intentaba averiguar quién decía qué. El problema es que estos dos robots a menudo no se comunican entre sí. Si el primer robot comete un pequeño error, el segundo robot se confunde, y el guion final se convierte en un desastre jumbled. Es como intentar armar un rompecabezas donde la mitad de las piezas son de una caja diferente. Este nuevo artículo presenta un nuevo tipo de cerebro informático que hace ambos trabajos al mismo tiempo, en un solo movimiento fluido.

La solución de un solo cerebro

El equipo detrás de este proyecto, OpenMOSS, ha construido un nuevo modelo llamado MOSS Transcribe Diarize. Piensa en este modelo como un director de orquesta superinteligente y multitarea. En lugar de contratar una orquesta separada para las palabras y una orquesta separada para las voces, este director tiene toda la partitura en su cabeza y dirige toda la actuación de un solo golpe.

En el pasado, las computadoras tenían dificultades con las conversaciones largas. Si una reunión duraba una hora, los sistemas antiguos tenían que trocear el audio en pequeñas porciones de 30 segundos, resolver cada porción y luego intentar pegarlas de nuevo. Esto a menudo provocaba que la computadora olvidara quién era el "Hablante A" después de la pausa, o perdiera el rastro del flujo de la conversación. MOSS Transcribe Diarize cambia las reglas del juego al tener una enorme "ventana de memoria" de 128k tokens. Para ponerlo en perspectiva, esto permite al modelo escuchar y comprender hasta 90 minutos de audio en una sola pasada ininterrumpida. No necesita trocear el audio; escucha toda la historia de principio a fin, manteniendo una imagen mental clara de quién es quién, incluso si no han hablado en un rato.

Cómo funciona (El truco de magia)

El modelo es un "modelo de lenguaje de gran escala multimodal", una forma elegante de decir que puede leer texto y escuchar audio al mismo tiempo. Aquí está el truco:

Los Oídos: Toma las ondas sonoras puras y las convierte en un formato digital.
El Traductor: Utiliza una "proyección" especial para convertir esas ondas sonoras en un lenguaje que la parte del cerebro que lee texto pueda entender.
La Salida: En lugar de solo escupir palabras, genera un guion que se ve así: [0.11] [S01] ¡Buenos días! [1.03] [S02] ¡Buenos días, chicos!. Te indica el ID del hablante (S01, S02), el momento exacto en que empezaron a hablar y las palabras que dijeron, todo en una sola pasada hacia adelante.

Para enseñar a este modelo, los investigadores no usaron solo grabaciones limpias de calidad de estudio. Le dieron una dieta masiva de datos "reales y salvajes": grabaciones de internet que incluyen ruido de fondo, voces superpuestas, diferentes acentos y personas hablando al mismo tiempo. También crearon conversaciones "simuladas" donde mezclaron y combinaron diferentes voces para enseñar al modelo cómo manejar situaciones complicadas, como cuando dos personas hablan exactamente al mismo tiempo.

Lo que encontraron

El equipo probó su nuevo modelo contra algunos de los sistemas comerciales más grandes y costosos disponibles actualmente (como los de Doubao, ElevenLabs y varios modelos de Google). Utilizaron tres tipos diferentes de pruebas:

AISHELL-4: Grabaciones de reuniones reales y largas (hasta ~40 minutos).
Podcast: Entrevistas largas de alta calidad con múltiples invitados.
Películas: Clips cortos con diálogos rápidos y superpuestos.

Los resultados fueron impresionantes. En casi todas las pruebas, MOSS Transcribe Diarize cometió menos errores que la competencia.

Precisión: Acertó las palabras con más frecuencia (menor Tasa de Error de Caracteres).
Identidad: Fue mucho mejor manteniendo el rastro de quién decía qué. Los investigadores midieron esto con una métrica llamada Δcp (la diferencia entre los errores de palabra y los errores de hablante). Un número más bajo aquí significa que el modelo no se confundió sobre quién estaba hablando. MOSS Transcribe Diarize tuvo las puntuaciones de Δcp más bajas, lo que significa que mantuvo las identidades de los hablantes consistentes incluso en conversaciones largas y desordenadas.
Capacidad de formato largo: Mientras que algunos de los modelos comerciales famosos (como GPT-4o y Gemini 3 Pro) simplemente fallaron al procesar los archivos de audio largos o no pudieron generar el formato correcto para ellos, MOSS Transcribe Diarize manejó las entradas completas de 90 minutos sin despeinarse.

Por qué esto es importante

El artículo sugiere que, al combinar el reconocimiento de voz y la identificación de hablantes en un sistema unificado con una memoria larga, podemos obtener transcripciones mucho más fiables. El modelo demuestra que no es necesario trocear el audio para entenderlo; puedes escuchar toda la conversación a la vez y aun así obtener los detalles correctamente.

Los autores advierten cuidadosamente que, aunque su modelo es un paso significativo, no es una varita mágica que lo soluciona todo perfectamente. Todavía ven margen de mejora, como hacer que el sistema funcione en tiempo real (streaming) y manejar aún más idiomas. Pero por ahora, han demostrado que un cerebro único y unificado puede hacer el trabajo de dos robots separados, y hacerlo mejor, especialmente cuando la conversación se vuelve larga y complicada.

El código y el modelo están ahora abiertos para que cualquiera los pruebe, disponibles en GitHub y Hugging Face, invitando a otros a ver si pueden construir herramientas aún mejores sobre este nuevo fundamento.

Resumen Técnico: MOSS Transcribe Diarize

Planteamiento del Problema

La transcripción con atribución de hablante y marcas de tiempo (SATS, por sus siglas en inglés) es una tarea crítica para aplicaciones que van desde asistentes de reuniones hasta procesos de descubrimiento legal. Requiere no solo transcribir el habla, sino también determinar con precisión quién habló cuándo, preservando la estructura de los turnos, las superposiciones y las referencias de largo alcance.

Los sistemas SATS actuales suelen depender de canales modulares y en cascada que unen componentes de Reconocimiento Automático del Habla (ASR) y Diarización de Hablantes (SD). Estos enfoques sufren de varias limitaciones:

Propagación de Errores: Los errores en las etapas iniciales (p. ej., ASR) se propagan a través de las etapas subsiguientes (p. ej., diarización), y es difícil aprovechar consistentemente el contexto global.
Contexto Limitado: Muchos modelos existentes están restringidos por ventanas de contexto cortas, lo que obliga a procesar las grabaciones largas en fragmentos. Esto interrumpe la continuidad del discurso, debilita la resolución de correferencias e introduce artefactos de frontera.
Deriva de Memoria del Hablante: Las identidades de los hablantes suelen derivar durante conversaciones largas, particularmente bajo condiciones acústicas variables o con voces similares.
Falta de Marcas de Tiempo Nativas: Muchas arquitecturas no pueden generar de forma nativa marcas de tiempo a nivel de segmento, dependiendo de componentes de alineación externos que reintroducen la propagación de errores modular.

Si bien los Modelos de Lenguaje Multimodales (MLLMs) recientes han mostrado potencial, a menudo se quedan cortos en entornos SATS al estar limitados a contextos de audio cortos (50–90 segundos), conjuntos de hablantes pequeños o al no poder generar de forma nativa segmentos de hablante con marcas de tiempo explícitas.

Metodología

Los autores presentan MOSS Transcribe Diarize, un modelo de lenguaje multimodal unificado diseñado para realizar SATS en una sola pasada de extremo a extremo.

Arquitectura

El modelo acopla un codificador de audio con un módulo de proyección que mapea los embeddings acústicos de múltiples hablantes al espacio de características de un LLM de texto preentrenado.

Modelado Unificado: Esta arquitectura permite que el backbone alinee conjuntamente las identidades de los hablantes con el contenido léxico y realice un modelado de contexto largo unificado.
Marcado de Tiempo Explícito: Siguiendo trabajos recientes sobre la codificación de tiempo basada en tokens textuales, la información temporal se representa como texto de marca de tiempo formateado insertado entre los fragmentos del codificador de audio. Esto evita vincular la codificación temporal a índices posicionales absolutos, que se vuelven dispersos en duraciones largas, permitiendo una generación de marcas de tiempo precisa sobre audio de escala horaria.
Ventana de Contexto: El modelo está equipado con una ventana de contexto de 128k tokens, lo que le permite procesar entradas de hasta 90 minutos sin fragmentación. Esto preserva la continuidad del discurso y mantiene representaciones globales de los participantes y los temas.

Composición de Datos

El modelo es entrenado con audio conversacional extensivo del mundo real y datos simulados para asegurar la robustez:

Datos Reales: Incluye audio multilingüe de internet, específicamente el conjunto de datos AISHELL-4 (grabaciones de salas de reuniones con audio de campo lejano y superpuesto), así como conjuntos de datos curados de podcasts y películas.
Datos Simulados: Para abordar la escasez de grabaciones de múltiples hablantes de alta calidad en el mundo real, los autores emplean un simulador probabilístico controlable. Este genera diálogos sintéticos de múltiples hablantes con 2 a 12 hablantes, forzando la alternancia de hablantes mientras permite superposiciones (limitadas al 80% del segmento más corto). Las mezclas son aumentadas con ruido y reverberación del mundo real (SNRs de 0–15 dB) para mejorar la continuidad perceptual.

Contribuciones Clave

Sistema SATS de Extremo a Extremo: MOSS Transcribe Diarize se presenta como el primer modelo multimodal unificado que realiza conjuntamente el reconocimiento de palabras, la atribución de hablante y la predicción de marcas de tiempo en una sola pasada hacia adelante, eliminando los traspasos entre subsistemas separados.
Modelado de Contexto Largo a Escala de Reunión: El modelo procesa entradas de hasta 90 minutos dentro de una ventana de contexto de 128k tokens. Esta capacidad reduce la deriva de identidad y los artefactos de frontera, mejorando las métricas SATS tanto en evaluaciones de dominio como fuera de dominio sin necesidad de fragmentación.

Evaluación y Resultados

El modelo fue evaluado contra sistemas comerciales de última generación (incluyendo Doubao, ElevenLabs, GPT-4o y variantes de Gemini) a través de tres benchmarks diversos:

AISHELL-4: Grabaciones de conferencias del mundo real de larga duración (casi 40 minutos).
Podcast: Entrevistas de alta calidad, larga duración y múltiples invitados.
Películas: Segmentos cortos, ricos en superposiciones, de películas y series de televisión.

Métricas:
El rendimiento se midió utilizando la Tasa de Error de Caracteres (CER) para ASR, la Tasa de Error de Caracteres de permutación mínima concatenada (cpCER) para ASR y SD conjunta, y $\Delta_{cp}$ (la diferencia entre cpCER y CER) para aislar los errores de atribución de hablante.

Hallazgos:

Desempeño Conjunto Superior: MOSS Transcribe Diarize alcanzó consistentemente el mejor desempeño general en términos de cpCER y $\Delta_{cp}$ en todos los conjuntos de datos.
Reducción del Error de Atribución: En el conjunto de datos AISHELL-4, el modelo exhibió un $\Delta_{cp}$ notablemente menor en comparación con las líneas base, indicando que los errores de atribución de hablante introdujeron significativamente menos degradación adicional que los errores de ASR puro.
Capacidad de Larga Duración: A diferencia de GPT-4o y Gemini 3 Pro, que no pudieron procesar de manera confiable entradas de audio de larga duración bajo el protocolo de evaluación debido a restricciones de longitud de entrada o inestabilidad de formato, MOSS Transcribe Diarize se mantuvo plenamente operativo en audio de escala horaria.
Robustez ante Superposiciones: En el conjunto de datos de Películas (caracterizado por una rápida alternancia de hablantes y frecuentes superposiciones), el modelo mantuvo una brecha relativamente pequeña entre CER y cpCER, demostrando un manejo robusto de las fronteras de los hablantes.

Significado

El artículo afirma que MOSS Transcribe Diarize aborda la fragilidad de los canales modulares de ASR–diarización al unificar el reconocimiento y la atribución de hablante dentro de un único marco multimodal. Al aprovechar el modelado de contexto largo y la simulación de distribución controlada, el sistema logra transcripciones con marcas de tiempo y atribución de hablante más confiables que las alternativas modulares o semicascadeadas. Los autores enfatizan que este enfoque cierra la brecha entre la capacidad multimodal nominal y el rendimiento de SATS de larga duración desplegable, haciéndolo particularmente adecuado para la transcripción de reuniones del mundo real y el análisis de conversaciones de larga duración.