⚡ electrical engineering

MOSS Transcribe Diarize Technical Report

O MOSS Transcribe Diarize é um modelo de linguagem grande multimodal unificado que alcança o estado da arte em transcrição com atribuição de locutor e carimbo de tempo ao aproveitar uma janela de contexto de 128k e treinamento de ponta a ponta em extensos dados do mundo real para superar as limitações dos sistemas existentes.

Autores originais: MOSI. AI, :, Donghua Yu, Zhengyuan Lin, Hanfu Chen, Chen Yang, Yiyang Zhang, Jingqi Chen, Ke Chen, Liwei Fan, Yi Jiang, Jie Zhu, Muchen Li, Wenxuan Wang, Yang Wang, Zhe Xu, Botian Jiang, Yitian Gong

Publicado 2026-07-20

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: MOSI. AI, :, Donghua Yu, Zhengyuan Lin, Hanfu Chen, Chen Yang, Yiyang Zhang, Jingqi Chen, Ke Chen, Liwei Fan, Yi Jiang, Jie Zhu, Muchen Li, Wenxuan Wang, Yang Wang, Zhe Xu, Botian Jiang, Yitian Gong, Yuqian Zhang, Wenbo Zhang, Songlin Wang, Zhiyu Wu, Zhaoye Fei, Qinyuan Cheng, Shimin Li, Xipeng Qiu

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está sentado em uma cafeteria lotada, tentando anotar exatamente o que três amigos diferentes estão dizendo uns aos outros. Você precisa saber não apenas as palavras, mas quem as disse e exatamente quando falaram. Este é o desafio da "Transcrição com Atribuição de Locutor e Carimbo de Tempo" (SATS - Speaker-Attributed, Time-Stamped Transcription). É um superpoder para computadores, transformando uma gravação de áudio bagunçada em um roteiro limpo e organizado onde cada frase é marcada com o nome de um locutor e um tempo preciso. Isso é incrivelmente útil para coisas como transcrever reuniões de negócios, analisar chamadas de atendimento ao cliente ou ajudar pessoas com deficiência auditiva a acompanhar conversas complexas.

Até agora, os computadores geralmente tentavam resolver isso em duas etapas separadas. Primeiro, um robô de "fala para texto" ouvia e digitava as palavras. Depois, um robô "detetive de locutores" diferente tentava descobrir quem disse o quê. O problema é que esses dois robôs muitas vezes não conversam entre si. Se o primeiro robô comete um pequeno erro, o segundo robô fica confuso, e o roteiro final torna-se uma bagunça desordenada. É como tentar montar um quebra-cabeça onde metade das peças é de uma caixa diferente. Este novo artigo apresenta um novo tipo de cérebro de computador que faz ambos os trabalhos ao mesmo tempo, em um único movimento fluido.

A Solução de Um Único Cérebro

A equipe por trás deste projeto, OpenMOSS, construiu um novo modelo chamado MOSS Transcribe Diarize. Pense neste modelo como um maestro superinteligente e multitarefa. Em vez de contratar uma orquestra separada para as palavras e uma orquestra separada para as vozes, este maestro mantém toda a partitura em sua cabeça e dirige toda a performance de uma só vez.

No passado, os computadores tinham dificuldade com conversas longas. Se uma reunião durasse uma hora, os sistemas antigos teriam que fatiar o áudio em pequenos pedaços de 30 segundos, resolver cada fatia e depois tentar colá-los de volta. Isso frequentemente fazia com que o computador esquecesse quem era o "Locutor A" após a pausa, ou perdesse o rastro do fluxo da conversa. O MOSS Transcribe Diarize muda o jogo ao possuir uma enorme "janela de memória" de 128k tokens. Para colocar em perspectiva, isso permite que o modelo ouça e entenda até 90 minutos de áudio em uma única passagem ininterrupta. Ele não precisa fatiar o áudio; ele ouve a história inteira do início ao fim, mantendo uma imagem mental clara de quem é quem, mesmo que eles não tenham falado há algum tempo.

Como Funciona (O Truque de Mágica)

O modelo é um "modelo de linguagem de grande escala multimodal", uma forma chique de dizer que ele pode ler texto e ouvir áudio ao mesmo tempo. Aqui está o truque:

Os Ouvidos: Ele pega as ondas sonoras brutas e as converte em um formato digital.
O Tradutor: Ele usa uma "projeção" especial para transformar essas ondas sonoras na linguagem que a parte do cérebro que lê texto entende.
A Saída: Em vez de apenas cuspir palavras, ele gera um roteiro que se parece com isto: [0.11] [S01] Bom dia! [1.03] [S02] Bom dia, pessoal!. Ele informa o ID do locutor (S01, S02), o tempo exato em que começaram a falar e as palavras que disseram, tudo em uma única passagem direta.

Para ensinar este modelo, os pesquisadores não usaram apenas gravações limpas de estúdio. Eles o alimentaram com uma dieta massiva de dados "reais e selvagens" — gravações da internet que incluem ruído de fundo, vozes sobrepostas, diferentes sotaques e pessoas falando umas sobre as outras. Eles também criaram conversas "simuladas" onde misturavam e combinavam diferentes vozes para ensinar o modelo a lidar com situações complicadas, como quando duas pessoas falam exatamente ao mesmo tempo.

O Que Eles Descobriram

A equipe testou seu novo modelo contra alguns dos maiores e mais caros sistemas comerciais atualmente disponíveis (como os da Doubao, ElevenLabs e vários modelos do Google). Eles usaram três tipos diferentes de testes:

AISHELL-4: Gravações de reuniões reais e longas (até ~40 minutos).
Podcast: Entrevistas longas de alta qualidade com múltiplos convidados.
Filmes: Clipes curtos com diálogos rápidos e sobrepostos.

Os resultados foram impressionantes. Em quase todos os testes, o MOSS Transcribe Diarize cometeu menos erros do que a concorrência.

Precisão: Ele acertou as palavras com mais frequência (menor Taxa de Erro de Caracteres).
Identidade: Foi muito melhor em rastrear quem disse o quê. Os pesquisadores mediram isso com uma métrica chamada Δcp (a diferença entre erros de palavra e erros de locutor). Um número mais baixo aqui significa que o modelo não se confundiu sobre quem estava falando. O MOSS Transcribe Diarize teve as pontuações de Δcp mais baixas, o que significa que manteve as identidades dos locutores consistentes mesmo em conversas longas e bagunçadas.
Capacidade de Longa Duração: Enquanto alguns dos modelos comerciais famosos (como GPT-4o e Gemini 3 Pro) simplesmente falharam ao processar os arquivos de áudio longos ou não conseguiram gerar o formato correto para eles, o MOSS Transcribe Diarize lidou com as entradas completas de 90 minutos sem esforço.

Por Que Isso Importa

O artigo sugere que, ao combinar o reconhecimento de fala e a identificação de locutor em um sistema unificado com uma memória longa, podemos obter transcrições muito mais confiáveis. O modelo prova que você não precisa fatiar o áudio para entendê-lo; você pode ouvir a conversa inteira de uma vez e ainda assim obter os detalhes corretamente.

Os autores ressaltam cuidadosamente que, embora seu modelo seja um passo significativo à frente, ele não é uma varinha mágica que resolve todos os problemas perfeitamente. Eles ainda veem espaço para melhorias, como tornar o sistema capaz de funcionar em tempo real (streaming) e lidar com ainda mais idiomas. Mas, por enquanto, eles mostraram que um único cérebro unificado pode fazer o trabalho de dois robôs separados, e fazer melhor, especialmente quando a conversa se torna longa e complicada.

O código e o modelo estão agora abertos para qualquer pessoa testar, disponíveis no GitHub e no Hugging Face, convidando outros a ver se conseguem construir ferramentas ainda melhores sobre esta nova base.

Resumo Técnico: MOSS Transcribe Diarize

Definição do Problema

A Transcrição com Atribuição de Orador e Carimbo de Tempo (SATS - Speaker-Attributed, Time-Stamped Transcription) é uma tarefa crítica para aplicações que variam desde assistentes de reunião até investigação jurídica. Ela requer não apenas a transcrição da fala, mas também determinar precisamente quem falou quando, preservando a estrutura de turnos, sobreposições e referências de longo alcance.

Os sistemas SATS atuais geralmente dependem de pipelines modulares e em cascata que unem componentes de Reconhecimento Automático de Fala (ASR) e Diarização de Orador (SD). Essas abordagens sofrem de diversas limitações:

Propagação de Erros: Erros nas etapas iniciais (ex: ASR) cascateiam pelas etapas subsequentes (ex: diarização), e o contexto global é difícil de ser aproveitado de forma consistente.
Contexto Limitado: Muitos modelos existentes são restringidos por janelas de contexto curtas, forçando gravações longas a serem processadas em blocos (chunks). Isso interrompe a continuidade do discurso, enfraquece a resolução de correferência e introduz artefatos de fronteira.
Deriva de Memória do Orador: As identidades dos oradores frequentemente derivam ao longo de conversas longas, particularmente sob condições acústicas variáveis ou com vozes semelhantes.
Falta de Carimbos de Tempo Nativos: Muitas arquiteturas não conseguem gerar nativamente carimbos de tempo por segmento, dependendo de componentes de alinhamento externos que reintroduzem a propagação de erro modular.

Embsem os recentes Modelos de Linguagem de Grande Escala Multimodais (MLLMs) tenham mostrado potencial, eles frequentemente falham em configurações SATS por serem limitados a contextos de áudio curtos (50–90 segundos), conjuntos de oradores pequenos ou por falharem em gerar nativamente segmentos de orador explicitamente carimbados com o tempo.

Metodologia

Os autores apresentam o MOSS Transcribe Diarize, um modelo de linguagem de grande escala multimodal unificado, projetado para realizar SATS em uma única passagem de ponta a ponta (end-to-end).

Arquitetura

O modelo acopla um codificador de áudio a um módulo de projeção que mapeia embeddings acústicos de múltiplos oradores para o espaço de características de um LLM de texto pré-treinado.

Modelagem Unificada: Esta arquitetidade permite que o backbone alinhe conjuntamente as identidades dos oradores com o conteúdo lexical e realize uma modelagem de contexto longo unificada.
Carimbagem de Tempo Explícita: Seguindo trabalhos recentes sobre codificação temporal baseada em tokens textuais, a informação temporal é representada como texto de carimbo de tempo formatado inserido entre os blocos do codificador de áudio. Isso evita vincular a codificação temporal a índices posicionais absolutos, que se tornam esparsos ao longo de durações longas, permitindo a geração de carimbos de tempo precisos em áudios de escala de horas.
Janela de Contexto: O modelo é equipado com uma janela de contexto de 128k tokens, permitindo processar entradas de até 90 minutos sem fragmentação (chunking). Isso preserva a continuidade do discurso e mantém representações globais de participantes e tópicos.

Composição de Dados

O modelo é treinado em áudio de conversação do mundo real e dados simulados para garantir robustez:

Dados Reais: Inclui áudio multilíngue da internet, especificamente o conjunto de dados AISHELL-4 (gravações de sala de reunião com áudio sobreposto de campo distante), bem como conjuntos de dados selecionados de podcasts e filmes.
Dados Simulados: Para abordar a escassez de gravações de múltiplos oradores de alta qualidade no mundo real, os autores utilizam um simulador probabilístico controlável. Este gera diálogos sintéticos de múltiplos oradores com 2 a 12 oradores, forçando a alternância de oradores enquanto permite sobreposições (limitadas a 80% do segmento mais curto). As misturas são aumentadas com ruído e reverberação do mundo real (SNRs de 0–15 dB) para melhorar a continuidade perceptual.

Principais Contribuições

Sistema SATS de Ponta a Ponta: O MOSS Transcribe Diarize é apresentado como o primeiro modelo multimodal unificado que realiza conjuntamente o reconhecimento de palavras, atribuição de orador e previsão de carimbo de tempo em uma única passagem direta, eliminando as transferências entre subsistemas separados.
Modelagem de Contexto Longo em Escala de Reunião: O modelo processa entradas de até 90 minutos dentro de uma janela de contexto de 128k tokens. Essa capacidade reduz a deriva de identidade e artefatos de fronteira, melhorando as métricas SATS em avaliações de domínio e fora de domínio sem a necessidade de fragmentação.

Avaliação e Resultados

O modelo foi avaliado contra sistemas comerciais de última geração (incluindo Doubao, ElevenLabs, GPT-4o e variantes do Gemini) através de três benchmarks diversos:

AISHELL-4: Gravações de conferências do mundo real de longa duração (quase 40 minutos).
Podcast: Entrevistas de alta qualidade, longa duração e múltiplos convidados.
Filmes: Segmentos curtos, ricos em sobreposições, de filmes e séries de TV.

Métricas:
O desempenho foi medido usando a Taxa de Erro de Caractere (CER) para ASR, a Taxa de Erro de Caractere de Permutação Mínima Concatenada (cpCER) para ASR e SD conjuntos, e $\Delta_{cp}$ (a diferença entre cpCER e CER) para isolar erros de atribuição de orador.

Descobertas:

Desempenho Conjunto Superior: O MOSS Transcribe Diarize alcançou consistentemente o melhor desempenho geral em termos de cpCER e $\Delta_{cp}$ em todos os conjuntos de dados.
Redução do Erro de Atribuição: No conjunto de dados AISHELL-4, o modelo exibiu um $\Delta_{cp}$ marcadamente menor em comparação aos baselines, indicando que os erros de atribuição de orador introduziram significativamente menos degradação adicional do que os erros puros de ASR.
Capacidade de Longa Duração: Ao contrário do GPT-4o e Gemini 3 Pro, que foram incapazes de processar de forma confiável entradas de áudio de longa duração sob o protocolo de avaliação devido a restrições de comprimento de entrada ou instabilidade de formato, o MOSS Transcribe Diarize permaneceu totalmente operacional em áudios de escala de hora.
Robustez a Sobreposições: No conjunto de dados de Filmes (caracterizado por alternância rápida de oradores e sobreposições frequentes), o modelo manteve uma lacuna relativamente pequena entre CER e cpCER, demonstrando um tratamento robusto de fronteiras de oradores.

Significância

O artigo afirma que o MOSS Transcribe Diarize aborda a fragilidade dos pipelines modulares de ASR–diarização ao unificar o reconhecimento e a atribuição de orador dentro de um único framework multimodal. Ao aproveitar a modelagem de contexto longo e a simulação de distribuição controlada, o sistema alcança transcrições com carimbo de tempo e atribuição de orador mais confiáveis do que alternativas modulares ou semi-cascateadas. Os autores enfatizam que esta abordagem preenche a lacuna entre a capacidade multimodal nominal e o desempenho SATS de longa duração aplicável, tornando-o particularmente adequado para transcrição de reuniões do mundo real e análise de conversas de longa duração.