⚡ electrical engineering

MOSS Transcribe Diarize Technical Report

MOSS Transcribe Diarize è un modello linguistico di grandi dimensioni multimodale unificato che raggiunge lo stato dell'arte nella trascrizione con attribuzione del parlatore e timestamp, sfruttando una finestra di contesto da 128k e un addestramento end-to-end su estesi dati reali per superare i limiti dei sistemi esistenti.

Autori originali: MOSI. AI, :, Donghua Yu, Zhengyuan Lin, Hanfu Chen, Chen Yang, Yiyang Zhang, Jingqi Chen, Ke Chen, Liwei Fan, Yi Jiang, Jie Zhu, Muchen Li, Wenxuan Wang, Yang Wang, Zhe Xu, Botian Jiang, Yitian Gong

Pubblicato 2026-07-20

📖 6 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: MOSI. AI, :, Donghua Yu, Zhengyuan Lin, Hanfu Chen, Chen Yang, Yiyang Zhang, Jingqi Chen, Ke Chen, Liwei Fan, Yi Jiang, Jie Zhu, Muchen Li, Wenxuan Wang, Yang Wang, Zhe Xu, Botian Jiang, Yitian Gong, Yuqian Zhang, Wenbo Zhang, Songlin Wang, Zhiyu Wu, Zhaoye Fei, Qinyuan Cheng, Shimin Li, Xipeng Qiu

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di essere seduto in un bar affollato, cercando di scrivere esattamente ciò che tre diversi amici si stanno dicendo. Hai bisogno di sapere non solo le parole, ma anche chi le ha dette e esattamente quando ha parlato. Questa è la sfida della "Trascrizione con Attribuzione del Parlatore e Marcatura Temporale" (SATS). È un superpotere per i computer, che trasforma una registrazione audio disordinata in uno script pulito e organizzato dove ogni frase è contrassegnata dal nome di un parlatore e da un preciso orario. Questo è incredibilmente utile per trascrivere riunioni di lavoro, analizzare chiamate di assistenza clienti o aiutare persone con disabilità uditive a seguire conversazioni complesse.

Fino ad ora, i computer cercavano di risolvere questo problema in due fasi separate. Prima, un robot di "speech-to-text" ascoltava e digitava le parole. Poi, un diverso robot "detective dei parlatori" cercava di capire chi avesse detto cosa. Il problema è che questi due robot spesso non si parlano tra loro. Se il primo robot commette un piccolo errore, il secondo si confonde, e lo script finale diventa un pasticcio disordinato. È come cercare di assemblare un puzzle in cui metà dei pezzi proviene da una scatola diversa. Questo nuovo articolo introduce un nuovo tipo di cervello informatico che svolge entrambi i compiti contemporaneamente, in un unico, fluido movimento.

La Soluzione a Unico Cervello

Il team dietro questo progetto, OpenMOSS, ha costruito un nuovo modello chiamato MOSS Transcribe Diarize. Pensa a questo modello come a un direttore d'orchestra super intelligente e multitasking. Invece di assumere un'orchestra separata per le parole e un'altra per le voci, questo direttore tiene l'intero spartito nella sua testa e dirige l'intera esecuzione in un colpo solo.

In passato, i computer faticavano con le conversazioni lunghe. Se una riunione durava un'ora, i vecchi sistemi dovevano tagliare l'audio in piccoli segmenti di 30 secondi, risolvere ogni segmento e poi cercare di incollarli nuovamente insieme. Questo spesso portava il computer a dimenticare chi fosse il "Parlante A" dopo la pausa, o a perdere traccia del flusso della conversazione. MOSS Transcribe Diarize cambia le regole del gioco avendo una massiccia "finestra di memoria" di 128k token. Per dare un termine di paragone, questo permette al modello di ascoltare e comprendere fino a 90 minuti di audio in un unico passaggio ininterrotto. Non ha bisogno di frammentare l'audio; sente l'intera storia dall'inizio alla fine, mantenendo un'immagine mentale chiara di chi sia chi, anche se non parla da un po'.

Come Funziona (Il Trucco Magico)

Il modello è un "modello linguistico di grandi dimensioni multimodale", un modo elaborato per dire che può leggere testo e ascoltare audio contemporaneamente. Ecco il trcco:

Le Orecchie: Prende le onde sonore grezze e le converte in un formato digitale.
Il Traduttore: Utilizza una speciale "proiezione" per trasformare quelle onde sonore in un linguaggio che la parte del cervello dedicata alla lettura del testo possa comprendere.
L'Output: Invece di sputare fuori solo parole, produce uno script che appare così: [0.11] [S01] Buongiorno! [1.03] [S02] Buongiorno, ragazzi!. Ti dice l'ID del parlatore (S01, S02), l'istante esatto in cui ha iniziato a parlare e le parole che ha detto, tutto in un unico passaggio in avanti.

Per insegnare questo modello, i ricercatori non hanno usato solo registrazioni pulite e di qualità studio. Lo hanno nutrito con una enorme quantità di dati "selvaggi reali"—registrazioni provenienti da internet che includono rumori di fondo, voci sovrapposte, diversi accenti e persone che parlano sopra le altre. Hanno anche creato conversazioni "simulate" in cui hanno mescolato e abbinato diverse voci per insegnare al modello come gestire situazioni difficili, come quando due persone parlano esattamente nello stesso momento.

Cosa Hanno Scoperto

Il team ha testato il loro nuovo modello contro alcuni dei sistemi commerciali più grandi e costosi attualmente disponibili (come quelli di Doubao, ElevenLabs e vari modelli Google). Hanno utilizzato tre diversi tipi di test:

AISHELL-4: Registrazioni di riunioni reali e lunghe (fino a circa 40 minuti).
Podcast: Interviste lunghe di alta qualità con più ospiti.
Film: Brevi clip con dialoghi veloci e sovrapposti.

I risultati sono stati impressionanti. In quasi tutti i test, MOSS Transcribe Diarize ha commesso meno errori rispetto alla concorrenza.

Accuratezza: Ha azzeccato le parole più spesso (minore Character Error Rate).
Identità: È stato molto più bravo a tenere traccia di chi diceva cosa. I ricercatori hanno misurato questo con una metrica chiamata Δcp (la differenza tra errori di parola ed errori di parlatore). Un numero più basso qui significa che il modello non si è confuso su chi stesse parlando. MOSS Transcribe Diarize ha ottenuto i punteggi Δcp più bassi, il che significa che ha mantenuto le identità dei parlatori coerenti anche in conversazioni lunghe e disordinate.
Capacità Long-Form: Mentre alcuni dei famosi modelli commerciali (come GPT-4o e Gemini 3 Pro) semplicemente non riuscivano a elaborare i file audio lunghi o non riuscivano a produrre il formato corretto per essi, MOSS Transcribe Diarize ha gestito gli input completi di 90 minuti senza battere ciglio.

Perché Questo È Importante

L'articolo suggerisce che combinando il riconoscimento del parlato e l'identificazione del parlatore in un unico sistema unificato con una memoria lunga, possiamo ottenere trascrizioni più affidabili. Il modello dimostra che non è necessario frammentare l'audio per capirlo; si può ascoltare l'intera conversazione in una volta sola e ottenere comunque i dettagli corretti.

Gli autori sottolineano con cautela che, sebbene il loro modello sia un passo avanti significativo, non è una bacchetta magica che risolve ogni problema perfettamente. Vedono ancora margini di miglioramento, come rendere il sistema capace di funzionare in tempo reale (streaming) e gestire ancora più lingue. Ma per ora, hanno dimostrato che un singolo cervello unificato può fare il lavoro di due robot separati, e farlo meglio, specialmente quando la conversazione diventa lunga e complicata.

Il codice e il modello sono ora aperti a chiunque voglia provarli, disponibili su GitHub e Hugging Face, invitando altri a vedere se riescono a costruire strumenti ancora migliori su questa nuova base.

Riepilogo Tecnico: MOSS Transcribe Diarize

Problematica

La trascrizione con attribuzione del parlatore e timestamp (Speaker-Attributed, Time-Stamped Transcription - SATS) è un compito critico per applicazioni che spaziano dagli assistenti per riunioni alla ricerca legale (legal discovery). Essa richiede non solo la trascrizione del parlato, ma anche la determinazione precisa di chi ha parlato e quando, preservando la struttura dei turni, le sovrapposizioni e i riferimenti a lungo raggio.

Gli attuali sistemi SATS si affidano tipicamente a pipeline modulari e a cascata che uniscono componenti di Riconoscimento Automatico del Parlato (ASR) e Diarizzazione del Parlatore (SD). Questi approcci soffrono di diverse limitazioni:

Propagazione dell'errore: Gli errori nelle fasi iniziali (es. ASR) si propagano attraverso le fasi successive (es. diarizzazione), e il contesto globale è difficile da sfruttare in modo coerente.
Contesto limitato: Molti modelli esistenti sono vincolati da finestre di contesto brevi, costringendo l'elaborazione di registrazioni lunghe in segmenti (chunk). Ciò interrompe la continuità del discorso, indebolisce la risoluzione delle coreferenze e introduce artefatti di confine.
Deriva della memoria del parlatore: L'identità dei parlatori spesso deriva durante conversazioni lunghe, in particolare sotto condizioni acustiche variabili o con voci simili.
Mancanza di timestamp nativi: Molte architetture non possono generare nativamente timestamp a livello di segmento, affidandosi a componenti di allineamento esterni che reintroducono la propagazione dell'errore modulare.

Sebbene i recenti Modelli Linguistici Multimodali Grandi (MLLM) abbiano mostrato potenziale, spesso risultano inadeguati nei contesti SATS poiché limitati a contesti audio brevi (50–90 secondi), piccoli set di parlatori o incapaci di generare nativamente segmenti di parlatori con timestamp espliciti.

Metodologia

Gli autori presentano MOSS Transcribe Diarize, un modello linguistico multimodale unificato progettato per eseguire SATS in un unico passaggio end-to-end.

Architettura

Il modello accoppia un encoder audio con un modulo di proiezione che mappa gli embedding acustici multi-parlatore nello spazio delle caratteristiche di un LLM pre-addestrato.

Modellazione Unificata: Questa architettura consente al backbone di allineare congiuntamente le identità dei parlatori con il contenuto lessicale e di eseguire una modellazione unificata a lungo contesto.
Timestamp Espliciti: Seguendo il recente lavoro sulla codifica temporale basata su token testuali, le informazioni temporali sono rappresentate come testo formattato con timestamp inserito tra i chunk dell'encoder audio. Ciò evita di vincolare la codifica temporale a indici posizionali assoluti, che diventerebbero sparsi su durate lunghe, consentendo una generazione accurata di timestamp su audio di scala oraria.
Finestra di Contesto: Il modello è dotato di una finestra di contesto da 128k token, che gli consente di elaborare input fino a 90 minuti senza suddivisione in chunk. Ciò preserva la continuità del discorso e mantiene rappresentazioni globali dei partecipanti e degli argomenti.

Composizione dei Dati

Il modello è addestrato su estesi audio conversazionali del mondo reale e dati simulati per garantire robustezza:

Dati Reali: Include audio multilingue provenienti da internet, specificamente il dataset AISHELL-4 (registrazioni di sale riunioni con audio in campo lontano e sovrapposto), oltre a dataset curati di podcast e film.
Dati Simulati: Per affrontare la scarsità di registrazioni multi-parlatore di alta qualità nel mondo reale, gli autori utilizzano un simulatore probabilistico controllabile. Questo genera dialoghi sintetici multi-parlatore con 2–12 parlatori, imponendo l'alternanza dei parlatori pur permettendo sovrapposizioni (limitate all'80% del segmento più breve). Le miscele sono aumentate con rumore e riverbero del mondo reale (SNR da 0 a 15 dB) per migliorare la continuità percettiva.

Contributi Chiave

Sistema SATS End-to-End: MOSS Transcribe Diarize è presentato come il primo modello multimodale unificato capace di eseguire congiuntamente il riconoscimento delle parole, l'attribuzione del parlatore e la predizione dei timestamp in un singolo passaggio in avanti, eliminando i passaggi di mano tra sottosistemi separati.
Modellazione a Lungo Contesto su Scala Riunione: Il modello elabora input fino a 90 minuti all'interno di una finestra di contesto da 128k token. Questa capacità riduce la deriva dell'identità e gli artefatti di confine, migliorando le metriche SATS sia nelle valutazioni in-domain che out-of-domain senza la necessità di chunking.

Valutazione e Risultati

Il modello è stato valutato contro sistemi commerciali all'avanguardia (inclusi Doubao, ElevenLabs, GPT-4o e varianti di Gemini) attraverso tre benchmark diversificati:

AISHELL-4: Registrazioni di conferenze reali a lungo formato (quasi 40 minuti).
Podcast: Interviste multi-ospite ad alta qualità e lunga durata.
Film: Segmenti brevi, ricchi di sovrapposizioni, tratti da film e serie TV.

Metriche:
Le prestazioni sono state misurate utilizzando il Character Error Rate (CER) per l'ASR, il concatenated minimum-permutation CER (cpCER) per l'ASR e la SD congiunti, e $\Delta_{cp}$ (la differenza tra cpCER e CER) per isolare gli errori di attribuzione del parlatore.

Risultati:

Prestazioni Congiunte Superiori: MOSS Transcribe Diarize ha costantemente ottenuto le migliori prestazioni complessive in termini di cpCER e $\Delta_{cp}$ in tutti i dataset.
Riduzione dell'Errore di Attribuzione: Sul dataset AISHELL-4, il modello ha mostrato un $\Delta_{cp}$ marcatamente più piccolo rispetto ai baseline, indicando che gli errori di attribuzione del parlatore hanno introdotto un degrado aggiuntivo significativamente minore rispetto agli errori di puro ASR.
Capacità Long-Form: A differenza di GPT-4o e Gemini 3 Pro, che non sono stati in grado di elaborare in modo affidabile input audio a lungo formato sotto il protocollo di valutazione a causa dei vincoli di lunghezza dell'input o dell'instabilità del formato, MOSS Transcribe Diarize è rimasto pienamente operativo su audio di scala oraria.
Robustezza alle Sovrapposizioni: Nel dataset Movies (caratterizzato da rapida alternanza dei parlatori e frequenti sovrapposizioni), il modello ha mantenuto un divario relativamente piccolo tra CER e cpCER, dimostrando una gestione robusta dei confini dei parlatori.

Significato

L'articolo sostiene che MOSS Transcribe Diarize affronti la fragilità delle pipeline modulari ASR-diarizzazione unificando il riconoscimento e l'attribuzione del parlatore all'interno di un singolo framework multimodale. Sfruttando la modellazione a lungo contesto e la simulazione controllata della distribuzione, il sistema ottiene trascrizioni con timestamp e attribuzione del parlatore più affidabili rispetto alle alternative modulari o semi-cascate. Gli autori sottolineano che questo approccio colma il divario tra la capacità multimodale nominale e le prestazioni SATS deployable a lungo formato, rendendolo particolarmente adatto per la trascrizione di riunioni reali e l'analisi di conversazioni a lungo termine.