💬 NLP

NüshuVoice: Reviving the Voice of Endangered Nüshu with Pitch-Aware Text-to-Speech

Questo articolo introduce NüshuVoice, il primo benchmark e dataset per la sintesi vocale da testo in Nüshu, insieme al modello Nüshu-PitchVITS che sfrutta la notazione dell'intonazione a cinque livelli dello script per ottenere una sintesi vocale di alta qualità in un contesto di risorse estremamente scarse.

Autori originali: Hongkun Yang, Xinhui Yi, Xiyan Zhao, Yibo Meng, Lionel Z. Wang, Lixu Wang, Yaqi Zhang, Ruiqi Chen, Xuanyue Zhao, Lanxin Zhang, Yu Zeng, Weijia Chu, Yiming Ma, Chenyu Liu, Jianghao Lin, Xin Xu

Pubblicato 2026-06-09

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Hongkun Yang, Xinhui Yi, Xiyan Zhao, Yibo Meng, Lionel Z. Wang, Lixu Wang, Yaqi Zhang, Ruiqi Chen, Xuanyue Zhao, Lanxin Zhang, Yu Zeng, Weijia Chu, Yiming Ma, Chenyu Liu, Jianghao Lin, Xin Xu

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Il Problema: Una Scrittura Silenziosa

Immaginate di avere un bellissimo antico libro scritto in un codice segreto che solo le donne di un particolare villaggio usavano centinaia di anni fa. Questo codice è chiamato Nüshu. È unico perché non si tratta solo di immagini; è una scrittura fonetica, il che significa che ogni simbolo rappresenta un suono specifico nel loro dialetto locale.

Tuttamente, c'è un grande problema: il libro è silenzioso.
Sebbene possiamo vedere i simboli e persino tradurre le parole nel cinese moderno, abbiamo perso la capacità di ascoltare come venissero effettivamente pronunciate. Le registrazioni che esistono sono come una scatola musicale rotta: contengono solo note singole e isolate (sillabe individuali) anziché canzoni complete (frasi). Per questo motivo, i computer non riescono ad "imparare" a parlare il Nüshu in modo naturale. Se chiedete a un'IA standard di leggerlo, essa semplicemente tira a indovinare o resta in silenzio.

La Soluzione: Costruire un Ponte (NüshuVoice)

I ricercatori hanno costruito un nuovo sistema chiamato NüshuVoice per risolvere questo problema. Il loro lavoro è come la costruzione di un ponte tra i simboli scritti e i suoni perduti.

Lo hanno fatto in tre fasi principali:

L'Assemblaggio del Puzzle (Il Dataset):
Hanno preso migliaia di registrazioni di singole sillabe provenienti da vecchi archivi e le hanno cucite insieme per creare frasi complete. È come prendere una scatola di singoli mattoncini LEGO (le sillole) e incastrarli per costruire un castello completo (la frase). Si sono assicurati che ogni mattoncino corrispondesse al corretto simbolo scritto e alla corretta traduzione, creando un perfetto dizionario "testo-audio".
L'Insegnante Specializzato (Il Modello):
I modelli di IA standard sono come studenti generici; hanno bisogno di migliaere ore di pratica per imparare una nuova lingua. Ma qui, la "classe" è minuscola.
Per risolvere questo problema, i ricercatori hanno creato un insegnante speciale chiamato Nüshu-PitchVITS.
- L'Analogia: Immaginate di cercare di insegnare a qualcuno a cantare una canzone dove la melodia è scritta con i numeri (1, 2, 3, 4, 5) invece che con le note musicali. Uno studente normale potrebbe confondersi. Questo nuovo modello, invece, riceve un foglio di soluzioni che indica esplicitamente l'altezza esatta (acuta o grave) di ogni singola nota.
- Poiché il Nüshu ha un sistema integrato di "cinque livelli di intonazione" (come una scala musicale), il modello usa questo come guida. Non deve indovinare la melodia; deve solo seguire la mappa.
Il Risultato:
Quando hanno testato questo sistema, i risultati sono stati straordinari.
- I vecchi modelli di IA suonavano come scarabocchi statici o balbettii robotici (inintelligibili).
- Nüshu-PitchVITS suonava chiaro, naturale e correttamente "intonato". Era così efficace che gli ascoltatori umani lo hanno valutato quasi quanto le registrazioni originali autentiche.

Perché è Importante

Non si tratta solo di far parlare un computer. Si tratta di recuperare una voce.
Il Nüshu è stato creato da donne a cui spesso era negata l'istruzione formale. È un pezzo di storia culturale che sta svanendo. Insegnando a un computer come parlarlo correttamente, i ricercatori non stanno solo costruendo uno strumento; stanno creando una macchina del tempo digitale che ci permette di ascoltare di nuovo le voci di queste donne, preservando non solo l'aspetto della loro scrittura, ma anche il suono della loro cultura.

Cosa Non Hanno Fatto (Limiti Importanti)

Il documento è molto attento a ciò che afferma:

Non hanno sostenuto di aver registrato nuove conversazioni spontanee. L'audio è ancora una versione "cucita" di vecchie sillabe isolate. È come un collage di alta qualità, non una registrazione video dal vivo.
Non hanno sostenuto che questo funzioni per tutte le lingue in via di estinzione. È progettato specificamente per la struttura unica del Nüshu.
Hanno sottolineato che questo serve per la preservazione e la documentazione, non per sostituire la cultura vivente o gli esperti che conoscono meglio la lingua.

In breve: hanno preso un puzzle rotto e silenzioso e hanno usato un'IA speciale "consapevole dell'intonazione" per riassemblarlo, permettendoci finalmente di ascoltare la voce perduta del Nüshu.

Sintesi Tecnica: NüshuVoice: Rivitalizzare la Voce del Nüshu in Estinzione con il Text-to-Speech Sensibile al Pitch

Definizione del Problema

Il Nüshu è una scrittura fonetica in via di estinzione, storicamente utilizzata dalle donne della contea di Jiangyong, Hunan, Cina. Sebbene gli sforzi computazionali recenti si siano concentrati sulla digitalizzazione testuale, la codifica e il riconoscimento visivo (OCR) del Nüshu, la sua modalità acustica rimane ampiamente inesplorata. Questa lacuna è critica perché il Nüshu è una scrittura sillabica in cui ogni carattere corrisponde a una specifica sillaba, inclusi l'iniziale, la finale e il tono, nel dialetto locale di Jiangyong.

Costruire un sistema di Text-to-Speech (TTS) per il Nüshu presenta sfide estreme a causa della severa scarsità di dati. A differenza dei contesti moderni a basse risorse che possono possedere diverse ore di parlato continuo, le registrazioni disponibili del Nüshu sono d'archivio, non di qualità da studio, e consistono quasi interamente in pronunce isolate a livello di sillaba piuttosto che in enunciati naturali a livello di frase. Le architetture TTS convenzionali, che si affidano su grandi dataset accoppiati testo-audio o supervisione di allineamento esterna, sono soggette a un allineamento testo-audio instabile e a una debole modellazione prosodica in queste condizioni. Inoltre, l'assenza di sistemi di Automatic Speech Recognition (ASR) per il Nüshu preclude le metriche di valutazione oggettiva standard come il Word Error Rate (WER).

Metodologia

1. Costruzione del Dataset: NüshuVoice

Gli autori hanno costruito NüshuVoice, il primo benchmark multimodale per il TTS a livello di frase per il Nüshu. La pipeline di costruzione ha previsto tre fasi rigorose:

Raccolta Dati: I dati testuali sono stati estratti da The Mystery of Jiangyong Nüshu (circa 63.665 caratteri), fornendo glifi originali, trascrizioni fonetiche (utilizzando l'IPA e una scala di pitch a cinque livelli) e traduzioni in cinese standard. I dati audio sono stati estratti dal Nüshu Pronunciation Electronic Dictionary, contenente 873 registrazioni isolate di sillabe.
Filtraggio Ortografico: È stato applicato un rigoroso protocollo di cross-referencing visivo e semantico per mappare i glifi manoscritti/stampati su forme Unicode standardizzate. Le frasi contenenti qualsiasi carattere senza un equivalente Unicode verificato o con discrepanze strutturali sono state scartate per garantire la fedeltà ortografica.
Assemblaggio Audio a Livello di Frase: Poiché non erano disponibili registrazioni continue, gli autori hanno sviluppato una pipeline deterministica per assemblare l'audio a livello di frase. I caratteri Unicode verificati sono stati mappati ai rispettivi file WAV isolati del dizionario. Questi segmenti sono stati concatenati temporalmente utilizzando Audacity per ricostruire enunciati continui, creando un allineamento uno-a-uno tra testo standardizzato, IPA e audio.
Validazione: La validazione da parte di due esperti del dominio Nüshu ha confermato un tasso di correttezza del 93,6% per il dataset finale (1.252 enunciati, ~98,8 minuti).

2. Architettura del Modello: Nüshu-PitchVITS

Per affrontare il contesto di estrema scarsità di risorse, gli autori hanno proposto Nüshu-PitchVITS, un'estensione del framework Variational Inference with Adversarial Learning for End-to-End Text-to-Speech (VITS).

Framework Condizionato dal F0: Riconoscendo che le annotazioni del Nüshu includono esplicitamente una notazione del pitch a cinque livelli, il modello incorpora un predittore di frequenza fondamentale (F0) esplicito come bias induttivo prosodico.
Dettagli dell'Architettura:
- Input: Trascrizioni fonetiche sensibili al tono (sillaba + valore di tono a 5 livelli).
- Ramo del Pitch: Una rete convoluzionale 1D leggera a due strati predice una sequenza di log-F0 a livello di frame ( $\hat{f}$ ) dai vettori nascosti del codificatore di testo.
- Iniezione Latente: La rappresentazione del pitch predetta viene proiettata nella dimensione nascosta e aggiunta alla rappresentazione acustica latente ( $Z' = Z + E_{F0}$ ) prima della decodifica della forma d'onda.
- Allineamento: Il predittore di pitch è escluso dalla Monotonic Alignment Search (MAS) per evitare di destabilizzare la stima dell'allineamento nei regimi con pochi dati. L'allineamento è calcolato esclusivamente dai parametri statistici precedenti e dalle variabili posteriori trasformate tramite flow.
Strategia di Addestramento: È stato impiegato un approccio di addestramento in due fasi, inizializzato da un modello VITS inglese pre-addestrato:
1. Fase 1: Il decoder della forma d'onda e l'encoder posteriore sono congelati. Solo il codificatore di testo, il predittore di pitch, il predittore di durata e il normalizing flow vengono addestrati utilizzando perdite di divergenza KL, durata e predizione del pitch.
2. Fase 2: Tutti i moduli vengono sbloccati per l'addestramento congiunto end-to-end utilizzando una funzione di perdita combinata che include perdite avversarie, di matching delle feature, di ricostruzione e di pitch.

Contributi Chiave

Dataset NüshuVoice: La creazione del primo dataset TTS per il Nüshu a livello di frase, allineando testo Unicode standardizzato, trascrizioni IPA, traduzioni in cinese e audio d'archivio assemblato.
Nüshu-PitchVITS: Un nuovo framework TTS che sfrutta la notazione del pitch esplicita a cinque livelli del Nüshu come bias induttivo prosodico per stabilizzare la sintesi in condizioni di estrema scarsità di risorse.
Valutazione Sistematica: La prima valutazione completa oggettiva e soggettiva della TTS neurale per il Nüshu, stabilendo nuovi baseline e metriche per gli script fonetici in estinzione.
Preservazione Culturale: Un approccio computazionale per rendere accessibile la pronuncia del Nüshu, supportando la rivitalizzazione acustica di questo sistema di scrittura in estinzione.

Risultati Sperimentali

Il metodo proposto è stato valutato contro cinque forti baseline (Tacotron 2, FastSpeech 2, Glow-TTS, F5-TTS e VITS standard) sul test set NüshuVoice.

Metriche Oggettive:
- Fedeltà Spettrale: Nüshu-PitchVITS ha raggiunto un Mel-Cepstral Distortion (MCD) di 3,11, superando significativamente la baseline più forte (VITS a 5,19) e mostrando enormi miglioramenti rispetto ai modelli autoregressivi (che hanno subito un MCD > 37).
- Ricostruzione del Pitch: Il modello ha ridotto l'errore RMSE del F0 a 13,23 (contro 23,42 per VITS) e ha ottenuto una correlazione di Pearson di 0,92 (contro 0,73 per VITS), dimostrando una superiore accuratezza tonale.
Metriche Soggettive (MOS):
- Intelligibilità: Nüshu-PitchVITS ha raggiunto un MOS di intelligibilità quasi perfetto di 4,97, mentre le baseline standard hanno ottenuto punteggi vicini a 1,0 (inintelligibili).
- Naturalezza: Il modello ha ottenuto un MOS di naturalezza di 3,31, comparabile alle registrazioni reali (3,34).
Analisi Spettrale: Gli spettrogrammi hanno indicato che, mentre il VITS standard mostrava eccessivo smoothing e un indebolimento del contrasto armonico, Nüshu-PitchVITS produceva bande armoniche più nitide e strutture legate al pitch più coerenti, confermando l'efficacia del condizionamento esplicito del F0.

Significato e Rivendicazioni

L'articolo sostiene che NüshuVoice e Nüshu-PitchVITS rappresentino il primo studio dedicato alla sintesi TTS per il Nüshu. Gli autori argomentano che per gli script fonetici in estinzione dove i dati acustici sono scarsi ma le annotazioni tonali sono disponibili, la modellazione prosodica basata sul linguaggio è critica.

La significatività di questo lavoro risiede in:

Rivitalizzazione Acustica: Andare oltre il riconoscimento visivo per recuperare la realizzazione parlata e la dinamica tonale del Nüshu, essenziale per preservare il suo patrimonio orale e culturale.
Insight Metodologico: Dimostrare che il condizionamento esplicito del pitch può stabilizzare le architetture VITS in contesti di estrema scarsità di risorse dove i meccanismi di allineamento convenzionali falliscono.
Disponibilità di Risorse: Fornire un dataset pubblico e codice per servire come base per la ricerca futura nel TTS a basse risorse, nella rivitalizzazione delle lingue in estinzione e nella preservazione computazionale del patrimonio culturale immateriale.

Gli autori mantengono una posizione modesta, riconoscendo limitazioni quali la natura assemblata dell'audio (priva di coarticolazione naturale e prosodia del discorso), la limitata diversità dei parlanti dovuta ai vincoli d'archivio, e l'esclusione di varianti storiche dei glifi senza equivalenti Unicode esatti. Essi sottolineano che il lavoro mira a supportare la preservazione e la documentazione piuttosto che sostituire la conoscenza della comunità.