PROST-LLM: Progressively Enhancing the Speech-to-Speech Translation Capability in LLMs

Sintesi Tecnica: PROST-LLM

Definizione del Problema

Sebbene i Large Language Models (LLM) abbiano dimostrato un potenziale straordinario in vari domini, la loro applicazione alla Traduzione Speech-to-Speech (S2ST) rimane sottoesplorata. La barriera principale è la scarsità di dati S2ST accoppiati. I sistemi S2ST convenzionali si affidano tipicamente a pipeline a cascata (ASR + MT + TTS) o ad architetture end-to-end complesse che scalano scarsamente. Sebbene l'Ottimizzazione delle Preferenze (PO) abbia dimostrato efficacia nell'allineamento degli LLM nei compiti di Elaborazione del Linguaggio Naturale (NLP), il suo potenziale per migliorare le prestazioni S2ST non è stato studiato. Inoltre, i metodi di PO esistenti spesso si basano su feedback umani costosi o su coppie di preferenza di alta qualità, che sono difficili da ottenere per i compiti S2ST.

Metodologia: PROST-LLM

Gli autori propongono PROST-LLM (PROgressive Speech-to-speech Translation), un framework progettato per potenziare progressivamente le capacità S2ST negli LLM attraverso tre fasi distinte:

1. Supervised Fine-Tuning (SFT)

L'LLM pre-addestrato viene prima perfezionato sul corpus CVSS per acquisire le capacità S2ST iniziali. Per affrontare la scarsità di dati e migliorare la comprensione del compito, vengono impiegate due strategie specifiche:

• Apprendimento Tri-task: Il corpus S2ST viene convertito in dati paralleli di Riconoscimento Automatico del Parlato (ASR) e Speech-to-Text (S2T). Il modello viene addestrato congiuntamente sui compiti ASR, S2T e S2ST utilizzando istruzioni specifiche per il compito, al fine di incoraggiare il trasferimento di conoscenza cross-task.
• Catena di Modalità (Chain of Modality): Per semplificare la generazione diretta speech-to-speech, il modello riceve l'istruzione di generare prima il testo target e poi produrre le unità di parlato target all'interno di un singolo passaggio in avanti (forward pass). Questa struttura sequenziale facilita l'apprendimento cross-modale e migliora la stabilità della generazione.
• Architettura: Il sistema utilizza un tokenizer vocale (che discretizza le caratteristiche estratte tramite SSL via K-means), un backbone LLM (LLaMA 3.2-3B) e un de-tokenizer vocale (HiFi-GAN).

2. Costruzione dei Dati di Preferenza

Per eliminare la necessità di annotazioni umane costose e di dati accoppiati su larga scala, gli autori introducono un metodo automatizzato di costruzione delle coppie di preferenza:

• Auto-Campionamento e Back-Translation: Il modello perfezionato genera molteplici candidati di traduzione per un input vocale sorgente. Questi candidati vengono poi retro-tradotti (back-translated) nel parlato della lingua sorgente utilizzando lo stesso modello.
• Valutazione Automatica: La qualità della traduzione viene valutata confrontando il parlato retro-tradotto con il parlato sorgente originale. Le metriche includono misure acustiche (Mel-Cepstral Distortion - MCD), metriche basate sul testo (Word Error Rate - WER) e metriche di traduzione (BLEU, METEOR).
• Generazione delle Coppie: I candidati vengono punteggiati e le coppie vengono formate laddove un candidato "preferito" ($S^p_B$) supera significativamente un candidato "scartato" ($S^r_B$) in base a un iperparametro di margine ($\delta$). Questo processo consente l'uso di corpora di parlato monolingue per la costruzione delle coppie di preferenza.

3. Ottimizzazione delle Preferenze (PO)

Le coppie di preferenza costruite vengono utilizzate per perfezionare ulteriormente il modello tramite Direct Preference Optimization (DPO). La funzione obiettivo massimizza il margine tra le traduzioni preferite e quelle scartate, migliorando la capacità del modello di distinguere e generare traduzioni vocali di alta qualità senza richiedere feedback umani.

Contributi Chiave

Il documento rivendica i seguenti contributi:

1. Primo Framework per LLM-based S2ST: Presenta il primo framework che dota gli LLM di capacità S2ST utilizzando l'apprendimento tri-task e le strategie di catena di modalità.
2. Nuova Applicazione di PO in S2ST: È il primo lavoro ad applicare l'ottimizzazione delle preferenze per potenziare le capacità S2ST utilizzando coppie di preferenza costruite tramite back-translation, eliminando la dipendenza dalla valutazione umana.
3. Ridotta Dipendenza dai Dati: Utilizzando corpora di parlato monolingue per costruire le coppie di preferenza, il metodo riduce significativamente la dipendenza degli LLM dai rari dati S2ST accoppiati.
4. Validazione delle Prestazioni: Gli esperimenti dimostrano che PROST-LLM migliora efficacementamente la qualità S2ST, restringendo il divario di prestazioni tra i sistemi end-to-end e i baseline a cascata.

Risultati Sperimentali

Gli esperimenti sono stati condotti sul corpus CVSS (traduzione inglese-francese) utilizzando il backbone LLaMA 3.2-3B.

• Confronto con i Baseline: Sia le strategie di apprendimento tri-task che quella della catena di modalità hanno superato un baseline S2ST basato su "Vanilla" LLM. L'approccio Chain of Modality ha prodotto i guadagni più significativi, colmando efficacementamente il divario di modalità speech-text.
• Impatto dell'Ottimizzazione delle Preferenze: L'applicazione di PO (DPO) ha fornito ulteriori aumenti di prestazioni.
  • Sul dataset CVSS-C, il divario BLEU tra PROST-LLM (Chain of Modality) e il sistema a cascata si è ristretto da 14.38 a 3.15 (en2fra) e da 8.83 a 1.04 (fra2en).
  • Il sistema ha inoltre ottenuto punteggi UTMOS più elevati (che indicano un parlato più naturale) rispetto al baseline a cascata.
• Monolingue vs. Dati Accoppiati: I modelli addestrati su coppie di preferenza derivate da corpora monolingue (Commonvoice) hanno superato quelli addestrati su dati S2ST accoppiati, riducendo ulteriormente il divario BLEU a 1.65 (en2fra) e 1.2 (fra2en).
• Robustezza: L'approccio è rimasto efficace attraverso diverse metriche di back-translation (WER, MCD, BLEU, METEOR) e diversi algoritmi di PO (DPO e SimPO).
• Efficienza: Il sistema ha mostrato una forte performance anche con dati limitati (es. 2.500 campioni) e un singolo ciclo di addestramento, suggerendo un'alta efficienza.

Significato

Il paper afferma che PROST-LLM offre una soluzione scalabile ed efficace per la S2ST negli LLM. Sfruttando la back-translation per la costruzione automatica delle preferenze, il framework supera il collo di bottiglia critico della scarsità di dati e l'alto costo della annotazione umana. I risultati validano che gli LLM possono essere efficacemente adattati per i compiti S2ST attraverso un potenziamento progressivo, raggiungendo livelli di prestazione che si avvicinano molto ai sistemi tradizionali a cascata, pur utilizzando un'architettura più semplice e meno dati accoppiati. Il lavoro futuro mira a estendere questo framework a più lingue e a maggiori risorse monolingue.