💬 NLP

PROST-LLM: Progressively Enhancing the Speech-to-Speech Translation Capability in LLMs

Het artikel stelt PROST-LLM voor, een progressief framework dat de speech-to-speech vertaalvaardigheden van Large Language Models verbetert door middel van tri-task fine-tuning op de CVSS-corpus te combineren met zelfgegenereerde preferentie-optimalisatie, waardoor de uitdagingen van dataschaarste effectief worden overwonnen.

Oorspronkelijke auteurs: Jing Xu, Jiaqi Wang, Daxin Tan, Xiao Chen

Gepubliceerd 2026-01-26

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Jing Xu, Jiaqi Wang, Daxin Tan, Xiao Chen

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een briljante, meertalige bibliothecaris hebt (een Large Language Model, of LLM) die tekst kan lezen en schrijven in bijna elke taal. Maar als je de bibliothecaris vraagt om naar een gesproken zin in het Frans te luisteren en direct een Engelse vertaling terug te spreken, struikelt hij. Hij heeft deze specifieke "luisteren-naar-spreken" dans niet genoeg geoefend, vooral omdat er niet genoeg oefenbanden beschikbaar zijn om van te studeren.

Het artikel introduceert PROST-LLM, een trainingsmethode die ontworpen is om deze bibliothecaris te leren hoe hij die dans kan beheersen zonder een berg dure, vooraf opgenomen oefenbanden of een menselijke leraar nodig te hebben om elke poging te beoordelen.

Hier is hoe PROST-LLM werkt, opgedeeld in drie eenvoudige stappen met behulp van alledaagse analogieën:

Stap 1: Het "Drie-aktenstuk" (Supervised Fine-Tuning)

Eerst geeft de onderzoeker de bibliothecaris een specifieke set oefeningen met behulp van de CVSS-corpus (een collectie spraakgegevens). In plaats van alleen de einddoelstelling te oefenen (Franse spraak → Engelse spraak), gebruiken ze twee slimme trucjes om een sterkere basis te leggen:

Het "Drie-takenstuk": Stel je voor dat de bibliothecaris wordt gevraagd om drie gerelateerde akten in één show uit te voeren:
1. Transcriberen: Luisteren naar Franse spraak en het opschrijven.
2. Vertalen: Franse tekst lezen en deze in het Engels opschrijven.
3. Spraak Vertalen: Luisteren naar Franse spraak en Engels spreken.
  Door alle drie tegelijk te oefenen, leert de bibliothecaris hoe de stukjes in elkaar passen. Het begrijpen van de tekst helpt bij het begrijpen van de spraak, en vice versa.
De "Brug"-strategie (Chain of Modality): In plaats van te proberen direct van "Frans oor" naar "Engelse mond" te springen (wat moeilijk is), wordt de bibliothecaris geleerd om in het midden een kleine pauze in te lassen. Ze luisteren naar het Frans, denken eerst de Engelse woorden, en spreken ze dan uit. Deze "brug" maakt de overgang soepeler en stabieler.

Stap 2: De "Zelfreflecterende Spiegel" (Preference Data Construction)

Nu heeft de bibliothecaris enkele basisvaardigheden, maar hij moet nog leren welke antwoorden beter zijn dan andere. Meestal heb je een menselijke expert nodig die naar twee vertalingen luistert en zegt: "A is beter dan B." Maar dat is traag en duur.

PROST-LLM gebruikt een Back-Translation Mirror om dit automatisch te doen:

De bibliothecaris genereert twee verschillende Engelse vertalingen voor een Franse zin.
De bibliothecaris vertaalt die Engelse vertalingen vervolgens terug naar het Frans.
De Vergelijking: Het systeem vergelijkt het "terug-vertaalde" Frans met het oorspronkelijke Frans.
- Als de Engelse vertaling van de bibliothecaris goed was, zal het terugvertalen ervan heel dicht bij het originele Franse klanken liggen.
- Als de vertaling slecht was, zal de "spiegel" een vertekende, andere Franse zin laten zien.

Het systeem kiest automatisch de "winnaar" (degene die het meest op het origineel leek bij reflectie) en de "verliezer." Dit creëert een lijst van "Goed vs. Slecht" voorbeelden zonder dat er ooit een mens aan te pas komt om naar te luisteren.

Stap 3: De "Smaaktest" (Preference Optimization)

Ten slotte bestudeert de bibliothecaris deze lijst van winnaars en verliezers. Met behulp van een techniek genaamd Preference Optimization (zoals DPO), leert de bibliothecaris de voorkeur te geven aan de stijl van spreken die tot het "winnende" resultaat leidt.

Denk hierbij aan een chef die zijn eigen kookkunsten proeft. In plaats van te wachten tot een criticus hem vertelt dat de soep te zout is, proeft hij het zelf, vergelijkt het met een perfect recept en past de kruiden voor de volgende keer aan. Deze stap verfijnt de kennis van het model, zodat het natuurlijker en nauwkeuriger spreekt.

De Resultaten: Wat hebben ze gevonden?

Het artikel beweert dat deze methode zeer goed werkt:

Het gat dichten: Voor deze methode waren "End-to-End" systemen (één brein dat alles doet) veel slechter dan "Cascaded" systemen (één brein voor luisteren, een ander voor vertalen, en een derde voor spreken). PROST-LLM verkleint dat prestatiekloof aanzienlijk, waardoor het enkelvoudige brein-systeem bijna net zo goed is als het complexe drie-breinen-systeem.
Minder data nodig: Omdat het systeem de "spiegel"-truc kan gebruiken op monolinguale data (alleen Franse spraak of alleen Engelse spraak), heeft het niet zoveel dure, perfect bij elkaar passende Franse-naar-Engelse paren nodig om te leren.
Betere kwaliteit: De vertalingen klinken natuurlijker voor het menselijk oor (gemeten met een score genaamd UTMOS) en zijn nauwkeuriger (gemeten met BLEU-scores).

Kortom: PROST-LLM leert een tekst-slimme AI om te spreken en te luisteren door het te laten oefenen met gerelateerde taken, door een "spiegel" te gebruiken om het eigen werk te beoordelen, en door de vaardigheden te verfijnen op basis van deze zelfbeoordelingen. Hierdoor kan de AI een geweldige vertaler worden zonder dat er een enorme bibliotheek aan door mensen beoordeelde voorbeelden nodig is.

Technische Samenvatting: PROST-LLM

Probleemstelling

Hoewel Large Language Models (LLM's) een opmerkelijk potentieel hebben getoond in diverse domeinen, blijft hun toepassing op Speech-to-Speech Translation (S2ST) onderbelicht. De primaire barrière is de schaarste aan gepaarde S2ST-data. Conventionele S2ST-systemen vertrouwen doorgaans op gecascadeerde pipelines (ASR + MT + TTS) of complexe end-to-end architecturen die slecht schalen. Hoewel Preference Optimization (PO) effectief is gebleken voor het afstemmen van LLM's in Natural Language Processing (NLP)-taken, is het potentieel voor het verbeteren van S2ST-prestaties nog niet onderzocht. Bovendien vertrouwen bestaande PO-methoden vaak op kostbare menselijke feedback of hoogwaardige voorkeursparen, die moeilijk te verkrijgen zijn voor S2ST-taken.

Methodologie: PROST-LLM

De auteurs stellen PROST-LLM (PROgressive Speech-to-speech Translation) voor, een framework dat is ontworpen om de S2ST-capaciteiten van LLM's progressief te verbeteren via drie afzonderlijke stadia:

1. Supervised Fine-Tuning (SFT)

De vooraf getrainde LLM wordt eerst gefinetuned op de CVSS-corpus om initiële S2ST-vaardigheden te verwerven. Om datariicheid aan te pakken en het taakbegrip te verbeteren, worden twee specifieke strategieën toegepast:

Tri-task Learning: De S2ST-corpus wordt omgezet in parallelle Automatic Speech Recognition (ASR) en Speech-to-Text (S2T) data. Het model wordt gezamenlijk getraind op ASR-, S2T- en S2ST-taken met taakspecifieke instructies om cross-task kennisoverdracht te stimuleren.
Chain of Modality: Om directe speech-to-speech generatie te vereenvoudigen, krijgt het model de instructie om eerst de doeltekst te genereren en vervolgens de doel-speech units te produceren binnen een enkele forward pass. Deze sequentiële structuur vergemakkelijkt cross-modale leerprocessen en verbetert de stabiliteit van de generatie.
Architectuur: Het systeem maakt gebruik van een speech tokenizer (die SSL-geëxtraheerde features discretiseert via K-means), een LLM backbone (LLaMA 3.2-3B) en een speech de-tokenizer (HiFi-GAN).

2. Constructie van Voorkeursparen (Preference Data Construction)

Om de noodzaak van kostbare menselijke annotaties en grootschalige gepaarde data weg te nemen, introduceren de auteurs een geautomatiseerde methode voor de constructie van voorkeursparen:

Self-Sampling & Back-Translation: Het gefinetunede model genereert meerdere vertaal-kandidaten voor een bron-spraakinput. Deze kandidaten worden vervolgens via back-translation terugvertaald naar de bron-taal spraak met behulp van hetzelfde model.
Automatische Beoordeling: De kwaliteit van de vertaling wordt beoordeeld door de back-vertaalde spraak te vergelijken met de oorspronkelijke bron-spraak. De metrieken omvatten akoestische maten (Mel-Cepstral Distortion - MCD), tekstgebaseerde metrieken (Word Error Rate - WER) en vertaal-metrieken (BLEU, METEOR).
Paargeneratie: Kandidaten worden gescoord, en paren worden gevormd waarbij een "geprefereerde" kandidaat ( $S^p_B$ ) een "afgewezen" kandidaat ( $S^r_B$ ) aanzienlijk overtreft op basis van een marge-hyperparameter ( $\delta$ ). Dit proces maakt het mogelijk om monolinguale spraakcorpora te gebruiken voor het construeren van voorkeursparen.

3. Preference Optimization (PO)

De geconstrueerde voorkeursparen worden gebruikt om het model verder te verfijnen via Direct Preference Optimization (DPO). De objectieffunctie maximaliseert de marge tussen de geprefereerde en de afgewezen vertalingen, waardoor het vermogen van het model wordt verbeteren om hoogwaardige spraakvertalingen te onderscheiden en te genereren zonder dat menselijke feedback nodig is.

Belangrijkste Bijdragen

Het artikel claimt de volgende bijdragen:

Eerste Framework voor LLM-gebaseerde S2ST: Het presenteert het eerste framework dat LLM's uitrust met S2ST-capaciteiten via tri-task learning en chain-of-modality strategieën.
Nieuwe Toepassing van PO in S2ST: Het is het eerste werk dat preference optimization toepast om S2ST-capaciteiten te verbeteren met behulp van voorkeursparen die via back-translation zijn geconstrueerd, waardoor de afhankelijkheid van menselijke evaluatie wordt weggenomen.
Verminderde Datariicheid: Door gebruik te maken van monolinguale spraakcorpora voor de constructie van voorkeursparen, vermindert de methode de afhankelijkheid van LLM's van schaarse gepaarde S2ST-data aanzienlijk.
Prestatievalidatie: Experimenten tonen aan dat PROST-LLM de S2ST-kwaliteit effectief verbetert, waardoor het prestatiekloof tussen end-to-end systemen en gecascadeerde baselines wordt verkleind.

Experimentele Resultaten

Experimenten werden uitgevoerd op de CVSS-corpus (Engels-Franse vertaling) met de LLaMA 3.2-3B backbone.

Baseline Vergelijking: Zowel de tri-task learning als de chain-of-modality strategieën presteerden beter dan een "Vanilla" LLM-gebaseerde S2ST-baseline. De Chain of Modality aanpak leverde de meest significante winst op, wat de speech-text modaliteitskloof effectief overbrugde.
Impact van Preference Optimization: Het toepassen van PO (DPO) zorgde voor extra prestatieverbeteringen.
- Op de CVSS-C dataset werd de BLEU-kloof tussen de PROST-LLM (Chain of Modality) en het gecascadeerde systeem verkleind van 14,38 naar 3,15 (en2fra) en van 8,83 naar 1,04 (fra2en).
- Het systeem behaalde ook hogere UTMOS scores (wat duidt op natuurlijkere spraak) vergeleken met de gecascadeerde baseline.
Monolinguale vs. Gepaarde Data: Modellen getraind op voorkeursparen afgeleid van monolinguale corpora (Commonvoice) presteerden beter dan modellen getraind op gepaarde S2ST-data, wat de BLEU-kloof verder verkleinde naar 1,65 (en2fra) en 1,2 (fra2en).
Robuustheid: De aanpak bleef effectief over verschillende back-translation metrieken (WER, MCD, BLEU, METEOR) en verschillende PO-algoritmen (DPO en SimPO).
Efficiëntie: Het systeem toonde sterke prestaties, zelfs met beperkte data (bijv. 2.500 samples) en een enkele iteratie training, wat wijst op een hoge efficiëntie.

Betekenis

Het artikel stelt dat PROST-LLM een schaalbare en effectieve oplossing biedt voor S2ST in LLM's. Door gebruik te maken van back-translation voor automatische voorkeursconstructie, overwint het framework de kritieke flessenhals van datariicheid en de hoge kosten van menselijke annotatie. De resultaten valideren dat LLM's effectief kunnen worden aangepast voor S2ST-taken via progressieve verbetering, waarbij prestatieniveaus worden bereikt die dicht in de buurt komen van traditionele gecascadeerde systemen, terwijl een eenvoudigere architectuur en minder gepaarde data worden gebruikt. Toekomstig werk wordt genoteerd om dit framework uit te breiden naar meer talen en grotere monolinguale bronnen.