Technische Samenvatting: LuxSQA

Probleemstelling

Spoken Question Answering (SQA)-systemen hebben historisch gezien vertrouwd op hoog-resource talen en zorgvuldig opgenomen spraakcorpora, wat de toepasbaarheid in low-resource settings beperkt. Traditionele cascade-benaderingen (ASR gevolgd door tekstgebaseerde QA) lijden aan foutpropagatie wanneer de output van Automatic Speech Recognition (ASR) ruis bevat en prosodische signalen verwaarloost die essentieel zijn voor het lokaliseren van antwoorden. Hoewel recente speech-LLM-architecturen parameter-efficiënte oplossingen bieden door bevroren speech-encoders te verbinden met Large Language Models (LLM's) via lichtgewicht projectoren, vereisen deze systemen nog steeds aanzienlijke taakspecifieke trainingsdata. Voor low-resource talen zoals het Luxemburgs vormt het tekort aan menselijk opgenomen QA-corpora een significante barrière voor de ontwikkeling van robuuste SQA-systemen. Dit artikel onderzoekt of Text-to-Speech (TTS) augmentatie dit gat kan overbruggen, specifiek gericht op de vraag of synthetische spraak effectieve trainingsdata kan dienen zonder dat grote schaal menselijke opnames nodig zijn, en hoe gevoelig de resulterende systemen zijn voor TTS-kwaliteit, stemdiversiteit en corpusgrootte.

Methodologie

Dataconstructie Pipeline

De auteurs construeerden een Luxemburgse SQA-dataset door gebruik te maken van bestaande tekstuele bronnen:

1. Bronvertaling: Engelse vragen uit de SQuAD v1.1 corpus werden vertaald naar het Luxemburgs met behulp van het TranslateGemma 12B Instruct model.
2. Synthese: De vertaalde tekstvragen werden omgezet in gesproken audio met behulp van meerdere TTS-systemen:
   • MMS-TTS: Meta's Massively Multilingual Speech TTS.
   • Qwen3-TTS: Ondersteunt CustomVoice (CV) cloning en VoiceDesign (VD) generatie.
   • OmniVoice: Een zero-shot TTS-model dat meer dan 600 talen ondersteunt, ook met CV en VD modi.
3. Corporata: De studie maakte gebruik van een single-source corpus van ongeveer 48k vragen (SQuAD-LB-TTS) en een multi-source "4TTS mix" die varianten van Qwen3-TTS en OmniVoice combineert om een dataset van ongeveer 230k vragen te creëren.
4. Evaluatiesets: Prestaties werden geëvalueerd op LLAMA-LB-Test, een set van 300 vragen waarbij de Luxemburgse vragen door mensen zijn vertaald en opgenomen door twee moedertaalsprekers (Spreker 1 en Spreker 2), wat zorgt voor evaluatiecondities uit de echte wereld.

Modelarchitectuur

Het systeem maakt gebruik van een parameter-efficiënte SLAM-stijl architectuur:

• Speech Encoder: Een bevroren Whisper-large-v3-turbo encoder verwerkt de audio-input.
• Projector: Een lineaire projector downsampled frame-level embeddings (met een factor $k=5$) en brengt ze in de token embedding space van de LLM.
• LLM Backend: Bevroren meertalige LLM's (EuroLLM-9B of Apertus-8B) dienen als de generatiemotor.
• Adaptatie: Alleen de projector en LoRA adapters (rank $r=16$, scaling $\alpha=16$) worden getraind. Het model wordt geoptimaliseerd om gesproken vragen direct naar tekstuele antwoorden te mappen met behulp van cross-entropy loss, werkend in een speech instruction-following regime in plaats van pure transcriptie.

Trainingsstrategieën

De auteurs vergeleken verschillende trainingsconfiguraties:

• Single-source: Trainen op data van één specifieke TTS-engine (bijv. MMS-TTS, Qwen-VD, Omni-C).
• Multi-source: Trainen op de gecombineerde 4TTS mix.
• Initialisatie: Het vergelijken van training vanaf scratch versus initialisatie vanaf een ASR-geadapteerd checkpoint (getraind op LuxASR data).

Evaluatiemetrieken

Gezien de morfologisch rijke aard van het Luxemburgs en de neiging tot parafrasering, werden exacte match-metrieken als onvoldoende beschouwd. Het artikel gebruikt twee semantisch bewuste metrieken:

1. Semantic Similarity (SemSim): Gebruikt een meertalige sentence encoder om de maximale cosine similarity te berekenen tussen het gouden antwoord en elk segment in de voorspelling.
2. LLM Judge Mean: Een gemiddelde score van twee instruction-tuned judges (GPT-4o en Gemini-2.5-Flash) die de geschiktheid van het antwoord evalueren op een schaal van 0–1, waarbij vertalingen en varianten worden geaccepteerd.

Belangrijkste Resultaten

Prestatiewinst

• Effectiviteit van Synthetische Data: Modellen getraind op spreker-specifieke synthetische Luxemburgse spraak presteerden aanzienlijk beter dan generieke Luxemburgse-geadapteerde modellen. De beste configuratie (EuroLLM-9B met 4TTS mix) behaalde 72,6% SemSim en 60,1% LLM Judge Mean voor Spreker 1, en 74,8% SemSim en 61,8% LLM Judge Mean voor Spreker 2.
• Het Gat Verkleinen: Deze scores benaderden of overtroffen de semantische gelijkenis van de tekst-only baseline, wat aantoont dat zorgvuldig geconstrueerde synthetische data het gebrek aan echte QA-opnames kan compenseren.
• Voordelen van Initialisatie: Het initialiseren van de projector vanuit een ASR-geadapteerd checkpoint verbeterde de prestaties bij beide sprekers verder in vergelijking met training vanaf scratch.

TTS-kwaliteit vs. Downstream Prestaties

• Niet-monotone Correlatie: Een cruciale bevinding is dat no-reference TTS-kwaliteitsscores (bijv. NISQA MOS, DNSMOS) de downstream QA-prestaties niet monotoon voorspellen.
  • Omni-C behaalde de hoogste DNSMOS-score overall (3.38) maar leverde lagere QA-prestaties op dan de 4TTS mix.
  • MMS-TTS kreeg sterke perceptuele scores maar bleef een van de zwakkere opstellingen in QA-taken.
• Belang van Diversiteit: Multi-source configuraties en VoiceDesign-gebaseerde opstellingen (die diverse stemmen genereren uit tekstbeschrijvingen) presteerden consistent beter dan single-source of voice-cloning configuraties, wat suggereert dat stemdiversiteit belangrijker is voor robuustheid dan de rauwe audio-naturalness scores.

Modelvergelijkingen

• Backbone: EuroLLM-9B presteerde over het algemeen beter dan Apertus-8B in de hoogst presterende configuraties.
• Stabiliteit: Hoogpresterende configuraties bleven robuust over beide evaluatiesprekers, wat aangeeft dat de trainingsdata-configuratie de primaire drijfveer van succes is in plaats van spreker-specifieke willekeur.

Betekenis en Claims

Het artikel positioneert LuxSQA als een methodologische bijdrage in plaats van een modelvergelijking, en biedt een volledige workflow voor het construeren en exploiteren van TTS-geaugmenteerde SQA-data voor low-resource talen.

1. Haalbaarheid van TTS Augmentatie: De studie toont aan dat een bruikbare SQA-pipeline voor low-resource talen kan worden gebouwd zonder het verzamelen van grote hoeveelheden menselijk opgenomen QA-corpora. Spreker-specifieke synthetische training verbetert de prestaties op echte gesproken inputs aanzienlijk.
2. Taakspecifieke Evaluatie van Synthetische Data: De auteurs stellen dat synthetische spraak geëvalueerd moet worden als taakspecifieke trainingsdata in plaats van enkel als natuurlijk klinkende audio. Hoge perceptuele kwaliteit (MOS) is noodzakelijk maar niet voldoende; de synthetische data moet de lexicale, fonetische en prosodische signalen behouden die de speech encoder en projector nodig hebben om de vraaginhoud betrouwbaar te herstellen.
3. Blijvende Speech-Text Kloof: Ondanks de winst blijft er een kloof bestaan tussen tekst-only en spraakgebaseerde prestaties. Zelfs de beste spreker-specifieke systemen scoorden lager op LLM Judge Mean dan de tekst-baseline, wat suggereert dat vertaalfouten, uitspraakverschillen en imperfecte speech-to-LLM alignment nog steeds leiden tot informatieverlies.

Het artikel concludeert dat hoewel TTS-augmentatie een krachtig hulpmiddel is voor low-resource SQA, toekomstige inspanningen een balans moeten vinden tussen handmatige en synthetische spraakcollectie en zich moeten richten op het evalueren van synthetische data op basis van hun nut voor de specifieke downstream taak in plaats van generieke audio-kwaliteitsmetrieken.