Fish Audio S2 Technical Report

Dit paper introduceert Fish Audio S2, een open-source tekst-naar-spraak-systeem dat multi-spreker- en multi-turn-generatie combineert met instructievolgende controle via natuurlijke taal, ondersteund door een schaalbaar trainingsproces en een productieklaar inferentie-engine met een zeer lage latentie.

De kern

Fish Audio S2: De "Super-Regisseur" voor Digitale Stemmen

Stel je voor dat je een film regisseert, maar in plaats van acteurs, werk je met een robot die elke stem in het universum kan nabootsen. Vroeger waren deze robots als puppen: je moest ze met touwtjes (specifieke code) trekken om ze te laten praten, en ze konden maar één rol tegelijk spelen.

Fish Audio S2 is de nieuwe, revolutionaire regisseur die dit allemaal verandert. Het is een open-systeem (iedereen mag het gebruiken) dat niet alleen tekst in spraak omzet, maar dat luistert naar je instructies alsof het een menselijke acteur is.

Hier is hoe het werkt, vertaald in alledaagse termen:

1. De Regisseur die alles begrijpt (Instructie-volgen)

Vroeger moest je een robot vertellen: "Spreek langzaam, met een zware stem." Maar Fish Audio S2 begrijpt natuurlijke taal. Je kunt tegen de computer zeggen: "Spreek alsof je een geheim vertelt, met een lach in je stem, en plotseling boos word als je de naam noemt."

• De Analogie: Het is alsof je een toneelstuk schrijft. In plaats van technische commando's, schrijf je gewoon de dialoog en de gevoelens. De AI leest je script en speelt het precies zoals je wilt, inclusief zuchten, lachen en fluisteren.

2. De "Twee-Hoofdige" Brein (Dual-Autoregressive)

Deze AI heeft een slimme truc om snel te zijn zonder kwaliteit te verliezen. Het werkt met twee delen die samenwerken:

• De Plannemaker (Slow AR): Dit is het grote brein. Het denkt na over wat er gezegd moet worden en hoe het klinkt (de sfeer). Het is als de regisseur die het script leest.
• De Uitvoerder (Fast AR): Dit is de snelle acteur. Zodra de plannemaker een idee heeft, pikt de uitvoerder het op en produceert hij de daadwerkelijke geluidsgolven razendsnel.
• De Analogie: Denk aan een chef-kok (de plannemaker) die een recept bedenkt en een sous-chef (de uitvoerder) die het gerecht in seconden op het bord zet. Hierdoor is het systeem extreem snel en kan het zelfs lange verhalen vertellen zonder dat de stem "vastloopt" of verandert.

3. De Perfecte Oefening (De Data-Pijplijn)

Om zo goed te worden, moet de AI veel oefenen. Fish Audio heeft een slimme manier bedacht om te leren:

• De Oefenmeester: Ze hebben een systeem gebouwd dat eerst luistert naar duizenden uren audio om te zien wat "goed" klinkt en wat "slecht" klinkt (ruis, gebroken stemmen).
• De Dubbele Functie: Ditzelfde systeem wordt later gebruikt als een jury. Tijdens het trainen kijkt de jury niet alleen of de tekst klopt, maar ook of de stem natuurlijk klinkt en of de AI luistert naar je instructies.
• De Analogie: Het is alsof een sporter eerst een video-analist heeft die elke beweging bekijkt. Diezelfde analist staat later op de tribune als scheidsrechter en geeft punten voor elke goede beweging. Hierdoor leert de AI niet alleen "spelen", maar "spelen zoals een professional".

4. De Magische Snelheid (Productie-klaar)

Deze technologie is niet alleen slim, maar ook razendsnel.

• De Analogie: Stel je voor dat je een brief schrijft en de postbode het letterlijk in het moment bezorgt voordat je de pen neerlegt. Fish Audio S2 kan audio genereren met een vertraging van minder dan 0,2 seconden. Dat betekent dat je live kunt praten met een AI en het antwoord direct hoort, zonder die vervelende wachttijd.

Wat kan het allemaal?

• Meerdere stemmen in één gesprek: Je kunt een gesprek laten voeren tussen een man en een vrouw, en de AI weet precies wie wanneer spreekt, zonder dat je de stem handmatig moet wisselen.
• Lange verhalen: Het kan een heel boek voorlezen zonder dat de stem vermoeid klinkt of verandert.
• Elke taal: Het spreekt tientallen talen vloeiend, inclusief complexe dialecten.

Conclusie

Fish Audio S2 is als het geven van een superkracht aan elke maker. Of je nu een audioboek wilt maken, een video wilt nasynchroniseren of een chatbot wilt die echt menselijk klinkt: je hoeft geen programmeur te zijn. Je hoeft alleen maar te praten met de computer, en hij doet de rest.

De makers hebben de "recepten" (de code) en de "ingrediënten" (het model) gratis beschikbaar gesteld, zodat iedereen hiermee kan experimenteren en nieuwe dingen kan bouwen. Het is een enorme stap voorwaarts in hoe we met machines communiceren.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het rapport over Fish Audio S2, geschreven in het Nederlands.

Technische Samenvatting: Fish Audio S2

Fish Audio S2 is een nieuw, open-source Text-to-Speech (TTS)-systeem dat een doorbraak betekent in de controleerbaarheid, natuurlijkheid en schaalbaarheid van spraakgeneratie. Het systeem combineert een geavanceerde architectuur met een uniek trainingsparadigma om instructies in natuurlijke taal te volgen, multi-spreker dialogen te genereren en lange audiofragmenten stabiel te produceren.

---

1. Het Probleem

Bestaande TTS-systemen kampen met verschillende beperkingen die de kwaliteit en bruikbaarheid in moderne AI-toepassingen (zoals audioboeken, video-dubbing en chatbots) beperken:

• Gebrek aan fijne controle: Het genereren van spraak op basis van gedetailleerde, vrije tekst-instructies (bijv. "spreek boos" of "adem in") is moeilijk te schalen.
• Data- en trainingsdiscrepantie: Traditionele pipelines gebruiken vaak gescheiden modellen voor data-filtering en beloning (RL), wat leidt tot een verdelingsschift (distribution shift) tussen het pre-trainen en het afstemmen (alignment).
• Beperkte schaalbaarheid: Het handmatig annoteren van paralinguïstische kenmerken (emotie, intonatie, sprekerswisselingen) is niet schaalbaar.
• Latentie en doorvoer: Productie-ready systemen meten vaak hoge latentie (TTFA) en lage doorvoer, wat real-time streaming bemoeilijkt.

---

2. Methodologie

Fish Audio S2 introduceert een geïntegreerde aanpak bestaande uit drie pijlers:

A. Architectuur: Dual-Autoregressive (Dual-AR)

Het model behoudt de decoder-only Transformer-backbone van Fish Audio S1 maar introduceert een Dual-AR structuur om de dimensionale uitdaging van hoge kwaliteit audio op te lossen:

• Slow AR (Temporeel Semantisch): Een groot model (gebaseerd op Qwen3-4B) dat sequentieel werkt over tekst en semantische audio-tokens. Het plant linguïstische inhoud en grove prosodie.
• Fast AR (Dieptewijze Acoustisch): Een lichtgewicht netwerk (4 lagen) dat de resterende fijne acoustische details genereert op basis van de output van de Slow AR.
• Multi-Codebook Fusion (MCF): De tokens van beide stromen worden samengevoegd om de volgende stap te voeden, wat zorgt voor hoge inferentie-efficiëntie.
• Audio Tokenizer: Gebaseerd op Descript Audio Codec (DAC) met een 44.1 kHz sample rate, gebruikmakend van Residual Vector Quantization (RVQ) met 10 codebooks.

B. Data Pipeline: Multi-Purpose & Dual-Purpose

Om schaalbaarheid te bereiken, hebben de auteurs een drie-traps data-pipeline ontwikkeld die twee kernmodellen gebruikt: een spraakkwaliteitmodel en een rijk-transcriptie ASR-model.

• Fase 1 (Scheiding & Segmentatie): Isolatie van spraak en segmentatie.
• Fase 2 (Kwaliteitsfiltering): Het kwaliteitsmodel filtert lage kwaliteit samples (ruis, overlapping).
• Fase 3 (Rijke Transcriptie): Het ASR-model transcribeert niet alleen de tekst, maar genereert ook natuurlijke taalbeschrijvingen voor sprekerswisselingen, emoties en paralinguïstische kenmerken (bijv. [boos], [lachen]).
• Uniek kenmerk: Dezelfde modellen die worden gebruikt om data te filteren en te annoteren tijdens pre-training, worden hergebruikt als beloningsmodellen (reward models) tijdens de Reinforcement Learning (RL) fase. Dit elimineert het distributieverschil tussen de trainingsfasen.

C. Training: RL-based Post-Training

Na pre-training en Supervised Fine-Tuning (SFT) wordt het model verfijnd met Reinforcement Learning:

• Algoritme: Een variant van GRPO (Group Relative Policy Optimization) die geen waarde-netwerk vereist, wat de rekenkosten verlaagt.
• Multi-Reward Systeem: Het systeem optimaliseert gelijktijdig op drie dimensies:
  1. Semantische nauwkeurigheid (via het ASR-model).
  2. Acoustische kwaliteit (via het spraakkwaliteitmodel).
  3. Sprekersimilariteit (via een externe stemprint).
• Instructie-volging: Het model leert om instructies direct in de tekststroom te integreren (bijv. "spreek fluisterend") zonder speciale controle-tokens.

D. Inferentie Engine

De inferentie is gebouwd op SGLang (een framework voor LLM's) om ultra-lage latentie te bereiken:

• Streaming: Real-time factor (RTF) van 0.195.
• Time-to-First-Audio (TTFA): Minder dan 100 ms.
• Prefix Caching: RadixAttention wordt gebruikt om referentie-audio (voor stemkloon) te cacheën, waardoor herhaalde verzoeken extreem snel zijn.

---

3. Belangrijkste Bijdragen

1. Natuurtaal Instructie-volging: Het systeem kan complexe, vrije tekst-instructies direct vertalen naar spraakkenmerken (emotie, tempo, ademhaling) zonder handmatige annotatie.
2. Native Multi-Speaker & Multi-Turn: Het kan in één keer complexe dialogen genereren met meerdere sprekers, inclusief natuurlijke interacties.
3. Stabiele Lange Formaat Synthese: Het systeem produceert coherent en consistent audio over lange duur zonder degradatie van de stemkwaliteit.
4. Dual-Purpose Data Pipeline: Een innovatieve aanpak waarbij data-filtering en RL-beloning door dezelfde modellen worden uitgevoerd, wat de trainingsstabiliteit verhoogt.
5. Open Source & Productie-klaar: Volledige openbaarmaking van gewichten, fine-tuning code en een geoptimaliseerde inferentie-engine.

---

4. Resultaten

Fish Audio S2 presteert consequent beter dan bestaande state-of-the-art (SOTA) modellen op zowel objectieve als subjectieve benchmarks:

• Objectieve Metrieken:

  • Seed-TTS-Eval: Leidend op Woordfoutpercentage (WER) voor zowel Engels (0.99%) als Chinees (0.54%).
  • Meertaligheid: Op de Minimax Multilingual Testset (24 talen) behaalde het de laagste WER in 11 talen en de hoogste sprekersimilariteit (SIM) in 17 talen.
  • Lange Audio: Laagste WER en CER op de Long-TTS-Eval benchmark, met een zeer stabiele stemkwaliteit over lange duur.

• Subjectieve Evaluaties (LLM-as-a-Judge):

  • Audio Turing Test: Behaalde een posterior mean van 0.483 (verbeterd naar 0.515 met instructie-herformulering), wat aangeeft dat de gegenereerde spraak vaak niet van menselijke spraak te onderscheiden is.
  • Emergent TTS Eval: Een overwinningsscore van 81.88% tegen de baseline, met name sterk in het volgen van paralinguïstische instructies (91.61% win-rate).
  • Fish Audio Instruction Benchmark: Een nieuwe benchmark voor fijne controle. S2 behaalde een tag-activatiegraad van 93.3% en een kwaliteitsscore van 4.51/5.0.

• Performance:

  • RTF: 0.195 (5x sneller dan real-time).
  • TTFA: < 100 ms.
  • Doorvoer: >3000 tokens/sec onder hoge concurrentie.

---

5. Betekenis en Impact

Fish Audio S2 markeert een belangrijke stap in de evolutie van open-source TTS:

• Democratisering van Kwaliteit: Door het openbaar maken van gewichten en code, wordt hoogwaardige, controleerbare spraakgeneratie toegankelijk voor onderzoekers en ontwikkelaars, eerder dan alleen voor grote tech-bedrijven.
• Paradigmaverschuiving: De integratie van RL met een dual-purpose data pipeline toont een nieuwe weg voor het trainen van multimodale modellen, waarbij consistentie tussen data-curatie en beloning cruciaal is.
• Toepassing: De ultra-lage latentie en ondersteuning voor multi-speaker dialogen maken het direct inzetbaar voor real-time conversatieve AI, interactieve audioboeken en dynamische video-dubbing.

Het rapport concludeert dat Fish Audio S2 een robuuste basis vormt voor de volgende generatie expressieve en controleerbare spraaksynthese.