💬 NLP

VibeVoice-ASR-BitNet Technical Report

VibeVoice-ASR-BitNet is een gecomprimeerd, real-time ASR-model dat is geoptimaliseerd voor edge-CPU's via heterogene kwantisatie (INT8 voor de VAE en BitNet-stijl ternaire gewichten voor het taalmodel) en aangepaste SIMD-kernels, waarmee het 1,6–2,3x snellere inferentie bereikt dan Whisper.cpp met minimaal nauwkeurigheidsverlies.

Oorspronkelijke auteurs: Songchen Xu, Ting Song, Shaohan Huang, Zhiliang Peng, Yan Xia, Yujie Tu, Xin Huang, Xun Wu, Wenhui Wang, Yaoyao Chang, Jianwei Yu, Li Dong, Furu Wei

Gepubliceerd 2026-07-28

📖 3 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Songchen Xu, Ting Song, Shaohan Huang, Zhiliang Peng, Yan Xia, Yujie Tu, Xin Huang, Xun Wu, Wenhui Wang, Yaoyao Chang, Jianwei Yu, Li Dong, Furu Wei

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je probeert een enorme, high-definition bibliotheek met boeken in een piepkleine rugzak te passen. Normaal gesproken moeten de boeken dik en zwaar zijn als je wilt dat ze leesbaar en nauwkeurig zijn. Als je ze te veel krimpt, veranderen de pagina's in wazige krabbels, of wordt de rugzak zo zwaar dat je hem niet kunt dragen. Dit is de dagelijkse strijd voor computers die menselijke spraak proberen te begrijpen. Jarenlang waren de beste "spraak-naar-tekst"-systemen als gigantische, zware bibliotheken die alleen in enorme, dure datacenters (de cloud) konden leven. Ze waren ongelooflijk slim, maar vereisten een supercomputer om te draaien, wat betekende dat je stem via het internet moest worden verzonden om verwerkt te worden. Dit riep zorgen op over de privacy en veroorzaakte vervelende vertragingen. Aan de andere kant waren de kleine, snelle systemen die op je telefoon of laptop konden draaien vaak als een schetsboek van een kind: snel door te bladeren, maar ze konden geen complexe zinnen of veel verschillende talen begrijpen. De grote vraag voor wetenschappers is geweest: Kunnen we een systeem bous dat net zo slim is als de gigantische bibliotheek, maar licht genoeg is om in een rugzak te passen en direct te draaien op een gewone computerchip?

Dit artikel introduceert een nieuwe oplossing genaamd VibeVoice-ASR-BitNet, die fungeert als een meesterverpakker voor die spraakbibliotheek. De onderzoekers ontdekten dat niet alle onderdelen van een spraakherkenningssysteem op dezelfde manier zwaar zijn. Sommige onderdelen zijn als de "oren" die naar geluidsgolven luisteren, en andere zijn als het "brein" dat uitzoekt welke woorden die geluiden betekenen. In plaats van één maat doos voor alles te gebruiken, gebruikten ze een slimme "heterogene" strategie—het mengen van twee verschillende soorten compressie. Voor de "oren" (het deel dat ruwe audio verwerkt), gebruikten ze een volledige-pipeline INT8-compressie, wat is alsof je de pagina's op iets dunner papier print maar de inkt scherp houdt. Voor het "brein" (het deel dat het volgende woord voorspelt), gebruikten ze een nog agressievere BitNet-stijl ternaire compressie, waarbij de gewichten werden gekrompen tot slechts drie mogelijke waarden: -1, 0 en +1. Denk hierbij aan het vervangen van complexe paragrafen door een eenvoudige code van pijlen, stippen en streepjes.

Door deze twee methoden te combineren, slaagde het team erin om het hele model van een lomp 4,62 GB te verkleinen naar een slanke 1,58 GB—een reductie van 2,9x. Het resultaat is een systeem dat op een standaard computerprocessor (CPU) kan draaien zonder dat er een krachtige grafische kaart nodig is. In hun tests kon dit gecomprimeerde model een fragment van 20 seconden spraak beluisteren en uittypen sneller dan de audio werd afgespeeld (een Real-Time Factor van minder dan 1), zelfs op computers met zeer weinig verwerkingsthreads. Hoewel het iets minder nauwkeurig is dan de enorme, ongecomprimeerde versie (met een kleine toename in fouten, doorgaans 1–4%), is het aanzienlijk sneller en efficiënter dan andere vergelijkbare modellen, waarbij het het populaire Whisper.cpp-systeem met 1,6 tot 2,3 keer verslaat. De auteurs merken op dat hoewel dit een grote stap voorwaarts is voor het draaien van slimme AI op alledaagse apparaten, het systeem momenteel het beste werkt voor vooraf opgenomen audio en nog niet is getest voor live, stromende gesprekken.

Technische Samenvatting: VibeVoice-ASR-BitNet

Probleemstelling

Automatische spraakherkenning (ASR) staat voor een dichotomie tussen lichtgewicht traditionele modellen (bijv. Conformer, Zipformer), die snelle inferentie bieden maar beperkte nauwkeurigheid en meertalige robuustheid, en op Large Language Models (LLM) gebaseerde ASR-systemen, die een state-of-the-art nauwkeurigheid bereiken maar aanzienlijke computationele middelen vereisen. Momenteel vertrouwen op LLM gebaseerde ASR-modellen (zoals VibeVoice-ASR, Whisper en Qwen-Audio) op GPU-implementatie in cloudomgevingen, wat privacyrisico's en netwerklatentie introduceert die onacceptabel zijn voor real-time toepassingen. Hoewel CPU-gebaseerde inferentie-engines zoals Whisper.cpp en llama.cpp lokale implementatie mogelijk maken, worstelen zij met het bereiken van real-time prestaties (Real-Time Factor, RTF < 1) voor grote modellen op hulpbronnenbeperkte edge-apparaten zonder de CPU-threadbudgetten te verzadigen.

Methodologie

De auteurs presenteren VibeVoice-ASR-BitNet, een gecomprimeerde variant van VibeVoice-ASR die is geoptimaliseerd voor real-time inferentie op edge-CPU's. De kerninnovatie is een heterogene kwantisatiestrategie die is mede-ontworpen met de specifieke computationele profielen van de twee afzonderlijke fasen van het model:

1. Aanpassing van de modelarchitectuur

Het systeem behoudt de VibeVoice-ASR-architectuur, bestaande uit een VAE-tokenizer (akoestische en semantische encoders gebaseerd op ConvNeXt) en een autoregressief taalmodel (LM) decoder. Om de geheugengrootte te verkleinen, wordt de originele Qwen2.5-7B decoder vervangen door een Qwen2.5-1.5B decoder.

2. Heterogene Kwantisatie

In plaats van uniforme precisievermindering passen de auteurs verschillende kwantisatieschema's toe op elk component:

VAE Tokenizer (I8_S): De tokenizer is IO-gebonden vanwege de convolutionele aard, waarbij het volume aan activatiedata de gewichtsparameters aanzienlijk overtreft (tot 50.000× in de vroege stadia). Om dit aan te pakken, passen de auteurs full-pipeline INT8-kwantisatie (I8_S) toe. Dit zorgt ervoor dat gewichten, activaties, tussenliggende buffers en alle operatorgrenzen in INT8 opereren, wat precisieformaatconversies elimineert en het geheugenbandbreedte met 2× vermindert ten opzichte van FP16. Sub-byte formaten (bijv. INT4) werden afgewezen vanwege het gebrek aan native SIMD-ondersteuning en de degradatie van de nauwkeurigheid in ConvNeXt.
Taalmodel Decoder (I2_S): De LM-decoder is tijdens autoregressieve decodering gewicht-gedomineerd. De auteurs hanteren BitNet-stijl ternaire gewichten (I2_S), waarbij gewichten worden opgeslagen als {−1, 0, +1} in 2 bits. Dit comprimeert het gewichtsgeheugentransport met 8× ten opzichte van FP16. De embedding- en LM-head-lagen worden gekwantiseerd naar Q6_K (6-bit) om degradatie van de nauwkeurigheid in de vocabulairemapping te voorkomen. De ternaire gewichten worden uitgepakt naar INT8 en verwerkt via hetzelfde multiply-add-pipeline als de tokenizer.

3. Trainingsstrategie

Om de nauwkeurigheid onder agressieve compressie te behouden, wordt een Progressive Quantization-Aware Training (QAT) strategie toegepast:

VAE Tokenizer: GELU-activaties worden vervangen door ReLU voor INT8-compatibiliteit. Er wordt een progressief blending-schema ( $\alpha$ ) gebruikt, dat lineair toeneemt van volledige precisie naar volledige kwantisatie. Directe QAT (startend met $\alpha=1$ ) bleek niet te convergeren.
Taalmodel: Het 1.5B-model wordt getraind op spraak-tekst paren met een contextlimiet van 4 minuten (korter dan de oorspronkelijke ondersteuning van 60 minuten) om te voldoen aan de beperkingen van edge-implementatie.

4. Inferentie Optimalisatie

Operator Fusie: Vaak samen voorkomende operatoren (bijv. im2col + padding, matrixvermenigvuldiging + bias + ReLU) worden gefuseerd tot enkele kernels om tussenliggende tensor-materialisaties en redundante geheugenround-trips te elimineren.
Custom SIMD Kernels: Het systeem implementeert custom kernels met behulp van ggml, gericht op ARM- en x86-platformen. Deze maken gebruik van AVX2/NEON instructies (_mm256_maddubs_epi16) om gegevens in blokken te verwerken, waarbij het kernelontwerp wordt verenigd voor zowel de I8_S als de I2_S schema's terwijl de registerutilisatie wordt gemaximaliseerd.

Belangrijkste Resultaten

Compressie: De totale modelgrootte is verminderd van 4.62 GB (FP16) naar 1.58 GB, wat een 2.9× compressieratio oplevert.
Real-Time Prestaties: Het systeem bereikt real-time inferentie (RTF < 1) op gangbare CPU's (AMD EPYC 7V13) met een laag aantal threads.
- Voor een audiofragment van 20 seconden daalt de RTF naar 0.77 met 3 threads en naar 0.49 met 6 threads.
- De I8_S VAE-tokenizer bereikt een 1.3×–2.0× versnelling ten opzichte van FP16.
- De I2_S LM-decoder bereikt een ~2.5× versnelling op prefill en een ~4× versnelling op decode.
Nauwkeurigheid: Vergeleken met de FP16-baseline vertoont het gecomprimeerde model een bescheiden afname in nauwkeurigheid, doorgaans een absolute toename van 1–4% in de Word Error Rate (WER) over diverse benchmarks (MLC, AISHELL4, AMI, LibriSpeech).
Vergelijking met Whisper.cpp: VibeVoice-ASR-BitNet is 1.6× tot 2.3× sneller dan Whisper.cpp (large-v3-turbo, ~1.6 GB) over alle threadconfiguraties op dezelfde hardware, met vergelijkbare modelgroottes.

Betekenis en Claims

Het artikel claimt dat VibeVoice-ASR-BitNet erin slaagt de kloof te overbruggen tussen de hoge nauwkeurigheid van LLM-gebaseerde ASR en de beperkingen van edge-implementatie. Door kwantisatieschema's af te stemmen op de specifieke computationele knelpunten van elke model-fase (IO-gebonden tokenizer versus gewicht-gebonden decoder), bereikt het systeem real-time prestaties op CPU's met een laag aantal threads zonder dat er hoogwaardige hardware nodig is.

De auteurs benadrukken dat dit het enige model in hun vergelijking is dat volledig op de CPU draait met heterogene kwantisatie, terwijl het tegelijkertijd meertalige herkenning over 6+ talen native ondersteunt. In tegen tegenstelling tot traditionele ASR-architecturen die beperkt zijn tot één of twee talen, behoudt VibeVoice-ASR-BitNet de meertalige capaciteiten van de LLM-gebaseerde aanpak.

Beperkingen

De auteurs vermelden expliciet twee beperkingen:

De heterogene kwantisatiestrategie is alleen gevalideerd op de VibeVoice-ASR architectuur; de toepasbaarheid op andere VAE-LM of encoder-decoder modellen (zoals Whisper, Qwen-Audio) blijft onverkend.
De huidige implementatie ondersteunt alleen offline (batch) inferentie. Een streamingmodus, die gefragmenteerde VAE-encoding en incrementele LM-decodering vereist, wordt nog niet ondersteund, wat de implementatie in real-time interactieve scenario's beperkt.