💻 computer science

StreamChar: Long-Horizon Streaming Character Audio-Video Generation with Decoupled Orchestration

StreamChar is een real-time streamingframework voor het genereren van langdurige karakteraudio-video dat LLM-gebaseerde orchestration ontkoppelt van gezamenlijke audio-videodenosing en een tweestapsdistillatiepijplijn toepast met progressiebewuste uitlijning en sink-chunk-geheugen om hoge fideliteit, synchronisatie en stabiliteit te bereiken binnen strikte latentiebudgetten.

Oorspronkelijke auteurs: Linrui Tian, Qi Wang, Bang Zhang

Gepubliceerd 2026-05-26

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Linrui Tian, Qi Wang, Bang Zhang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een live, interactieve toneelstuk regisseert waarbij een acteur een script moet spreken, natuurlijk moet bewegen en er precies uit moet zien als zichzelf, terwijl het publiek dit in real-time bekijkt. Dit een paar seconden doen is moeilijk; dit minutenlang doen zonder dat de acteur zijn tekst vergeet, zijn gezicht verliest of stottert, is een nachtmerrie.

Dit artikel introduceert StreamChar, een nieuw systeem dat is ontworpen om precies dit probleem op te lossen: het genereren van lange, continue stromen van een personage dat spreekt en beweegt op basis van een tekstscript, allemaal in real-time.

Hier is hoe het werkt, opgesplitst in eenvoudige concepten:

1. Het Kernprobleem: De "Rekstok"

De meeste AI-videogeneratoren zijn als een student die een toets maakt: ze kunnen een geweldig essay (een kort videoclips) schrijven als ze genoeg tijd krijgen om na te denken. Maar als je ze vraagt om een hele roman (een lange video) één zin tegelijk te schrijven, neigen ze ernaar om:

Het plot te vergeten: Ze raken afgeleid van het originele script.
Hun identiteit te verliezen: Het gezicht van het personage begint te vervormen of te veranderen.
Te struikelen: De audio en video raken uit sync (de lippen passen niet bij de woorden).
Te lang te doen: Hoogwaardige video vereist meestal dat de AI lang "nadenkt", wat de "real-time" regel doorbreekt.

2. De Oplossing: Een Twee-Persoonsteam (Gedecoupleerde Orkestratie)

In plaats van één gigantisch AI-brein te dwingen om alles tegelijk te doen, splitst StreamChar de taak op in twee gespecialiseerde rollen, zoals een Regisseur en een Acteur.

De Regisseur (De LLM-Orkestrator): Dit is een tekstslimme AI. Haar enige taak is het script en de geschiedenis van wat net is gebeurd lezen. Ze tekent geen video; ze vertelt alleen het volgende deel van het verhaal wat er gezegd moet worden en hoe het moet klinken. Ze fungeert als een "frame-gealigneerde" gids, zodat het personage bij het script blijft.
De Acteur (De DiT): Dit is de video-makende AI. Ze ontvangt de instructies van de Regisseur en concentreert zich puur op de directe taak: het laten bewegen van de lippen en het verschuiven van het lichaam van het personage voor de komende paar seconden. Omdat ze zich geen zorgen hoeft te maken over het hele script, kan ze zich richten op hoogwaardige, natuurlijke beweging.

3. De Show Draaiende Houden: De "Anker" en de "Wijzer"

Zelfs met een Regisseur en een Acteur kunnen fouten zich opstapelen naarmate de tijd vordert. StreamChar gebruikt twee slimme trucs om te voorkomen dat de show uit elkaar valt:

De Sink-Chunk (Het Anker): Stel je voor dat de eerste paar seconden van de video een zwaar anker zijn dat in de oceaan wordt gegooid. Elke nieuwe chunk video die later wordt gegenereerd, is "vastgebonden" aan dit originele anker. Dit voorkomt dat het gezicht van het personage wegdrijft of van uiterlijk verandert naarmate de video langer wordt.
De Progress-Aware Pointer (De Dirigent): Terwijl de AI audio genereert, fungeert dit hulpmiddel als een dirigentstokje, dat constant controleert: "Hebben we deze zin in het script zojuist afgerond?" Het zorgt ervoor dat de AI precies weet waar ze de huidige chunk moet stoppen en de volgende moet beginnen, waardoor tekst en audio perfect op elkaar zijn afgestemd.

4. Versnellen: Het "Trainingskamp" (Twee-Fase Distillatie)

Hoogwaardige video duurt meestal lang om te genereren (zoals een trage, zorgvuldige schilder). Om het snel genoeg te maken voor real-time streaming, gebruikte het team een tweestaps trainingsproces:

Fase 1 (De Sprint): Ze leerden de AI om een schilderij te maken in slechts 4 streken in plaats van 50. Dit maakte het snel, maar de resultaten waren een beetje stijf en repetitief.
Fase 2 (De Repetitie): Ze lieten de AI de hele show zelf oefenen (chunk na chunk genereren). Als ze een fout maakte in chunk 1, leerde ze deze in chunk 2 te corrigeren. Deze "repetitie" leerde de AI hoe ze stabiel en consistent kon blijven gedurende lange periodes zonder kwaliteit te verliezen.

5. De Resultaten

Bij testen bleek StreamChar dat het kon draaien op één krachtige computerchip (een H100 GPU) en video kon genereren zo snel als een mens kan kijken (real-time).

Het blijft bij het script: Het personage zegt precies wat de tekst zegt.
Het blijft in karakter: Het gezicht vervormt niet of drijft niet weg gedurende minuten aan video.
Het beweegt natuurlijk: In tegenstelling tot andere methoden die alleen de mond laten wiebelen, laat dit systeem het hele bovenlichaam en de handen natuurlijk bewegen.

Kortom: StreamChar is als het huren van een toegewijde scriptsupervisor en een getalenteerde acteur die zo goed samen hebben gerepeteerd dat ze een foutloze, urenlang durende toneelvoorstelling in real-time kunnen brengen, zonder een zin te vergeten of hun kostuum te verliezen.

Technische Samenvatting: StreamChar

Probleemstelling

Het artikel behandelt de uitdaging van real-time streaming van gezamenlijke audio-video-generatie voor karakteranimatie. Deze taak vereist een systeem dat gelijktijdig drie conflicterende beperkingen moet oplossen:

Transcriptgetrouwheid: De gegenereerde audio moet strikt adhere aan een lang invoertranscript zonder weglatingen, herhalingen of semantische drift.
Visuele Identiteit & Coherentie: Het uiterlijk en de identiteit van het karakter moeten consistent blijven gedurende langere duur (lange horizon), waarbij visuele drift of identiteitsverschuivingen moeten worden vermeden.
Interactieve Latentie: Het systeem moet content sneller genereren dan de afspeelduur (real-time), wat inferentie met lage latentie vereist.

Bestaande benaderingen worstelen met het balanceren van deze eisen. Monolithische Diffusion Transformer (DiT)-modellen lijden vaak onder capaciteitsconcurrentie, waarbij dezelfde backbone globale scriptbegrip, cross-chunk geheugen en lokale spatiotemporale denoising moet hanteren, wat leidt tot foutpropagatie. Bovendien veroorzaakt agressieve stapreductie via distillatie om lage latentie te bereiken vaak mode collapse (verminderde ruimtelijke diversiteit) en foutaccumulatie in autoregressieve rollouts, waardoor de kwaliteit op lange horizon verslechtert.

Methodologie

StreamChar stelt een ontkoppelde architectuur en een tweestaps distillatiepijplijn voor om lange-horizon orkestratie te scheiden van korte-raam denoising.

1. Ontkoppelde Architectuur (LLM + DiT)

LLM-Orkestrator: Een causaal taalmodel fungeert als planner. Het leest het transcript, historische context en referentieaudio om frame-uitgelijnde continue audio-condities ( $c_a$ ) te produceren. Het regelt globale semantische planning en transcriptuitlijning, waardoor deze last van de generatieve backbone wordt afgehaald.
Gezamenlijke Audio-Video DiT: Een Diffusion Transformer voert korte-raam gezamenlijke denoising uit. Het neemt de audio-condities ( $c_a$ $c_{a}$ ), prompt-embeddings, referentieframes en bewegingsframes (van vorige chunks) als invoer.
- Bidirectionele Attention: In tegenstelling tot causale streaming-modellen, gebruikt de DiT volledige bidirectionele attention binnen elke chunk om globale temporale context te benutten, wat de kwaliteit van bewegingsplanning verbetert.
- Modality-Aware MoE: De architectuur maakt gebruik van een gedeeld attention-mechanisme met een Mixture-of-Experts (MoE) feed-forward netwerk, dat video- en audiotokens naar verschillende experts routeert om cross-modale interactie te balanceren met modality-specifiek leren.
- Sink-Frame Mechanisme: De eerste gegenereerde chunk dient als persistent "sink"-geheugen, waarop alle volgende chunks attention richten om lange-horizon visuele drift te onderdrukken.

2. Tweestaps Ontkoppelde Distillatie

Om real-time prestaties te bereiken zonder stabiliteit te offeren, stellen de auteurs een sequentiële optimalisatiestrategie voor:

Fase I (Stapreductie): Gebruikt Distribution Matching Distillation (DMD) om het leermeestermodel (typisch 50 stappen) te comprimeren tot een student met weinig stappen (4 stappen). Deze fase richt zich puur op de kwaliteit van single-chunk generatie.
Fase II (Rollout-consistentie): Fintuned de student met behulp van online rollout-simulatie. Het model genereert meerdere opeenvolgende chunks autoregressief.
- Progress-Aware Pointer (PAP): Een module geïntegreerd in de Orkestrator die het eindpunt van het transcript voor elke chunk voorspelt, waardoor een nauwkeurige uitlijning tussen het gegenereerde audio-bereik en het afgeknipte transcript wordt gewaarborgd.
- Trainingsdoel: De student wordt geoptimaliseerd op zijn eigen output (self-forcing) met behulp van een DMD-verlies berekend op samengevoegde chunks, waardoor de train-test kloof wordt verkleind.

3. Inferentie-efficiëntie

Het systeem genereert 9 latente videoframes per chunk (decoderend naar 33 RGB-frames bij 24 fps). Door bewegingslatents van de vorige chunk te hergebruiken en voorverwerking te overlappen met VAE-decodering, is de totale latentie per chunk ongeveer 1,34 seconden, wat past binnen het afspeelbudget van 1,38 seconden op een enkele H100 GPU.

Belangrijkste Bijdragen

Ontkoppelde LLM + DiT Architectuur: Een ontwerp dat globale transcriptplanning (LLM) scheidt van lokale audio-video-synthese (DiT), met gebruik van bewegingsframe-conditioning voor cross-chunk continuïteit.
Tweestaps Distillatiestrategie: Een pijplijn die stapcompressie (Fase I) ontkoppelt van rollout-consistentietraining (Fase II), waardoor de gekoppelde uitdagingen van mode collapse en foutaccumulatie worden aangepakt.
Stabiliteitsmechanismen: De introductie van de Progress-Aware Pointer (PAP) voor transcriptuitlijning en het Sink-Frame-mechanisme voor het onderdrukken van lange-horizon visuele drift.
Empirische Validatie: Aantonen dat het systeem lange-horizon, real-time streaming ondersteunt op een enkele GPU, terwijl het concurrerende prestaties behoudt op het gebied van transcriptgetrouwheid, synchronisatie en visuele kwaliteit.

Resultaten

Experimenten werden uitgevoerd op korte-clip- en lange-horizonprotocollen met behulp van de EMTD-dataset.

Transcriptgetrouwheid: StreamChar behaalde een Woordfoutpercentage (WER) van 3,65% na distillatie, wat aanzienlijk beter is dan gezamenlijke audio-video-baselines (bijv. LTX-2 op 4,55%, OVI op 10,46%).
Visuele Kwaliteit: De methode behaalde een toonaangevende Human Anatomy-score (0,941) en de laagste FID (18,96) onder gezamenlijke baselines, wat hoge perceptuele getrouwheid aantoont ondanks het gebruik van een backbone van 5B parameters.
Lange-horizon Stabiliteit: StreamChar vertoonde een verwaarloosbare Kwaliteitsdrift van 0,0067 over 5 minuten streams, vergeleken met 0,0304 voor de geablateerde versie zonder de sink-chunk. Het behield een maximale VBench Dynamic-score van 1,0, wat wijst op behouden bewegingsdiversiteit.
Efficiëntie: Het systeem draait in real-time (ongeveer 1,34s latentie per chunk) op een enkele H100 GPU.

Betekenis

Het artikel beweert dat StreamChar een gunstige systeemniveau trade-off biedt tussen transcriptgetrouwheid, audio-visuele synchronisatie, visuele kwaliteit en streamingstabiliteit. Door de verantwoordelijkheden van semantische planning en spatiotemporale denoising te ontkoppelen, en door stapreductie en rollout-consistentie sequentieel op te lossen, overwint het kader de beperkingen van monolithische DiTs en agressieve distillatie. Het maakt het genereren van minutenlange, interactieve karakteranimaties mogelijk met strikte adherentie aan invoerscripts, een vermogen dat eerder moeilijk te bereiken was in real-time omgevingen.