💻 computer science

InteractiveAvatar: Real-Time Streaming Video Generation for Consistent and Intent-Aware Avatars

InteractiveAvatar is een real-time, oneindig streamende videogeneratie-framework dat gebruikmaakt van autoregressieve distillatie, een Long-Short Visual Memory-mechanisme en een Reasoning-Reaction Module om state-of-the-art visuele consistentie en intentiebewuste interacties voor audio-gestuurde avatars te bereiken.

Oorspronkelijke auteurs: Quanyue Song, Yishan He, Yanfei Zhang, Shihao Cheng, Zhixiang He, Zhizhi Guo, Chi Zhang, Xuelong Li, Caigui Jiang

Gepubliceerd 2026-06-23

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Quanyue Song, Yishan He, Yanfei Zhang, Shihao Cheng, Zhixiang He, Zhizhi Guo, Chi Zhang, Xuelong Li, Caigui Jiang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je met een digitale vriend praat via een videocall. Meestal zijn deze digitale vrienden een beetje als kapotte poppen: ze kunnen hun lippen misschien perfect bewegen op het ritme van je stem, maar als je te lang tegen hen praat, kan hun gezicht er vreemd uit gaan zien, of kunnen ze vergeten hoe ze er vijf minuten geleden uitzagen. Ook, als je ze vraagt om "de tijd te checken", kunnen ze alleen de tijd hardop zeggen terwijl ze met een lege blik blijven staren, niet in staat om daadwerkelijk naar een horloge te kijken.

Het paper InteractiveAvatar introduceert een nieuwe manier om deze digitale vrienden te bouwen, zodat ze eeuwig met je kunnen praten zonder er glitchy uit te zien, en zodat ze daadwerkelijk dingen kunnen doen die je van hen vraagt.

Hier is hoe ze het hebben gedaan, uitgelegd met eenvoudige analogieën:

1. Het Probleem: De "Amnesie" en de "Robot"

De auteurs zeggen dat huidige digitale avatars twee belangrijke problemen hebben:

Het "Drijvende" Gezicht: Als je de video een lange tijd laat draaien, begint het gezicht van de avatar langzaam te veranderen. Misschien worden de ogen groter, of verandert de haarkleur. Het is alsof een schilder steeds nieuwe lagen verf toevoegt zonder naar de oorspronkelijke schets te kijken; uiteindelijk lijkt het plaatje totaal niet meer op de persoon die je begon.
De "Blinde" Robot: Huidige avatars zijn voornamelijk "audio-gestuurd". Als je zegt "Kijk eens naar het horloge", horen ze het geluid en bewegen ze hun mond, maar ze begrijpen de betekenis niet. Ze draaien niet echt hun hoofd om naar een horloge te kijken, omdat ze niet "denken" over je verzoek.

2. De Oplossing: Een Brein met Twee Delen

Om dit op te lossen, heeft het team een systeem gebouwd met twee speciale hulpmiddelen: een Geheugensysteem en een Denkend Brein.

Het Geheugensysteem: "Het Korte-Termijn Notitieblok en het Lange-Termijn Fotoalbum"

Om te voorkomen dat het gezicht van de avatar gaat driften, hebben ze iets gemaakt dat Long-Short Visual Memory (LSVM) wordt genoemd.

Het Korte-Termijn Notitieblok: Stel je voor dat de avatar een notitieblok bijhoudt van de laatste paar seconden van de video. Dit zorgt ervoor dat wanneer de avatar zijn hoofd beweegt, de beweging vloeiend en natuurlijk oogt, en niet schokkerig.
Het Lange-Termijn Fotoalbum: Dit is het slimme gedeelte. In plaats van te proberen elke enkele frame te onthouden (wat te zwaar en traag zou zijn), heeft de avatar een "Fotoalbum" van de belangrijkste momenten.
- Hoe het werkt: Terwijl de video speelt, vraagt het systeem constant: "Is dit nieuwe frame belangrijk?" Als de avatar een hoed opzet of een kop koffie oppakt, maakt het systeem een "snapshot" en zet deze in het album. Als de avatar gewoon daar zit te praten, slaat het systeem de snapshot misschien over.
- Het Voordeel: Dit fungeert als een anker. Zelfs na 10 minuten praten kan de avatar terugkijken naar zijn "album" om te herinneren: "Oh ja, ik draag een hoed," of "Ik heb een kop koffie vast." Dit houdt het personage van begin tot eind consistent.

Het Denkende Brein: "De Regisseur en de Stage Manager"

Om de avatar te laten begrijpen wat je wilt, hebben ze een Reasoning-Reaction Module (RRM) toegevoegd.

De Regisseur (LLM): Wanneer je spreekt, luistert een krachtige AI "Regisseur" naar je. Het hoort niet alleen woorden; het begrijpt je intentie. Als je zegt "Check de tijd", beseft de Regisseur: "Ah, de gebruiker wil dat de avatar naar een horloge kijkt."
De State Cycling: Het systeem schakelt tussen twee modi:
1. Actiemodus: De avatar is druk bezig met iets doen (zoals naar een horloge kijken of gaan zitten).
2. Stabiele Modus: Zodra de actie voltooid is, neemt de avatar een rustige houding aan (zoals rustig zitten) zodat hij niet onnodig blijft bewegen.
De Snelle Wissel (Cache-Switching): Normaal gesproken, wanneer een instructie verandert, moet de computer alles opnieuw berekenen, wat tijd kost. Dit systeem gebruikt een "Fast Switch" truc. Het houdt een back-up van de berekeningen voor de huidige scène bij. Wanneer de instructie verandert (bijv. van "opstaan" naar "zitten"), wisselt het direct de oude back-up voor de nieuwe, waardoor de reactie direct en vloeiend aanvoelt.

3. Het Resultaat: Een Real-Time, Oneindig Gesprek

Door deze hulpmiddelen te combineren met een speciale trainingsmethode (genaamd Distillation, wat is als het aanleren van een student om een probleem in één stap op te lossen in plaats van tien), hebben ze een systeem gecreëerd dat:

In Real-Time Draait: Je kunt met de avatar praten en hij reageert onmiddellijk, zonder lange wachttijden.
Eindeloos Duurt: Je kunt een gesprek van uren voeren, en de avatar zal er nog steeds hetzelfde uitzien, met dezelfde kleding en accessoires.
Je Begrijpt: Als je hem vraagt een actie uit te voeren, doet hij het ook daadwerkelijk, in plaats van er alleen maar over te praten.

Samenvattend: InteractiveAvatar is als het geven van een langetermijngeheugen aan een digitale pop zodat hij zijn gezicht niet vergeet, en een brein dat jouw grappen en verzoeken begrijpt, wat zorgt voor een vloeiend, eindeloos en realistisch gesprek.

Technische Samenvatting: InteractiveAvatar

Probleemstelling

Recente diffusiegebaseerde modellen hebben de audio-gestuurde avatar-generatie gevorderd, wat zorgt voor realistische lipsynchronisatie en uiterlijk. De huidige benaderingen kampen echter met twee fundamentele beperkingen in real-time streaming scenario's:

Visuele Temporele Inconsistentie: Huidige methoden vertrouwen doorgaans op causale aandacht met een beperkt receptief veld (enkele voorgaande chunks en een referentiebeeld). Naarmate de generatie zich over langere duur uitstrekt, leidt dit tot "temporele drift", waarbij aangrenzende videochunks uiteenlopen, wat inconsistenties veroorzaakt in identiteit, objecten en scène-stabiliteit.
Gebrek aan Intentie-bewuste Interactie: De meeste systemen volgen een eenvoudig audio-gestuurd paradigma waarbij Large Language Models (LLM's) spraak genereren, en de avatar lippen en grove gebaren animeert op basis van audio-bewegingscorrelaties. Deze systemen falen in het expliciet waarnemen van de gebruikersintentie om fijnmazige, semantisch uitgelijnde acties te genereren (bijv. op een horloge kijken wanneer naar de tijd wordt gevraagd) of om de scène dynamisch aan te passen, wat de realiteitszin van interactief gedrag beperkt.

Methodologie

De auteurs stellen InteractiveAvatar voor, een real-time infinite-streaming videogeneratieframework dat deze uitdagingen aanpakt via drie kerncomponenten:

1. Long-Short Visual Memory (LSVM)

Om visuele consistentie over willekeurig lange duur te behouden, introduceren de auteurs een geheugenmechanisme dat historische visuele informatie flexibel comprimeert:

Dual-Memory Structuur: Het systeem onderhoudt een Short-Term Memory ( $M_s$ ) die de dichte representaties van recente frames bevat (bijv. de laatste 5 seconden) om lokale temporele coherentie te waarborgen. Het onderhoudt ook een Long-Term Memory ( $M_l$ ) met een vaste capaciteit van compacte tokens die globaal saillante visuele staten vertegenwoordigen.
Geheugencompressie: Een lichtgewicht model comprimeert video-latents naar compacte tokens zonder temporele downsampling, waardoor het vermogen behouden blijft om latents tijdens streaming te scheiden en bij te werken.
Dynamic Key-Frame Selection (DKFS): Tijdens inferentie, wanneer een frame het short-term venster verlaat, wordt het geëvalueerd voor long-term retentie. Het systeem gebruikt SigLIP2 om semantische kenmerken te extraheren en berekent een globale redundantiescore. Een kandidaat-frame wordt in het long-term geheugen ingevoegd als het de algehele semantische redundantie vermindert, wat ervoor zorgt dat het geheugen diverse en representatieve key frames opslaat in plaats van uniforme tijd-gesamplede frames.

2. Reasoning-Reaction Module (RRM)

Om intentie-bewuste interacties mogelijk te maken, integreert het framework een LLM-gebaseerd reasoning centrum:

State-Cycling Strategie: De LLM verwerkt gebruikersinput en de huidige stabiele staat om drie componenten te produceren: een Action Prompt (die lichaam beweging/pose stuurt), Response Audio, en een Stable State Prompt (die de statische visuele conditie na de actie definieert). Het diffusiemodel conditioneert op de action prompt en audio tijdens de respons, en schakelt vervolgens over naar de stable prompt zodra de audio eindigt, wat ervoor zorgt dat de avatar terugkeert naar een consistente staat zonder bewegingsdrift.
Cache-Switching Mechanisme: Om latentie tijdens staatsovergangen te verminderen, hercodeert het systeem de bijgewerkte tekstcondities en herberekent de Key-Value (KV) caches voor de direct voorafgaande chunks. Dit stelt het model in staat om snel af te stemmen op nieuwe action prompts zonder te wachten op volledige regeneratie.

3. Autoregressieve Distillatie Aanpassing

Om real-time prestaties te bereiken, passen de auteurs een getrainde Diffusion Transformer (DiT) backbone (Wan 2.2 5B) aan via een vierfasen trainingspipeline:

AI2V Pretraining: Training op grootschalige audio-visuele data met bidirectionele aandacht.
Memory Compression Pretraining: Training van het compressiemodel op video-reconstructie.
ODE Initialisatie: Training met block-wise causale aandacht om de ODE-trajecten van het teacher-model te benaderen.
Self-Forcing DMD: Toepassing van Distribution Matching Distillation (DMD) om het diffusiemodel te distilleren naar een generator met enkele stappen autoregressief. Dit minimaliseert de reverse KL-divergentie tussen de student- en teacher-distributies, wat zorgt voor stabiele inferentie met weinig stappen.

Belangrijkste Bijdragen

InteractiveAvatar Framework: Een nieuw real-time streaming audio-gestuurd avatar-generatiesysteem dat in staat is tot langdurige synthese met sterke visuele consistentie en intentie-bewuste interactie.
Long-Short Visual Memory (LSVM): Een mechanisme dat historische visuele representaties behoudt via dynamische key-frame selectie, wat de visuele coherentie aanzienlijk verbetert en temporele drift in lange sequenties voorkomt.
Reasoning-Reaction Module (RRM): Een module uitgerust met State-Cycling en Cache-Switching die de avatar in staat stelt gebruikersintentie te interpreteren, gecoördineerde spraak en acties te genereren, en commando's uit te voeren met verminderde latentie.

Experimentele Resultaten

De auteurs evalueerden InteractiveAvatar tegen state-of-the-art methoden (bijv. OmniAvatar, WanS2V, LiveAvatar) over 500 video-testcases met diverse interactiescenario's.

Kwantitatieve Prestaties: InteractiveAvatar behaalde state-of-the-art resultaten in Object-level consistentie (OBJ) (85.2) en Text-Video alignment (TV) (25.93), met concurrerende Identity preservation (ID). Terwijl video-kwaliteitsmetrieken (IQA, FID) vergelijkbaar waren met de baselines, demonstreerde de methode superieure temporele stabiliteit.
Real-Time Efficiëntie: Door gebruik te maken van het lichtgewicht 5B model en distillatie, bereikte het systeem 26.68 FPS, waarmee het alle baselines versloeg (de op één na snelste, LiveAvatar, bereikte 21.94 FPS).
Kwalitatieve Analyse: Visuele vergelijkingen toonden aan dat terwijl baselines leden onder veranderingen in objectvorm/kleur, abrupte camerashifts of het niet opvolgen van actie-instructies, InteractiveAvatar een consistente objectverschijning (bijv. een horloge) behield en complexe acties (bijv. zitten, op een horloge kijken) correct uitvoerde in lijn met de gebruikersintentie.
Ablatie Studies: Het verwijderen van de LSVM-module veroorzaakte een significante daling in objectconsistentie (OBJ daalde van 85.2 naar 78.4). Het verwijderen van de RRM-componenten resulteerde in een verlies van intentie-bewuste acties, waardoor het systeem terugviel op eenvoudige verbale responsen. Het verwijderen van de DMD-distillatie zorgde ervoor dat de inferentiesnelheid kelderde naar 1.27 FPS.

Betekenis

Het artikel beweert dat InteractiveAvatar de kloof overbrugt tussen hoogwaardige avatar-generatie en realistische, interactieve digitale mensen. Door gezamenlijk de uitdagingen van langdurige visuele consistentie en intentie-bewuste responsiviteit op te lossen, biedt het framework een praktisch fundament voor de volgende generatie immersieve toepassingen. De auteurs benadrukken dat hun aanpak avatars in staat stelt om niet alleen te spreken, maar ook contextueel relevante acties uit te voeren en visuele stabiliteit te behouden tijdens uitgebreide interacties, waarmee ze bewegen van eenvoudige reactieve systemen naar volledig intentie-bewuste digitale agenten.