SARAH: Spatially Aware Real-time Agentic Humans

Deze paper introduceert SARAH, een real-time, volledig causale methode die digitale agenten in VR in staat stelt om niet alleen gebaren te synchroniseren met spraak, maar ook hun lichaamshouding en blik dynamisch aan te passen aan de positie en beweging van de gebruiker, met een snelheid van meer dan 300 FPS.

De kern

Stel je voor dat je in een virtuele wereld loopt en praat met een digitale vriend. Tot nu toe waren deze digitale vrienden een beetje stijf: ze keken altijd recht vooruit, alsof ze door een muur staren, of ze liepen weg terwijl je nog midden in een zin zat. Dat voelt niet echt "aanwezig".

Het papier "SARAH" (Spatially Aware Real-time Agentic Humans) introduceert een nieuwe manier om deze digitale vrienden slim en levendig te maken. Hier is de uitleg in simpele taal, met een paar creatieve vergelijkingen:

1. Het Probleem: De "Stijve Pop"

Vroeger waren digitale avatars als poppen die alleen bewogen als je ze een commando gaf. Als jij om hen heen liep, draaiden ze niet mee. Ze hadden geen idee waar jij was. Het was alsof je tegen een standbeeld praatte.

2. De Oplossing: SARAH, de "Aandachtige Danspartner"

SARAH is als een uitstekende danspartner die je precies voelt.

• Ruimtelijk bewust: Als jij naar links loopt, draait SARAH zich automatisch naar jou toe. Als jij stopt, stopt SARAH ook. Het voelt alsof ze echt in dezelfde kamer met je is.
• Reageert op geluid: Ze maakt gebaren die passen bij wat je zegt (net als wanneer je met je handen spreekt).
• Snelheid: Dit gebeurt in echt real-time. Geen wachttijd. Het is alsof ze direct op je reactie reageert, zonder dat er een seconde verloopt.

3. Hoe werkt het? (De "Magische Trucs")

De onderzoekers hebben drie slimme trucs bedacht om dit mogelijk te maken:

A. De "Tijdsleuf" (Causale VAE)
Stel je voor dat je een film moet maken, maar je mag alleen kijken naar wat er nu gebeurt en wat er eerder is gebeurd. Je mag niet naar de toekomst kijken.

• De meeste slimme computersystemen kijken naar de hele film vooruit om te weten wat er gaat gebeuren. Dat is te traag voor een VR-bril.
• SARAH gebruikt een tijdsleuf-methode. Het kijkt alleen naar het verleden en het heden, maar doet dit zo slim dat het toch een perfect beeld maakt. Het is alsof je een dansstap voorspelt op basis van de muziek die je net hebt gehoord, zonder te weten welke noot er over 10 seconden komt.

B. De "Stabiele Bouwstenen" (Euclidische Representatie)
Vaak proberen computers bewegingen te berekenen door te rekenen met hoeken van gewrichten (zoals een pop met schroeven). Dat kan soms "uit elkaar vallen" of rare bewegingen geven.

• SARAH gebruikt in plaats daarvan 3D-icoëdrons (denk aan een bolletje met 12 vlakjes) rondom elk gewricht.
• De analogie: In plaats van te proberen de hoek van een schroef te raden, kijkt SARAH naar de positie van het hele bolletje. Dit maakt de beweging veel stabieler en voorkomt dat de avatar "skate" over de vloer (een bekend probleem waarbij voeten door de grond glijden).

C. De "Blikknop" (Gaze Control)
Soms wil je dat je digitale vriend je recht in de ogen kijkt (voor een intense discussie), en soms wil je dat hij wat meer wegkijkt (voor een ontspannen praatje).

• SARAH heeft een blikknop. Je kunt tijdens het gesprek instellen hoe intens de oogcontact moet zijn.
• De analogie: Het is alsof je een dimmer hebt voor een lamp. Je kunt de "oogcontact-lamp" op 100% zetten (altijd kijken) of op 50% (af en toe wegkijken), en SARAH past zijn bewegingen daar direct op aan zonder dat hij onnatuurlijk wordt.

4. Waarom is dit zo snel?

De meeste andere systemen zijn als een zware vrachtwagen: ze zijn krachtig, maar traag en hebben veel tijd nodig om te rekenen. SARAH is als een sportfiets: licht, wendbaar en razendsnel.

• Het systeem werkt met 300 beelden per seconde. Dat is zo snel dat je het op een gewone VR-bril kunt gebruiken zonder dat het vastloopt.
• Het is 3 keer sneller dan de beste systemen die er nu zijn, en dat terwijl het beter is in het volgen van de gebruiker.

Samenvatting

SARAH is de eerste digitale vriend die echt "aanvoelt" alsof hij in dezelfde ruimte met je is. Hij draait zich naar jou toe, beweegt mee met je stappen en reageert op wat je zegt, allemaal in een flits. En het beste van alles: je kunt zelf bepalen hoe intens hij je aankijkt, zodat het gesprek voelt zoals jij wilt.

Het is een grote stap van "een poppetje dat gebaren maakt" naar "een levendige persoon die met je meedoet".

Technische samenvatting

Probleemstelling

Bestaande methoden voor het genereren van beweging voor geëmbodieerde virtuele agenten (zoals in VR en telepresence) missen vaak ruimtelijk bewustzijn. De meeste huidige systemen zijn "monadisch": ze genereren gebaren op basis van spraak, maar negeren de positie en beweging van de gesprekspartner. Dit leidt tot onnatuurlijke interacties waarbij agenten staren vooruit terwijl de gebruiker beweegt, of juist weglopen tijdens een zin.
Er zijn vier kritieke eisen die momenteel niet gelijktijdig worden vervuld:

1. Conversatie-adequaatheid: Gebaren moeten synchroon lopen met spraak.
2. Ruimtelijk bewustzijn: De agent moet zich naar de gebruiker keren en reageren op diens beweging.
3. Controleerbaarheid: Het oogcontact (gaze) moet aanpasbaar zijn aan persoonlijke voorkeuren en sociale context.
4. Real-time prestaties: Generatie moet causaal zijn (geen toegang tot toekomstige frames) en snel genoeg zijn voor streaming VR-apparaten.

Huidige state-of-the-art methoden zijn vaak te traag, vereisen niet-causale toegang tot toekomstige data, of missen de dynamiek van fysieke interactie.

Methodologie

De auteurs presenteren SARAH, een architectuur die volledige 3D-beweging genereert voor een virtuele agent op basis van de positie van de gebruiker en dyadische audio (spraak van zowel gebruiker als agent).

1. Bewegingsrepresentatie (Euclidean Surface-Point)
In plaats van traditionele lokale gewrichtshoeken te voorspellen (wat leidt tot foutpropagatie en ambiguïteit), gebruiken de auteurs een volledig Euclidische representatie.

• Elk gewricht wordt gemodelleerd als een 3D-icosahedron.
• De positie wordt bepaald door het zwaartepunt van de hoekpunten, en de oriëntatie wordt hersteld via SVD (Singular Value Decomposition) tegen een referentie.
• Dit zorgt voor stabielere training en precieze controle over eind-effectoren (zoals handen en hoofd).

2. Causale Transformer-VAE met Interleaved Latents
Om streaming-inferentie mogelijk te maken, gebruiken ze een Variational Autoencoder (VAE) gebaseerd op een causale transformer:

• Interleaved Latent Tokens: Latente tokens ($\mu, \sigma$) worden op vaste tijdsintervallen (stride) in de sequentie geplaatst, in plaats van alleen aan het begin.
• Causale Attention: Zowel de encoder als decoder gebruiken causale attention, wat betekent dat elke frame alleen kijkt naar het verleden en eerdere latente tokens. Dit maakt streaming zonder toekomstige informatie mogelijk.
• De encoder comprimeert beweging naar een latente ruimte; de decoder reconstrueert deze.

3. Flow Matching Model voor Generatie
De beweging wordt gegenereerd in de latente ruimte door een Flow Matching model (een variant van diffusion-modellen die sneller convergeren).

• Conditioning: Het model wordt getraind op de gebruikerstrajectorie (geprojecteerde hoofdpositie) en de audio van beide sprekers.
• Inferentie: Het model werkt autoregressief. Om temporale consistentie te behouden zonder expliciete conditioning op het verleden (wat tot mode collapse leidt), gebruiken ze een imputatiestrategie waarbij ruis in het verleden wordt vervangen door geschatte waarden.

4. Controleerbaar Gaze (Oogcontact) via Classifier-Free Guidance
Om oogcontact aan te passen zonder de modeltraining te verstoren, introduceren ze een gaze scoring mechanism:

• Een score $g$ wordt berekend op basis van de hoek tussen de richting van de agent en de gebruiker ($g=1$ betekent recht naar de gebruiker kijken, $g=-1$ wegkijken).
• Tijdens training wordt deze score willekeurig gedropt (5% kans) om classifier-free guidance mogelijk te maken.
• Tijdens inferentie kunnen gebruikers een gewenste $g$-waarde instellen. Het model wordt dan zachtjes gestuurd naar deze oriëntatie, terwijl het de natuurlijke variatie behoudt.

Belangrijkste Bijdragen

1. Eerste real-time, causale methode: SARAH is het eerste systeem dat volledige, ruimtelijk bewuste conversatiemotie in real-time genereert (>300 FPS) zonder toegang tot toekomstige data.
2. Decoupling van Learning en Control: Door gaze te leren uit de data en te sturen via guidance tijdens inferentie, kunnen gebruikers oogcontactintensiteit aanpassen zonder het model opnieuw te hoeven trainen.
3. Nieuwe Bewegingsrepresentatie: De introductie van de Euclidische icosahedron-representatie verbetert trainingsstabiliteit en elimineert artefacten zoals "foot sliding".
4. Embody 3D Dataset: Het gebruik van de Embody 3D dataset, de eerste die realistische proxemiek (ruimtelijke interactie) in dynamische, bewegende gesprekken vastlegt.

Resultaten

De methode is geëvalueerd op de Embody 3D dataset en vergeleken met bestaande methoden (zoals MDM, A2P, SHOW) en ablaties.

• Snelheid: SARAH draait op >300 FPS, wat 3x sneller is dan niet-causale baselines (die rond de 90 FPS draaien) en geschikt is voor streaming VR.
• Kwaliteit (FGD): De Fréchet Gesture Distance (FGD) is 1.28, wat aanzienlijk beter is dan MDM (3.48) en vergelijkbaar met of beter dan andere generatieve methoden.
• Ruimtelijk Bewustzijn (Head Angle): De agent kijkt met een score van 0.83 naar de gebruiker (waarbij 1.0 perfect is), wat vergelijkbaar is met niet-causale methoden die toekomstige data hebben, maar bereikt dit puur causaal.
• Naturaliteit: De methode toont minder "foot sliding" (0.01) en hogere expressiviteit (polsvariatie) dan concurrenten.
• Controle: Door de gaze-score te variëren van 0.0 tot 1.0, kunnen gebruikers het oogcontact van "wegkijken" tot "altijd kijken" instellen, met een lineaire respons in de output.

Betekenis en Impact

Dit paper markeert een doorbraak in de ontwikkeling van virtuele agenten voor immersive omgevingen. Door het probleem van ruimtelijk bewustzijn op te lossen in real-time, maakt SARAH het mogelijk om agenten te creëren die niet alleen spreken, maar ook aanwezig voelen door natuurlijk te reageren op de fysieke beweging van de gebruiker.

De techniek is direct toepasbaar in productieomgevingen zoals VR-companions, telepresence avatars en sociale robots. Het bewijst dat complexe, causale generatieve modellen met flow-matching en VAE's efficiënt genoeg zijn voor live-toepassingen, terwijl ze tegelijkertijd de subtiliteit van menselijke sociale interactie (zoals oogcontact en gebaren) behouden.