SARAH: Spatially Aware Real-time Agentic Humans

Each language version is independently generated for its own context, not a direct translation.

Immagina di entrare in una stanza virtuale e trovare un "amico digitale" che ti aspetta. Finora, questi amici digitali avevano un grosso problema: erano come statue che parlavano. Se tu ti spostavi per la stanza, loro rimanevano immobili, fissi nello spazio, guardando dritto davanti a sé come se non avessero notato che eri lì. O peggio, se iniziavi a camminare intorno a loro, loro non ti seguivano con lo sguardo, rompendo l'illusione che fossero davvero presenti.

Il paper che hai condiviso, intitolato SARAH, risolve esattamente questo problema. Ecco una spiegazione semplice di come funziona, usando delle metafore quotidiane.

1. Il Problema: L'Amico "Zombie"

Pensa a un vecchio videogioco o a una videochiamata su Zoom dove la telecamera è fissa. Se il tuo amico si muove, tu lo vedi muoversi, ma lui non reagisce al tuo movimento.
I vecchi metodi per creare avatar parlanti funzionavano così: ascoltavano la tua voce e facevano gesti con le mani (come se stessero recitando una commedia), ma ignoravano completamente dove eri tu nella stanza. Non sapevano che dovevano girarsi verso di te se ti avvicinavi.

2. La Soluzione: SARAH, l'Amico "Consapevole"

SARAH è un nuovo sistema che dà all'avatar una vera consapevolezza spaziale.

Ascolta e Guarda: Non solo ascolta cosa dici, ma "sente" dove sei. Se ti muovi a sinistra, l'avatar gira la testa e il corpo verso di te, proprio come farebbe una persona reale.
Tempo Reale: La cosa più incredibile è che fa tutto questo istantaneamente. Non ci pensa due volte, non guarda il futuro (cosa impossibile per un umano), ma reagisce al momento presente, mentre tu parli e cammini.

3. Come Funziona: La "Cintura di Sicurezza" e il "Motore"

Per far funzionare tutto questo in tempo reale, gli scienziati hanno usato due trucchi intelligenti:

Il VAE (Il Compattatore): Immagina di dover spedire un grande mobile (il movimento del corpo) in un pacco piccolo. Il sistema prima "compatta" il movimento in un codice segreto molto veloce da elaborare. Invece di guardare tutto il filmato intero (che richiederebbe tempo), guarda solo quello che è successo fino a un attimo fa, come se leggesse un libro pagina per pagina senza saltare avanti. Questo permette di essere velocissimi (300 volte al secondo!).
Il Motore di Flusso (Il Generatore): Una volta che ha il codice, usa un "motore" che disegna il movimento frame per frame. Questo motore è addestrato su migliaia di ore di conversazioni reali tra persone che camminano e parlano, quindi sa esattamente come muoversi in modo naturale.

4. Il Tocco Magico: Il "Selettore del Contatto Visivo"

Una delle cose più belle è che puoi decidere quanto l'avatar debba guardarti.

Pensa a un manopola del volume, ma per gli occhi.
Se vuoi un contatto visivo intenso (come in una conversazione seria), giri la manopola al massimo: l'avatar ti guarderà dritto negli occhi.
Se vuoi un'interazione più rilassata o se l'avatar deve guardare altrove per sembrare naturale, giri la manopola verso il basso.
Il sistema impara a bilanciare tutto questo da solo, ma tu hai il controllo finale.

5. Perché è Importante?

Prima di SARAH, gli avatar erano come attori che recitavano su un palco vuoto: facevano i loro gesti, ma non interagivano davvero con il pubblico.
Ora, con SARAH, l'avatar è come un partner di danza. Se tu fai un passo, lui si adatta. Se ti allontani, lui ti segue con lo sguardo. Se ti avvicini, lui si gira.

In sintesi:
SARAH è il primo sistema che permette a un "umano digitale" di vivere nella tua stanza virtuale, guardarti negli occhi mentre cammini e parlarti, tutto in tempo reale, senza mai sembrare un robot rigido. È un passo enorme per rendere la realtà virtuale e i metaversi luoghi dove ci si sente davvero connessi, non solo guardando uno schermo.

Each language version is independently generated for its own context, not a direct translation.

1. Il Problema

Gli agenti conversazionali incarnati (embodied agents) stanno diventando centrali nella realtà virtuale (VR), nella telepresenza e nelle applicazioni di umani digitali. Tuttavia, le metodologie attuali presentano limitazioni significative:

Mancanza di consapevolezza spaziale: La maggior parte dei metodi esistenti genera gesti sincronizzati con la voce (monodici) ma ignora la posizione e il movimento dell'interlocutore. Gli agenti tendono a fissare un punto fisso o a non reagire ai movimenti dell'utente, rompendo l'illusione della presenza.
Mancanza di causalità e real-time: Le tecniche state-of-the-art spesso richiedono l'accesso a frame futuri (non causali) o sono troppo lente per l'elaborazione in streaming, rendendole inadatte a dispositivi VR in tempo reale.
Dataset inadeguati: I dataset esistenti per la generazione di gesti dyadici (a due persone) spesso simulano videochiamate statiche, dove i partecipanti non si muovono nello spazio, mancando delle dinamiche spaziali necessarie per apprendere comportamenti reattivi.

L'obiettivo è creare un sistema che generi movimento corporeo completo per un agente virtuale che sia:

Conversazionalmente appropriato: I gesti devono allinearsi naturalmente alla voce.
Spazialmente consapevole: L'agente deve orientarsi verso l'utente e reagire ai suoi spostamenti.
Controllabile: L'intensità del contatto visivo (gaze) deve essere regolabile in base alle preferenze dell'utente.
In tempo reale: La generazione deve essere causale (senza accesso al futuro) e sufficientemente veloce per lo streaming.

2. Metodologia

SARAH propone un'architettura end-to-end che combina un VAE (Variational Autoencoder) basato su Transformer causale con un modello di Flow Matching.

Rappresentazione del Movimento

Per migliorare la stabilità dell'addestramento e il controllo preciso degli effettori finali, gli autori abbandonano la rappresentazione tradizionale basata su rotazioni articolari locali. Invece, utilizzano una rappresentazione euclidea completa:

Ogni articolazione è codificata come un icosaedro 3D.
Il baricentro dei vertici fornisce la posizione globale ( $\Pi_j$ ).
L'orientamento globale ( $\Omega_j$ ) viene recuperato tramite SVD rispetto a un icosaedro di riferimento.
Questa rappresentazione evita la propagazione di errori tipica delle rotazioni locali e facilita il controllo della geometria superficiale.

Architettura del Modello

Il sistema è composto da due fasi principali:

Causal Transformer-based VAE:
- Comprime il movimento in una sequenza latente temporale.
- Introduce un meccanismo innovativo di token latenti intercalati a una fissa stride temporale.
- Sia l'encoder che il decoder utilizzano attenzione causale: ogni frame e ogni token latente ( $\mu_k, \sigma_k$ ) possono attendere solo ai frame passati e ai token latenti precedenti. Questo permette l'inferenza in streaming senza sacrificare la coerenza temporale.
Flow Matching Model:
- Genera il movimento nello spazio latente condizionato da:
  - La posizione della testa dell'utente (proiettata a terra).
  - Le tracce audio di entrambi i parlanti (agente e utente, estratte tramite HuBERT).
- Utilizza un meccanismo di Classifier-Free Guidance per il controllo fine del contatto visivo.

Controllo dello Sguardo (Gaze Guidance)

Per gestire la variabilità delle preferenze di contatto visivo, gli autori introducono un punteggio di sguardo ( $g$ ):

$g$ è il prodotto scalare tra la direzione di fronte dell'agente e la direzione verso l'utente (valore tra -1 e 1).
Durante l'inferenza, l'utente può specificare un target per $g$ . Il modello utilizza il classifier-free guidance per orientare l'output verso l'intensità desiderata, decollando l'apprendimento della distribuzione naturale dal controllo specifico.

3. Contributi Chiave

Primo metodo real-time e causale: SARAH è il primo sistema in grado di generare movimento conversazionale spazialmente consapevole in tempo reale su dispositivi VR in streaming.
Architettura Ibrida Innovativa: L'uso di un VAE causale con token intercalati combinato con Flow Matching permette di superare i limiti di velocità dei modelli diffusion tradizionali, raggiungendo oltre 300 FPS.
Decoupling di Apprendimento e Controllo: Il meccanismo di guida dello sguardo permette di apprendere comportamenti naturali dai dati (inclusi momenti di distacco) ma di regolarli dinamicamente in fase di inferenza.
Nuovo Dataset e Valutazione: Il lavoro si basa su Embody 3D, il primo dataset che cattura le dinamiche spaziali (proxemics) realistiche in conversazioni dyadiche in movimento, superando i limiti dei dataset statici precedenti.

4. Risultati

Il metodo è stato valutato sul dataset Embody 3D e confrontato con baseline non causali (MDM, A2P) e causali (SHOW, A2P adattato).

Qualità del Movimento: SARAH ottiene lo stato dell'arte (SOTA) su Embody 3D, superando i metodi non causali in termini di qualità del movimento (FGD più basso) e coerenza spaziale.
Velocità: Il sistema opera a oltre 300 FPS, rendendolo 3 volte più veloce delle baseline non causali (che girano a ~90 FPS) e adatto allo streaming.
Consapevolezza Spaziale:
- Head Alignment: SARAH raggiunge un punteggio di allineamento dello sguardo di 0.83 (su una scala da -1 a 1), paragonabile ai metodi non causali che hanno accesso ai frame futuri, dimostrando che il comportamento reattivo può essere appreso causalmente.
- Foot Slide: Il metodo riduce drasticamente lo "scivolamento dei piedi" (0.01) rispetto ai metodi basati su diffusion diretta nello spazio euclideo (es. MDM: 0.11).
Controllabilità: Variando il parametro di guida $g$ , è possibile modulare l'intensità del contatto visivo da "distacco" a "contatto costante" mantenendo la qualità del movimento e la naturalezza.

5. Significato e Impatto

SARAH rappresenta un passo fondamentale verso agenti virtuali realmente "presenti" negli ambienti immersivi.

Deployabilità: La natura causale e l'alta velocità di inferenza rendono possibile l'integrazione in sistemi VR commerciali e dispositivi di streaming, eliminando la latenza che rompe l'immersione.
Interazione Naturale: Permette agli agenti di comportarsi come esseri umani reali, adattando la postura e lo sguardo al movimento dell'interlocutore, un requisito fondamentale per la telepresenza e l'assistenza robotica sociale.
Futuro della Ricerca: Il lavoro apre la strada a interazioni multi-partecipante dinamiche e sottolinea l'importanza di dataset che catturino la complessità spaziale delle interazioni umane reali.

In sintesi, SARAH risolve il compromesso storico tra qualità, consapevolezza spaziale e velocità di esecuzione, fornendo la prima soluzione pratica per agenti conversazionali incarnati in tempo reale.