SARAH: Spatially Aware Real-time Agentic Humans

Each language version is independently generated for its own context, not a direct translation.

Imagine que você está em uma conversa com um amigo virtual dentro do seu óculos de Realidade Virtual (VR). Até hoje, a maioria desses "amigos" digitais era meio... estranha. Eles ficavam parados, olhando fixamente para frente, como se você não estivesse andando ao redor deles, ou se viravam de um jeito robótico e desajeitado quando você se movia. Era como conversar com um manequim que sabe falar, mas não sabe "sentir" o espaço.

O artigo que você leu apresenta uma nova tecnologia chamada SARAH (Humanos Agentes Espacialmente Conscientes em Tempo Real). Pense no SARAH como a evolução desse amigo virtual: ele não apenas ouve o que você diz, mas sente onde você está e reage como um humano real faria.

Aqui está a explicação simples, usando algumas analogias divertidas:

1. O Problema: O "Manequim Cego"

Antes do SARAH, os agentes virtuais eram como um ator de teatro que só olha para a plateia. Se você se move para o lado, ele continua olhando para a frente. Ele não sabe que você está ali. Ou, se ele tentava olhar para você, parecia um robô travado. Eles não conseguiam fazer duas coisas ao mesmo tempo: conversar naturalmente (com gestos) e se virar para quem está falando.

2. A Solução: O "Dançarino Espacial"

O SARAH é como um dançarino de salão extremamente atento.

Ele ouve a música (sua voz): Ele faz gestos com as mãos que combinam com o que você está dizendo.
Ele sente o parceiro (sua posição): Se você anda para a esquerda, ele vira o corpo para a esquerda para continuar olhando nos seus olhos. Se você se afasta, ele ajusta a postura.
Ele é rápido: Tudo isso acontece em tempo real. Não há atraso. É como se ele estivesse realmente na sala com você.

3. Como a Mágica Acontece (Sem "Ciência Fricção")

Os cientistas usaram três truques principais para fazer isso funcionar:

O "Roteiro" que nunca para (Modelo Causal):
A maioria dos filmes de animação é feita olhando para o futuro (sabe como vai acabar a cena antes de começar). Mas em uma conversa ao vivo, você não sabe o que vai acontecer no próximo segundo. O SARAH usa um sistema que funciona como um jornalista em tempo real: ele escreve o que acontece agora baseado apenas no que acabou de acontecer, sem precisar "ler o futuro". Isso permite que ele rode super rápido (mais de 300 vezes por segundo!).
O "Esqueleto de Vidro" (Representação Euclidiana):
Para ensinar o robô a se mover, os cientistas não usaram apenas ângulos de juntas (que são confusos, como tentar descrever um movimento de braço apenas com números de rotação). Eles usaram uma representação onde cada parte do corpo é como um pequeno globo ou icosaedro flutuando no espaço. É muito mais fácil para o computador entender "onde o pé deve pisar" quando ele vê a posição exata no espaço, em vez de calcular ângulos complexos. Isso evita que o robô "deslize" no chão como se estivesse patinando no gelo.
O "Botão de Contato Visual" (Controle de Olhar):
Sabe como algumas pessoas gostam de muito contato visual e outras preferem olhar um pouco para o lado? O SARAH tem um botão mágico (chamado de gaze score).
- Se você quer um amigo super atencioso, você ajusta o botão para "olhar direto para você".
- Se quer algo mais relaxado, você ajusta para "olhar um pouco para o lado".
  O sistema aprendeu a fazer os dois naturalmente, mas você pode escolher o nível de intimidade que prefere.

4. O Resultado Final

No final, o SARAH cria um avatar que:

Não é um robô: Ele se move de forma fluida, sem travar.
É um bom ouvinte: Ele vira o rosto para você quando você se move.
É rápido: Funciona dentro do seu óculos de VR sem travar o sistema.

Em resumo: O SARAH transforma o avatar virtual de um "boneco de papel" que apenas fala, em um "companheiro de dança" que entende o espaço, segue o ritmo da conversa e respeita o seu espaço pessoal, tudo isso acontecendo instantaneamente. É um grande passo para fazer a gente sentir que realmente estamos conversando com alguém, mesmo que essa pessoa seja feita de código.

Each language version is independently generated for its own context, not a direct translation.

1. O Problema

Os agentes conversacionais incorporados (embodied agents) em Realidade Virtual (RV), telepresença e humanos digitais precisam ir além de gestos alinhados apenas à fala para parecerem verdadeiramente presentes. Os métodos atuais falham em três aspectos críticos:

Falta de Consciência Espacial: A maioria dos métodos é "monádica" (foca apenas no falante) ou assume participantes estáticos e frontais (como em chamadas de vídeo), ignorando a dinâmica de movimento em interações presenciais reais.
Ausência de Raciocínio Situado: Os agentes não reagem ao movimento do usuário, não viram-se para ele e não mantêm um contato visual natural, quebrando a ilusão de presença.
Limitações de Tempo Real: As melhores técnicas existentes (baseadas em difusão não causal) exigem acesso a quadros futuros, o que impede a inferência em streaming e o uso em dispositivos de RV ao vivo.

O objetivo é criar um sistema que gere movimento corporal completo em tempo real, que seja causal (sem acesso ao futuro), espacialmente consciente (reaja à posição do usuário) e controlável (ajustável em termos de intensidade do contato visual).

2. Metodologia

A arquitetura proposta, SARAH, combina três componentes principais para gerar movimento 3D a partir da posição do usuário e áudio diádico (agente + usuário):

A. Representação de Movimento Euclidiana

Em vez de usar rotações de juntas locais (que podem causar erros de propagação e instabilidade), o modelo utiliza uma representação totalmente euclidiana.

Cada junta é codificada como um icosaedro 3D. O centróide dos vértices fornece a posição global, e a decomposição SVD (Singular Value Decomposition) contra um icosaedro de referência recupera a orientação global.
Isso permite um treinamento mais estável e um controle preciso dos efetores finais (extremidades).

B. VAE Baseado em Transformer Causal com Tokens Intercalados

Para permitir a inferência em streaming sem sacrificar a coerência temporal:

Utiliza-se um VAE (Autoencoder Variacional) baseado em Transformer causal.
Diferente de VAEs tradicionais que colocam tokens latentes apenas no início da sequência, o SARAH intercala tokens latentes ( $\mu, \sigma$ ) em intervalos fixos ao longo da sequência temporal.
Tanto o codificador quanto o decodificador usam atenção causal (cada frame atende apenas a quadros anteriores e tokens latentes anteriores), permitindo a geração passo a passo.

C. Modelo de Flow Matching para Geração

O gerador de movimento opera no espaço latente comprimido pelo VAE:

Utiliza um modelo de Flow Matching (correspondência de fluxo) baseado em Transformer.
O modelo é condicionado em: posição da cabeça do usuário projetada no chão, áudio do agente e áudio do usuário.
Para inferência em tempo real, o modelo gera latentes autoregressivamente, mantendo um buffer de histórico e usando imputação para garantir consistência temporal sem colapso de modo.

D. Mecanismo de Controle de Olhar (Gaze Guidance)

Para lidar com a variabilidade cultural e pessoal no contato visual:

Introduz-se um escore de olhar ( $g$ ) calculado como o produto escalar entre a direção de frente do agente e a direção para o usuário.
Utiliza-se Guia Livre de Classificador (Classifier-Free Guidance) durante a inferência. O usuário pode definir um alvo de $g$ (de -1, olhando para longe, até 1, olhando diretamente) para controlar a intensidade do contato visual, desacoplando o aprendizado da distribuição natural do controle do usuário.

3. Principais Contribuições

Primeiro Método Causal e em Tempo Real: É a primeira abordagem capaz de gerar movimento conversacional espacialmente consciente em streaming, sem acesso a quadros futuros.
Arquitetura Híbrida Inovadora: Combina um VAE causal com tokens intercalados e Flow Matching, alcançando mais de 300 FPS (3x mais rápido que baselines não causais).
Controle de Interação Espacial: Permite ajustar dinamicamente o nível de engajamento (olhar) do agente em tempo de inferência, algo não presente em métodos anteriores.
Representação de Movimento Estável: A codificação euclidiana baseada em icosaedros supera as representações tradicionais de ângulos de junta em termos de estabilidade de treinamento e precisão de contato com o chão (foot sliding).

4. Resultados Experimentais

O modelo foi avaliado no conjunto de dados Embody 3D (o primeiro a capturar proxêmica espacial realista em conversas dinâmicas).

Qualidade de Movimento: O SARAH alcança o estado da arte (SOTA) em qualidade de movimento (FGD - Fréchet Gesture Distance), superando métodos não causais como MDM e A2P, que são 3x mais lentos.
Alinhamento de Olhar: O modelo atinge um alinhamento de olhar de 0.83 (em uma escala onde 1 é olhar direto), igualando métodos não causais que têm acesso a informações futuras, demonstrando que o comportamento espacial reativo pode ser aprendido causalmente.
Velocidade: Opera a >300 FPS, permitindo a implantação em headsets de RV ao vivo.
Controle: Ajustar o parâmetro de guia de olhar ( $g$ ) permite modular a intensidade do contato visual sem degradar significativamente a qualidade do movimento, permitindo desde desvio de olhar até contato direto constante.
Ablações: A remoção da representação euclidiana (usando juntas IK) piora o alinhamento do olhar e aumenta o "foot sliding" (deslize dos pés). A remoção do VAE reduz a velocidade pela metade e aumenta o erro de distribuição.

5. Significado e Impacto

O trabalho SARAH representa um avanço fundamental para a interação humano-computador em ambientes imersivos. Ao resolver o problema da consciência espacial em tempo real, ele permite que avatares digitais não apenas "falem", mas "estejam presentes" no espaço compartilhado com o usuário.

Aplicações Práticas: Viabiliza companheiros de RV, telepresença realista e robôs sociais que podem caminhar, virar-se e reagir ao movimento humano de forma natural.
Viabilidade de Produção: A velocidade de inferência e a arquitetura causal tornam a tecnologia pronta para ser integrada em sistemas de streaming e dispositivos de consumo, superando a barreira de latência que limitava as soluções anteriores.

Em resumo, o SARAH preenche a lacuna entre a geração de gestos baseada em fala e a interação social espacialmente inteligente, oferecendo um agente virtual que se comporta como um parceiro de conversa humano em movimento.