Resumo Técnico: ARGaze: Transformers Autorregressivos para Estimativa de Olhar Egocêntrico Online

Definição do Problema

O artigo aborda a estimativa de olhar egocêntrico online, a tarefa de prever para onde o usuário de uma câmera está olhando usando apenas quadros de vídeo passados e atuais. Diferente da estimativa de olhar em terceira pessoa, que depende de sinais observáveis de postura da cabeça e pistas oculares, os ambientes egocêntricos carecem de sinais faciais diretos. Em vez disso, os modelos devem inferir a atenção visual a partir de pistas esparsas e indiretas, como o conteúdo da cena e interações mão-objeto.

As abordagens convencionais atuais enquadram isso como um problema de integração espaço-temporal offline baseado em clipes. Esses métodos tipicamente empregam convoluções 3D ou mecanismos de atenção bidirecional que exigem acesso ao contexto temporal futuro. Essa arquitetura viola as restrições de tempo real, tornando-os impraticáveis para aplicações de streaming como Realidade Aumentada (RA) e robótica assistiva. Além disso, esses modelos frequentemente tratam os quadros como clipes paralelizados em vez de sequências comportamentais contínuas, falhando em capturar a estabilidade fisiológica das fixações humanas e levando a previsões erráticas sob perturbações visuais.

Metodologia: ARGaze

Os autores propõem o ARGaze, um framework que reformula a estimativa de olhar como uma tarefa de geração de sequência autorregressiva causal. Inspirado pela decodificação condicionada à visão em modelos de linguagem-visão, o ARGaze prevê mapas de calor de olhar sequencialmente, condicionando cada previsão às características visuais atuais e a um histórico limitado de estimativas de olhar anteriores.

O framework consiste em cinco componentes principais:

1. Codificador de Cena (Scene Encoder): Utiliza um modelo de fundação de visão pré-treinado (DINOv3) para extrair características espaço-temporais hierárquicas do quadro atual ($I_t$). Ele também incorpora Templates Sensíveis ao Rastreamento (Tracking-aware Templates), que são recortes localizados de alta resolução de quadros históricos centrados nas coordenadas de olhar previamente previstas. Esses templates fornecem priors visuais específicos para ajudar o modelo a manter a atenção nos alvos durante movimentos rápidos de câmera.
2. Tokenizador de Mapa de Calor Autorregressivo (Autoregressive Heatmap Tokenizer): Converte uma janela limitada de histórico de olhar recente ($H_{t-k:t-1}$) em tokens temporais de alta dimensão. Isso envolve o subamostragem de mapas de calor históricos, projetando-os no espaço latente via convoluções 1$\times$1 e adicionando embeddings temporais e de tipo de token para distinguir entre fixações passadas e tokens de consulta atuais.
3. Módulo de Template Sensível ao Rastreamento (Tracking-aware Template Module): Recorta dinamicamente quadros históricos com base no soft-argmax do mapa de calor da previsão anterior. Isso fornece ao decodificador contexto visual localizado, agindo como uma pista de estilo de rastreamento para desambiguar objetos similares.
4. Decodificador Transformer Causal (Causal Transformer Decoder): A unidade central de processamento que integra tokens de olhar históricos e características visuais (cena global + templates de rastreamento) via camadas de autoatenção e atenção cruzada. Crucialmente, ele opera de forma estritamente causal, acessando apenas observações atuais e passadas. Ele mantém uma janela de histórico limitada, garantindo uma pegada de memória constante, independentemente da duração do vídeo.
5. Cabeça de Reconstrução Espacial (Spatial Reconstruction Head): Um ramo de upsampling convolucional que mapeia os tokens de sequência gerados de volta para o domínio espacial para produzir o mapa de calor de alvo de olhar 2D final ($H_t$).

Treinamento e Inferência:

• Treinamento: O modelo é otimizado usando uma perda de divergência de Kullback-Leibler (KL) entre os mapas de calor previstos e os de referência (ground-truth). Para reduzir a lacuna entre o treinamento (usando histórico de ground-truth) e a inferência (usando histórico previsto), os autores empregam amostragem agendada (scheduled sampling).
• Inferência: O sistema opera de maneira streaming. Para cada quadro que chega, o decodificador gera uma previsão condicionada às características visuais e à janela de histórico de tamanho fixo, garantindo uso de memória constante e responsividade em tempo real.

Principais Contribuições

1. Formulação Autorregressiva Causal: O artigo introduz o ARGaze, que reformula a estimativa de olhar egocêntrico como uma tarefa de previsão de sequência causal, permitindo inferência estritamente online sem contexto futuro.
2. Arquitetura de Memória Limitada: Ao utilizar uma janela de histórico de olhar de comprimento fixo, o método garante o uso de memória constante, suportando streaming de longo horizonte de forma eficiente sem os gargalos computacionais de modelos de sequência ilimitados.
3. Robustez e Precisão Aprimoradas: O framework integra modelagem temporal explícita com compreensão de cena visual, demonstrando melhor robustez contra viés induzido pelas mãos e condições fora da distribuição (OOD) em comparação com métodos anteriores.

Resultados Experimentais

Os autores avaliaram o ARGaze em três benchmarks: EGTEA Gaze+, Ego4D e EgoExo4D.

• Desempenho: O ARGaze alcançou desempenho estado da arte em todos os benchmarks sob avaliação online.
  • No EGTEA Gaze+, alcançou um F1 score de 44,48%, superando a linha de base causal adaptada GLC (41,57%) por quase 3 pontos percentuais.
  • No Ego4D, atingiu um F1 de 41,82%.
  • No EgoExo4D, alcançou 70,58% de F1 e 75,66% de precisão.
• Eficiência: Em testes de streaming de vídeo longo em uma GPU NVIDIA RTX A6000, o ARGaze demonstrou ganhos significativos de eficiência sobre a linha de base GLC:
  • Velocidade de Inferência: Aceleração de 1,82$\times$ (88,59 FPS vs. 48,74 FPS).
  • Latência: Redução da latência média de 20,56 ms para 11,29 ms.
  • Memória: Redução na alocação de memória CUDA em 3,13$\times$ (168,2 MB vs. 526,3 MB).
• Robustez:
  • Fora da Distribuição (OOD): O ARGaze manteve um forte desempenho através de divisões OOD (participantes, locais e tarefas não vistos), sugerindo que captura dinâmicas de atenção transferíveis em vez de sofrer overfitting para pistas específicas de domínio.
  • Dependência de Mãos: Diferente das linhas de base que sofrem de "viés de mão" (rastreando erroneamente mãos em movimento) ou colapso de desempenho quando as mãos estão ocultas, o ARGaze manteve a fixação estável em objetos relevantes para a tarefa ao utilizar trajetórias de olhar históricas para filtrar distrações visuais.
• Testes no Mundo Real: Em experimentos utilizando um headset Meta Quest 3, o ARGaze superou consistentemente a linha de base GLC, melhorando o F1 do Mapa de Calor de 0,0411 para 0,4667 em atividades diárias como organizar uma mesa e fazer café.

Significância e Alegações

O artigo afirma que o ARGaze aborda uma lacuna crítica na literatura existente: o desalinhamento entre os paradigmas de modelagem atuais (que tratam o olhar como clipes paralelizados) e a natureza fisiológica do olhar humano (caracterizado por fixações estáveis e sacadas). Ao impor causalidade estrita e memória limitada, os autores argumentam que a modelagem autorregressiva é essencial para uma previsão robusta e em tempo real em ambientes de streaming.

Os autores posicionam o ARGaze como uma solução prática para Realidade Aumentada e robótica assistiva, onde os sistemas devem antecipar a intenção do usuário e fornecer orientação proativa conforme cada quadro chega. O trabalho enfatiza que a estimativa de olhar precisa, de baixa latência e eficiente em termos de memória é fundamental para sistemas de IA centrados no ser humano que compreendem a intenção do usuário sem depender de sinais explícitos de cabeça ou olhos. Os autores observam que, embora o trabalho avance as capacidades algorítmicas, a implementação futura deve priorizar as considerações de privacidade e ética em relação aos dados sensíveis de intenção do usuário.