Resumo Técnico: EgoGazeLite

Definição do Problema

A implantação de Modelos de Linguagem de Grande Escala Multimodais (MLLMs) para a compreensão de vídeo egocêntrico em dispositivos vestíveis é limitada por um orçamento estrito de tokens. Os MLLMs tipicamente codificam a entrada visual via Vision Transformers, onde os custos de memória e computação escalam linearmente com o número de tokens visuais, que, por sua vez, dependem da resolução e duração do vídeo. Vídeos de alta resolução são proibitivamente caros para transmitir e processar em escala.

Trabalhos anteriores, especificamente o GazeLLM, abordaram isso recortando os quadros de vídeo ao redor do ponto de olhar do usuário antes do processamento, reduzindo os tokens visuais em aproximadamente dez vezes, mantendo a qualidade da descrição. No entanto, o GazeLLM depende inteiramente de hardware dedicado de rastreamento ocular, que está ausente nos atuais óculos inteligentes de consumo. Isso cria uma barreira de entrada para a compreensão condicionada pelo olhar que seja eficiente em termos de tokens. O desafio central é determinar se um preditor de olhar baseado apenas em software pode substituir com precisão o olhar medido por hardware sem degradar o desempenho do MLLM a jusante, permanecendo leve o suficiente para rodar no dispositivo dentro dos orçamentos de energia e computação de um smartphone.

Metodologia

Arquitetura EgoGazeLite

Os autores propõem o EgoGazeLite, um preditor de olhar leve de processo duplo projetado para implantação em dispositivos. Ele baseia-se na estrutura de processo duplo identificada por Huang et al. [10] como uma forte linha de base não-Transformer, mas introduz três modificações arquiteturais para reduzir o custo computacional:

1. Backbone Compartilhado: Substitui fluxos espaciais e temporais separados por um único backbone EfficientNet-Lite4 compartilhado, inicializado com pesos do ImageNet.
2. Diferença Temporal de Nível de Recurso: Substitui o fluxo óptico denso por uma subtração simples de nível de recurso ($\Delta F = \text{BatchNorm}(F_t - F_{t-1})$) para capturar movimento.
3. Fusão Residual: Substitui a fusão convolucional não linear por um módulo de fusão residual que opera no espaço de logits, permitindo que o mapa de atenção refine ou suprima a predição de saliência sem saturação.

A arquitetidade consiste em:

• Caminho Bottom-up: Computa um mapa de calor de saliência ($G^s_t$) a partir da entrada visual isolada, incorporando um viés de centro Gaussiano 2D aprendível para considerar o viés de olhar egocêntrico.
• Caminho Top-down: Rastreia a atenção com base no histórico de fixação. Ele extrai pesos de canal da localização de olhar anterior, propaga-os via um LSTM com portões (gated por uma decisão de fixação/sacada I-DT online) e os aplica aos recursos do quadro atual para gerar um mapa de calor de atenção ($G^a_t$).
• Fusão: Combina $G^s_t$ e $G^a_t$ usando um módulo residual para produzir o mapa de calor de predição final $G_t$, do qual a coordenada do olhar é extraída via argmax.

Pipeline de Recorte Guiado pelo Olhar

O sistema segue o protocolo GazeLLM:

1. Entrada: Clipes de origem de 1404×1404 a 30 fps do dataset Ego-Exo4D.
2. Processamento: Os quadros são amostrados a 1 fps. Uma janela fixa de 448×448 é centrada na coordenada do olhar (ou prevista pelo EgoGazeLite ou do ground-truth de um rastreador ocular).
3. Condições: O estudo compara quatro condições: Resolução total, Recorte de olhar ground-truth, Recorte de olhar previsto e um Recorte central (baseline).
4. Avaliação: Os clipes recortados são alimentados em MLLMs (Gemini 2.5 Flash e Pro) para gerar descrições de atividade passo a passo. Estas são pontuadas contra referências de resolução total usando métricas automatizadas (BLEU, ROUGE-L, SBERT) e juízes LLM (Claude Sonnet 4.6, GPT-4o).

Configuração Experimental

• Dataset: Ego-Exo4D (Óculos Project Aria Gen 1). Treinamento em sete domínios (Culinária, Futebol, Saúde, Reparo de Bicicleta, Dança, Escalada, Música); Basquete foi mantido como conjunto de teste.
• Conjunto de Teste de Substituição: Um conjunto mantido à parte de 138 clipes cobrindo seis categorias de tarefas, garantindo que não haja sobreposição com o conjunto de treinamento.
• Avaliação de Hardware: O pipeline completo foi testado em um iPhone 15 Pro para medir a latência de ponta a ponta.

Principais Contribuições

1. Substituição do Olhar Medido pelo Olhar Previsto: O artigo demonstra que o olhar previsto por um modelo leve pode substituir o olhar medido por hardware no pipeline do GazeLLM. Através de dois MLLMs, três métricas automatizadas e dois juízes LLM, os recortes de olhar previsto não mostraram diferença significativa em relação aos recortes de olhar ground-truth na qualidade da descrição a jusante.
2. Confirmação de Equivalência: Usando Dois Testes Unilaterais (TOST), os autores confirmaram a equivalência em todas as dez células de avaliação (2 MLLMs × 5 métricas/juízes). A diferença entre as condições de olhar previsto e ground-truth foi menor que metade do desvio padrão agrupado, satisfazendo a margem de equivalência primária.
3. Eficiência do EgoGazeLite: O modelo alcança este desempenho com 15,7M de parâmetros e 6,71 GFLOPs, representando uma redução de 8,6 vezes nos FLOPs em comparação com modelos de olhar egocêntrico de estado da arte anteriores (Huang et al. [10] e Lai et al. [13]).
4. Desempenho em Tempo Real no Dispositivo: O pipeline completo de olhar e recorte roda de ponta a ponta em 21,6 ms/quadro (aprox. 46 FPS) em hardware acelerador de consumo (Neural Engine do iPhone 15 Pro), tornando-o viável para implantação em tempo real.

Resultados

• Precisão: No conjunto de validação in-distribution, o EgoGazeLite alcançou um Erro Angular Médio (AAE) de 8,33° e um AUC de 0,9655.
• Qualidade a Jusante:
  • Tanto os recortes de olhar previsto quanto os de ground-truth superaram significativamente o baseline de recorte central em todas as métricas.
  • A diferença entre os recortes de olhar previsto e ground-truth foi estatisticamente não significativa (menor p-valor corrigido = 0,054).
  • Os tamanhos de efeito ($d_z$) foram consistentemente pequenos (< 0,17), bem dentro da convenção de Cohen para efeitos negligenciáveis.
  • Testes de equivalência (TOST) confirmaram que as duas condições são estatisticamente equivalentes em todos os dez casos sob uma margem de efeito médio (0,5× SD agrupado), e em quatro casos sob uma margem de efeito estrita (0,2× SD agrupado).
• Latência: O forward pass do EgoGazeLite responde por ~41% do tempo do pipeline (8,9 ms), com o tempo restante gasto em processamento de imagem (recorte, redimensionamento). O pipeline suporta taxas de amostragem de até 30 FPS, excedendo em muito o requisito de 1 FPS para o MLLM a jusante.

Significância e Alegações

O artigo afirma que o EgoGazeLite remove o pré-requisito estrito de hardware dedicado de rastreamento ocular para a compreensão de vídeo egocêntrico condicionada pelo olhar com MLLMs. Ao provar que um preditor de olhar leve, baseado apenas em software, pode substituir o olhar medido por hardware sem degradar a qualidade das descrições geradas pelos MLLMs, este trabalho possibilita o processamento de vídeo guiado pelo olhar e eficiente em tokens em smart glasses e smartphones de nível de consumo.

Os autores enfatizam que este resultado fecha o ciclo entre a predição de olhar e a entrada do MLLM no dispositivo. Embora o estudo seja modesto em seu escopo — reconhecendo que comparações diretas de precisão com modelos anteriores sob divisões idênticas não foram realizadas, e que a generalização para domínios não vistos ou outras famílias de MLLM ainda precisa ser testada — a descoberta central é que a substituição é empiricamente válida para as tarefas e modelos testados. Isso altera o paradigma de sistemas de olhar dependentes de hardware para soluções baseadas em software acessíveis a qualquer câmera de primeira pessoa.