Online Episodic Memory Visual Query Localization with Egocentric Streaming Object Memory

Formulação do Problema: Visual Query 2D Online (OVQ2D)

O artigo aborda as limitações dos sistemas de recuperação de Memória Episódica (EM) existentes, especificamente a tarefa de Visual Query 2D (VQ2D) introduzida no benchmark Ego4D. As formulações atuais de VQ2D operam em um cenário offline, assumindo acesso total ao histórico de vídeo no momento da consulta. Essa abordagem exige o armazenamento de toda a sequência de vídeo (que pode atingir terabytes para dispositivos vestíveis) e acarreta uma sobrecarga computacional significativa, pois o sistema deve reexaminar o vídeo para cada nova consulta.

Para permitir a implantação prática em dispositivos vestíveis com restrições de energia e armazenamento, os autores introduzem o Online Visual Query 2D (OVQ2D). Nesta formulação:

• Processamento em Streaming: O sistema processa o vídeo egocêntrico ($V_{ego}$) online, observando cada quadro apenas uma vez.
• Memória Compacta: Em vez de armazenar o vídeo bruto, o sistema deve manter uma memória dinâmica e compacta de objetos e eventos relevantes.
• Recuperação: Dada uma patch de consulta visual $Q$ (uma imagem de um objeto), o sistema deve recuperar a localização espaço-temporal (uma sequência de caixas delimitadoras e quadros) da última aparição do objeto usando apenas a memória armazenada, sem acessar o fluxo de vídeo original.

Essa mudança introduz três desafios primários não presentes em cenários offline:

1. Descoberta Não Supervisionada: O sistema deve identificar objetos potencialmente consultáveis em tempo real, sem conhecimento prévio do que o usuário perguntará.
2. Rastreamento Preventivo: O sistema deve rastrear instâncias de objetos e armazenar seus rastros de resposta antecipadamente, em vez de iniciar uma busca apenas após o recebimento de uma consulta.
3. Associação de Representação: O sistema deve associar potenciais rastros de resposta com representações visuais adequadas para futuras recuperações, pois não pode comparar diretamente a patch de consulta com candidatos de vídeo bruto durante a fase de busca.

Metodologia: ESOM (Egocentric Streaming Object Memory)

Os autores propõem o ESOM, um framework projetado para lidar com o OVQ2D através de três módulos integrados:

1. Representação de Memória de Objetos ($M_{ego}$)
A estrutura de dados central é uma lista dinâmica de instâncias de objetos $O_i$. Cada instância é uma lista indexada temporalmente de registros $o_{i,t}$, contendo:

• $t$: Timestamp (carimbo de tempo).
• $b_{i,t}$: Coordenadas da caixa delimitadora (bounding box).
• $F_t$: O quadro RGB associado (ou uma patch extraída dele).
• $c_{i,t}$: Um rótulo de relevância binário indicando se o conteúdo visual é suficientemente distinto para recuperação.
  Esta estrutura permite o armazenamento indexado, leve e legível por humanos de objetos observados.

2. População de Memória de Objetos (OMP)
Este algoritmo atualiza continuamente $M_{ego}$ conforme o vídeo é transmitido. Ele coordena dois submódulos:

• Rastreamento de Objetos (OT): Atualiza as posições de objetos previamente memorizados no quadro atual $F_t$ usando um rastreador de objetos visual. Ele filtra os resultados com base em pontuações de confiança e escreve rastros atualizados na memória.
• Descoberta de Objetos (OD): Detecta novos objetos de interesse em $F_t$ usando um detector de objetos. Ele filtra as detecções com base na confiança e verifica a Interseção sobre União (IoU) com entradas de memória existentes. Detecções novas e não sobrepostas são adicionadas à memória como novas instâncias de objetos.
• Filtragem de Relevância: Antes de escrever na memória, um classificador binário avalia a patch visual para determinar se ela é distinta ($c_{i,t}=1$). Esta etapa filtra patches de baixa qualidade ou não distintivos para melhorar a eficiência da recuperação.

3. Recuperação de Consulta e Localização (QRL)
Quando um usuário fornece uma consulta $Q$, o algoritmo QRL:

• Extrai representações de características $\Phi(Q)$.
• Compara estas contra as características $\Phi(\phi_{i,t})$ de todas as patches de objetos relevantes ($c_{i,t}=1$) armazenadas em $M_{ego}$ usando uma função de similaridade $\Psi$.
• Agrega pontuações por instância de objeto. Se a pontuação máxima de similaridade exceder um limiar, o sistema retorna a sequência contígua mais recente de caixas delimitadoras e quadros para aquele objeto como o rastro de resposta visual $r$.
• Crucialmente, este processo depende exclusivamente de $M_{ego}$ e não acessa o vídeo original $V_{ego}$.

Principais Contribuições

1. Formulação da Tarefa OVQ2D: O artigo introduz um novo benchmark pronto para aplicação que impõe o processamento online de passagem única e uso de memória compacta, refletindo as restrições de dispositivos vestíveis.
2. Arquitetura ESOM: Um framework inovador que integra descoberta de objetos, rastreamento de longo prazo e gerenciamento de memória dinâmica. Ele prioriza a implantação e o benchmarking práticos em detrimento da novidade algorítmica, aproveitando componentes de detecção e rastreamento de última geração.
3. Benchmarking de Mundo Real: Os autores fornecem um benchmark no conjunto de dados Ego4D. Eles argumentam que este benchmark serve como um recurso valioso não apenas para recuperação de EM, mas para avaliar a aplicabilidade real de algoritmos de detecção e rastreamento de objetos em tarefas downstream, indo além da avaliação de componentes isolados.

Resultados e Desempenho

Experimentos foram conduzidos no benchmark de Ego4D Episodic Memory VQ2D (433 horas de vídeo, 22 mil consultas).

• Comparação com Baselines: O ESOM supera outras abordagens online (adaptadas do AMEGO e VideoAgent) em termos de taxa de sucesso e eficiência. A melhor configuração do ESOM (usando um detector baseado em YOLO e rastreador EgoSTARK) atinge uma taxa de sucesso de 4,02% com uma pegada de memória de 1,7 GB e um tempo de recuperação de 3,1 segundos.
• Comparação com Métodos Offline: Embora os métodos de VQ2D offline alcancem taxas de sucesso mais altas (ex: 55,89% para VQLoC), eles exigem o armazenamento do vídeo completo (12,1 GB) e levam significativamente mais tempo para recuperar (ex: 41 segundos). O ESOM reduz o uso de memória em até 7$\times$ e o tempo de recuperação em até 13$\times$ comparado aos baselines offline.
• Análise de Oracle: O artigo destaca que as baixas taxas de sucesso dos métodos atuais devem-se principalmente às limitações na detecção e rastreamento de objetos em vídeos egocêntricos do mundo real, e não à própria arquitetura de memória.
  • Com rastreamento perfeito (Oracle OT) e detecção padrão, o sucesso sobe para 31,91%.
  • Com detecção perfeita (Oracle OD) e rastreamento padrão, o sucesso sobe para 40,55%.
  • Com detecção e rastreamento perfeitos, o ESOM atinge uma taxa de sucesso de 81,92%, superando os melhores métodos offline.
• Análise de Componentes:
  • O algoritmo QRL usando características de Siamese R-CNN supera consistentemente as abordagens baseadas em DINOv2.
  • A filtragem de relevância melhora significativamente a velocidade e a precisão da recuperação ao descartar representações subótimas.
  • O desempenho de rastreamento (especificamente a precisão de associação, AssA) é mais crítico para o sucesso do OVQ2D do que a precisão bruta de detecção (DetA), pois rastros coerentes são essenciais para construir sequências de resposta válidas.

Significância e Alegações

O artigo afirma que o OVQ2D representa um passo necessário em direção a sistemas de memória episódica implantáveis para tecnologia vestível. Embora a taxa de sucesso atual de ~4% em dados do mundo real seja modesta, os autores enfatem que isso é um reflexo do estado atual da detecção e rastreamento de objetos em visão egocêntrica, e não uma falha do paradigma de recuperação de memória.

A significância do trabalho reside em:

• Viabilidade: Demonstrar que a recuperação de memória episódica pode ser realizada online com orçamentos de memória e computação gerenciáveis.
• Valor Diagnóstico: O benchmark e suas configurações "oracle" fornecem um campo de teste principiado para identificar gargalos nos algoritmos de detecção e rastreamento de objetos quando aplicados a fluxos de vídeo contínuos do mundo real, sugerindo que melhorias futuras nesses componentes fundamentais se traduzirão diretamente em melhores sistemas de memória episódica.
• Eficiência: Provar que representações de memória centradas em objetos e compactas podem oferecer ganhos substanciais em armazenamento e velocidade sobre o armazenamento de vídeo bruto sem uma perda catastrófica de capacidade de recuperação (assumindo que a detecção/rastreamento sejam robustos).