Hand Trajectory Fusion for Egocentric Natural Language Query Grounding

Resumo Técnico: Fusão de Trajetória de Mão para o Grounding de Consultas de Linguagem Natural Egocêntrica

Definição do Problema
O grounding de Consulta de Linguagem Natural (NLQ) egocêntrica visa localizar o intervalo temporal $[t_s, t_e]$ dentro de um vídeo de primeira pessoa longo que corresponda a uma consulta de texto livre. Embora sistemas de última geração (ex: GroundNLQ) fundam efetivamente a aparência do vídeo com a semântica do texto usando grandes codificadores pré-treinados, eles frequentemente ignoram o movimento das mãos. Esta é uma omissão significativa, dado que aproximadamente 41% das consultas no conjunto de dados Ego4D NLQ são respondidas durante momentos de manipulação de objeto-mão ou seus resultados imediatos. Modalidades auxiliares existentes, como o olhar (gaze) ou detecção de objetos, foram exploradas, mas a trajetória da mão como uma modalidade distinta para o grounding de NLQ permanece inexplorada, apesar de sua centralidade na atividade em primeira pessoa.

Metodologia
A abordagem proposta introduz um Codificador de Trajetória de Mão e um módulo de Fusão de Trajetória para integrar dados esparsos de esqueleto da mão com representações de vídeo-texto. A arquitetura consiste em cinco componentes principais:

1. Codificadores:

   • Codificador de Vídeo: Utiliza backbones congelados e pré-treinados (InternVideo e EgoVLP) para incorporar clipes egocêntricos em tokens de vídeo ($E_v$).
   • Codificador de Texto: Utiliza um modelo CLIP congelado para incorporar consultas de linguagem natural em tokens de texto ($E_t$).
   • Codificador de Trajetória: Um módulo treinável que processa uma sequência temporal de esqueletos de mão (extraídos via MediaPipe) em características cinemáticas densas e alinhadas ao vídeo ($E_h$). Ele emprega um transformador espaço-temporal fatorado em duas etapas:
     • Agregação Espacial: Utiliza atenção cruzada para agrupar 21 marcos anatômicos por mão em um descritor de nível de quadro único, mascarando explicitamente marcos não detectados.
     • Modelagem Temporal: Aplica atenção de auto-regressão para modelar a evolução desses descritores ao longo dos quadros, capturando a dinâmica de manipulação (aproximação, contato, liberação). Quadros não detectados são mascarados para evitar vazamento de informação.

2. Fusão de Trajetória:

   • Este módulo integra $E_h$ e $E_t$ nos tokens de vídeo $E_v$ usando uma estratégia de atenção cruzada com portão adaptativo (cross-attention with adaptive gating).
   • Dois mecanismos de atenção cruzada independentes permitem que os tokens de vídeo consultem os fluxos de trajetória e de texto, produzindo representações enriquecidas ($E_{vh}$ e $E_{vt}$).
   • Portão Adaptativo (Adaptive Gating): Em vez de uma soma uniforme, as contribuições dos ramos de trajetória e texto são escalonadas por portões escalares aprendidos ($g_h$ e $g_t$). Esses portões são computados via MLPs leves aplicados às médias temporais das respectivas saídas de atenção cruzada. Isso permite que a rede atenue seletivamente o sinal da trajetória quando a detecção de mãos é esparsa ou irrelevante.
   • Um bloco de refinamento de auto-atenção processa adicionalmente a representação fundida para gerar a saída multimodal final ($E_o$).

3. Predição:

   • Uma cabeça de Predição de Segmento Temporal prevê o intervalo de resposta $[t_s, t_e]$ a partir da representação fundida $E_o$.

Principais Contribuições

• Nova Modalidade: O trabalho é o primeiro a estudar a trajetória da mão como uma modalidade auxiliar para o grounding de NLQ egocêntrico, abordando uma lacuna onde cerca de 41% das consultas dependem de atividade manual.
• Codificação de Trajetória Robusta: O design lida explicitamente com a esparsidade da detecção de mãos (mãos são visíveis em apenas ~41% dos quadros do Ego4D em média) através de mecanismos de máscara tanto nas etapas de transformador espacial quanto temporal.
• Fusão Adaptativa: A introdução de mecanismos de portão aprendidos e dependentes de conteúdo permite que o modelo pondere dinamicamente o sinal da trajetória da mão contra as características de vídeo e texto, evitando que o ruído de quadros não detectados degrade o desempenho.

Resultados Experimentais
O sistema foi avaliado no conjunto de validação Ego4D NLQ v2 (4.552 pares de consulta-clipe) usando a métrica $R_m@IoU=n$.

• Ganhos Específicos por Categoria: Os melhorias mais significativas foram observadas em categorias diretamente relacionadas à manipulação:
  • Interação Mão-Objeto (HOI): Melhora de +2,54 em $R1@IoU=0.3$.
  • Quantidade/Estado: Melhora de +4,32 em $R1@IoU=0.3$.
  • Dentro de HOI, os ganhos concentraram-se em modelos de ação (ex: "O que eu coloquei em X?"), confirmando que pistas de trajetória ajudam a localizar o momento específico da ação.
• Desempenho Geral: O modelo proposto alcançou um ganho de +0,77 em $R1@IoU=0.3$ geral e um ganho de +1,39 em $R1@IoU=0.5$. O maior ganho no limiar de IoU mais rigoroso sugere que a cinemática da mão não apenas ajuda a recuperar a região temporal correta, mas também refina a precisão da localização.
• Eficiência: O Codificador de Trajetória adiciona apenas 195 mil parâmetros (0,6% do modelo completo) e é treinado do zero enquanto mantém os pesados backbones de vídeo e texto congelados.

Significância e Limitações
O artigo afirma que a cinemática da mão fornece um sinal leve, porém informativo, que complementa a aparência visual, particularmente para consultas envolvendo manipulação de objetos. O design demonstra que modalidades auxiliares podem ser integradas efetivamente sem modificar os backbones pré-treinados.

Os autores reconhecem modestamente uma limitação primária: a esparsidade da detecção. Como as mãos são visíveis em apenas 41% dos quadros, a contribuição do ramo de trajetória é inerentemente limitada. O artigo postula que melhorias futuras na detecção de mãos egocêntricas traduziriam diretamente para um desempenho de grounding mais forte. Adicionalmente, o módulo de Fusão de Trajetória é descrito como agnóstico à modalidade, sugerindo que ele poderia naturalmente se estender a outros sinais, como o olhar (gaze) ou cenários de treinamento de maior escala.