Integrating Affordances and Attention models for Short-Term Object Interaction Anticipation

Resumo Técnico: Integração de Aforismos e Modelos de Atenção para Antecipação de Interação de Objetos de Curto Prazo

1. Problema Definido

O trabalho aborda a tarefa de Antecipação de Interação de Objetos de Curto Prazo (STA - Short-Term Object Interaction Anticipation). O objetivo é prever, a partir da observação de vídeos em primeira pessoa (egocêntricos), três elementos fundamentais para a interação futura:

1. Localização: Onde o próximo objeto ativo estará (caixa delimitadora/bounding box).
2. Semântica: A categoria do objeto (substantivo/noun) e o tipo de interação (verbo/verb).
3. Tempo: O tempo até o contato (time-to-contact).

Esta capacidade é crucial para assistentes vestíveis (wearables) entenderem as intenções do usuário e fornecerem assistência oportuna, bem como para a interação humano-robô. O desafio reside em modelar a dinâmica da cena e antecipar a intenção do usuário apenas com observações visuais passadas.

2. Metodologia Proposta

Os autores propõem uma abordagem de duas frentes: o desenvolvimento de novas arquiteturas baseadas em Transformers e a integração de Aforismos Ambientais (Environment Affordances) para fundamentar as previsões no comportamento humano observado.

A. Arquiteturas Baseadas em Transformers

Dois modelos são introduzidos, evoluindo de uma base para uma versão mais avançada:

• STAformer: Uma arquitetura que utiliza backbones pré-treinados (DINOv2 para imagens e TimeSformer para vídeo) e introduz componentes de atenção inovadores para fusão imagem-vídeo:

  • Agrupamento Temporal Guiado por Quadro (Frame-guided Temporal Pooling): Mapeia os tokens de vídeo 3D para o sistema de referência espacial do último quadro observado, alinhando a dinâmica temporal com a estrutura espacial atual.
  • Fusão de Atenção Dual Imagem-Vídeo: Um mecanismo de atenção cruzada residual que enriquece os tokens de imagem com a dinâmica da cena (do vídeo) e vice-versa, capturando detalhes finos e contexto temporal.
  • Cabeça de Predição: Utiliza uma modificação da Faster R-CNN (StillFast) para gerar as previsões finais.

• STAformer++: Uma redesign completa que substitui componentes convencionais por abordagens end-to-end baseadas em Transformers:

  • Backbones: Substitui DINOv2 por Swin-T (para extração de características hierárquicas multiescala) e TimeSformer por EgoVideo (modelo de estado da arte para vídeos egocêntricos).
  • Cabeça de Detecção: Substitui a Faster R-CNN por um cabeçote baseado em DETR (Detection Transformer), especificamente adaptado com Contrastive DeNoising (CDN) e seleção de consultas mistas para acelerar a convergência e melhorar a precisão das caixas delimitadoras.
  • Agrupamento Multiescala: O agrupamento temporal guiado por quadro é aplicado em cada escala da pirâmide de características.

B. Fundamentação em Aforismos (Affordances)

Para superar a limitação de prever apenas a partir do vídeo atual, o modelo integra "aforismos" (possíveis ações que o ambiente oferece ao agente).

• Memória Persistente de Aforismos: Constrói um banco de dados de zonas de atividade baseadas em similaridade visual e textual de vídeos de treinamento, criando um mapa de interações possíveis em cada ambiente.
• Duas Estratégias de Integração:
  1. Fusão Tardia (Inferência Fixa): Durante a inferência, o vídeo de entrada é comparado com o banco de dados de aforismos (via similaridade cosseno) para obter distribuições de probabilidade de substantivos e verbos. Essas distribuições são usadas para refinar as previsões do modelo end-to-end.
  2. Aprendizado de Aforismos (Treinamento Dinâmico): Uma abordagem mais avançada onde um mecanismo de atenção aprende, durante o treinamento, a associar o novo vídeo a todos os candidatos relevantes no banco de dados de aforismos. Isso permite uma representação flexível e adaptativa, sem depender de um número fixo de vizinhos.

C. Hotspots de Interação

Um módulo adicional prevê "hotspots" (pontos quentes) de interação observando a trajetória das mãos e objetos. As pontuações de confiança das previsões de STA são reponderadas com base na probabilidade de interação nesses locais, reduzindo falsos positivos em áreas onde a interação é improvável.

3. Principais Contribuições

1. Novas Arquiteturas (STAformer e STAformer++): Propõem os primeiros modelos baseados puramente em Transformers para a tarefa de STA, superando as limitações de detectores convencionais e melhorando a fusão de modalidades imagem-vídeo.
2. Integração de Aforismos Ambientais: Introduzem uma forma sistemática de incorporar o conhecimento sobre "o que pode ser feito em um ambiente" para refinar previsões de curto prazo, demonstrando que o comportamento humano em ambientes similares é consistente.
3. Mecanismo de Aprendizado de Aforismos: Desenvolvem uma abordagem onde o modelo aprende a consultar sua "memória" de interações passadas dinamicamente, em vez de usar uma fusão estática.
4. Recursos Abertos: Lançamento de código, anotações e características de aforismos pré-extraídas para os conjuntos de dados Ego4D e EPIC-Kitchens.

4. Resultados Experimentais

Os modelos foram avaliados nos conjuntos de dados Ego4D (versões v1 e v2) e em uma nova versão anotada do EPIC-Kitchens.

• Desempenho Geral: O STAformer++ com aforismos aprendidos alcançou o estado da arte (SOTA) em todas as divisões de validação e teste.
• Ganhos Significativos:
  • Ego4D v1: Melhoria de +23.6% no mAP Geral (Top-5) em relação à versão anterior de conferência (STAformer).
  • Ego4D v2: Ganhos de +10.4% no mAP Geral.
  • EPIC-Kitchens: Ganhos impressionantes de +31.5% no mAP Geral, demonstrando a generalização do framework para diferentes regimes de treinamento.
• Comparação com SOTA: O modelo superou abordagens anteriores como StillFast, GANO e EgoVideo (em métricas específicas de detecção e semântica), especialmente na precisão das caixas delimitadoras (B AP) e na previsão de substantivos e verbos.
• Ablação: Estudos mostraram que a combinação de cabeçotes DETR, backbones modernos (Swin-T/EgoVideo) e a integração dinâmica de aforismos são os componentes mais críticos para o desempenho.

5. Significância e Impacto

Este trabalho representa um avanço significativo na compreensão de vídeos egocêntricos para antecipação de ações.

• Avanço Arquitetural: Demonstra que a transição completa para arquiteturas baseadas em Transformers (sem componentes convencionais como RPN ou NMS manual) é viável e superior para tarefas de previsão complexas.
• Fundamentação Cognitiva: A integração de aforismos conecta a visão computacional à psicologia (teoria de Gibson), mostrando que modelar o "potencial de ação" do ambiente melhora a robustez e a generalização dos modelos de IA.
• Aplicabilidade Prática: Os resultados promissores em benchmarks desafiadores como Ego4D indicam que tais sistemas são viáveis para assistentes robóticos e wearables que necessitam de antecipação precisa e segura para interagir com humanos e objetos no mundo real.

Em resumo, o artigo estabelece um novo padrão para a antecipação de interações de curto prazo, combinando a potência dos Transformers modernos com a inteligência contextual fornecida pelos aforismos ambientais.