HOI-aware Adaptive Network for Weakly-supervised Action Segmentation

1. Declaração do Problema

O artigo aborda o desafio da Segmentação de Ações com Supervisão Fraca (WSAS), onde o objetivo é prever o rótulo da ação para cada quadro de um vídeo utilizando apenas uma transcrição (uma lista ordenada de ações) como supervisão, sem timestamps precisos de início/fim.

Principais Desafios Identificados:

• Ambiguidade em Ações Similares: Métodos existentes frequentemente dependem de codificadores temporais fixos que analisam vizinhanças temporais de quadros. Isso falha em distinguir entre ações semanticamente similares (por exemplo, "despejar café" vs. "despejar suco") porque as características visuais dos quadros imediatos são altamente similares.
• Falta de Contexto Global: Abordagens atuais tratam clipes de vídeo como entradas de comprimento fixo, perdendo o contexto mais amplo fornecido pela sequência completa do vídeo.
• Redes Estáticas: A maioria dos métodos utiliza uma arquitetura de rede fixa para todos os vídeos, impedindo que o modelo se adapte ao contexto semântico específico (por exemplo, os objetos específicos presentes) de um determinado vídeo no momento do teste.

2. Metodologia: AdaAct

Os autores propõem o AdaAct, uma rede adaptativa que aproveita as Interações Humano-Objeto (HOI) como conhecimento prévio ao nível do vídeo para ajustar dinamicamente os parâmetros da rede durante a inferência. A arquitetura consiste em dois componentes principais:

A. Codificador de HOI de Vídeo

Este módulo extrai, seleciona e integra informações de HOI de todo o vídeo para criar um vetor de contexto global. Ele opera em três etapas:

1. Extração: O vídeo é sub-amostrado (15 FPS), e um detector de HOI pré-treinado (pesos congelados) identifica caixas delimitadoras para mãos e objetos, juntamente com pontuações de confiança de interação.
2. Seleção (Video-NMS): Um novo algoritmo Video-NMS filtra as interações detectadas. Diferente do NMS padrão, que usa apenas Interseção sobre União (IoU), este adiciona uma restrição temporal para remover detecções duplicadas de alta pontuação ao longo do tempo. As $K$ interações principais são selecionadas.
3. Integração: As $K$ interações selecionadas são processadas por uma rede baseada em Transformer (ViT). Um token aprendível é anexado à sequência de embeddings de HOI, e o estado de saída deste token serve como o conhecimento dependente de HOI ($s$).

B. Codificador Temporal Adaptativo (HyperNetwork)

Em vez de usar um codificador temporal fixo, o AdaAct emprega um HyperNetwork de dois ramos para gerar os pesos e vieses do codificador temporal (uma espinha dorsal baseada em GRU) dinamicamente com base no contexto de HOI do vídeo de entrada.

• Ramo Independente de HOI ($z$): Aprende características gerais de vídeos instrucionais. Mantém uma lista de embeddings aprendíveis que é iterativamente atualizada durante o treinamento. Este ramo captura conhecimento transferível comum a todos os vídeos.
• Ramo Dependente de HOI ($s$): Recebe o vetor de características de HOI codificado (do Codificador de HOI de Vídeo) como entrada. Adapta o codificador especificamente às interações únicas de objetos presentes no vídeo atual.
• Fusão: Os pesos ($W$) e vieses ($b$) para o codificador temporal são gerados fundindo as saídas de ambos os ramos (multiplicação elemento a elemento para os pesos). Isso permite que a rede ajuste seus parâmetros "on-the-fly" para distinguir ações similares com base nos objetos específicos detectados (por exemplo, ver um "espremedor" e uma "laranja" inclina o modelo para "despejar suco" em vez de "café").

C. Treinamento e Decodificação

• Função de Perda: O modelo é treinado usando uma Perda Discriminativa Forward Constrained, que maximiza a diferença de energia entre segmentações válidas e inválidas.
• Decodificação: Durante a inferência, o algoritmo de Viterbi é usado para encontrar a sequência de ações ótima e os comprimentos dos segmentos com base nas probabilidades quadro a quadro geradas pelo codificador adaptativo.

3. Principais Contribuições

1. Primeiro Codificador Temporal Adaptativo para WSAS: O artigo introduz o primeiro framework onde os parâmetros do codificador temporal são adaptados dinamicamente ao conteúdo do vídeo de entrada durante o tempo de teste, em vez de usar um modelo estático.
2. HOI como Prior Global: Propõe explorar informações de HOI globalmente temporais mas localmente espaciais para resolver ambiguidades. Ao identificar objetos-chave (por exemplo, uma faca vs. uma cafeteira) em todo o vídeo, o modelo ganha contexto crucial para distinguir ações similares.
3. Desempenho State-of-the-Art: O método alcança resultados superiores em dois conjuntos de dados desafiadores (Breakfast e 50Salads) para ambas as tarefas de segmentação de ações e alinhamento de ações.

4. Resultados Experimentais

O método foi avaliado nos conjuntos de dados Breakfast e 50Salads usando quatro métricas: Média sobre Quadros (MoF), MoF sem Fundo (MoF-BG), Interseção sobre União (IoU) e Interseção sobre Detecção (IoD).

• Conjunto de Dados Breakfast: O AdaAct alcançou 51,2% MoF e 48,3% MoF-BG, superando o state-of-the-art anterior (CDFL/TASL) em 1,4% e 1,2%, respectivamente.
• Conjunto de Dados 50Salads: O AdaAct alcançou 55,6% MoF e 50,3% MoF-BG, melhorando a linha de base em 0,9% e 0,5%.
• Alinhamento de Ações: Mesmo quando transcrições são fornecidas durante a inferência (um cenário de supervisão mais forte), o AdaAct ainda superou os métodos existentes, mostrando um ganho de +1,8% MoF no 50Salads.
• Estudos de Ablação:
  • Remover o conhecimento dependente de HOI reduziu o MoF em 3,7%.
  • Remover o conhecimento independente de HOI reduziu o MoF em 0,9%.
  • A dimensão ótima de conhecimento foi encontrada sendo 128.
• Análise Qualitativa: O modelo corrigiu com sucesso erros em ações de "despejar" (café vs. suco vs. leite) ao aproveitar a presença de objetos específicos (por exemplo, um espremedor) detectados no codificador de HOI, o que métodos fixos não conseguiam captar.

5. Significado

Este trabalho representa uma mudança significativa na segmentação de ações com supervisão fraca, passando da extração de características estática para a adaptação dinâmica e consciente de contexto dos parâmetros.

• Resolvendo Ambiguidade: Resolve efetivamente o problema da "ação similar" ao injetar contexto semântico ao nível do vídeo (HOI) diretamente no processo de tomada de decisão da rede.
• Eficiência: Alcança esses ganhos sem exigir anotações caras ao nível de quadros, dependendo apenas de transcrições e detectores de HOI pré-treinados.
• Generalização: O pipeline "extrair-selecionar-integrar" para HOI e a abordagem de HyperNetwork para adaptação de parâmetros oferecem um novo paradigma para lidar com ambiguidade temporal em tarefas de compreensão de vídeo.