SBF: An Effective Representation to Augment Skeleton for Video-based Human Action Recognition

Título: SBF: Uma Representação Eficaz para Augmentar o Esqueleto para Reconhecimento de Ação Humana Baseado em Vídeo

1. Problema Identificado

O Reconhecimento de Ação Humana (HAR - Human Action Recognition) baseado em vídeo frequentemente utiliza o esqueleto 2D como representação intermediária devido à sua compactação e eficiência computacional. No entanto, os métodos baseados apenas em esqueleto enfrentam limitações significativas em cenas comuns, pois carecem de informações críticas para a ação, especificamente:

• Profundidade das articulações: O esqueleto 2D é plano, tornando difícil distinguir ações como "agachar" vs. "sentar" dependendo do ângulo da câmera.
• Contorno do corpo: O esqueleto não captura a silhueta completa do corpo, levando a erros em ações como "recolher a mão no bolso" (onde a mão não se sobrepõe ao corpo no esqueleto).
• Interação Humano-Objeto (HOI): O esqueleto ignora a interação entre o sujeito e objetos (ex.: "jogar" vs. "acenar"), pois não rastreia o movimento do objeto.

Além disso, métodos que tentam integrar informações de objetos geralmente exigem anotações adicionais massivas (detecção de objetos), o que aumenta o custo de treinamento e dificulta a implantação prática.

2. Metodologia Proposta

Os autores propõem uma nova representação chamada SBF (Scale-Body-Flow) para enriquecer o esqueleto 2D sem custos adicionais de anotação, e uma rede neural para extrair essa representação, chamada SFSNet.

A. Representação SBF

O SBF é composto por três mapas binários distintos que capturam informações complementares:

1. Mapa de Escala (Scale Map Volume - $S$): Um volume de mapas binários que representa o tamanho (escala) de cada articulação no plano da câmera. Como objetos mais próximos aparecem maiores, a escala serve como um proxy para a informação de profundidade.
2. Mapa Corporal (Body Map - $B$): Um mapa binário que delimita o contorno de todo o sujeito humano, preenchendo as lacunas deixadas pelo esqueleto e fornecendo a silhueta do corpo.
3. Mapa de Fluxo (Flow Map - $F$): Um mapa derivado do fluxo óptico que captura a interação entre o humano e o objeto. Ele identifica pixels com movimento distinto do fundo, capturando a interação humano-objeto.

B. Rede SFSNet (Scale-Flow-Skeleton Network)

Para extrair o SBF a partir do vídeo sem anotações extras, os autores apresentam o SFSNet, uma rede de segmentação supervisionada apenas por esqueleto e fluxo óptico (usando estimadores não supervisionados):

• Cabeça de Escala e Corpo: Treinadas usando anotações pontuais derivadas diretamente das coordenadas do esqueleto (pontos positivos nas articulações, negativos no fundo). Utiliza um módulo chamado Simplified PointRend (SPR).
• Cabeça de Fluxo: Treinada usando um estimador de fluxo óptico pré-treinado de forma não supervisionada. O mapa de fluxo é gerado identificando regiões onde o fluxo difere significativamente do fluxo médio do fundo.
• Vantagem: Não requer anotações de pixel-level (máscaras de segmentação) ou detecção de objetos, mantendo a eficiência de treinamento.

C. Pipeline de Reconhecimento (SBFConv3D)

O SBF é combinado com o esqueleto (convertido em mapas de calor) e alimentado em um modelo de reconhecimento downstream (baseado em 3D-CNN, similar ao PoseConv3D). A integração ocorre através de uma soma ponderada do volume de calor do esqueleto e do mapa de escala, concatenando-se posteriormente com os mapas corporal e de fluxo.

3. Principais Contribuições

1. SBF (Scale-Body-Flow): Uma nova representação que integra profundidade (escala), contorno corporal e interação com objetos ao esqueleto 2D, superando as limitações de informação dos métodos puramente esqueléticos.
2. SFSNet: Uma rede eficiente para prever o SBF utilizando apenas anotações de esqueleto e fluxo óptico não supervisionado, eliminando a necessidade de anotações extras de objetos ou máscaras de segmentação.
3. Desempenho Superior com Eficiência: O pipeline proposto (SBF + SFSNet) alcança maior precisão que os métodos state-of-the-art baseados apenas em esqueleto, mantendo uma compactação e custo computacional comparáveis.

4. Resultados Experimentais

Os autores avaliaram o método em quatro conjuntos de dados principais: NTU RGB+D, NTU RGB+D 120, UCF101 e HMDB51.

• Precisão:

  • No conjunto NTU RGB+D 120, o método alcançou um aumento de 2,2% na configuração Cross-Subject (X-Sub) e 1,6% na configuração Cross-Setup (X-Set) em comparação com o melhor método baseado apenas em esqueleto (PoseConv3D).
  • Superou métodos que utilizam fusão de esqueleto + objeto (que exigem anotações extras) em todos os cenários, demonstrando que o SBF é mais informativo e eficiente.
  • No UCF101 e HMDB51, também superou os métodos baseados em esqueleto e o método SKP (que usa objetos).

• Eficiência:

  • O modelo SBFConv3D possui um tamanho de modelo menor e custo computacional (FLOPs) comparável ou inferior aos métodos de esqueleto de alto desempenho (como ProtoGCN e CTR-GCN), enquanto oferece maior precisão.
  • Mesmo com um extrator "Small" (compacto), o SBFConv3D superou modelos de esqueleto "Large" com menor custo computacional.

• Análise de Cenários Desafiadores:

  • Ângulos de Visão: O ganho de precisão foi maior em vistas laterais (+3,8%), onde a falta de profundidade é mais crítica, validando a eficácia do mapa de escala.
  • Dificuldade da Ação: O método apresentou ganhos significativos em ações "Difíceis" (+8,9%) e "Médias" (+4,9%), especialmente aquelas envolvendo contorno corporal e interação com objetos.

5. Significado e Impacto

Este trabalho é significativo porque resolve o dilema entre informação rica e eficiência de anotação no reconhecimento de ações.

• Viabilidade Prática: Ao não exigir anotações adicionais além da extração de esqueleto (que já é padrão), o método torna-se altamente escalável para aplicações do mundo real (robótica, vigilância, saúde).
• Superação de Limitações Fundamentais: Demonstra que é possível recuperar informações de profundidade e interação sem sensores 3D ou câmeras profundas, apenas através de representações visuais inteligentes derivadas de vídeos 2D.
• Futuro: Abre caminho para o desenvolvimento de pipelines de HAR que são ao mesmo tempo precisos, leves e fáceis de treinar, superando a barreira dos métodos puramente baseados em esqueleto sem o custo proibitivo de métodos baseados em vídeo completo ou objetos anotados.