Resumo Técnico: DynaPURLS

Definição do Problema

O Reconhecimento de Ações Baseado em Esqueleto em Zero-Shot (ZS-SAR) visa reconhecer classes de ações sem exemplos de treinamento diretos, transferindo conhecimento de categorias vistas para não vistas por meio de um espaço semântico compartilhado. No entanto, as abordagens existentes enfrentam duas limitações primárias:

1. Alinhamento de Baixa Granularidade: Os métodos predominantes dependem do alinhamento de características globais do esqueleto com embeddings semânticos estáticos de nível de classe. Isso falha em capturar dinâmicas locais de alta granularidade de partes do corpo (por exemplo, movimentos das mãos) que são frequentemente compartilhadas entre ações com padrões globais diferentes, levando a uma falha em superar a mudança de domínio entre classes vistas e não vistas.
2. Semântica Estática: Os métodos de alta granularidade atuais geram descrições textuais offline usando Modelos de Linguagem Grandes (LLMs) sem acesso aos dados visuais específicos. Essas descrições estáticas carecem de distinções específicas da instância e falham em adaptar-se à "Lacuna Semântico-Visual" causada por deslocamentos de distribuição durante a inferência, resultando em generalização frágil.

Metodologia: DynaPURLS

Os autores propõem o DynaPURLS (Refinamento Dinâmico de Representações Conscientes de Partes), um framework unificado que migra do emparelhamento estático para um alinhamento dinâmico e adaptativo. O framework consiste em três componentes principais:

1. Geração de Representação Semântica de Multi-Granularidade

Em vez de usar rótulos globais únicos, o framework aproveita um Modelo de Linguagem Grande (GPT-3) para decompor rótulos de ação em descrições textuais hierárquicas:

• Decomposição Espacial: Descrições para quatro partes específicas do corpo (Cabeça, Mãos, Tronco, Pernas).
• Decomposição Temporal: Descrições para três fases (Início, Meio, Fim).
• Descrição Global: Uma descrição holística que complementa o rótulo original.
  Essas descrições são codificadas usando um codificador de texto CLIP pré-treinado para formar uma matriz de âncora semântica estática de multi-granularidade.

2. Particionamento Adaptativo e Alinhamento Visual-Semântico

Para alinhar características visuais com o texto de multi-granularidade, o framework emprega um módulo de particionamento adaptativo baseado em atenção cross-modal:

• Codificação Visual: Um Shift-GCN pré-treinado extrai características espaço-temporais de sequências de esqueleto.
• Agregação Dinâmica: Diferentemente do particionamento estático (que agrupa juntas rigidamente), este módulo trata embeddings de texto como consultas e características visuais como chaves/valores. Ele aprende a agregar dinamicamente informações visuais relevantes para cada conceito semântico, permitindo que o modelo foque nos nós espaço-temporais mais informativos, independentemente de limites pré-definidos. Isso fornece robustez a oclusões e variações de ponto de vista.
• Objetivo de Treinamento: Uma perda contrastiva InfoNCE simétrica é usada para maximizar a similaridade entre pares visual-texto correspondentes em todas as granularidades.

3. Refinamento Dinâmico de Características em Tempo de Teste (TTA)

A inovação central é um mecanismo de Adaptação em Tempo de Teste (TTA) que refina representações semânticas online durante a inferência para abordar mudanças de domínio:

• Transformação Afina Leve: Em vez de atualizar os pesados codificadores de backbone, o framework introduz parâmetros aprendíveis de escala ($S$) e viés ($\Delta F$) para transformar embeddings de texto estáticos ($F$) em embeddings refinados ($F'$) com base no fluxo visual de entrada.
• Otimização Guiada por Confiança: O refinamento é impulsionado por um sinal auto-supervisionado derivado das próprias previsões de alta confiança do modelo.
• Banco de Memória Balanceado por Classe: Para prevenir a propagação de erros a partir de pseudo-rótulos ruidosos e viés em direção a classes frequentes, um banco de memória armazena um conjunto balanceado de amostras de alta confiança por classe. Os parâmetros de refinamento são atualizados via descida de gradiente em um lote balanceado amostrado desse banco.
• Extensão GZSL: Para Aprendizado em Zero-Shot Generalizado, um mecanismo de controle baseado em entropia separa classes vistas e não vistas para prevenir que o modelo recorra a previsões de classes vistas para amostras não vistas.

Contribuições Principais

1. Framework Inovador: Introdução do DynaPURLS, que estabelece um link dinâmico entre características visuais e textuais para superar o alinhamento grosseiro e a semântica estática.
2. Alinhamento Adaptativo de Alta Granularidade: Uma estratégia que emparelha semânticas de multi-granularidade geradas por LLM com características visuais por meio de um módulo de particionamento adaptativo, permitindo transferência eficaz de conhecimento em nível de parte.
3. Mecanismo de Refinamento em Tempo de Teste: O primeiro trabalho a empregar adaptação em tempo de teste para ZSL baseada em esqueleto. Utiliza uma otimização leve e guiada por confiança com um banco de memória balanceado por classe para adaptar características semânticas na inferência, mitigando a mudança de domínio com sobrecarga mínima.
4. Desempenho de Estado da Arte: Experimentos extensivos demonstrando desempenho superior em configurações de ZSL e GZSL em três benchmarks.

Resultados Experimentais

O framework foi avaliado em NTU RGB+D 60, NTU RGB+D 120 e PKU-MMD sob divisões fixas e aleatórias.

• Desempenho ZSL: O DynaPURLS supera significativamente a arte anterior. No NTU RGB+D 60 (divisão 55/5), alcança 88,52% de precisão, superando o melhor anterior (Neuron) em 1,62%. No NTU RGB+D 120 (divisão 110/10), atinge 89,06%, superando o SCoPLe em 14,53%.
• Desempenho GZSL: O método alcança altas pontuações de média harmônica (H), indicando desempenho equilibrado em classes vistas e não vistas. No NTU RGB+D 120 (divisões aleatórias), alcança uma pontuação H de 74,72%, e no PKU-MMD, 60,11%.
• Eficiência: O módulo de refinamento dinâmico é computacionalmente eficiente, exigindo apenas ~8.192 parâmetros por classe e adicionando tempo de inferência mínimo (por exemplo, 1,0s para a divisão NTU60 55/5 em uma GPU A100).
• Estudos de Ablação: Os resultados confirmam que a combinação de alinhamento de multi-granularidade e refinamento dinâmico produz os melhores resultados. O banco de memória é crítico para estabilizar a adaptação, e o método demonstra robustez em diferentes backbones visuais (Shift-GCN, PoseC3D, etc.) e estratégias de inicialização.

Significado e Alegações

O artigo afirma que o DynaPURLS estabelece um novo estado da arte ao abordar fundamentalmente a "Lacuna Semântico-Visual" inerente ao aprendizado em zero-shot estático. Ao migrar do emparelhamento estático para um alinhamento dinâmico e adaptativo, o framework supera efetivamente a mudança de domínio entre distribuições de treinamento e teste. Os autores enfatizam que este é o primeiro trabalho a aplicar adaptação em tempo de teste especificamente para reconhecimento de ações em zero-shot baseado em esqueleto. Os resultados sugerem que refinar dinamicamente âncoras semânticas no momento da inferência é uma estratégia mais eficaz para lidar com as nuances de ações não vistas do que confiar apenas em alinhamento aprimorado no momento do treinamento ou descrições semânticas estáticas. O trabalho destaca o potencial de combinar LLMs para enriquecimento semântico com mecanismos de adaptação online para alcançar generalização robusta em cenários complexos e do mundo real.