Resumo Técnico: REASON – Um Framework Neurosimbólico para Raciocínio Lógico Orientado a Conceitos em Reconhecimento de Ação Humana Baseado em Esqueleto

Declaração do Problema

O Reconhecimento de Atividade Humana (HAR) baseado em esqueleto alcançou forte desempenho empírico usando modelos de aprendizado profundo, particularmente Redes Convolucionais em Grafos (GCNs). No entanto, esses modelos funcionam como "caixas pretas", carecendo de interpretabilidade. Essa opacidade é problemática para domínios de alto risco, como saúde e reabilitação, onde a tomada de decisão transparente é essencial. Além disso, abordagens neurosimbólicas existentes enfrentam desafios fundamentais de integração:

1. Ancoragem Simbólica: Conectar trajetórias contínuas de articulações com predicados simbólicos discretos é difícil. Heurísticas tradicionais (por exemplo, "ângulo do joelho < 90°") são frágeis e falham sob variações de pose ou mudanças de ponto de vista.
2. Dinâmicas Temporais: As ações são inerentemente temporais. Lógica puramente espacial não consegue distinguir ações com poses estáticas semelhantes, mas diferentes ordens de execução ou direções de movimento (por exemplo, Colocar Óculos vs. Tirar Óculos).
3. Aprendizado de Ponta a Ponta: Operadores booleanos discretos geralmente bloqueiam a propagação de gradientes, impedindo a otimização conjunta de percepção (extração de características) e raciocínio (aplicação de regras).

Metodologia: O Framework REASON

Os autores propõem o REASON (Ação Explicável Baseada em Regras via cONceitos Simbólicos), um framework neurosimbólico que reformula o reconhecimento de ação como raciocínio lógico de primeira ordem orientado a conceitos sobre primitivas de movimento aprendíveis. O framework opera através de quatro etapas principais:

1. Geração do Banco de Conceitos

Em vez de depender de heurísticas manuais, os autores constroem um banco de conceitos $\mathcal{C}$ compreendendo primitivas de movimento espaciais, temporais e interativas usando um pipeline de três estágios com Modelo de Linguagem Grande (LLM):

• Geração de Descrição: Um LLM (GPT-3) decompõe ações em descrições detalhadas de partes do corpo (por exemplo, "Perna: dobra nos joelhos e depois empurra explosivamente").
• Abstração e Agrupamento: Descrições brutas são convertidas em conceitos canônicos extraindo padrões verbo-direção-modificador, incorporando-as e agrupando-as via k-means. Isso gera conceitos espaciais (por exemplo, levantar braço, pular com perna).
• Definição Temporal e de Interação: Conceitos temporais explícitos são definidos para capturar direção de movimento (movimento para cima), sequência (mãos primeiro) e dinâmicas (velocidade rápida). Um conceito de interação lida com ações mútuas.
• Associação: Um segundo LLM (LLaMA-3.2) associa ações ao banco de conceitos, criando uma matriz de associação binária $M$ onde $M_{a,c}=1$ se o conceito $c$ estiver ativo para a ação $a$. O banco final contém 74 conceitos (52 espaciais, 21 temporais, 1 de interação).

2. Aprendizado de Representação de Esqueleto

Um codificador padrão de esqueleto espaço-temporal (por exemplo, Hyper-GCN) processa sequências de entrada $X \in \mathbb{R}^{T \times V \times 3}$ sem agrupamento global para preservar informações de movimento detalhadas. O codificador alimenta três ramificações:

• Decodificador STC: Prevê ativações de conceitos.
• Alinhamento de Texto: Alinha características agrupadas do esqueleto com incorporações de texto ancoradas em conceitos (geradas por um codificador CLIP com ajuste fino LoRA) usando uma perda de contraste ($L_{align}$). Isso garante que as características do esqueleto se agrupem com suas descrições semânticas.
• Divergência de Partes: Uma perda ($L_{div}$) penaliza alta similaridade cosseno entre características de diferentes partes do corpo, garantindo representações discriminativas para cada região anatômica.

3. Decodificador de Conceitos Espaço-Temporais (Decodificador STC)

Este módulo faz a ponte entre características contínuas e predicados simbólicos. Ele desacopla as características do codificador em fluxos espacial ($F_s$) e temporal ($F_t$).

• Decodificação em Grupos: Para lidar com a complexidade das relações heterogêneas de conceitos, os conceitos são particionados em grupos. Matrizes de consulta aprendíveis realizam atenção cruzada para agregar seletivamente informações do esqueleto relevantes para subconjuntos específicos de conceitos.
• Previsão: Uma camada Group-FC projeta essas consultas em probabilidades suaves de conceito $\hat{c} \in [0, 1]^{|\mathcal{C}|}$.

4. Raciocínio Lógico de Primeira Ordem Diferenciável

Para permitir treinamento de ponta a ponta mantendo interpretabilidade discreta:

• Binarização: Previsões suaves são binarizadas ($\bar{c} = \mathbb{I}[\hat{c} > 0.5]$) usando um Estimador Straight-Through (STE) para permitir fluxo de gradiente.
• Camadas Lógicas: Camadas empilhadas de conjunção (E) e disjunção (OU) compõem conceitos em regras.
• Enxertia de Gradiente: Durante a passagem direta, operações discretas e pesos são usados para inferência. Durante a retropropagação, gradientes são computados através de relaxações contínuas (E/OU suaves) e "enxertados" no caminho discreto, permitindo o aprendizado de regras lógicas esparsas e interpretáveis.
• Classificação: Um classificador linear mapeia ativações de regras para previsões finais de ação.

Contribuições Principais

1. Framework REASON: Uma formulação neurosimbólica inovadora para HAR baseado em esqueleto que integra representações ancoradas em conceitos com lógica de primeira ordem diferenciável para treinamento de ponta a ponta.
2. Decodificador STC: Um decodificador especializado que extrai independentemente conceitos de configuração corporal espacial e dinâmicas de movimento temporal, fornecendo abstrações robustas contra variabilidade de execução.
3. Banco de Conceitos: Um banco curado de 74 conceitos de movimento espaciais e dinâmicos para os conjuntos de dados NTU RGB+D e NW-UCLA, gerado via LLMs para garantir riqueza semântica sem enumeração manual.
4. Interpretabilidade: O sistema fornece tanto interpretabilidade local (ativações de conceito específicas da instância) quanto global (regras lógicas legíveis por humanos que governam a semântica da ação).

Resultados Experimentais

O framework foi avaliado nos benchmarks NTU RGB+D 60/120 e NW-UCLA.

• Desempenho: O REASON alcança desempenho competitivo, superando várias bases de referência de caixa preta.
  • Em NTU RGB+D 60 (X-Sub), alcança 94,3% de precisão (4-streams), superando fortes bases de referência GCN como Hyper-GCN (93,7%) e BlockGCN (93,1%).
  • Em NTU RGB+D 120 (X-Set), atinge 91,9%.
  • Em NW-UCLA, alcança 97,9%.
• Reclassificação por LLM: Uma etapa opcional de reclassificação usando LLaMA-3.2 7B ancorada em ativações de conceitos impulsiona ainda mais o desempenho para 95,6% (NTU-60 X-Sub) e 93,2% (NTU-120 X-Set), superando outros métodos aumentados por LLM que dependem de características opacas.
• Estudos de Ablação:
  • Conceitos Temporais: Adicionar conceitos temporais aos espaciais melhorou a precisão em +7,8%, confirmando sua necessidade para distinguir poses semelhantes.
  • Capacidade da Camada Lógica: Uma configuração de 128 nós foi ótima; desativar a negação causou uma queda catastrófica para 49,87%, destacando a necessidade de conceitos $\neg$ (por exemplo, distinguir em pé de caminhando via $\neg$ perna caminhar).
  • Intervenção de Conceito: Corrigir conceitos mal previstos na cadeia lógica melhorou monotonicamente a precisão (até +5,67% para 3 correções), provando que os erros decorrem principalmente de má previsão de conceitos e não de regras lógicas falhas.

Significado e Alegações

O artigo alega que o raciocínio neurosimbólico é um paradigma eficaz para compreensão espaço-temporal de ações interpretável. Ao ancorar representações de esqueleto em conceitos de movimento aprendíveis e compostos via lógica diferenciável, o REASON alcança desempenho de última geração enquanto mantém cadeias de raciocínio conceito-regra totalmente transparentes.

Diferentemente de trabalhos anteriores que dependem de explicações post-hoc ou regras manuais frágeis, o REASON aprende regras definidoras de ação diretamente dos dados. Os autores enfatizam que essa abordagem permite análise sistemática tanto de classificações corretas quanto de casos de falha, oferecendo um caminho para IA confiável em aplicações críticas de segurança onde o "porquê" por trás de uma previsão é tão importante quanto a própria previsão. O framework demonstra que é possível fechar a lacuna entre percepção neural e inferência simbólica sem sacrificar precisão ou escalabilidade.