LaDy: Lagrangian-Dynamic Informed Network for Skeleton-based Action Segmentation via Spatial-Temporal Modulation

Título: LaDy: Rede Informada por Dinâmica Lagrangiana para Segmentação de Ações Baseada em Esqueleto via Modulação Espaço-Temporal

1. Problema e Motivação

A Segmentação Temporal de Ações Baseada em Esqueleto (STAS) visa decompor sequências de esqueletos não cortadas em categorias de ações em nível de quadro. Embora os métodos existentes sejam proficientes em capturar cinemática espaciotemporal (o "como" e "o que" do movimento), eles negligenciam a dinâmica física subjacente que governa o movimento humano.

Esta lacuna gera dois desafios principais:

1. Baixa Discriminabilidade Interclasse: Ações com perfis cinemáticos semelhantes, mas intenções dinâmicas distintas (ex.: "Empurrar Carrinho" vs. "Caminhar"), são difíceis de distinguir.
2. Localização Imprecisa de Fronteiras: As transições de ação são definidas por mudanças abruptas nos perfis de força dinâmica, algo que modelos puramente cinemáticos tendem a borrar.

O LaDy propõe preencher essa lacuna "cinemática-dinâmica" integrando princípios da Mecânica Lagrangiana diretamente no processo de segmentação.

2. Metodologia

O LaDy é uma arquitetura que opera em duas correntes paralelas que interagem através de uma Modulação Espaço-Temporal (STM):

A. Modelo de Dinâmica Lagrangiana (Ramo Auxiliar)

Este é o núcleo da inovação, responsável por sintetizar forças generalizadas a partir das coordenadas do esqueleto, garantindo coerência física.

• Cálculo de Coordenadas Generalizadas ($q$): Converte as posições cartesianas dos nós do esqueleto em coordenadas generalizadas (orientação da raiz e rotações articulares locais).
• Síntese de Dinâmica Lagrangiana (LDS): Estima os termos da equação de Euler-Lagrange para sintetizar as Forças Generalizadas ($\tau$):
  • Matriz de Inércia ($M$): Estimada com restrições de ser Simétrica e Positiva Definida (SPD) via decomposição de Cholesky.
  • Matriz de Coriolis ($C$): Estimada para satisfazer a propriedade de passividade (a matriz $N = \dot{M} - 2C$ é antissimétrica).
  • Gravidade ($G$) e Forças Não Conservativas ($F$): Estimadas diretamente por redes neurais.
  • Equação: $\tau = M(q)\ddot{q} + C(q, \dot{q})\dot{q} + G(q) + F(q, \dot{q})$.
• Perda de Consistência Energética (ECLoss): Um regularizador baseado na física que impõe o Teorema Trabalho-Energia. Ele supervisiona a rede alinhando a mudança na energia cinética com o trabalho realizado pela força resultante, garantindo que as forças sintetizadas sejam fisicamente plausíveis.

B. Modulação Espaço-Temporal (STM)

As características dinâmicas aprendidas são usadas para refinar o modelo principal de segmentação.

• Modulação Espacial: As forças generalizadas são fundidas com as características cinemáticas extraídas por GCNs (Redes de Convolução em Grafos), enriquecendo a representação espacial com semântica causal.
• Modulação Temporal (Gating): Três sinais dinâmicos salientes são construídos para atuar como "portões" temporais hierárquicos:
  1. Potência Instantânea: Magnitude total do gasto energético.
  2. Norma do Torque: Magnitude geral da atuação.
  3. Mudança de Torque: Transientes dinâmicos que sinalizam mudanças de fronteira.
     Esses sinais modulam o fluxo de características temporais, aumentando a sensibilidade a eventos de alta energia e limites abruptos.

3. Contribuições Principais

1. Primeira Abordagem com Dinâmica Lagrangiana em STAS: Introdução do módulo LDS, que estima forças generalizadas informadas pela física para auxiliar a segmentação, saindo do paradigma puramente cinemático.
2. Perda de Consistência Energética (ECLoss): Um regularizador inovador que impõe o Teorema Trabalho-Energia, assegurando a coerência física das forças sintetizadas e atuando como um forte regularizador intrínseco.
3. Mecanismo de Modulação Espaço-Temporal (STM): Um design que utiliza as forças aprendidas para fusão espacial e portões temporais hierárquicos, melhorando significativamente a discriminabilidade entre classes e a precisão na localização de fronteiras.

4. Resultados Experimentais

O LaDy foi avaliado em seis conjuntos de dados desafiadores (PKU-MMD v2, MCFS-22/130, LARa, TCG-15) e superou o estado da arte (SOTA) em quase todas as métricas.

• Desempenho no PKU-MMD v2:
  • No cenário Cross-View: +5.2% em F1@50, +4.2% em Edit e +2.9% em Acurácia em relação ao melhor método anterior.
  • No cenário Cross-Subject: +2.7% em F1@50, +1.7% em Edit e +1.5% em Acurácia.
• Eficiência: O modelo mantém-se computacionalmente eficiente (13.67G FLOPs, 1.83M parâmetros), superando modelos muito mais pesados (como ME-ST com 97G FLOPs).
• Análise Qualitativa:
  • Fronteiras: O LaDy produz picos de confiança mais nítidos e estáveis nas transições de ação, reduzindo o ruído interno e a sobre-segmentação.
  • Espaço de Características: Visualizações t-SNE mostram agrupamento intraclasse mais compacto e separação interclasse mais clara.
  • Interpretabilidade: A visualização das forças sintetizadas mostra padrões físicos coerentes (ex.: alta concentração de força no braço ao "saudar", nas pernas ao "pular").
• Robustez: O modelo demonstrou maior resiliência a ruídos de entrada (Gaussiano, oclusão de juntas, quadros faltantes) em comparação com métodos puramente cinemáticos, graças à regularização física.

5. Significado e Conclusão

O LaDy representa um avanço fundamental ao demonstrar que integrar princípios físicos explícitos (dinâmica lagrangiana) em redes neurais para visão computacional não apenas melhora a precisão, mas também a interpretabilidade e a robustez do modelo.

Ao ensinar a rede a "raciocinar sobre o porquê" do movimento (forças e torques) em vez de apenas "observar como" ele se move (poses), o LaDy resolve ambiguidades cinemáticas que limitavam os métodos anteriores. A abordagem valida que a física pode servir como um prior indutivo poderoso e eficiente para tarefas complexas de compreensão de ações humanas, abrindo caminho para modelos mais generalizáveis e fisicamente plausíveis.

O código está disponível publicamente, facilitando a reprodução e o avanço futuro nesta intersecção entre mecânica clássica e aprendizado profundo.