Physics-Informed Tracking (PIT)

Título: Physics-Informed Tracking (PIT)

Autores: Emil Hovad e Allan Peter Engsig-Karup (DTU Compute, Universidade Técnica da Dinamarca).

---

1. Problema

O rastreamento de objetos em vídeo é um problema central na visão computacional. Abordagens tradicionais baseadas em aprendizado profundo (como CenterNet e YOLO) localizam objetos como picos em mapas de calor (heatmaps). No entanto, esses métodos puramente baseados em dados frequentemente carecem de consistência física, especialmente em condições ruidosas ou quando os dados de treinamento são limitados. Além disso, métodos padrão geralmente fornecem apenas a posição do objeto, sem estimar diretamente variáveis de estado físico como velocidade ou tempo de colisão (quique), a menos que sejam acoplados a módulos externos não diferenciáveis.

O desafio abordado é desenvolver um framework que:

1. Localize partículas em vídeos com alta precisão (sub-pixel).
2. Garanta que as trajetórias geradas obedeçam a leis físicas conhecidas (ex: gravidade, colisões).
3. Funcione tanto em cenários supervisionados (com dados rotulados) quanto não supervisionados (sem rótulos de trajetória).

---

2. Metodologia

O authors propõem o Physics-Informed Tracking (PIT), um framework baseado em um autoencoder com restrições físicas integradas diretamente no processo de aprendizado.

Arquitetura do Modelo

• Autoencoder com Gargalo Dividido (Split Bottleneck): O modelo utiliza um encoder compartilhado que processa janelas de 3 frames consecutivos. O espaço latente é dividido em dois componentes:
  • A) Mapas de Calor de Marcadores (Landmark Heatmaps): Representam a localização da partícula.
  • B) Resíduo/Ruído: Captura o fundo e o ruído da imagem para reconstrução.
  • Essa separação permite que o modelo aprenda a estrutura de rastreamento independentemente do ruído de fundo.
• Decodificador Multi-escala: O decodificador refina os mapas de calor em três escalas espaciais (56x56, 112x112 e 224x224) usando conexões de skip (pulos) para preservar detalhes espaciais.
• Extração de Posição Sub-pixel: Em vez de usar apenas o argmax duro (que é limitado à resolução do pixel), o modelo emprega operadores de expectativa diferenciáveis (bilinear, biquadrático e bicúbico) para estimar posições com precisão sub-pixel.

Módulo de Física Diferenciável

Um módulo de física baseado no método Velocity-Verlet é embutido no gráfico computacional. Ele recebe as posições estimadas e:

• Aplica as equações de movimento sob gravidade constante.
• Detecta e modela colisões inelásticas com as bordas da imagem (reflexão de velocidade).
• Gera previsões refinadas de posição, velocidade e indicadores de colisão (bounce).
• Como é diferenciável, os gradientes podem fluir através dele durante o treinamento.

Funções de Perda (Loss Functions)

O artigo introduz duas abordagens principais de treinamento:

1. PILL (Physics-Informed Landmark Loss) - Não Supervisionado: Compara a trajetória prevista pelo módulo de física com os marcadores extraídos do mapa de calor. Isso força a consistência física sem necessidade de dados de verdade absoluta (ground-truth).
2. PILLS (PILL Supervised) - Supervisionado: Compara as previsões do modelo (posição, velocidade e colisão) diretamente com os dados de simulação (ground-truth). Isso permite o aprendizado end-to-end de todas as variáveis de estado físico.

Design Experimental

Os autores utilizaram um design fatorial replicado $2^6$ (64 configurações, 4 repetições cada) para avaliar sistematicamente o impacto de seis fatores binários:

• Presença de conexões de skip para o decodificador.
• Uso do gargalo de ruído.
• Supervisão de mapa de calor (base CenterNet).
• Uso da perda física não supervisionada (PILL).
• Uso da perda física supervisionada (PILLS).
• Nível de ruído na entrada (limpo vs. ruidoso).

---

3. Principais Contribuições

1. Arquitetura de Autoencoder Dividido: Uma nova estrutura que separa explicitamente a representação de rastreamento (marcadores) do ruído de fundo, facilitando o aprendizado em condições adversas.
2. PILL e PILLS: Introdução de funções de perda que integram leis físicas diretamente no rastreamento de marcadores. O PILL permite treinamento não supervisionado, enquanto o PILLS permite o aprendizado de estados físicos completos (posição, velocidade, colisão).
3. Estimativa de Estado Físico Completo: Diferente dos métodos baseados em heatmap tradicionais que apenas localizam o objeto, o PIT fornece estimativas de velocidade e detecção de colisão em uma única passagem (forward pass), graças ao módulo de física diferenciável.
4. Análise Sistemática: O uso de um design fatorial completo fornece evidências estatísticas robustas sobre quais componentes arquitetônicos e de perda são mais críticos para o desempenho em diferentes condições de ruído.

---

4. Resultados

Os experimentos foram realizados em dados sintéticos de uma bola em movimento parabólico com colisões, sob condições limpas e ruidosas ($\sigma=1$).

• Precisão Sub-pixel: A configuração com PILLS (fator E ativado) consistentemente alcançou os menores erros de rastreamento, atingindo precisão sub-pixel (erro $\le 0.42$ px) nas escalas intermediárias e finais (112 e 224), tanto em dados limpos quanto ruidosos.
• Robustez ao Ruído: Sob condições ruidosas, os métodos puramente baseados em dados (sem física) degradaram-se significativamente. O uso de restrições físicas (especialmente PILLS) manteve a precisão próxima à observada em dados limpos, demonstrando alta robustez.
• Comparação de Extração: As previsões refinadas pela física (P) e as interpolações bilineares (B) superaram o hard argmax (H) em precisão, embora o hard argmax tenha se mostrado mais estável em resoluções muito baixas (56x56).
• Velocidade e Colisão: O modelo conseguiu prever com alta precisão a velocidade e o momento exato da colisão (inversão do sinal da velocidade vertical), algo não disponível em métodos de rastreamento padrão.
• Análise Fatorial: O fator E (PILLS) e o fator A (conexões de skip do decodificador) mostraram-se os efeitos principais mais significativos para a redução de erro, indicando que a supervisão física e a arquitetura multi-escala são essenciais.

---

5. Significado e Conclusão

O trabalho demonstra que a incorporação de leis físicas conhecidas diretamente na arquitetura de redes neurais para rastreamento de vídeo não apenas melhora a precisão da localização, mas também habilita a estimativa de variáveis físicas dinâmicas (velocidade, aceleração, colisões) de forma end-to-end.

• Implicação Científica: O PIT preenche a lacuna entre o aprendizado de máquina baseado em dados e a modelagem física, oferecendo uma alternativa robusta quando dados rotulados são escassos (via PILL) ou quando se deseja extrair mais informações físicas do vídeo do que apenas a posição (via PILLS).
• Aplicações Futuras: A abordagem é promissora para cenários de geração de vídeo e simulação, onde a consistência física é crucial.
• Limitações: O estudo atual foca em uma única partícula e dados sintéticos. O rastreamento de múltiplas partículas com trajetórias cruzadas e a validação em vídeos do mundo real são identificados como trabalhos futuros.

Em resumo, o PIT estabelece um novo paradigma onde a física não é apenas um pós-processamento, mas uma parte intrínseca e diferenciável do processo de aprendizado de rastreamento visual.